
在Python 2的第一个版本发布近20年和Python 3的第一个版本发布11年之后,Python开发社区终止了对Python 2.7的支持,这是Python 2系列的最后一个版本。这标志着所有对Python 2的上游支持的结束,包括bug和安全修复,并且可以让开发人员将他们的时间完全投入到Python 3中,Python 3更快,提供了更多的一致性,并为开发人员带来了许多可以利用的优秀特性(例如,asyncio,类型提示)。
在2018年,LinkedIn开始了一个多季度的努力,以完全过渡到Python 3代码库。经过大约两个季度的计划和两个季度的执行,我们逐步在新产品甚至现有产品的新版本中停止使用Python 2。过渡过程是由我们的Python基金会团队领导的,多个团队和部门为确保过渡的执行相对顺利扮演着一个不可或缺的角色。总的来说,这一过程需要迁移大约550个代码存储库(库、应用程序和服务)。感谢我们的同事能理解迁移的必要性,以及在将我们的基础设施推向未来的过程中做出的贡献。
在LinkedIn, Python不仅用于向我们的成员提供在线体验,还用于访问内部系统和服务,包括部署工具、CI/CD框架、脚本、命令行接口、数据科学工具等等。与Java和JavaScript一样,Python是我们的工程师完成工作的关键语言。我们在产品中不使用Python,也不将其作为一个独立的web服务使用,而是拥有数百个独立的微服务和工具,以及数十个支持库,这些库都由单独存储库中的独立团队所拥有。这些存储库之间的关系由复杂的依赖关系图表示。
我们的过渡故事早在正式迁移开始之前就开始了。随着Python 3在更大的开源生态系统中变得更加重要,我们的大多数内部库都被移植为“双语”,这意味着它们可以在Python 2或Python 3中使用。这种方法一直被认为是理想的标准,因为它为这些库的使用者提供了一个平稳的过渡时期。如果开发人员小心谨慎,并且库有一个非常清楚的模型,知道哪些数据是字节,哪些数据是文本(人类可读的字符串,即Unicode),那这种方法执行起来就没有那么困难。Python2合并了这两个不同的概念,但Python3强制你理解和明确文本数据模型。这对加强数据一致性和避免大多数可怕的UnicodeErrors来说是必需的,该错误会祸害Python2代码库。
在漫长的迁移历史中,想成功移植,需要非常清晰的思维能力。双语库意味着你无法利用Python 3的大多数最吸引人的新特性。但是,只要Python2仍然被支持,这个折衷是值得的,因为双语库允许那些库的使用者在方便的时候用最少的资源移植到Python3。另一方面,应用程序通常不需要是用两种语言编写的—它们只在Python的一个版本中运行,因此它们可以利用Python 3的所有新特性、模块和改进。
考虑到这次迁移影响了横跨这么多不同的团队和数千名工程师的所有LinkedIn工程,迁移工作是由我们的横向计划程序进行(HI)监督的。Python基金会团队充当了焦点,与所有工程领域的开发人员积极合作,分析我们现有的代码库。他们识别产品所有者,创建工作票据,回答出现的问题,审查更改,并跟踪即将到来的最后期限。我们有大约550个存储库需要移植,所以我们给了自己和合作伙伴两个季度的时间来完成整个计划。我们将工作分为两个阶段,分季度实施:
阶段1: 在2019年第一季度,我们执行了详细的依赖关系图形显示,确定了一些更基础的存储库,因此,这些存储库需要首先进行全面的移植,因为它们会阻塞所有依赖它们的端口。其中包括一些还没有与Python 3兼容的内部库,以及没有阻塞依赖关系的应用程序(命令行工具和微服务)。经过计算大约有75个存储库,在一个季度内实现它们的迁移是相当容易的,并可以为我们完成整个移植工作提供许多重要的经验、反馈和信心。
阶段2: 在2019年第二季度,我们确定了需要移植的存储库的剩余部分,以及由于任何原因而错过了完成日期的第一阶段存储库的遗留者。
通过这种分阶段的方法,我们按期完成了我们的目标。我们将推进我们的构建系统的改变,该系统禁用了构建Python2应用程序的能力,并且停止了构建内部Python库的Python2版本。
请注意,从任何双语库中移除Python 2支持并不是一个明确的目标。然而,现在我们已经完成了迁移,我们的库的所有者正在适时地放弃Python 2,并对他们的代码库进行现代化,利用任何合适的Python 3特性使他们的代码更具可读性或更高效。(让我们花点时间来庆祝一下优秀的测试套件吧!)
迁移后的反思
我们完成一个多产品迁移的主要指标是它成功构建并通过了自己的单元和集成测试。对于具有高覆盖率测试套件的存储库来说,这在实践中工作得很好。然而,我们的一些代码库的覆盖率很低。虽然通过构建和测试仍然是我们最好的信号,但是我们对移植的准确性的信心有时会因为那些低测试覆盖率数字而减弱。
对于其他正在计划或正处于迁移中的组织,我们可以提供以下指导原则:
尽早计划,并聘请你的组织的Python专家。在受影响的团队中找到并利用拥护者,并推广Python 3的好处。
采用双语方法来支持库,以便你的库的使用者可以按照自己的计划移植到Python3。
投资于测试和代码覆盖率——这些将是你最好的成功指标。
确保你的数据模型是显式的和清晰的,特别是在识别哪些数据是字节,哪些是人类可读的文本方面。
现在,LinkedIn工程已经完全采用了Python3,我们不再需要担心Python2的支持问题了,而且我们已经看到我们的支持负载降低了。我们现在可以依赖最新的开源库和工具,并将自己从不得不编写双语Python的束缚中解放出来。我们正在适时地、踊跃地采用类型提示和mypy类型检查器,以提高我们的Python代码库的整体质量、工艺和可读性。我们目前支持Python 3.6和3.7,并正在为2020年初推出的Python 3.8做计划。
英文原文:https://engineering.linkedin.com/blog/2020/how-we-retired-python-2-and-improved-developer-happiness
译者:野生大熊猫


