Evgenia Verbina
2025年11月5日
这是一篇来自 Dido Grigorov 的客座文章,他是一位深度学习工程师和 Python 程序员,在该领域拥有 17 年的经验。
10 个让 Python 代码更快的智能性能优化技巧
Python的应用范围从网站开发到人工智能和数据工程。然而,在其优雅的语法之下潜藏着一个潜在的挑战:性能瓶颈,它可以将原本高效的脚本变成明显缓慢的过程。
无论任务是处理大型数据集、开发实时系统,还是提高计算效率,优化 Python 代码的速度对于取得卓越成果都可能是决定性因素。
本指南介绍了 10 个经过严格测试的性能提升策略。它利用 Python 的内置功能、高效的数据结构和底层优化技术,提供了在不牺牲语言特有的清晰度和优雅性的前提下加速代码执行的实用方法。这些技术得到了经验性基准测试和说明性代码示例的支持,展示了渐进式的改进如何能带来显著的性能提升——使开发人员能够从熟练的实践者转变为真正的高性能 Python 编程专家。
让我们深入探讨,提升您的 Python 技能!
# 技巧 1:利用集合进行成员资格测试
当您需要检查一个元素是否存在于一个集合中时,使用列表可能效率低下——尤其是随着列表大小的增长。使用列表进行成员资格测试(x in some_list)需要逐个扫描每个元素,导致线性时间复杂度(O(n)):
测得时间:
列表查找:~0.015000s
集合查找:~0.000020s
在处理大型数据集时,集合的成员资格测试要快得多。
对于过滤重复项、验证输入或交叉引用集合间元素等任务,集合比列表高效得多。它们不仅加快了成员资格测试,还使得并集、交集和差集等操作更快、更简洁。
通过在成员资格检查中从列表切换到集合——特别是在性能关键的代码中——您只需对逻辑进行最小的更改即可实现有意义的速度提升。
# 技巧 2:避免不必要的复制
复制大型对象(如列表、字典或数组)在时间和内存上成本都很高。每次复制都会在内存中创建一个新对象,这可能导致显著的开销,尤其是在处理大型数据集或在紧密循环中时。
尽可能就地修改对象,而不是创建副本。这减少了内存使用,并通过避免分配和填充新结构的开销来提高性能。Python 中的许多内置数据结构提供了就地方法(例如 sort、append、update),从而无需复制。
测得时间:
就地修改:~0.0001s
复制:~0.0100s
通过减少不必要的复制,您可以编写更高效、更节省内存的代码,尤其是在处理大型或复杂数据结构时。
技巧 3:使用 __slots__ 提高内存效率
默认情况下,Python 类将实例属性存储在动态字典(__dict__)中,这提供了灵活性,但带来了内存开销和稍慢的属性访问速度。
使用 __slots__ 允许您显式声明类的固定属性集。这消除了对 __dict__ 的需求,减少了内存使用——在创建类的许多实例时尤其有益。由于内部结构简化,它还带来了稍微更快的属性访问。
虽然 __slots__ 确实限制了动态属性赋值,但在内存受限的环境或性能敏感的应用中,这种权衡通常是值得的。对于轻量级类或数据容器,应用 __slots__ 是使代码更高效的一种简单方法。
测得时间:
使用 __slots__:~0.1200s
未使用 __slots__:~0.1500s
技巧 4:使用 math 模块函数代替运算符
对于数值计算,Python 的 math 模块提供了用 C 实现的函数,比等效的操作提供了更好的性能和精度。
例如,使用 math.sqrt() 通常比使用指数(**)运算符将数字求 0.5 次方更快、更准确。类似地,math.sin()、math.exp() 和 math.log() 等函数针对速度和可靠性进行了高度优化。
这些性能优势在紧密循环或大规模计算中变得尤其明显。通过依赖 math 模块进行繁重的数值工作,您可以实现更快的执行速度和更一致的结果——使其成为科学计算、模拟或任何数学密集型代码的首选。
| py | fine_tune_model.ipynb | Commit | temp.py | Endpoints |
|---|---|---|---|---|
| 1 | import math |
|
Application |
|
| 2 | math.sqrt(100) Tab 补全 |
|
Q- |
|
| 3 | ↑ @ e |
|
math |
|
|
|
↑ @ erf(x) |
|
math |
|
|
|
↑ @ exp(x) |
|
math |
|
|
|
↑ @ log(x, base) |
|
math |
|
|
|
↑ @ sin(x) |
|
math |
|
|
|
↓ @ acos(x) |
|
math |
|
|
|
↓ @ acosh(x) |
|
math |
|
|
|
↓ @ asin(x) |
|
math |
|
|
|
↓ @ asinh(x) |
|
math |
|
|
|
↓ @ atan(x) |
|
math |
|
|
|
@ atan2(y, x) |
|
math |
|
|
|
@ atan4(x) |
|
math |
|
按 id 插入,-> 替换 下一个提示
PyCharm 通过提供智能代码补全,使利用 math 模块变得更加容易。只需输入 math. 就会触发一个下拉列表,显示所有可用的数学函数和常量——例如 sqrt()、sin()、cos()、log()、pi 等等——以及内联文档。
这不仅通过减少记忆函数名称的需要来加速开发,而且还鼓励使用优化的、内置的实现,而不是自定义或基于运算符的替代方案。通过利用这些提示,开发人员可以快速探索模块的全部功能,并自信地编写更清晰、更快速的数值代码。
测得时间:math.sqrt:~0.2000s
运算符:~0.2500s
# 技巧 5:使用已知大小预分配内存
在动态构建列表或数组时,Python 会在它们增长时在后台调整其大小。虽然方便,但这种调整大小涉及内存分配和数据复制,从而增加了开销——特别是在大型或性能关键的循环中。
如果您事先知道数据结构的最终大小,预分配内存可以显著提高性能。通过初始化一个固定大小的列表或数组,您可以避免重复调整大小,并允许 Python(或像 NumPy 这样的库)更有效地管理内存。
这种技术在数值计算、模拟和大规模数据处理中特别有价值,在这些领域中,即使是很小的优化也会累积起来。预分配有助于减少碎片,提高缓存局部性,并确保更可预测的性能。
测得时间:
预分配:~0.0200s
动态:~0.0400s
# 技巧 6:避免在热循环中使用异常处理
虽然 Python 的异常处理对于管理意外行为非常强大和清晰,但它并非设计用于在性能关键的循环内部高频使用。抛出和捕获异常涉及堆栈展开和上下文切换,这些都是相对昂贵的操作。
在热循环中——那些重复运行或处理大量数据的代码段——使用异常进行控制流会显著降低性能。相反,应使用条件检查(if、in、is 等)来在错误发生之前预防它们。这种主动方法要快得多,并能带来更可预测的执行。
将异常保留给真正异常的情况,而不是预期的控制流,会产生更清晰、更快速的代码——特别是在性能至关重要的紧密循环或实时应用中。
测得时间:
条件判断:~0.3000s
异常处理:~0.6000s
# 技巧 7:将重复逻辑定义为局部函数
当在函数内部重复使用特定的逻辑片段时,将其定义为局部(嵌套)函数——也称为闭包——可以提高性能和组织性。局部函数受益于更快的名称解析,因为 Python 在局部作用域中查找变量比在全局作用域中更快。
除了性能提升之外,局部函数还有助于封装逻辑,使代码更清晰、更模块化。它们还可以捕获封闭作用域中的变量,允许您编写更灵活、可重用的内部逻辑,而无需传递额外的参数。
这种技术在多次应用相同操作的函数中特别有用,例如循环、数据转换或递归过程。通过保持频繁使用的逻辑局部化,您可以减少运行时开销和认知负荷。
提示:使用 AI 助手的 建议重构
如果您在使用带有 AI Assistant 插件的 PyCharm(或任何 JetBrains 产品),一个特别强大的工具是 建议重构。使用它,您可以选择一段代码,调用 AI 助手,并要求它提出更清晰或更高效的替代方案——所有这些一步完成。
助手会向您显示代码的“重构后”版本,让您查看差异(将更改的内容),您可以接受选定的片段或整个代码块。这有助于保持一致性,强制执行最佳实践,并抓住您可能错过的改进机会。
您的版本
接受全部
63 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76
© 重构后的代码
如何使用建议重构
以下是关于如何使用此功能的分步说明(根据 JetBrains 文档):
选择您想要重构的代码片段。
当弹出窗口出现时(例如小灯泡或上下文菜单),单击 AI Assistant 图标。
在菜单中选择“建议重构”。
然后,AI 聊天窗格将打开,显示其建议的重构。在其中,您可以:
单击“显示差异”以比较原始代码和建议的代码。
或者,如果您愿意,可以选择“立即应用”以跳过差异并直接应用建议。
如果您喜欢建议的更改,请单击单个片段(在装订线中)的“接受”或“全部接受”以替换整个选定的片段。
如果您不喜欢这些建议,您可以随时关闭差异或对话框而不应用。
测得时间:
局部函数:~0.4000s
全局函数:~0.4500s
# 技巧 8:使用 itertools 进行组合操作
在处理排列、组合、笛卡尔积或其他基于迭代器的任务时,Python 的 itertools 模块提供了一套高度高效、C 语言优化的工具,专为这些用例量身定制。
像 product()、permutations()、combinations() 和 combinations_with_replacement() 这样的函数会惰性地生成元素,这意味着它们不会将整个结果存储在计算机的内存中。这使您可以处理大型或无限序列,而不会产生手动实现的性能或内存损失。
除了速度快之外,itertools 函数还是可组合且内存高效的,使其成为复杂数据操作、算法开发以及模拟、搜索算法或竞争性编程等任务中的问题解决的理想选择。当性能和可扩展性很重要时,itertools 是一个首选的解决方案。
测得时间:
# 技巧 9:使用 bisect 进行有序列表操作
在处理有序列表时,使用线性搜索或手动插入逻辑可能效率低下——尤其是随着列表的增长。Python 的 bisect 模块提供了使用二分搜索维护顺序的快速、高效工具。
使用 bisect_left()、bisect_right() 和 insort() 等函数,您可以在 O(log n) 时间内执行插入和搜索,而不是简单扫描的 O(n) 复杂度。这在维护排行榜、事件时间线或实现高效范围查询等场景中特别有用。
通过使用 bisect,您可以避免在每次更改后重新排序,并在处理动态的、已排序的数据时获得显著的性能提升。这是一个轻量级且强大的工具,为常见的列表操作带来了算法效率。
测得时间:
循环:~0.0100s
# 技巧 10:避免在循环中重复调用函数
在循环内部多次调用同一个函数——特别是如果该函数开销很大或每次产生相同的结果——会导致不必要的开销。即使是相对较快的函数,在大型循环中重复调用时也会累积显著的成本。
为了优化,可以在循环外部计算一次结果并将其存储在局部变量中。这减少了函数调用开销,提高了运行时效率,特别是在代码的性能关键部分。
这种技术简单但有效。它不仅加快了执行速度,还通过表明该值在循环上下文中是常量来增强了代码清晰度。缓存函数结果是消除冗余计算并使代码更高效的最简单方法之一。
测得时间:
缓存:~0.0010s
重复调用:~1.0000s
# 总结
从利用 __slots__ 和生成器到应用记忆化,这十个 Python 性能策略提供了一套全面的工具来提升执行速度。
所探讨的方法包括使用推导式优化迭代过程、利用集合进行快速成员资格检查、避免不必要的数据复制和异常处理开销,以及应用位运算作为算术快捷方式。
诸如 itertools、bisect 和 collections 之类的专用模块进一步简化了复杂任务,而遵守最佳实践——例如最小化全局变量的使用、预分配内存和实施缓存——确保了精简、高效的代码执行。经验性基准测试表明,即使是很小的调整也能在大规模操作中节省大量时间,这强化了有效的优化并不需要完全重写代码的原则。
无论是优化独立脚本还是扩展生产级应用程序,这些技术只要应用得当,就可以在节约系统资源的同时显著提高性能。最终,最有效的优化是在速度和清晰度之间取得平衡。
# 关于作者
Dido Grigorov
Dido 是一位经验丰富的深度学习工程师和 Python 程序员,在该领域拥有令人印象深刻的 17 年经验。他目前正在著名的斯坦福大学攻读高级学位,在那里参加一个由 Andrew Ng、Christopher Manning、李飞飞和 Chelsea Finn 等知名专家领导的尖端人工智能项目,这为他提供了无与伦比的见解和指导。
Dido 对人工智能的热情体现在他对工作和实验的奉献精神上。多年来,他在设计、实现和优化机器学习模型方面积累了深厚的专业知识。他对 Python 的精通使他能够解决复杂的问题,并为各个领域的创新 AI 解决方案做出贡献。
[文件内容结束]


