
现在,我需要为我们的 Python linter(现有最严格的校验工具):wemake-python-styleguide 加上对 Python3.8的支持。在这个直接的任务(乍一看之下是如此)中,我发现有一些测试覆盖率的问题,在 Python 社区中根本没有解决。
我们来深入研究一下。
基于环境的逻辑
Python3.8 的更新中引入了一个新的 API。此前,我们已经知道 visit_Num,visit_Str,visit_NameConstant函数(实际上我们不关心它们实现了什么,而只关心它们的命名),但现在我们要用 visit_Constant 来替换前面的函数。
那么,我们就必须要在应用程序中编写一些兼容层面的代码来支持 Python3.8,以及之前的 Python3.6 和 Python3.7 发行版。
首先,我试着创建一个 route_visit 函数,来保证所有版本的功能正常。为此我还需要定义下面这样一个 PY38 常量:

运行效果不错。我们成功地运行我的测试代码。唯一美中不足的就是覆盖率问题了。我们使用 pytest 和 pytest-cov 来检查应用的测试覆盖率,还强制执行了 --cov-branch 和 --cov-fail-under=100 策略。这会强制涵盖我们的所有代码及其内部的所有分支结构。
我的解决方案还存在以下问题:我要么是在 python3.8 编译的代码上只覆盖到了 if PY38: 分支,要么是在其他版本上只覆盖到了 else: 分支。我没有在程序中覆盖 100% 的代码,实际上这也是不可能的。
常见陷阱
开源库通常会遇到上面这种问题。它们需要使用到不同的 python 版本,会遇到第三方 API 变更、向后兼容等问题。你可能在某些地方看到下面的示例:

参考这些例子,可以确定的是 100% 覆盖率是不可能的了。在这些案例中,在一些情况下还是可以满足 100% 覆盖率的:
使用 # pragma: no cover 注释,可以将单行或者代码块从覆盖率中排除。
或者将所有与兼容性相关的检查写到一个特殊的 compat.py 文件中,然后将其从之后的覆盖率范围中排除。
第一种方法如下:

说实话,这种方法看上去有些低级。但是,它们确实在起作用。并且我在工作中也多次使用过这种方式。
有意思的是,我们不是应该用最精确和可视化的测试来检查这些复杂的集成部分吗?因为这些集成的部分正是程序中出问题最多的地方。目前,我们还只是将它们从覆盖率中忽略,假装这些问题不存在而已。
因此,这次我觉得我不应该简单地将兼容性判断的逻辑排除掉。我有了一个新的主意。
条件式覆盖
我的想法是,# pragma 注释中还可以包含更多的信息。不仅仅只是 no cover ,或者还有 no cover when?。于是就有了 coverage-conditional-plugin。我们现在来看看它是怎么工作的!
首先,我们需要安装这个插件:

然后我们需要 配置 一下 coverage 以及插件本身:

注意这里的 rules 属性,它很重要。这里的规则定义了我们是否需要将行尾标注 # gragma 的行加入到我们的覆盖率中。下面有一些例子:

这里执行起来非常清晰:我们定义了一些条件映射,如果满足条件则添加这些代码到覆盖率中,反之亦然。
接下来看看我们上面的例子中加上了这些注释之后的样子:

这些代码表示了什么呢?如果我们是在 py-lt-38 环境下运行,则忽略 if PY38 部分。不过却要覆盖到 else: 部分。因为我们明白程序会怎么执行,以及如何进行更好的覆盖。与之相反,如果我们是在 py-gte-38 环境下运行,则覆盖 if PY38 部分而忽略 else: 部分。
我们可以测试一下这样写是不是正确的。在 PY38 分支部分添加一些无意义的代码,然后看看它是否会被 python3.8 编译程序所覆盖。

我们可以看到,绿色标志显示已经被覆盖的行,黄色部分表示未被完全覆盖的分支,红色部分表示该行未被覆盖。下面的例子中灰色部分或者说被忽略的行表示执行时处于相反条件的结果。

在这里你可以看到完整的示例代码。
这里还有一个使用 django 的例子,展示了如何处理外部依赖包:

我们这里使用了相同的逻辑。首先我们是不是已经在测试环境安装了 django(通过一个简单的辅助方法 is_installed 可以知道)?如果是已经安装了,则会覆盖 try: 部分,如果不是,则会覆盖 except ImportError: 分支部分。但是不管如何总会覆盖一些代码。
总结
我希望你能理解这种思想。条件式覆盖允许你添加或者忽略代码行,并且在每次运行时计算覆盖率,而不是仅仅忽略那些复杂的条件,然后睁大眼睛盯着看。记住,重要的是我们需要覆盖到的代码。
顺便说一下,我们有多种辅助方法来查询当前所处的环境:
os_environ 环境变量
patform_release 和 platform_version 基于系统的数据信息
pkg_version 返回包版本信息(功能如其名)
还有其他很多
这个小插件对于需要处理兼容性问题和不确定环境的库作者来说很有用。coverage-conditional-plugin 可以为他们背书。如果你喜欢这个想法,请在 Github 上给一个 star。并且可以阅读更多关于项目的文档信息。
英文原文:https://sobolevn.me/2020/02/conditional-coverage
译者:居老师的龙尾巴


