Python代码质量自动化：从测试覆盖到突变测试

### Python 代码质量自动化：从测试覆盖到突变测试 #### 1. 测试覆盖的局限性 在软件开发中，很容易编写一些无意义的测试来大幅提高测试覆盖率。因此，对于新项目的测试覆盖结果，我们要谨慎审查，不能将其视为项目代码质量的最终评判标准。软件质量不仅取决于测试的精准度，还与代码的可读性、可维护性和可扩展性相关，涉及代码风格、通用约定、代码复用和安全性等方面。幸运的是，这些编程领域的测量和验证在一定程度上可以实现自动化。 #### 2. 代码风格自动化与代码检查工具 代码通常读起来比写起来更难，无论使用哪种编程语言。如果软件代码编写不一致、格式怪异或不符合编码约定，那么它很难成为高质量的代码。这不仅会使代码难以阅读和理解，还会给代码的扩展和维护带来困难。为了提高代码库的一致性，程序员会使用代码检查工具（linters）来验证代码风格和各种编码约定。部分工具还能查找看似无害但可能存在问题的代码结构，例如： - 未使用的变量或导入语句 - 从类外部访问受保护的属性 - 重新定义现有函数 - 不安全地使用全局变量 - 异常子句的无效顺序 - 抛出错误（非异常）类型 在 Python 社区中，代码检查工具主要分为两类： | 类型 | 特点 | 示例 | | ---- | ---- | ---- | | 风格修复工具 | 专注于编码约定，强制执行特定的样式指南，能自动发现并修复样式错误 | black、autopep8、yapf、isort | | 经典检查工具 | 更关注可能导致错误和/或未定义行为的可疑/危险结构，通常只报告问题，不能自动修复 | pylint、pyflakes、pycodestyle | 风格修复工具和经典检查工具在编写高质量软件时都不可或缺。经典检查工具如 pyflakes 和 pylint 有大量的错误、警告和自动建议规则，且规则列表还在不断扩展。不过，将这些检查工具引入现有大型项目时，通常需要进行一些调整以匹配常见的编码约定。而风格修复工具通常需要很少的配置甚至无需配置。 以下是使用 black 工具进行代码格式化的示例： ```bash # 格式化当前工作目录下的所有源文件 $ black . ``` 运行 black 工具后，会显示格式化的文件信息，例如： ``` (...) reformatted /Users/swistakm/dev/Expert-Python-Programming-Fourth-Edition/Chapter 8/01 - One step deeper: class decorators/autorepr.py reformatted /Users/swistakm/dev/Expert-Python-Programming-Fourth-Edition/Chapter 6/07 - Throttling/throttling.py All done! ✨ 🍰🍰 ✨ 64 files reformatted, 37 files left unchanged. ``` black 工具还可以使用 `--check` 标志以仅检查模式运行，用于共享构建系统中的样式验证步骤，实现更改的持续集成。 #### 3. 静态类型分析 Python 不是静态类型语言，但支持自愿的类型注解。借助高度专业化的检查工具，Python 代码几乎可以达到与传统静态类型语言相同的类型安全性。目前，Python 领先的静态检查工具是 mypy，它可以分析使用 `typing` 模块的类型提示层次结构定义的函数和变量注解。使用 mypy 时，无需对整个代码进行类型注解，这在维护遗留代码库时非常有用，可以逐步引入类型注解。 基本使用方法如下： ```bash # 验证指定路径下的代码 $ mypy <path> ``` mypy 会识别代码中带有类型注解的部分，并验证函数和变量的使用是否与声明的类型匹配。此外，主流 Python 开发还通过 Typeshed 项目全面支持用于静态分析的类型提示。 #### 4. 测试质量与突变测试 到目前为止，我们主要讨论了应用代码的质量自动化，使用测试来提高整体软件质量并测量测试覆盖率。但测试代码的质量同样重要，糟糕的测试可能会给人一种安全和软件质量良好的错觉，其危害几乎等同于没有任何测试。 一般来说，基本的质量自动化工具也可应用于测试代码，如使用代码检查工具和风格修复工具来维护测试代码库。然而，这些工具无法对测试检测新老错误的能力进行量化测量。测量测试的有效性和质量需要不同的技术，其中一种就是突变测试。 突变测试基于这样的假设：软件的大多数故障是由小错误引起的，如越界错误、翻转比较运算符、错误的范围等，并且这些小错误会级联成更大的故障，应该能被测试识别。突变测试使用定义好的修改操作符（即突变）来模拟常见的小错误，例如： - 将 `==` 运算符替换为 `is` 运算符 - 将 0 字面量替换为 1 - 交换 `<` 运算符的操作数 - 给字符串字面量添加后缀 - 将 `break` 语句替换为 `continue` 在每次突变测试中，原始程序