本文以 Codecov 攻击事件为例,指出 CI/CD 流水线已成为现代软件供应链的重大安全隐患。作者强调流水线应被视为生产环境的延伸,必须通过代码校验、网络访问限制、弃用静态凭证及实施持续治理来构建安全屏障。
译自:The call is coming from inside your pipeline: the anatomy of a Codecov attack[1]
作者:Zeen Rachidi
2021 年 1 月,一名攻击者向一个流行的 bash 脚本中添加了一行代码。成千上万的组织下载了该脚本,并将其作为持续集成工作流的一部分运行。在每次运行、每次提交、每个流水线中,该脚本都会忠实地将 CI 运行器中的所有环境变量发送到一个未知的 IP 地址。这种情况持续了六十一天,才有人注意到。
此后的几年里,人们希望这只是一个特例的愿望落空了。2024 年的 XZ Utils 后门事件,是由一名 Microsoft 工程师偶然发现的——他注意到自己的 SSH 登录速度慢了半秒。这是一个耐心的维护者在花费约两年时间建立信任后,才将远程代码路径植入到一个几乎每个 Linux 发行版都包含的压缩库中。
几个月后,polyfill.io 的接管事件在域名易手后的几天内,就将一个嵌入在数十万个网站中的脚本变成了一个恶意软件分发网络。npm 和 PyPI 仓库已经沦为不断受到侵害的重灾区,以至于没人再去统计被攻破的软件包数量。Codecov 不再是一个警示故事,它成了范本。
“Codecov 不再是一个警示故事,它成了范本。”
这个故事有趣的地方不在于 Codecov 这家公司在 2021 年经历了一段艰难的时期,而在于使其攻击成为可能安全模型,这并非某个厂商独有的异常,而是几乎所有现代软件构建方式的结构性特征。
核心论点很简单:流水线即边界。护城河不在生产环境的前面,而是在部署生产环境的工具周围。
边界问题
二十年来,安全架构一直将生产环境视为城堡,将外界视为荒地。防火墙、WAF、网络隔离和 IAM 策略大多指向外部。你对它们的信任程度非常有限,考虑到它们的无形本质,这种信任其实相当脆弱。
问题在于,现代生产环境不是城堡,而是一个构造体。代码提交变成制品,制品变成部署,部署变成能够访问客户数据库的运行中基础设施。在这个链条的每一个环节,自动化系统都持有权限过大的凭证——如果你不仔细审视,这些权限实际上等同于“想做什么都可以”。
你的 CI 运行器持有你的 AWS 密钥。你的构建代理拥有你的 容器仓库[2] 凭证。你的部署步骤可以与 Kubernetes 通信。原则上,实习生的 GitHub Action 甚至可以向 main 分支推送代码。如果其中任何一个环节被攻破,所谓“生产环境”的区分就失去了意义。
“每一个新的团队、工具和集成都扩大了能够读取你机密信息的范围,而流水线几乎从未获得与其所交付的基础设施同等级别的治理。”
Codecov 事件是一个典型的例子,但它并不例外。它只是当一个拥有流水线权限的工具被入侵时会发生的情况。在拥有足够多的工具和足够长的时间下,入侵在统计学上是必然的。规模是一个没人为其预留预算的变量。每一个新的团队、工具和集成都扩大了能够读取你机密信息的范围,而流水线几乎从未获得与其所交付的基础设施同等级别的治理。
发生了什么
Codecov 生产了一个名为 Bash Uploader 的小型 bash 脚本。它从 CI 运行中收集代码覆盖率报告,并将它们发回 Codecov 进行处理。要使用它,你需要在 CI 配置中添加一行:一个通过 curl 获取脚本并直接通过管道传输给 bash 的命令。
该脚本托管在 Google Cloud Storage[3] 的存储桶中。Codecov 还构建并发布了其自托管产品的 Docker 镜像,在其中一个公共镜像的中间层里,他们嵌入了一个 HMAC 密钥,用于控制存储桶的 Google Cloud Storage 服务账号。这类错误通常发生在那些事务繁忙的人身上。
2021 年 1 月 31 日,攻击者从 Docker 层中提取了该密钥,利用它直接修改了存储桶中的 Bash Uploader,并开始向每个下载它的客户提供修改后的脚本。修改内容只有一行,位于一个 1800 行脚本的第 525 行左右——这正好是大多数人 停止阅读代码[4] 的区域,因为那部分代码看起来只是在处理无聊的代码覆盖率事务。这行代码运行了 env 命令,打印出当前 shell 中的所有环境变量,并将输出 POST 到由攻击者控制的服务器。
CI 运行器通常包含组织拥有的所有敏感信息:AWS 访问密钥、GitHub 令牌、部署密钥、数据库凭证、Slack webhook 以及部署流水线集成的所有 SaaS 的 API 密钥。这个修改后的脚本在两个月内,针对数万名客户的每一次运行,忠实地泄露了所有这些信息。
这次破坏直到 2021 年 4 月 1 日才被发现。发现它的既不是 Codecov,也不是入侵检测系统,而是一位碰巧将下载的脚本与 Codecov 发布的 SHA256 值进行校验的客户,他发现两者不匹配,于是写信给 Codecov 询问这是否是故意的。
已确认的下游受害者名单包括 HashiCorp、Twilio、Rapid7 和 Confluent。实际的影响范围无法估量,因为一旦被泄露的凭证被用于克隆私有仓库,追踪轨迹就会延伸到其他人的环境,并获取他们的机密。
这暴露出的结构性问题
人们很容易将 Codecov 事件归咎于“Docker 镜像维护不当”并翻篇。这是一个错误。Docker 层的问题是攻击者 如何 进入的,而不是攻击之所以具有毁灭性的 原因。
这次攻击之所以具有毁灭性,是因为几乎地球上所有的 CI/CD 流水线都存在一个假设:你同意在流水线中运行的任何工具都可以信任,并拥有它所持有的所有机密。
这个假设本身并不疯狂,只是缺乏执行机制。典型的 CI 运行器没有“该步骤可以查看机密 A 但不能查看机密 B”,或者“该步骤可以调用 AWS 但不能访问国外随机 IP”这种有意义的概念。大多数流水线会将完整的凭证包交给运行的每一个步骤,其理由听起来很合理:这些步骤是由在那里工作的人配置的。
“这次攻击之所以具有毁灭性,是因为几乎地球上所有的 CI/CD 流水线都存在一个假设:你同意在流水线中运行的任何工具都可以信任,并拥有它所持有的所有机密。”
任何你通过 curl | bash 到运行器中的工具都会继承你流水线的权限。通过标签引用的 GitHub Action、你拉取的容器镜像、以及三个版本前因疏忽被引入依赖项的辅助脚本,它们也一样。能读取你环境变量的工具列表就是你在流水线中运行的所有东西,这个列表比大多数安全评估所承认的长得多,而且每个季度都在变长。
这也是为什么自 2021 年以来供应链攻击并未放缓的原因。Codecov 的故事在不同的生态系统中每隔几个月就会以不同的版本上演。这种攻击类型是结构性的,修复措施也必须是结构性的。
修复方案是什么
将三项治理控制结合起来,本可以将 Codecov 的破坏变成一个脚注。这些都不是什么高深莫测的技术。它们都需要将流水线视为生产基础设施,而不是开发者的便利设施。
验证实际运行的内容。 最终抓获此次攻击的客户是通过比较 SHA256 校验和做到的。Codecov 一直在发布哈希值,但几乎没有人去检查。流水线不应在未验证签名或校验和的情况下执行任意提取的代码(脚本、容器、Terraform 提供程序、GitHub Actions)。通过提交 SHA 而非标签锁定 Actions、验证提供程序签名,以及在任何部署触及云账户之前对 IaC 进行静态扫描,这些已不再是专家级的实践。像 Checkov、TFsec、Trivy 和 TFLint 这样的扫描器可以在流水线内部作为一个步骤运行,在任何状态被触碰之前执行。这是最基本的要求。将它们视为可选项的代价就是两个月的泄露窗口。
限制流水线的通信范围。 Bash Uploader 通过从 CI 运行器内部向任意互联网主机发出出站 HTTPS 请求来泄露数据。大多数 CI 运行器可以这样做,因为没有人告诉它们不能这样做。在私有网络中运行、且出口流量限制为已知白名单的受控运行器,会将“将 env 输出 POST 到随机服务器”变成一次失败的网络调用。一个只能连接到你的 VCS、云 API 和声明的一组外部依赖项的运行器,无论其脚本中被偷偷插入了什么,都无法被改装成一个通用的凭证泄露工具。
停止向流水线分发静态机密。 这是最关键的改变,也是行业内最迟缓的变革。env 命令对攻击者之所以有效,是因为大多数 CI 环境充斥着长期存在的静态凭证:多年有效的 AWS 访问密钥、直到有人想起轮换之前一直有效的 GitHub PAT。联合身份验证(Federated identity)完全改变了问题的形态。使用 OIDC,流水线不存储任何凭证。它出示一个已签名的断言,描述它所处的环境、正在运行的工作流以及正在部署的提交,云提供商会将该断言交换为仅用于即将执行的操作的短效令牌。被泄露的断言几分钟后就没用了,而被泄露的令牌在一小时内就会失效,且无法在断言描述的条件之外使用。
一个通过 OIDC 向 AWS、Azure、GCP 和 Vault 进行身份验证,运行在出口白名单限制的网络片段中,并验证其依赖的制品和提供程序的流水线,即使在 Codecov 场景下,产生的恶意脚本也几乎无法实现任何目的。env 的输出不包含长期机密,泄露目的地无法触达,修改后的脚本在运行前就因校验失败而终止。
这些控制措施并不能防止最初的入侵,但它们让初期的入侵变得毫无价值,这是次优选择,也是大多数时候可以实现的目标。
像对待生产环境一样对待流水线
还有一项改变,比起技术层面,它更偏向于文化层面。流水线需要获得与生产环境同等的治理。这意味着每次部署都要有审计日志、敏感操作需要审批政策(最好是 策略即代码[5]),以及 基于角色的访问控制[6],以防止开发人员无意中赋予流水线超过其角色许可的权限。这也意味着需要 漂移检测[7],使代码定义与实际运行之间的差距不再是小圈子里的内部知识,而是一个可追踪、可告警的事实。
“这些控制措施并不能防止最初的入侵,但它们让初期的入侵变得毫无价值。”
这虽然不怎么令人兴奋,但它却是一个“攻击面 CI/CD 系统”和一个“强制执行点 CI/CD 系统”之间的区别。
将这四项控制措施放在一起,它们描述了一个单一的理念:流水线值得与其交付的基础设施拥有同等的 持续治理[8]:不是一次性的安全审查,而是贯穿变更运行前、运行中以及落地后的控制。验证运行内容、限制通信范围、移除静态凭证,并用审计追踪和强制策略来治理每一次部署,这些不是外挂的安全功能,而是应用于整个栈中最长久以来被视为“便利设施”的那部分的治理逻辑,无论是一个团队运行十条还是十万条流水线,治理方式都应统一。
你的流水线是边界的一层,而目前,它是最薄弱的那一层。在它存在的大部分时间里,它被视为生产力工具而非安全边界。Codecov 的攻击者在 2021 年就理解了这一点。下一批攻击者,通过扫描公共 Docker 镜像寻找未被发觉的层,且行动速度比五年前快得多,他们也理解这一点。如果我们不能同样理解它,我们将继续支付越来越高的代价。
引用链接
[1] The call is coming from inside your pipeline: the anatomy of a Codecov attack:https://thenewstack.io/codecov-supply-chain-attack/[2]容器仓库:https://thenewstack.io/open-container-initiative-creates-a-distribution-specification-for-registries/[3]Google Cloud Storage:https://thenewstack.io/google-cloud-a-deep-dive-into-gke-sandbox-for-agents/[4]停止阅读代码:https://thenewstack.io/future-of-code-reviews/[5]策略即代码:https://www.env0.com/blog/how-policy-as-code-enhances-infrastructure-governance-with-open-policy-agent-opa[6]基于角色的访问控制:https://www.env0.com/blog/custom-rbac-roles[7]漂移检测:https://www.env0.com/lp/drift-detection-and-remediation[8]持续治理:https://www.env0.com/solutions/cloud-governance-and-risk-management

