人类天性中有一个普遍真理：编写代码的开发者不应由他们自己来测试。首先，大多数人几乎都讨厌这项任务。其次，如同任何良好的审计流程一样，执行工作的人不应是验证工作的人。
因此，各种形式的代码测试——包括可用性测试、语言或任务特定测试、端到端测试——已成为越来越多生成式AI初创公司的关注焦点。每周，《TechCrunch》都会报道新的相关公司，例如融资4700万美元的Antithesis、融资1100万美元的CodiumAI、融资2000万美元的QA Wolf，以及新晋Y Combinator毕业生Momentic等。
另一家是成立仅一年的初创公司Nova AI。作为Unusual Academy加速器毕业企业，其已筹集100万美元种子前轮资金。创始人兼CEO Zach Smith表示，Nova AI正试图打破硅谷关于初创公司运营的常规规则，利用端到端测试工具超越竞争对手。
与标准YC模式从小处着手不同，Nova AI瞄准拥有复杂代码库且需求迫切的中大型企业。Smith虽未透露具体客户名称，但指出目标客户主要是电商、金融科技或消费品领域的后期阶段（C轮及以后）风投支持企业，以及“重度用户体验”场景。“这些功能的停机成本高昂。”
Nova AI的技术通过分析客户代码，利用生成式AI自动构建测试。它特别针对持续集成和持续交付/部署（CI/CD）环境，即工程师不断将代码片段发布到生产环境的场景。
Nova AI的想法源于Smith与联合创始人Jeffrey Shih在大型科技公司的工程经历。Smith曾是谷歌云团队员工，帮助客户使用大量自动化技术；Shih此前在Meta工作（此前还在Unity和微软任职），拥有涉及合成数据的罕见AI专业背景。随后，AI数据科学家Henry Li加入成为第三位联合创始人。
Nova AI遵循的另一条差异化规则是：尽管大量AI初创公司基于OpenAI行业领先的GPT构建，但Nova AI尽可能少使用Chat GPT-4，且不向OpenAI提供任何客户数据。
Smith表示，尽管OpenAI承诺付费商业计划用户数据不会用于训练模型，但企业仍缺乏信任。“当我们与大型企业交谈时，他们说：‘我们不想让我们的数据进入OpenAI。’”
大型公司的工程团队并非唯一持有这种看法的人。OpenAI正面临多起诉讼，原告不希望其作品被用于模型训练，或认为其作品未经授权且未获报酬地出现在输出中。
相反，Nova AI主要依赖Meta开发的Llama、BigCoder社区（由ServiceNow和Hugging Face开发）的StarCoder等开源模型，并构建自有模型。Smith表示，虽然尚未在客户中使用Google Gemma，但测试结果显示良好。
例如，OpenAI提供用于向量嵌入的模型，可将文本块转换为数字以便大语言模型进行聚类等操作。Nova AI不使用OpenAI嵌入，而是对客户源代码采用开源方案。它仅使用OpenAI工具辅助生成部分代码和执行标记任务，并竭尽全力避免向OpenAI发送任何客户数据。
Smith解释说：“在这种情况下，我们没有使用OpenAI的嵌入模型，而是部署了自有的开源嵌入模型，这样在遍历每个文件时，就不会将其发送到OpenAI。”
Smith发现，不将客户数据发送给OpenAI不仅能让企业安心，开源AI模型也更便宜，且足以胜任特定的定向任务。在这种情况下，它们非常适合编写测试用例。
他说：“开源LLM行业确实证明，当专注于非常狭窄的领域时，它们能够击败GPT-4等大型通用模型。我们不需要一个能告诉你奶奶生日想要什么的庞大模型，只需要编写测试用例。因此，我们的模型是专门为此微调的。”
开源模型也在迅速进步。例如，Meta最近推出的新版Llama获得科技界赞誉，这可能会说服更多AI初创公司考虑OpenAI的替代方案。