作者|沙丘智库研究团队
来源|沙丘社区(www.shaqiu.cn)
过去十年,AI在软件测试领域的应用取得显著进展,极大地推动了测试方法从传统手工测试向自动化测试的转变。随着大模型的出现,软件测试又进一步迈向了智能化测试的新阶段,为软件质量保障带来了更高效、更精准的解决方案。
为了满足快速创新和频繁交付的需求,软件工程团队正在利用AI工具增强软件开发。而为了适应加速的交付周期,同时确保软件质量不受影响,测试团队则采用AI测试工具来增强质量工程。信通院的调研数据显示,2023年和2024年软件测试阶段AI技术应用比例达到63.62%和68.65%,仅次于软件开发阶段。
大模型的优势在于推理和文本生成,AI生成测试用例是当前AI测试工具应用范围最广、技术成熟最高的场景。
AI测试用例生成是指利用大语言模型或其他机器学习技术,自动分析需求文档、接口定义、代码或历史测试数据,输出结构完整、可直接执行或仅需少量调整的测试用例的过程。
当前,利用大模型生成测试用例的方式主要有两种:第一种是批量测试生成,将用户故事或功能细节输入到大模型中,快速生成大量测试用例;第二种是针对性生成,通过特定的提示词来生成特定场景的测试用例。这两种方式生成测试用例的有效性取决于输入数据的质量和提示词的精确性。
虽然大模型在测试用例生成方面具有巨大的潜力,但过度依赖大模型生成的测试用例往往导致测试覆盖不全面、关键场景遗漏、细微行为忽视等问题,这些问题可能会在生产环境中暴露出来,从而影响软件质量。
AI生成测试用例主要的局限性如下:
第一,使用未经授权的AI测试工具导致敏感信息泄露;
第二,大模型可能生成带有幻觉的测试用例;
第三,大模型倾向于生成正向测试用例,忽视了负向测试、边界测试和异常处理等场景;
第四,RAG未能有效提高测试用例生成的准确性;
第五,大模型生成的测试用例往往是基于当前需求的反应式生成,缺乏前瞻性和主动性的设计;
第六,AI测试工具带来额外的运营开销导致成本不可持续;
第七,测试人员过度依赖AI测试工具导致测试技能退化。
沙丘智库正式发布《2025年AI生成测试用例最佳实践报告》,本报告将详细解读AI生成测试用例的工作原理,提出针对AI生成测试用例局限性的应对措施。此外,报告将分享来自工商银行、邮储银行、国泰海通证券、杭银消费金融、美团、淘天集团、酷狗音乐等7家先行者的实际案例,总结他们如何成功地将AI融入测试流程,以及在此过程中沉淀的最佳实践。
报告目录
第一部分 AI生成测试用例实践指南
1.AI驱动软件测试发展历程
2.企业AI测试工具采纳情况
3.AI生成测试用例的定义与范围
4.AI生成测试用例的局限性与应对措施
5.AI生成测试用例的最佳实践
5.1 避免敏感信息泄露
5.2 防止大模型生成幻觉测试用例
5.3 对抗测试用例偏差
5.4 RAG流程优化
5.5 主动的测试用例生成
5.6 有效控制AI生成测试的成本
5.7 避免过度依赖AI工具导致的技能退化
6.给企业用户的建议
第二部分 AI生成测试用例典型案例
案例1:中国工商银行智能测试设计实践
案例2:邮储银行知识驱动的智能测试分析实践
案例3:国泰海通证券测试智能化实践
案例4:杭银消费金融测试用例自动生成实践
案例5:美团手工用例智能化生成实践
案例6:淘天基于AI的智能用例生成实践
案例7:酷狗音乐AI用例生成实践
*更多生成式AI研究可前往“沙丘智库”小程序查阅
*有任何需求可咨询客服微信:zimu738

