业务痛点:场景自动化用例编写速度落后于业务。业务版本迭代快,业务调用链路长,大量接口字段、DB字段需校验,人工编写自动化用例成本较高。如何借助大模型提升场景自动化用例的编写效率和质量?
方案描述:
1. 解决思路:放弃基于文本用例生成自动化用例旧方案,将大问题转化成确定性的小命题,有效利用大模型优势。基于调用链/DB操作日志、接口/DB描述文档,采用分而治之的策略,依次生成每个接口的调用及测试断言代码,有效规避了当前大模型的多种局限性。
2. API接口文档/DB Schema描述文档内容规范, 每个接口独立自描述,大模型无需具备业务背景,规避了大模型欠缺领域知识的问题。
3. 基于调用链日志及接口/DB文档,借助大模型推理能力建立字段间的血缘关系,结合自定义的测试数据生成函数及日志中的测试数据,解决了测试数据构造难的问题。
4. 结果校验规则比较固定,校验返回值、校验DB字段等,通过分析日志建立字段间的验证关系。解决测试断言难的问题,同时断言覆盖更全面。
5. 场景用例代码流程相似,通过少量示例代码生成新场景代码,可有效利用大模型的泛化能力。
内容大纲
1. 业务背景及痛点分析
痛点:微企付业务,新需求多,链路长、人工编写场景自动化用例成本高
2. 场景自动化用例生成方案选型
2.1方案选型- 方案1:基于文本用例生成自动化用例的局限性
2.2 方案选型- 方案2:基于调用链的场景自动化用例的自动生成,落地可行性高
3. 场景自动化用例生成方案详述
3.1系统整体架构:基于混元的Multi-Agent应用
3.2场景用例脚手架代码生成
3.3 接口调用代码生成
3.4 结果检查代码生成
4. 落地效果:在金融业务上落地应用,单场景生成用例代码300~900行,人工仅需修改10~20行左右代码,节省人力50%以上,同时业务检查点更全面
5. 总结及落地时遇到的典型问题
6. 后续规划
听众收益
1. 了解当前大模型应用到自动化用例生成时的挑战
2. 了解一种有效规避大模型局限性来生成场景自动化用例的新思路
3. 了解该方案实施中遇到的典型问题,为借鉴实施带来参考价值