议题背景:
在软件质量保障中,测试效能决定了团队能否跟上交付节奏。业务复杂度上升后,手工编写用例和人工代码审查逐渐触及瓶颈:用例产出慢、评审偏重实现逻辑、功能缺陷发现偏后。
本次分享围绕六个问题展开:
质量工作如何从人工处理走向自动协同?
部门如何打通 AI 用例生成,并把用例采纳率做到 67% 以上?
如何靠数据持续优化,使公司内多部门采纳率达到约六至八成?
如何用测试视角开展智能代码审查(CR),提前发现功能缺陷?
如何由多 Agent 跑通需求到发布,并在关键处人工把关?
这些能力如何继续演进为日常可用的智能测试助手?
分享基于部门自研的 Cursor 插件,覆盖用例生成、智能 CR 与需求到发布的质量链路,并已在公司内推广使用。
内容大纲:
1. 缘起:质量工作从人工处理走向自动协同
手工用例和人工审查跟不上需求吞吐。用例标准不统一,历史逻辑依赖重,代码审查缺少测试预期,基础工作占用大量人力。
2. 起步:部门打通用例生成,采纳率超过 67%
载体: 对比自研平台与 IDE 原生集成,能力落地为 Cursor 插件,便于接入日常研发流程,生成过程也可人工干预。
选型与合规: 内网场景对比 MCP 与 API。MCP 失败率约 4%、单次耗时数分钟;API 失败率约 0.5%、单次耗时 15 秒内。接入单点登录(SSO),按角色做权限分级,只获取使用者本人有权访问的文档与代码。
约束与知识: 从提示词、规则演进到 Skill,用例采纳率约从 15%、36% 提升至 54%。通用知识库与业务知识库分层建设,检索采用过滤、混合召回和重排序,冷启动阶段先搭结构、再按反馈补充。
阶段结果:插件异常率低于 0.5%,用例采纳率超过 67%。
3. 提效:靠数据持续优化,公司内多部门采纳约六至八成
评估: 统一埋点,从使用、质量、生成和项目维度追踪采纳率,定位低采纳原因,包括底层改动难以从文档推导、模板噪音、缺少代码变更、需求关键信息缺失。
优化: 补充代码变更分析,扩展表格、思维导图和嵌套文档的读取,支持业务按低采纳用例补充知识,形成「生成、校验、沉淀、再召回」的闭环。
推广: 先评估再推广。部门自研能力进入公司内多部门使用,用例采纳率提升至约六至八成。
4. 外延:用测试视角开展智能 CR,提前发现功能缺陷
以用例中的测试场景与预期结果核查代码实现,结合代码变更和调用链走查,在测试执行前发现功能缺陷。
5. 串联:多 Agent 跑通需求到发布,关键处人工把关
按角色编排 Agent,覆盖需求到发布的关键质量活动。关键节点保留人工审核,避免质量判断完全自动放行。
6. 展望:继续演进为日常可用的智能测试助手
复盘关键决策:合规先行,稳定性优先,先评估再推广,以 Skill 化支持后续复用。后续把用例生成与智能 CR 收成统一能力,嵌入日常研发流程。
听众收益:
缘起判断: 看清手工用例与人工审查的瓶颈,明确自动协同要先补上的质量缺口。
落地路径: 获得 Cursor 插件、API 选型、SSO 权限分级、Skill 约束和知识库分层的建设方法。
提效方法: 学会用采纳率定位低质量成因,并用数据把能力推广到公司内多部门。
智能 CR: 了解如何用测试场景与预期结果核查代码,提前发现功能缺陷。
流程串联: 了解多 Agent 如何覆盖需求到发布,以及关键节点如何保留人工把关。
后续演进: 看到部门能力进入日常使用后,如何继续沉淀为智能测试助手。