DS年初横空出世,开发开始加速使用AI编码,代码质量存在下降趋势。测试团队面临“保质量”与“智能化转型”的双重压力。如何运用AI重塑测试全流程,是每个测试团队都面临的难题,包括:如何串联用例设计,造数,自动化,加速工具/平台智能化,如何调动大型测试团队从迷茫,到理解、接受、拥抱,再到开始驾驭AI。
平安人寿质量团队经过近一年的全面探索,积累了一些教训和经验,上半年项目化探索,规划并持续落地最小闭环(α环),取得了一些成绩:自动化问题发现占比半年内提升50%,AI用例占比达到50%,AI纳入日常测试活动覆盖率100%。希望分享出来,为行业提供一些借鉴和启发。
内容大纲
1. 机遇和挑战
1.1 挑战
1.1.1 测试人力成本持续承压
1.1.2 自动化在AI下的期望持续拉升
1.1.3 大型老系统迭代代码质量下降
1.1.4 AI开发编码变快,自动化要求更高
1.2 机遇
1.2.1 模型幻觉和不可解释性更需要优秀的测试把关
1.2.2 利用AI展开测试左移(单测/tdd)与测试右移
1.2.3 自动化测试驱动模式的升级(管理→AI驱动)
1.2.4 开发代码质量下降(含安全问题)的评价和改进
2. 思考和应对:稳住,我们能赢
2.1 心态稳住:理解新事物,大模型祛魅、不过度焦虑
2.2 整体思考:AI重塑测试,提出AI闭环流程
2.3 关键破局:意识提升,回归自动化,小赢建立信心
2.4 走上轨道:项目集运作,时间线,自动化效果
3. 探索和实践
3.1 项目集运作
3.1.1 成果效果:
自动化问题发现占比:8%→29%(24年6月到25年7月)
AI覆盖率:7月:100%(人人都在DS)
用例替代率:7月:51%(测试用例编写)
3.1.2 项目化运作方式
3.2 走过的弯路
3.2.1 单点发力用例爆炸
3.2.2 端到端智能体幻想破灭
3.2.3 造数和自动化失去方向
3.3 AI闭环流程探索:用AI闭环将各场景串联起来
3.3.1 AI最小流程闭环(场景)
3.3.2 测试前:自动化KPI制定,测试用例设计
3.3.3 测试中:造数智能体,规则检查,UI自动化推动
3.3.4 测试后:缺陷管理-生产问题检查
3.4 先决条件
3.4.1 目标共识:用例替代率,执行占比,自动化缺陷发现占比
3.4.2 机制保障:项目集运作(横向组织,多组合力)
3.4.3 度量评价:形成抓手,持续观察和改进
3.4.4 工具平台:造数、UI自动化、接口自动化,大模型基建
3.4.5 知识工程:业务知识、测试规范、执行方式知识库
3.4.6 变革文化:信心,耐心,决心,心态转变
3.4.7 能力培训:大模型基础能力认证,覆盖率100%
4. 未来展望
4.1 三步战略:阿尔法闭环、推广扩大,持续迭代
4.2 趋势判断:角色转换、新的测试方式,主动转型
4.3 变革思考:引领者,跟随者,观望者,阻挠者
听众收益
大型测试团队如何避免 AI 单点应用陷阱,如何将 AI 的点状应用串成面,如何建立最小的测试全流程重塑闭环。