数据驱动测试与精准测试-2025-上海站_QECon全球软件质量效能大会-橙柚科技

优惠倒计时

8折票抢购中

团购享受更多优惠

北京站 · 10月31-11月1日

上海站 · 9月12-13日

深圳站 · 5月23-24日

专场：数据驱动测试与精准测试

随着业务复杂度攀升与迭代节奏加快，传统测试模式愈发难以应对效率与覆盖度的双重考验。数据驱动测试与精准测试凭借数据赋能的精准定位、高效执行能力，成为突破质量保障瓶颈的关键方向。本专场聚焦该领域前沿发展，汇聚行业实践经验，深入探讨数据在测试全流程中的核心应用逻辑，解析如何通过数据技术构建更具针对性的测试体系。同时，分享企业落地实践中的技术选型、流程优化与效益平衡之道，助力从业者掌握数据驱动下的精准测试方法论，构建高效、可靠的软件质量保障体系。

专场出品人：熊志男

QECon专家顾问

QECon专家顾问，是QETalk访谈发起人，曾在京东和360担任研发效能和DevOps平台的产品专家。2023-2025年在360集团致力于通过LLM技术打造研发效能数字人、智能指标查询及报表生成系统，服务集团内千人规模产研团队。此前在京东担任研发效能和DevOps平台产品专家，主导参与两款平台建设，支持万人规模产研团队协作。负责的京东零售持续集成和代码质量平台成功从20人小范围使用扩展至全公司通用效能工具。2011年起作为测试技术社区TestWo核心成员参与"测试之旅"公益沙龙组织与测试白皮书编撰。2022年起担任"云上软件工程社区"研发效能和平台工程领域技术专家，持续推动行业最佳实践分享。

范雨欣

蚂蚁集团算法工程师

蚂蚁集团行业技术团队算法工程师，负责行业智能体评测工作。主要研究方向为合成数据与数据质量，致力于为智能体构造全流程提供海量多样化高质量数据支撑。

待定

面向行业智能体评测的高质量数据合成技术

数据资源是推动智能体（Agent）性能持续优化的核心驱动力。然而，当前在Agent项目落地与应用过程中，普遍面临高质量训练数据与评测数据短缺的挑战。尤其是在现实世界知识高质量数据获取受限的背景下，难以满足大规模Agent系统对数据多样性与丰富性的需求。针对此问题，合成数据技术已成为提升智能体能力和促进系统迭代的重要手段。通过系统性生成大规模、高质量的合成数据，可以有效支持Agent的训练与评估流程，为模型能力提升提供坚实的数据基础。

在此背景下，我们聚焦于多个关键技术方向：包括面向Agent个性化需求的数据合成流程设计，具备高吞吐能力的自动化数据合成框架构建，以及高质量数据生成与低质量数据自动筛除等技术。围绕上述方向，旨在解决合成数据过程中普遍存在的复杂数据场景覆盖不足、生成效率瓶颈和数据质量难以保障等核心问题，从而助力Agent系统在实际应用中的性能突破与创新发展。

内容大纲

1. 行业智能体评测流程及痛点分析
2. Synthi - 数据合成框架
3. 个性化数据合成

4. 未来展望

听众收益
1. 智能体评测全流程
2. 合成数据技术
3. 高效合成数据框架
4. 高质量数据分析理论

吴婷

阿里巴巴淘天集团高级测试开发工程师

阿里巴巴淘天集团用户技术团队高级测试开发工程师，目前主要负责淘宝广告外投业务全域的质量和稳定性保障，在端到端、稳定性、真机体验等专项上有一些创新。毕业后曾就职于网易（杭州）网络有限公司、有赞科技有限公司，对前中后台的质量保障都有一定积累。

待定

数据驱动下的广告可见性和真机体验实践分享

在业界的广告投放中，广告主能通过数据埋点得到流量、转化、成本等关键指标，从而更好地决策分人群和场景的投放，最优思路是多维数据驱动下极致精准的人-货-场匹配。但因为缺乏对广告曝光的“视觉”可见，无法感知到真实广告呈现-广告承接全流程中用户可能遇到的问题，数据的绝对“理性”无法回答：“感性”的用户为何不点击不停留不购买的问题。为此，我们引入了一套数据驱动下的广告真机可见性的方案来模拟用户与广告的交互，结合AI大模型等新技术，判定广告端到端的体验上存在的问题。

内容大纲
1. 广告可见性：先解决能看得见广告的问题
1.1 广告可见白名单设备
1.2 简化广告召回策略、裁剪不必要的定向逻辑，透出指定条件的素材或者承接参竞
1.3 参竞提价确保竞胜
2. 真机体验：再解决广告视觉的问题
2.1 广告挖掘：白名单设备使用ADB运行脚本，OCR+大模型判定找到目标广告
2.2 已知点位：脚本步骤编排化
2.3 未知点位：基于移动端Agent的元素识别和元素遍历
2.4 真机上报：端外曝光图片/视频、广告上下文、广告文本、端内承接页截图、点击唤端视频
3. 大模型判定：最后分析广告端到端存在的问题
3.1 用Prompt+知识库的方式搭建基于自然语言的Agent，基于大模型的视觉和思维推理能力，从多方面识别潜在的问题
3.2 素材可能的问题：尺寸不匹配、拉伸、截断、留白、元素不一致等
3.3 投放和承接一致性可能的问题：曝光商品在承接页面未还原、曝光素材中商品价格和承接页面商品价格不一致、

曝光页面和承接页面没有关联等
4. 数据驱动反哺体验和工程建设
4.1 通过真机上报数据中的问题点位特征，归类同类型风险点位，增加问题发现广度
4.2 通过大模型判定数据与真实评测结果的不断校准，提升prompt覆盖完备度，并分解成链式multi agent提升判定精确度
4.3 通过真机上报数据沉淀广告位物理尺寸资产集，作用于工程建设中的素材生产和圈选，提升广告投放准确度
5. 效能和收益
5.1 将广告体验和问题挖掘的人工操作全自动化，节约人工巡检人日
5.2 将纯工程处理的问题判定简化为大模型的自然语言规则，提升规则匹配的人效
5.3 发现典型问题包括但不限于：
5.3.1 参竞素材站外曝光时被替换
5.3.2 广告版位信息维护错误
5.3.3 营销氛围过期素材投放
5.3.4 曝光商品在承接页面无法还原、价格不一致等

听众收益
通过数据驱动的方法解决广告可见性的问题、用端上Agent的方式广泛识别广告点位、用OCR+大模型的方式识别广告真机体验链路可能存在的问题。让广告变得：可见、可寻、可知。

徐鸿玥

腾讯专项技术测试高级工程师

2016年加入腾讯IEG，现担任《和平精英》运营测试负责人。深耕游戏测试领域多年，曾参与并推动多款游戏产品的测试与上线工作。主导研发OTP专项测试平台及响应耗时专项测试，通过持续挖掘系统瓶颈、落实优化方案，有效提升业务质量与用户体验，为项目稳定运营提供坚实技术保障。

待定

游戏用户体验中的精准响应与动画一致性评测实践

随着玩家对游戏体验的要求进入毫秒时代，动画卡顿、操作延迟、手感飘忽、多端表现不一等“细微体验裂缝”，正成为影响玩家沉浸感与口碑的关键因素。传统的性能指标往往难以捕捉这些由用户直接感知、却难以量化的体验问题。本次分享重点介绍一套专注于用户感知的精准评测方案。通过创新性的端到端采集技术与智能对比算法，构建了一套精准捕捉响应耗时、解析动画帧一致性、并自动定位版本差异的体验评测体系，该方案已成功应用于多款大型网游。