专场：数据驱动测试与精准测试
......
专场出品人：
......
......
范雨欣
蚂蚁集团 算法工程师
蚂蚁集团行业技术团队算法工程师，负责行业智能体评测工作。主要研究方向为合成数据与数据质量，致力于为智能体构造全流程提供海量多样化高质量数据支撑。
待定
待定
面向行业智能体评测的高质量数据合成技术
数据资源是推动智能体（Agent）性能持续优化的核心驱动力。然而，当前在Agent项目落地与应用过程中，普遍面临高质量训练数据与评测数据短缺的挑战。尤其是在现实世界知识高质量数据获取受限的背景下，难以满足大规模Agent系统对数据多样性与丰富性的需求。针对此问题，合成数据技术已成为提升智能体能力和促进系统迭代的重要手段。通过系统性生成大规模、高质量的合成数据，可以有效支持Agent的训练与评估流程，为模型能力提升提供坚实的数据基础。
在此背景下，我们聚焦于多个关键技术方向：包括面向Agent个性化需求的数据合成流程设计，具备高吞吐能力的自动化数据合成框架构建，以及高质量数据生成与低质量数据自动筛除等技术。围绕上述方向，旨在解决合成数据过程中普遍存在的复杂数据场景覆盖不足、生成效率瓶颈和数据质量难以保障等核心问题，从而助力Agent系统在实际应用中的性能突破与创新发展。
内容大纲
1. 行业智能体评测流程及痛点分析
2. 合成数据技术介绍
3. 个性化数据合成框架
4. 高质量数据生成与管控
听众收益
1. 智能体评测全流程
2. 合成数据技术
3. 高效合成数据框架
4. 高质量数据分析理论
吴婷
阿里巴巴淘天集团 高级测试开发工程师
阿里巴巴淘天集团用户技术团队高级测试开发工程师，目前主要负责淘宝广告外投业务全域的质量和稳定性保障，在端到端、稳定性、真机体验等专项上有一些创新。毕业后曾就职于网易（杭州）网络有限公司、有赞科技有限公司，对前中后台的质量保障都有一定积累。
待定
待定
数据驱动下的广告可见性和真机体验实践分享
在业界的广告投放中，广告主能通过数据埋点得到流量、转化、成本等关键指标，从而更好地决策分人群和场景的投放，最优思路是多维数据驱动下极致精准的人-货-场匹配。但因为缺乏对广告曝光的“视觉”可见，无法感知到真实广告呈现-广告承接全流程中用户可能遇到的问题，数据的绝对“理性”无法回答：“感性”的用户为何不点击不停留不购买的问题。为此，我们引入了一套数据驱动下的广告真机可见性的方案来模拟用户与广告的交互，结合AI大模型等新技术，判定广告端到端的体验上存在的问题。
内容大纲
1. 广告可见性：先解决能看得见广告的问题
1.1 广告可见白名单设备
1.2 简化广告召回策略、裁剪不必要的定向逻辑，透出指定条件的素材或者承接参竞
1.3 参竞提价确保竞胜
2. 真机体验：再解决广告视觉的问题
2.1 广告挖掘：白名单设备使用ADB运行脚本，OCR+大模型判定找到目标广告
2.2 已知点位：脚本步骤编排化
2.3 未知点位：基于移动端Agent的元素识别和元素遍历
2.4 真机上报：端外曝光图片/视频、广告上下文、广告文本、端内承接页截图、点击唤端视频
3. 大模型判定：最后分析广告端到端存在的问题
3.1 用Prompt+知识库的方式搭建基于自然语言的Agent，基于大模型的视觉和思维推理能力，从多方面识别潜在的问题
3.2 素材可能的问题：尺寸不匹配、拉伸、截断、留白、元素不一致等
3.3 投放和承接一致性可能的问题：曝光商品在承接页面未还原、曝光素材中商品价格和承接页面商品价格不一致、
内容大纲
1. 广告可见性：先解决能看得见广告的问题
1.1 广告可见白名单设备
1.2 简化广告召回策略、裁剪不必要的定向逻辑，透出指定条件的素材或者承接参竞
1.3 参竞提价确保竞胜
2. 真机体验：再解决广告视觉的问题
2.1 广告挖掘：白名单设备使用ADB运行脚本，OCR+大模型判定找到目标广告
2.2 已知点位：脚本步骤编排化
2.3 未知点位：基于移动端Agent的元素识别和元素遍历
2.4 真机上报：端外曝光图片/视频、广告上下文、广告文本、端内承接页截图、点击唤端视频
3. 大模型判定：最后分析广告端到端存在的问题
3.1 用Prompt+知识库的方式搭建基于自然语言的Agent，基于大模型的视觉和思维推理能力，从多方面识别潜在的问题
3.2 素材可能的问题：尺寸不匹配、拉伸、截断、留白、元素不一致等
3.3 投放和承接一致性可能的问题：曝光商品在承接页面未还原、曝光素材中商品价格和承接页面商品价格不一致、
曝光页面和承接页面没有关联等
4. 数据驱动反哺体验和工程建设
4.1 通过真机上报数据中的问题点位特征，归类同类型风险点位，增加问题发现广度
4.2 通过大模型判定数据与真实评测结果的不断校准，提升prompt覆盖完备度，并分解成链式multi agent提升判定精确度
4.3 通过真机上报数据沉淀广告位物理尺寸资产集，作用于工程建设中的素材生产和圈选，提升广告投放准确度
5. 效能和收益
5.1 将广告体验和问题挖掘的人工操作全自动化，节约人工巡检人日
5.2 将纯工程处理的问题判定简化为大模型的自然语言规则，提升规则匹配的人效
5.3 发现典型问题包括但不限于：
5.3.1 参竞素材站外曝光时被替换
5.3.2 广告版位信息维护错误
5.3.3 营销氛围过期素材投放
5.3.4 曝光商品在承接页面无法还原、价格不一致等
4. 数据驱动反哺体验和工程建设
4.1 通过真机上报数据中的问题点位特征，归类同类型风险点位，增加问题发现广度
4.2 通过大模型判定数据与真实评测结果的不断校准，提升prompt覆盖完备度，并分解成链式multi agent提升判定精确度
4.3 通过真机上报数据沉淀广告位物理尺寸资产集，作用于工程建设中的素材生产和圈选，提升广告投放准确度
5. 效能和收益
5.1 将广告体验和问题挖掘的人工操作全自动化，节约人工巡检人日
5.2 将纯工程处理的问题判定简化为大模型的自然语言规则，提升规则匹配的人效
5.3 发现典型问题包括但不限于：
5.3.1 参竞素材站外曝光时被替换
5.3.2 广告版位信息维护错误
5.3.3 营销氛围过期素材投放
5.3.4 曝光商品在承接页面无法还原、价格不一致等
听众收益
通过数据驱动的方法解决广告可见性的问题、用端上Agent的方式广泛识别广告点位、用OCR+大模型的方式识别广告真机体验链路可能存在的问题。让广告变得：可见、可寻、可知。
通过数据驱动的方法解决广告可见性的问题、用端上Agent的方式广泛识别广告点位、用OCR+大模型的方式识别广告真机体验链路可能存在的问题。让广告变得：可见、可寻、可知。
敬请期待
......
.....
待定
待定
敬请期待
....
关注QECon公众号
议题投稿
lijie@qecon.net
商务合作
151-2264-3988 木子
票务联系
135-2067-8913 郭梦媛
媒体合作
135-1619-6409 皮皮
添加QECon小助手，获取
会议最新资讯
购票咨询
13520678913 郭梦媛
