OPPO专场：理解AI、拥抱AI
AI技术正在深刻改变千行百业，OPPO作为智能终端提供商，致力于用AI让用户生活更智慧。怎么评测AI？怎么让AI赋能测试？如何度量效能？都是值得持续探讨的主题。OPPO结合业务实践，探索大模型在智能终端的测试方法，结合AI算法评测实践构建AI算法测试平台，实现数据/能力共享、体系化执行框架、人在回路测试闭环，协助AI算法评测提质降本增效；同时也结合AI大模型和知识图谱，对传统测试进行赋能，探索精准测试技术和缺陷智能分析技术，解决测试覆盖、策略选型、智能缺陷分析等问题；此外，OPPO还在研发效能上进行实践，从组织文化、运作机制、流程度量、工具平台、工程能力等多个维度系统性展示变革之路；评测AI并让AI驱动测试，拥抱并实践AI，期待和您一起探索AI技术的更多可能。
专场出品人：邬超
OPPO测试TMG主任
具备丰富软件工程及质量体系建设经验。当前重点负责测试工程技术体系建设及产品全链路质量看护体系构建，探索测试技术智能化及数字化变革。
李亮
OPPO 高级软件测试工程师
在OPPO研究院主要从事AI算法测试、AI测试理论探索等相关工作，包括AIGC、LLM等大模型评测。

擅长领域：大模型测试、多模态算法测试、智能体等测试。
待定
待定
LLM-端侧应用的评测方法及其实践
随着LLM技术的演进，端侧落地应用越来越广泛，由于LLM的通用性、黑盒性、特异性，对测试提出了新的挑战。对于测试人员，需要结合预训练模型、微调模型的特点，提取LLM共性的测试点，并需要结合具体场景设计特定的测试用例。我们尝试从LLM的基模型评测出发，提炼LLM共性问题，将数据标注、结果评测等方法进行标准化，赋能到LLM端侧应用测试。
1. LLM应用介绍
    1.1 LLM技术演进简介
    1.2 LLM落地应用简介
2. LLM基模型效果评测
    2.1 LLM评测体系简介
    2.2 LLM共性问题
    2.3 LLM评测可信度
3. LLM端侧应用效果评测实践
    3.1 LLM端侧应用特点与评测需求分析
    3.2 LLM端侧应用评测实践
    3.3 LLM基模型评测与端侧应用评测的联系
4. 现状与未来
可以系统了解大语言模型评测现状和评测体系，深入了解大语言模型落地实践过程可能遇到的问题和解决方法，共同探讨和思考大模型未来趋势和评测发展。
内容大纲
听众收益
李欢欢
OPPO 测试开发工程师
现就职于OPPO，担任测试开发工程师。
多年平台开发经验，负责复杂系统/平台的整体需求提取、分析和方案设计，业务领域效能工具建设/模型搭建，主导算法测试平台建设和落地。

擅长领域：效能工具、模型搭建、平台开发
待定
待定
AI算法数据管理和评测集成化平台
测试素材是算法测试的重要组成部分，但当前面临多重挑战：本地管理不仅安全性低、共享性差，还使得资源检索和数据集构建变得异常困难；同时，依靠如Excel这样的本地工具进行主观测试和标签清洗，效率低且执行难度大。鉴于这些问题，构建一个融合云存储、资源检索、快速构建数据集及在线主观评测等功能的平台显得极其关键。

AI算法数据管理和评测集成平台，不仅是算法测试能力的集成点，而且还支持全面的数据管理、数据制作、评测执行和数据分析等关键操作。通过平台，可以实现数据的高效共享和制作，显著提高执行效率，降低算法评测的门槛，为大规模AI算法的能力评测提供强有力的支撑。
1.  平台框架介绍
1.1 背景
-主要对业务痛点进行介绍
1.2 业务系统架构
-解决业务痛点的服务架构
2. 关键能力模块的介绍
2.1 数据管理
-介绍分区分级分类的管理模式；基于属性的快速检索、一键构建数据集、指定范围使用、端云互通共享的使用方式
2.2 数据分布分析
-主要介绍如何生成分布图（例如：数据分布图、可视化矢量图）分析测试集、训练集、社区数据之间的差异化分布
2.3 数据标注
-为大语言模型、多模态、视频、图像等模型提供面向场景的高质量GT数据，建设高效、灵活的标注工具
2.4 主观评测用户体验闭环
-主要介绍从意向用户的招募到根据用户画像筛选合适的评测用户、评测进度跟进、评测过程埋点分析以及可视化、奖励发放整个主观评测流程的闭环
3. 未来趋势
通过对于算法测试中痛点问题的解决与业务落地应用的介绍，了解“数据管理→工程部署→测试执行→结果分析→多维度评估”流程中关键动作，共同探索算法评测效能工具设计。
内容大纲
听众收益
向天宇
OPPO 高级测试开发工程师
现就职于OPPO，担任高级测试开发工程师。
多年研发效能、测试技术、自动化测试研究和项目经验，结合大数据和AI技术能力，主导精准测试、测试知识图谱等多项测试平台建设和落地。

擅长领域：研发效能、智能化测试、自动化、大数据
待定
待定
基于AI+知识图谱的超大规模复杂系统下精准测试探索之路
随着OPPO业务的不断发展，COLOR OS系统变得越来越复杂；超大量级的代码总量、数亿条的调用链路、单版本上万的提交修改，导致测试策略制定越来越困难；为此，OPPO自研了系统级精准测试技术平台，结合时下热点的AI技术和知识图谱技术，来解决系统级测试覆盖、测试策略选型的问题，在OPPO内部实践落地初见成效。
1. 精准测试概述
    1.1 精准测试在行业的应用
    1.2 精准测试在OPPO的定义
    1.3 关于精准测试和知识图谱的思考
2. 在超大规模复杂软件下的突破技术
    2.1 系统级精准测试差异
    2.2 安卓系统级精准测试架构
    2.3 代码覆盖：业务全链路准出条件
    2.4 知识图谱：数据基石
    2.5 用例推荐：精准测试的核心
3. 落地实践之路
    3.1 当前OPPO使用效果及收益点
4. 未来发展路线
听众可以了解到以下几方面内容，为其在测试领域精准测试和知识图谱建设提供参考和帮助；
1. 安卓系统级覆盖分析能力
2. 测试知识图谱及知识地图
3. 大规模变更下的智能测试策略推荐分享
内容大纲
听众收益
贾琳玉
OPPO 测试架构师
现就职于OPPO，担任测试架构师，多媒体领域TSE。
曾任职于小米，担任核心器件测试技术主管，项目TSE等职务。
多年软件测试技术研究和项目经验，主导多个大型测试能力0-1的全面建设和落地。

擅长领域：多媒体&AI/测试设计/底层软件/大数据等
待定
待定
基于AI大模型的智能缺陷分析探索实践
随着oppo业务的不断发展，在敏捷迭代的交付形态下，海量内部缺陷做高效流转、高质量分析变得不可或缺，同时为了降低内外部缺陷的无效和重复关闭率，oppo自研了基于大模型的缺陷智能分析工具，在缺陷流转的多个链路环节做到同类缺陷分类和是相似缺陷智能推荐，在oppo内部实践落地初见成效。
1. 引入缺陷智能分析工具的背景
    1.1 缺陷分析的业务痛点
    1.2 引入缺陷智能分析工具的思考
2. 缺陷智能分析工具的技术实现
    2.1 缺陷智能分析工具的业务架构，工具平台架构
    2.2 相似聚类推荐算法与应用
    2.3 基于训练集的分类算法推荐
    2.4 日志有效性的核查与推荐
    2.5 日志解析推荐
3. 工具落地业务实践
    3.1 缺陷智能分析工具的落地使用效果
    3.2 业务落地的收益
4. 优化与展望
讲述缺陷智能分析工具的由来，作用与价值，针对工具的开发框架和业务落地展开阐述，从而提升研发效率的实践过程，为听众提供缺陷辅助设计与开发建设和落地思路。
内容大纲
听众收益
兰建华
OPPO 高级研发工程师
2022年起至今，参与OPPO持续交付项目，担任业务教练，协助多个核心业务完成研发流程变革、流水线接入及研发效能提升。现任持续交付项目总负责人，负责整体方案设计及落地。
曾就职于腾讯、京东等一线互联网企业，担任过技术研发负责人职务，负责从0到1的产品整体设计到上线，熟悉产品、研发、测试及运营的整体流程，对整体的流程及度量指标有丰富的经验。

擅长领域：软件研发流程、效能度量
待定
待定
OPPO互联网业务规模化研发效能变革之路
在2020年，OPPO互联网服务系统，为提升交付质量、提升交付速度，启动了以持续交付理念为核心的研发效能变革之路。项目组自身以持续交付理念为指导原则，以组织文化建设为起点，采用了“试点”业务牵头，全面铺开所有业务作为整体运作机制。通过统一度量衡和基线平台能力的完善，我们支撑业务在“质量”、“速度”、“效率”方向持续发展，并最终实现了对“价值”的高效交付。同步双环中“右环”高效工程能力交付，支撑业务“左环”的快速价值验证。
1. 变革背景：阐述我们曾经在质量、效能、价值各个维度面临的挑战
2. 核心实践：效能提升的核心举措，包括如下：
    2.1 组织文化建设
通过公司内部持续交付的氛围渲染，多次内外部专家各阶段的专业经验分享以及持续的业务团队现金激励，提升所有团队对持续交付的认识与积极性。
    2.2 运作机制
在实际运作过程中，我们通过对不同的业务团队设定不同目标，试点业务先行打通整体链路后其他业务跟进的策略，同时采用项目制方式，团队内增设专业教辅助业务，业务增加执行负责人和项目负责人协同的方式。有效的保证了整体交付的落地。
    2.3 流程和工具平台
为了规范化度量指标数据，对不同的业务我们统一了底层的流程框架，以保证业务接入的便利性。
同时，我们打通公司内部各基础工具，拉齐各工具的能用接口，打造了一站式的研发云平台。
   2.4 度量体系
为了更加科学的提供优化的决策依据，我们基于整体的流程搭建了丰富的指标体系，以及EPC度量标准，为业务持续的提供可观测的科学的改进优化方案。
    2.5 工程能力各个维度的内容呈现
3. 成果展示：对比提升前后在效能方面的提升数据
4. 未来展望：简介后续建设的方向
未来，我们将持续的对平台和指标数据进行更细节的优化，同时结合工程效能优化模型，持续的为业务提供效率和质量监控，并协助业务一起进行效能优化。
OPPO互联网业务规模化研发效能变革之路的分享，我们将会给大家分享我们如何通过小团队、短时间内，如何拉通业务一起共同提升团队的效能，打造卓越的工程能力。希望大家能基于以上的分享，结合各自团队的实际情况，不断提升各团队的持续交付能力。
内容大纲
听众收益
关注QECon公众号
关注QECon视频号
议题投稿 
lijie@qecon.net  
票务联系 
15901265561  小娟
 
媒体合作
13516196409  皮皮
商务合作
15122643988  木子
购票咨询
15901265561  小娟