主讲人： 熊志男
QECon 专家顾问
QECon专家顾问，是QETalk访谈发起人，曾在京东和360担任研发效能和DevOps平台的产品专家。2023-2025年在360集团致力于通过LLM技术打造研发效能数字人、智能指标查询及报表生成系统，服务集团内千人规模产研团队。此前在京东担任研发效能和DevOps平台产品专家，主导参与两款平台建设，支持万人规模产研团队协作。负责的京东零售持续集成和代码质量平台成功从20人小范围使用扩展至全公司通用效能工具。2011年起作为测试技术社区TestWo核心成员参与"测试之旅"公益沙龙组织与测试白皮书编撰。2022年起担任"云上软件工程社区"研发效能和平台工程领域技术专家，持续推动行业最佳实践分享。
待定
待定
工作坊：从“度量困境”到“智能破局”：智能洞察实践之路
研发效能度量的初衷，旨在通过量化指标来衡量组织的投入与产出，从而发现痛点、驱动改进，实现效能最优。然而，随着度量体系的日益成熟和指标的不断丰富，我们却陷入了一个深层的困境：效能度量这件事本身的投入产出比（ROI）正日益成为一个棘手的问题。
一方面，为了获取更全面的数据，我们投入了巨大的工具和人力成本，导致度量成本居高不下；另一方面，这些高投入所产出的结果却常常差强人意。我们所依赖的指标常常不够准确，无法全面真实地反映研发团队的效能和健康状况。更棘手的是，度量体系甚至可能引发**“为指标而工作”和数据造假**等扭曲行为，让度量背离了初衷。我们最终得到的，可能只是一堆冰冷的数字报表，而非能够指导行动的深度洞察，这让整个度量工作陷入了低效的循环。
正是为了打破这一困局，大模型（LLM）的出现带来了全新的契机。它为**“数据——指标——洞察”的效能度量流程注入了强大的智能引擎。在指标生产环节，大模型能够处理海量非结构化数据，极大地加快了数据采集过程，并提高了指标的准确性，让度量数据更接近真实。而在指标消费环节，大模型可以降低用户对复杂指标的使用门槛，通过自然语言交互提供个性化的洞察，真正满足不同团队和用户的度量需求，让数据不再是简单的数字，而是能驱动变革的智能洞察。
内容大纲
1. 引入
效能度量的终极目的：不是数字游戏，而是持续改进
1.1 引言：效能度量的终极目的
1) 度量不是数字游戏，而是为了驱动持续改进
2) 为什么我们做了这么多度量，却感觉不到明显的改进？
1.2 现状的“危”与“机”
1) 传统度量模式的困境与痛点
度量成本高昂，ROI难以评估
指标不准确，数据造假，无法全面真实反映效能
2) 大模型（LLM）带来的智能变革
引入LLM，解决传统度量中的痛点，实现智能破局
2. LLM赋能的效能度量实践
2.1 解决“指标难懂”的问题
1）痛点：效能指标复杂，非专业人士难以理解
2）LLM赋能：指标智能解读，降低了用户使用门槛，让每个人都能理解指标背后的含义
2.2 满足“定制化”需求
1）痛点：每个团队和用户关注的指标和报表不同，传统工具难以满足个性化需求
2）LLM赋能：智能生成指标结果和图表，极大地提高了报表制作效率，实现了度量的千人千面
2.3 提升“用户关注度”
1）痛点：效能报告往往被动推送，用户缺乏主动查看的动力
2）LLM赋能：智能生成洞察周期报告，将“被动查阅”变为“主动触达”，让洞察直达用户，增加度量价值
2.4 实践四：解决“汇报难”的问题
1）痛点：管理者需要将效能数据转化为决策依据，传统报表难以直接用于汇报
2）LLM赋能：LLM优化效能度量汇报，极大地节省了汇报准备时间，让数据更好地服务于决策
3. LLM赋能效能工具的结果度量
3.1 含AI量度量
衡量AI工具在研发流程中的使用覆盖率和渗透率
3.2 AI效能报告
2.1 解决“指标难懂”的问题
1）痛点：效能指标复杂，非专业人士难以理解
2）LLM赋能：指标智能解读，降低了用户使用门槛，让每个人都能理解指标背后的含义
2.2 满足“定制化”需求
1）痛点：每个团队和用户关注的指标和报表不同，传统工具难以满足个性化需求
2）LLM赋能：智能生成指标结果和图表，极大地提高了报表制作效率，实现了度量的千人千面
2.3 提升“用户关注度”
1）痛点：效能报告往往被动推送，用户缺乏主动查看的动力
2）LLM赋能：智能生成洞察周期报告，将“被动查阅”变为“主动触达”，让洞察直达用户，增加度量价值
2.4 实践四：解决“汇报难”的问题
1）痛点：管理者需要将效能数据转化为决策依据，传统报表难以直接用于汇报
2）LLM赋能：LLM优化效能度量汇报，极大地节省了汇报准备时间，让数据更好地服务于决策
3. LLM赋能效能工具的结果度量
3.1 含AI量度量
衡量AI工具在研发流程中的使用覆盖率和渗透率
3.2 AI效能报告
通过对比引入AI工具前后的效能指标，评估其带来的提升效果
4. 展望与总结
4.1 LLM贯穿指标生成和消费全链路：LLM将作为核心引擎，实现数据自动采集、指标智能生成、洞察实时推送的闭环
4.2 打造智能研效数据基座：构建一个以LLM为核心的平台，将所有效能数据整合，成为组织的智能大脑
听众收益
1. 对于管理者：理解如何利用大模型获得更精准的效能洞察，并做出更科学的决策，提升团队整体ROI
2. 对于效能工程师：学习如何利用LLM提实现度量工具的智能化升级，提升效能工具的开发和生产效率
3. 对于研发人员：了解基于LLM的效能度量新范式，为个人和团队的持续改进提供新思路
4. 展望与总结
4.1 LLM贯穿指标生成和消费全链路：LLM将作为核心引擎，实现数据自动采集、指标智能生成、洞察实时推送的闭环
4.2 打造智能研效数据基座：构建一个以LLM为核心的平台，将所有效能数据整合，成为组织的智能大脑
听众收益
1. 对于管理者：理解如何利用大模型获得更精准的效能洞察，并做出更科学的决策，提升团队整体ROI
2. 对于效能工程师：学习如何利用LLM提实现度量工具的智能化升级，提升效能工具的开发和生产效率
3. 对于研发人员：了解基于LLM的效能度量新范式，为个人和团队的持续改进提供新思路
主持人：茹炳晟、熊志男
待定
待定
QETalk研讨会：AI编码时代的研发效能度量体系重构
随着AI深度融入研发，传统效能度量体系正面临颠覆性挑战。我们必须回应三个核心问题：
价值重估： 当AI接管基础编码，以代码行数（LoC）为代表的传统度量是否还有意义？其核心价值需要被重新审视。
效益量化： 如何科学地衡量AI工具的投入产出比（ROI）？必须建立新模型来评估AI带来的真实效率提升，而非仅仅停留在“体感”层面。
决策智能： 如何打通数据洞察与决策行动的“最后一公里”？必须构建能自动诊断瓶颈、提供优化策略的智能系统，让海量数据转化为切实的改进动能。
价值重估： 当AI接管基础编码，以代码行数（LoC）为代表的传统度量是否还有意义？其核心价值需要被重新审视。
效益量化： 如何科学地衡量AI工具的投入产出比（ROI）？必须建立新模型来评估AI带来的真实效率提升，而非仅仅停留在“体感”层面。
决策智能： 如何打通数据洞察与决策行动的“最后一公里”？必须构建能自动诊断瓶颈、提供优化策略的智能系统，让海量数据转化为切实的改进动能。
1. AI的普及为研发效能度量带来了哪些根本性的挑战与机遇？
2. 如何构建科学的ROI模型，以精准量化AI工具的投入与产出？
3. 告别“代码行”，哪些新的度量指标和评估模型将成为核心？
4. 如何利用AI技术，让效能数据从“统计报表”进化为“智能决策参谋”？
关注QECon公众号
议题投稿
lijie@qecon.net
商务合作
151-2264-3988 木子
票务联系
135-2067-8913 郭梦媛
媒体合作
135-1619-6409 皮皮
添加QECon小助手，获取
会议最新资讯
购票咨询
13520678913 郭梦媛
