LLM测试工具创新实践-2025北京站_QECon全球软件质量效能大会-橙柚科技

优惠倒计时

8折票抢购中

团购享受更多优惠

北京站 · 10月31-11月1日

上海站 · 9月12-13日

深圳站 · 5月23-24日

专场：LLM测试工具创新实践

本论坛聚焦大型语言模型（LLM）测试工具的创新实践与前沿应用，围绕LLM在测试领域的核心技术突破，涵盖模型性能评估、测试数据生成、语义验证、跨模态测试适配、大模型应用评测、缺陷智能定位及多模态融合测试等关键方向。论坛将深入探讨LLM测试工具如何通过语义理解、上下文感知和自适应学习，提升测试效率、质量保障能力及复杂场景覆盖率，展现其在降低测试成本、精准定位缺陷并提供修复建议方面的独特优势，突出其在简化测试流程、扩大测试覆盖面、缩短迭代周期中的创新价值。本论坛将汇聚行业专家，分享软件开发、AI应用、金融科技等领域的落地案例与技术方案，共同探讨LLM测试工具的实践路径与未来发展方向。

专场出品人：陈磊

前京东测试架构师

阿里云 MVP ，华为云 MVP ，中国商业联合会互联网应用工作委员会智库专家，中关村智联软件服务业质量创新联盟软件测试标准化技术委员会委员， Asian Journal of Physical Education & Computer Science in Sports 编委会委员、 EXIN DOM 。著有图书《接口测试方法论》、《持续测试》、《大模型测试技术与实践》、《现代软件测试技术权威指南》、《软件研发效能权威指南》等。极客时间专栏《接口测试入门课》作者、拉勾教育《软件测试第一课》作者。多年质量工程技术实践经验，专注于研发质量效能提升、手工测试团队自动化测试转型实践、智能化测试等方向，公开发表学术论文近30篇，专利20余篇，国内多个技术峰会的演讲嘉宾、出品人。

刘羽

新浪微博资深测试开发工程师

微博质量保证部资深测试开发工程师，拥有11 年后端测试开发经验，现负责微博广告投放引擎测试工作。擅长数据驱动的自动化测试框架设计，深入探索质效提升路径。目前学习AI工具在质效提升方面的应用，专注智能化方案在实际业务场景中的落地效果与可行性。

待定

AI赋能微博广告业务测试突破探索与实践

在质效成为研发核心命题的当下，测试领域正面临操作碎片化与效率受限的挑战。如何在保障质量的同时驱动效率提升，成为亟需回答的问题。本议题将聚焦于智能化的测试演进思路：打破割裂的操作流程，构建统一而高效的质量保障体系。智能化不仅是工具升级，更是方法论与工程体系的再造，使测试人员真正走向价值深耕，推动质效双轮驱动的研发新范式。

内容大纲
1. 传统测试方法的局限
1.1 效率困境：测试链路长、执行环节多，难以支撑高频迭代
1.2 碎片化问题：需求解析、用例设计、环境配置相互割裂，流程缺乏统一
1.3 质量瓶颈：覆盖不足、回归滞后，质量保障更多依赖人工经验
1.4 AI在业界应用以及启发：AI在业界的实践经验
2. AI赋能微博广告业务测试突破
2.1 基于AI测试用例生成实践
2.2 AI赋能线上广告行为监控
2.3 AI赋能线上问题排查方法
2.4 AI赋能测试效率提升业务线评测
3. Workflow实践与应用
3.1 一体化闭环：需求 → 生成 → 执行 → 优化的统一工作流
3.2 角色赋能：支持产品、研发、运营在同一平台协同
3.3 落地案例：智能工作平台
4. 未来与展望

听众收益
1. AI如何和传统质量保证相结合
2. 实战经验借鉴

黄文昊

OPPO 高级测试工程师

现任OPPO质量保障负责人，牵头规划与实施客户端自动化测试体系与性能专项建设，通过设计分层质量保障方案及效能工具链开发，有效提升产品交付质量与测试效能；作为DTA成员深度参与部门技术工线建设，主导大模型在测试领域多场景的落地应用研究。从业期间先后任职于招银、腾讯、Shopee等企业，在金融科技领域具备丰富的质量保障经验，擅长通过精准测试、精准监控及DevOps体系建设实现研发效能持续优化。

待定

基于LLM的智能诊断分析实践

随着互联网技术进入深水区，系统架构复杂度呈指数级增长，问题诊断和故障排查已成为研发测试团队的重大人力开销点。传统的人工诊断方式面临着两大关键痛点：
服务端问题诊断挑战：分布式系统的检查分析维度极其广泛，涉及网络拓扑、数据库性能、缓存一致性、消息队列吞吐、微服务调用链追踪、容器编排状态等多个技术层面。单纯依靠人工分析不仅容易遗漏关键信息，还受限于工程师的知识面广度及实战经验，难以全面覆盖所有可能的问题场景。特别是在高并发、多租户、多地域部署的复杂环境下，问题的根因往往隐藏在多个系统间的异步交互、数据一致性和网络延迟等深层次因素中，人工分析效率低下且准确率有限。
客户端问题诊断困境：客户端的堆栈分析技术门槛高，异常堆栈信息复杂难懂，涉及操作系统内核、运行时环境、框架层、应用层等多个抽象层次，需要深厚的底层技术功底才能准确解读。同时，录屏分割和问题定位缺乏有效的分析工具，工程师需要反复观看视频片段来定位问题发生的精确时刻，耗时耗力且容易错过关键细节，特别是在性能抖动、偶发性崩溃等难以复现的场景下。
基于LLM的智能诊断分析实践旨在通过大语言模型的强大理解能力、知识整合能力和上下文推理能力，构建智能化的故障诊断体系，实现从问题发现、异常识别到根因分析、修复建议的端到端自动化流程，显著提升诊断效率和准确性，为研发测试团队提供强有力的技术支撑。

内容大纲
1. 背景与挑战
1.1 行业现状
1.1.1 业务与研发对交付质量要求持续提升
1.1.2 传统人工诊断效率难以满足快速迭代需求
1.2 核心痛点
1.2.1 服务端诊断挑战
1）分布式系统复杂度高：网络、数据库、缓存、消息队列、微服务调用链等多维度
2）人工分析知识面局限，关键信息易遗漏
1.2.2 客户端诊断挑战
1）堆栈分析技术门槛高，异常信息复杂
2）多维度数据缺乏统一分析工具
2. 技术架构与方案
2.1 整体架构设计
2.1.1 多模态数据融合：日志、指标、堆栈、录屏等统一接入
2.1.2 实时流处理 + 离线分析双引擎
2.1.3 智能知识库构建与管理
2.2 服务端智能诊断
2.2.1 多维度异常检测
2.2.2 全链路监控：网络延迟、数据库性能、缓存一致性、消息队列状态
2.2.3 规则矩阵异常检测
2.2.4 威胁建模异常检测
2.2.5 能根因分析：聚合异常信息，提供处理建议
2.3 客户端智能诊断
2.3.1 堆栈智能分析：堆栈树生成与定位
2.3.2 录屏链路分析：分帧链路生成与匹配定位
2.3.3 规则矩阵检测：多维度异常识别
2.3.4 根因聚合：智能分析并提供解决方案
3. 实践效果
3.1 效率提升
3.2 成本优化
3.3 典型应用场景与效果展示
4. 技术演进与展望
4.1 技术发展方向
4.1.1 AI能力持续增强
4.1.2 诊断能力边界扩展
4.1.3 预测性维护与故障预警
4.1.4 自动化修复与自愈能力
4.2 生态建设
4.2.1 开放平台建设
4.2.2 诊断算法与模型生态开放
4.2.3 第三方插件与扩展支持
4.3 未来展望
4.3.1 多模态诊断技术在各领域广泛应用
4.3.2 人机协作的智能诊断新模式
4.3.3 技术发展趋势与机遇

听众收益
根据上述要点，听众可以获得以下收益：
1. 多模态诊断架构的启发：通过将AI技术与传统监控手段结合的应用，听众可以学习如何构建智能诊断体系，以实现更加全面和高效的问题定位。
2. 历史基建的AI赋能：将现有脚本工具与AI技术结合，发挥历史基建的最大价值，避免重复建设。
3. 提升诊断准确性的借鉴：结合规则矩阵与威胁建模的实践，听众可获得提升问题诊断准确性的新思路，从而推动自身故障排查工作的进步。
4. 减少人工干预与提高诊断效率的直接采用：听众可以参考多模态数据融合与智能根因分析的整合经验，从而减少人工诊断干预并显著提升问题解决效率，避免在故障排查阶段遇到的常见瓶颈。
5. 少走弯路的最佳实践：通过分享上述技术的实用案例，听众能够有效借鉴成功的方法论，在自身项目中减少试错成本，提升诊断流程的效率和效果。

王一勃

58同城测试研发工程师

58同城-本地生活-质量部-测试平台研发工程师
资深测试研发工程师，拥有多年一线研发与质量保障经验。曾专注于AI代码辅助工具的研发，深入探究AI技术的实现细节与潜在风险。目前致力于将AI技术与软件测试深度融合，主导构建智能测试解决方案，通过大模型与自动化技术提升测试用例生成效率与缺陷定位精度，为研发效能的全面提升提供核心支持。

待定

基于知识驱动的智能测试用例生成探索与实践

大模型技术的迅猛发展，为传统软件测试领域注入了新的活力，开辟了诸多创新路径。然而，大模型并非万能“银弹”，其在真实业务场景的落地仍面临显著挑战：模型与业务需求之间存在“语义鸿沟”，导致生成的测试用例与实际业务逻辑脱节；业务知识分散于多处，形成“知识孤岛”，致使用例覆盖不全面、上下文缺失；此外，伴随需求的快速迭代，既有测试用例极易失效，人工维护成本高、效率低下。本议题将分享如何通过构建“向量知识库 + 知识图谱”融合的动态知识体系，推动AI更深入地理解业务语境与变更，系统性地应对上述痛点，最终实现测试用例的智能生成、持续演进与高质量保障，与业务发展同步迭代。

内容大纲
1. 背景与挑战
1.1 用例生成的背景与难点
1.1.1 语义鸿沟：
1.1.2 知识孤岛
1.1.3 迭代僵化
1.2 关键挑战
1.2.1 需求理解：如何让模型深度理解业务语义和隐含需求
1.2.2 准确性要求：在复杂业务场景下保证用例生成的精准度
1.2.3 知识融合：实现多源知识的有效整合与利用
2. 需求文档如何生成测试用例
2.1 向量知识库的构建
2.1.1 数据收集与清洗
2.1.2 知识库按照业务分类与优化
2.1.2 知识召回的准确性提升
2.2 知识图谱提高用例生成的准确性
2.2.1 为什么需要知识图谱
2.2.2 知识图谱的构建实践
2.2.3 知识库融合知识图谱
2.3 知识驱动的智能测试用例生成架构
2.3.1 智能生成测试用例的架构图
2.3.2 智能生成测试用例完整执行流程
2.3.3 最终落地的产品形态
3. 高效准确的实现知识智能自更新
3.1 引入MCP的项目背景
3.2 自更新业务知识库
3.3 自更新业务知识图谱
3.4 整体执行流程
4. 人机协同的专家协助模式
4.1 纯AI生成的局限性
4.2 最后一公里的专家经验
5. 落地效果与展示
5.1 整体执行效果演示
5.2 业务落地数据展示
6. 未来与展望
6.1 技术纬度
6.2 业务纬度

听众收益
思路启发：探讨如何在简单Prompt工程之外，通过"向量知识库+知识图谱"的知识体系建设，尝试解决大模型在复杂业务场景中面临的理解与准确性挑战。
实践经验交流：分享构建知识驱动测试用例生成系统的实践历程，包括知识库构建、图谱融合和产品设计中的一些心得与思考。
难题应对思路：讨论知识智能更新机制的设计思路，如何减轻维护负担，促进测试用例与业务迭代的协同发展。