AI兴起于近几年,尤其chatGPT太火了,如何使用AI在测试环节进行智能化、自动化是大热点。近年来我们看到AI推荐回归测试用例、AI推荐功能用例设计、AI写测试代码、AI生成测试数据等,如何使用小模型甚至超大模型解决测试中的大小问题都是非常让人兴奋,期待工业界测试大佬率先拿下此热点中的某些甜点,抛砖引玉,为测试界的AI化放入催化剂。
专场:AI赋能测试 
专场出品人:杨萍 
字节跳动 Code团队技术负责人
现就职于字节跳动,任字节跳动Code团队技术负责人,负责代码相关基础技术与智能化建设,曾带领团队孵化并落地多个行业领先的端质量产品,如Fastbot、SmartEye等产品,也对目前AI技术在研发效能的应用有较多的了解
毛雪
赵杰
字节跳动 
基础架构 架构师
字节跳动 
基础架构 技术专家
毛雪:
擅长领域:研发效能、全链路压测、智能化测试

赵杰:
擅长领域:研发效能、全链路压测  
待定
待定
字节跳动全链路容量评估体系
随着公司业务规模扩张领域愈加广泛,系统架构需要不断调整和优化以适应不同的业务场景和需求。这种调整和优化不仅导致架构的复杂性增加,例如引入新的组件、依赖子系统等,同时也加剧了资源成本消耗(人力资源和基础设施资源)。面对上述挑战,容量中台致力于面向业务提供全链路容量评估完整解决方案,完善对整个系统容量监控、预估、验证及规划全流程建设,帮助业务进行准确的容量评估,从而实现保证系统稳定性的同时达到降本增效目的。
本分享主要介绍全链路容量评估解决方案、整体架构设计及核心能力,以及在业务各个场景的实践和落地效果。
1. 全链路容量评估解决方案
   1.1 背景介绍:全链路 "压测" 到 "容量评估" 升级
   1.2 容量评估解决方案基础流程
   1.3 业务用户典型的使用场景
2. 容量评估整体设计
    2.1 整体架构
          2.1.1 产品功能矩阵&技术架构图
    2.2 核心能力介绍
          2.2.1 泳道隔离能力
          提供核心链路快速隔离的能力,快速构建压测泳道。
          2.2.2 分布式调度能力
          提供全链路容量评估在多机房、多泳道等多环境下的流量自动化调度熔断能力和资源弹性调度能力
          2.2.3 单机引擎
          提供多协议、高性能、大流量、多场景施压能力,为全链路容量验证提供重要基础
          2.2.4 多模态分析能力
 通过构建算法模型库涵盖容量评估模型、异常检查模型、决策模型,为全链路容量评估流程中预估、监控、结果分析 等环节提供预估分析决策能力
3. 业务实践及落地
    3.1 降本增效背景下业务容量治理
    3.2 超大规模活动场景
    3.3 常态化容量评估能力
4. 总结/展望
    4.1 现状总结
    4.2 未来计划
1. 系统了解字节在容量保障方面是如何开展的
2. 了解字节大型活动场景全链路容量评估工作如何开展
3. 了解降本增效场景下业务如何开展容量治理工作
4. 了解如何借助算法进行更低成本容量评估工作
内容大纲
听众收益
刘喜临
华为云 智能化测试算法专家
毕业于国防科学技术大学,2020年加入华为云,任华为云智能化测试算法专家,在职期间,围绕测试用例这一测试核心资产负责场景级测试生成、精准测试、多源失败用例智能分析、用例文本质量门禁、低代码生成等项目,推动智能化测试的实现与落地应用。
曾任百度网盘分布式存储工程师,负责超大规模分部署存储系统开发、测试、运维工作,参与过百度春晚红包项目。

擅长领域:智能化测试,MLops,DevOps
长期从事测试技术建设和测试能力开发工作,围绕测试用例这一测试核心资产致力于测试智能化、测试超自动化和数据驱动等方面的研究,通过测试技术持续创新,构建高效测试能力。
待定
待定
华为云基于失败率预测及优化算法的回归用例优选—精准测试实践
回归测试在代码执行过程中越来越影响工程开发进度,测试用例执行成本高,发现代码缺陷问题晚!日常开发测试活动中,随着软件版本的快速迭代,通常为避免引入缺陷和最早期发现尽可能多的缺陷,测试人员需要在代码小范围变动时进行测试用例的执行。同时,当代码小范围变动时,全量地对测试用例进行执行消耗时间成本过高。如何在代码快速而小范围变动的情况下,执行部分或者最少的测试用例数,探测到尽可能多甚至全部的代码缺陷,即回归测试的效果与投入的比值达到最大化。是回归测试用例优选,即精准测试,探索和关心的问题。
1. 精准测试发展历史
2. 关键技术
2.1 用例黑盒排序优选—基于历史的失败率预测
2.2 白盒回归用例优选
 2.2.1 优化算法挑选最小执行成本用例,助力用例优选白盒模式
 2.2.2 启发式算法挑选最特殊用例
2.3 黑白盒融合—多目标、多业务条件下叠加优选
 2.3.1 白盒为主,黑盒为辅。多业务目标叠加。
 2.3.2 黑盒为主,白盒为主。
3. RTSBot应用
1. 了解回归用例优选相应算法
2. 了解回归用例优选设计思路与方案
3. 回归用例优选如何保证高效率和高收益
4. 提效与降本
内容大纲
听众收益
翟伟良
华为 算法测试专家
华为终端云服务智能化测试专家,信息流推荐与搜索系统算法测试负责人,负责信息流内容理解算法测试、搜索直达业务测试
待定
待定
性能测试时序预测生成
解决性能测试压力调整滞后的问题以及数据实时仿真生成
1. 基于现网流量,使用聚类算法抽取出现网场景聚类
2. 基于聚类场景进行现网仿真
3. 使用AI模型基于现网数据时序预测性能压力,实时调整压测模型
基于现网流量进行仿真提高测试准确性,并通过AI技术提升性能压力测试的实时和准确性。
内容大纲
听众收益
吴颖青
雷火工作室 资深游戏测试工程师
逆水寒端游团队资深测试开发工程师,毕业后工作于网易雷火工作室至今,经历了逆水寒端游从立项至上线到目前稳定运营全流程,尤其专注于游戏自动化测试、性能测试、自动化测试工具开发等。目前带领和负责逆水寒项目的自动化测试工作。

擅长领域:游戏自动化测试、性能测试。
待定
待定
游戏测试脚本自动生成系统
我们的自动化测试团队一直以来被编写脚本工作量大的问题所困扰,所以萌生了开发一个自动生成脚本系统的设想。让功能测试们可以加入到脚本开发工作中;降低脚本编写门槛,使没有代码基础的同学也能方便使用脚本生成工具。
1. 开发目的
降低脚本编写门槛,使没有代码基础的同学也能使用工具生成测试脚本。
2. 已有竞品工具痛点
2.1 只能以固定时间间隔执行操作
2.2 缺少操作结果检验
3. 系统原理
3.1 脚本录制时:
A. 记录客户端操作(鼠标键盘输入、GM指令)
B. 自动对比每个操作产生的客户端状态变化(比如界面被 打开、经验发生变化等)
3.2 脚本运行时:采用状态机机制回放客户端操作,直到状态与记录值一致。
4. 系统优势
4.1 脚本编写门槛低,无需编程基础
4.2 脚本编写时间短,只需执行一遍
5. 适用场景
5.1 任务测试
 操作比较固定:寻路、NPC对话、打怪等等
 目的性很明确:完成当前任务步骤
 操作可重复高:任务未完成之前可以一直重试
 操作结果具有收敛性:寻路会越来越接近、打怪会越打越少等等
 判断操作成功标准清晰:任务状态变化
5.2 数值监控
通过自动化手段确保游戏数值正确性,防控线上事故。普通流程为:
A. 编写脚本(根据测试内容决定)
B. 已测试的外放版本->采样得到正确数值
C. 运行开发版本->数值采样对比
使用本系统 => 将A+B一次性完成,边录制边采样正确数值
了解我们团队对于脚本自动生成系统的研究,并获得一些思考。
内容大纲
听众收益
关注QECon公众号
关注QECon视频号
议题投稿
Speaker@qecon.net    
票务联系
18611377287  马静  
媒体合作
13516196409  皮皮
商务合作
15122643988  木子