专项测试-2024_QECon全球软件质量效能大会-橙柚科技

9折优惠售票中

团购享更多优惠

深圳站 · 2024年5月24-25日

上海站 · 2024年9月20-21日

北京站 · 2024年10月25-26日

优惠倒计时

专场：专项测试

专项测试专场，汇聚业界顶尖专家与领先企业，共同探讨专项测试领域的最新技术、实践与创新应用。本专场涵盖AI技术、大数据测试，数据质量、测试自动化、测试工具平台等相关话题，致力于推动专项测试技术的发展，提升产品质量与用户体验，助力企业实现持续的技术创新与市场竞争力提升。

专场出品人：余伟

微众银行研发效能负责人测试专家

经历过微众银行、阿里巴巴、腾讯，有十多年金融、互联网行业经验，专注于研发效能、质量管理等领域，结合业内知名的精益度量、精益管理等理论，推动团队研发效能提升。

黄思敏

中信银行用户体验创始人

中信银行用户体验创始人，资深用户体验专家。从0到1创建客户体验工作体系、全能力中心、客户体验测评指标、客户体验“拼工厂”组件库和快速需求原型理念、客户体验团队；举办行内首届客户体验官系列培训及考试认证，推动体验文化传播和能力建设；牵头落地首个体验贯通产品研发全流程的全行战略项目。曾两次获人行科技发展奖。

待定

科技金融时代的用户体验发展之路

在科技金融时代，用户体验已经成为决定金融机构竞争力的关键因素，如何以用户为中心，在保障用户信息安全的前提下，运用好金融业的数字化优势，驱动精准洞察用户需求和偏好，精准识别业务机会点，全面提升用户体验亟需搭建一套能够自生长的完整体系。作为中信银行用户体验创始人，本次将分享我行的用户体验发展之路。

1. 引言
1.1 科技金融时代发展趋势
1.2 用户体验在科技金融时代的重要性
2. 科技金融时代用户体验的现状与挑战
2.1 现状分析：数字化、智能化、个性化
2.2 挑战剖析：信息安全、技术更新、服务创新
3. 用户体验实践之路
3.1 搭体系：搭建企业级体验标准工作体系、全链路工具体系，通过标准化、工具化、智能化，实现体验标准化封装、统一度量、智能识别，全旅程体验指标监测。
3.2 垒资产：沉淀金融特色的设计工艺、设计资产
3.3 融流程：融入产品研发全过程，通过“去专业化”的工具及规范，提升业务人员、需求分析人员、开发人员自助体验水平
3.4 造品牌：独创MACK品控机制
4. 未来展望
4.1 发展趋势预测：场景化、生态化、智能化

可为听众在企业体验部门组织建设、用户体验体系建设、监测度量、制定提升策略等方面提供启发。

内容大纲

听众收益

易品

字节跳动服务端测试技术负责人

现任字节服务端测试技术负责人，先后在滴滴、字节质量中台工作，深耕泛自动化领域，在接口自动化、流量回放、测试充分度度量等方向，孵化打造多款公司级质量基建产品，有丰富的质效解决方案设计及落地经验。

待定

Golang流量回放及场景化度量实践

行业内流量回放的实践日渐变多，形态上分为系统回放(tcpcopy/goreplay旁路采集系)、单体mock回放(sandbox代表java系)，后者在实现技术上依赖java特性在golang体系不适用，同时流量回放实践落地会面临使用成本、覆盖提升等通用痛点。本文介绍golang领域的单体mock回放技术解决方案及提升流量覆盖过程中的演进过程，同时分享衍生出的业务场景覆盖度量及提升方案。

1. 传统自动化 vs 流量回放
2. golang流量回放的技术及挑战
3. 代码覆盖率 vs 场景覆盖率
4. 业务场景度量及提升
5. 效果收益与问题
6. 总结及规划

1. 了解golang体系落地流量回放的整体方法及痛难点
2. 了解更贴近测试视角的测试充分度评估方案及实践要点

内容大纲

听众收益

朱朔

华泰证券高级开发工程师

华泰证券软件质量控制团队高级工程师，目前主要负责华泰证券软件质量体系的开发和建设、模糊测试等新型质量保障技术实现等，保障涨乐财富通、涨乐全球通等产品的高可用性，提升金融证券业务后台关键基础系统的稳定性、健壮性，支撑研发测试交付全流程质量保障。毕业后曾就职于通信和安全公司，从事网络、云安全等平台开发工作。

待定

双向模糊测试在证券后台系统的应用实践

证券业务后台系统复杂，链路较长，自研与外购系统并存，系统开发语言、技术架构、通信协议不尽相同，未被处理的偶发性的异常输入可能对后台服务的稳定性、可靠性带来较大的风险。通用模糊测试产品采用的插桩编译方式无法适应华泰证券后台系统业务场景复杂的情况。
针对证券行情后台业务系统特点，采用接口模糊测试方式，通过自主研发实现全链路、低成本、多协议、多场景的应用能力，经实践验证具有良好的缺陷发现能力和质量保障能力。

1. 总体设计
聚焦于合法协议的不合法入参，建设了模糊测试质量保障体系，提供可被DevOps集成的能力。

2. 用例生成算法

基于接口调用数据作为输入，自研模糊测试用例生成算法，可生成海量高效用例。结合返回的响应信息，感知上下文，修正模糊测试用例，提升用例有效性。并结合业务场景生成用例，探测代码深层次缺陷。

3. 双向模糊能力

不仅支持请求模糊测试，也支持响应模糊测试，可验证请求或返回中的异常数据、超长数据等，对上下游系统的影响。

4. 缺陷诊断能力

结合测试工程师的经验反馈，构建了一套判定缺陷与版本质量的评价模型，使用接口监控、响应分析、资源监控等手段，进行缺陷发现。

5. 应用效果评价

以上方案应用方便，降低了测试工程师在接口变动的情况下，设计异常用例等环节的测试工作量，平均每个版本节省时间8小时，并发现了数百个服务崩溃等高价值缺陷。

带来新的软件质量控制思路，扩展复杂系统、外购系统质量评价关注点，更好的提升长链路系统的稳定性、可靠性把控能力。

内容大纲

听众收益

张旭东

快手商业化测试开发leader

快手商业化测试开发工程师，目前为快手商业化数据和商业化联盟方向负责人；保障商业化数据链路的稳定性和实效性。曾就职于阿里妈妈、贝壳找房等公司，从事质量保障工作。

待定

大数据质量保障体系探索

经过六年的蓬勃发展，快手商业化取得了长足进步。随着业务形态的不断丰富和规模的持续扩大，每日收入已突破亿级，同时面临着高达百万次每秒的日志上传量。这些日志中都包含着千余个数据字段，给实时流商业化领域的探索带来了前所未有的挑战。为了确保下游策略模型、算法、广告主报表和广告引擎等核心业务的稳定、持续和可靠运行，迫切需要实现数据的即时归因和高效拼接。
在离线数据处理方面，每天都需要应对PB级别的海量数据。这些数据经过深度分析和精细加工，转化为清晰、准确的分析数据和运维数据，为公司的运营和策略决策提供有力支持。
在本次分享中，我将聚焦于快手商业化在海量数据背景下的实践经验。将探讨如何从时间、成本和效率等多个维度出发，寻找最佳路径来确保实时和离线数据的准确性、一致性和及时性。同时，我也会分享在落地保障方案以及执行相关策略过程中所取得的成果和心得体会。

1. 海量数据下数据质量保障的挑战
1.1 介绍快手大数据业务背景以及对应的挑战
2. 实时和离线场景下应对与解决方案
2.1 实时链路场景问题以及解决思路
2.2 离线离乱场景问题以及解决思路
3. 落地与实践中问题分析
3.1 方案推进过程难点以及应对方案
4. 数据质量保障探索
4.1 数据质量未来的规划以及探索

1. 了解百万并发数据下实时数据质量保障的挑战以及应对方案；
2. 了解海量数据下离线任务和产出时效保障策略；
3. 从实时到离线，从数据质量到数据效率，从数据治理到数据管控全方位了解大数据测试体系。
方案痛点：
1. 大数据业务数据链路长、数据体量大、数据逻辑复杂，数据质量挑战极大，如何高效建设数据质量保障体系？
2. 不同于传统前后端的架构设计等，离线数据基本上是通过HiveSQL完成，这部分代码质量如何管控？

内容大纲

听众收益

徐光耀

bilibili 资深测试开发工程师

B站工程效率团队资深测试开发工程师，目前主要负责CICD相关平台的设计开发，包括基于云原生的产物/镜像构建平台、CI流水线平台等，以及其他测试工具和平台，如流量录制回放、覆盖率平台等；之前负责过压测平台的设计开发，支撑了大型活动（如S赛）的压测预演和质量保障。曾就职于百度，从事大数据产品的相关测试开发工作。

待定

B站流量录制回放实践

提出一种通用的微服务流量录制方案，并将其用于提升测试质量和测试效率。

1. 流量录制的需求背景
1.1 用于构造更丰富的回归case场景
1.2 用于流量回放/压测
1.3 用于diff测试
2. 现有流量录制方案的痛点
2.1 侵入代码
2.2 依赖语言技术栈，跨语言不通用
2.3 http/grpc协议不通用
3. 一种跨语言通用、非入侵式的微服务流量录制方案
3.1 设计思路：基于伴生容器监听网卡+网络包解析
3.2 遇到的问题和方案演进：解析过程消耗cpu资源，需解耦
4. 流量如何用于提升测试质量和测试效率
4.1 基于覆盖率的高质量流量筛选，自动生成api测试集
4.2 集成压测平台，流量回放用于压测
4.3 用于技术改造需求的diff测试

1. 了解如何设计通用的流量录制方案
2. 了解流量收集后如何用于提升测试质量和测试效率

内容大纲

听众收益

董琼

微众银行测试专家

微众银行测试专家，目前主要负责微众银行贷款产品的金融交易、账务、营销域的质效保障测试，
同时负责部门数据质量专项工作，建设金融领域的数据质量智能测试及监控体系，保障数据的可用性、时效性、准确性。毕业后曾就职百度，在百度先后从事百度云、百度新闻、百度feed推荐模型测试开发相关工作约7年。

待定

数据质量智能监控布防实践之路

在大模型和数字化银行背景下，为了提升业务决策能力、降低监管合规风险、保护数据安全和隐私，我行建立了金融数据特性下数据的准确性、完整性、一致性、合规性、时效性六个维度的数据质量评价模型。
如何规避或尽早发现数据质量问题，成为研发人员的痛点，人工部署数据质量监控存在成本高、易遗漏的风险。
本议题主要介绍海量复杂的金融业务数据下，从工程智能化和算法智能化两个维度，在研发流程过程中落地数据质量监控自动化布防方案和应用效果。降低研发人员人工成本，降低数据质量风险。

1. 项目背景介绍
2. 海量数据下的关键数据范围自动识别
基于应用数据血缘和大数据血缘的全链路关键数据字段识别策略、算法、管理。
3. 数据质量监控统一数仓建立
3.1 批量监控数仓
3.2 实时监控数仓
介绍两类不同时效、不同监控数据源的数据采集、存储、资源调度等技术方案。
4. 数据质量智能监控模型
4.1 无监督字段值波动监控模型
4.2 无监督字段逻辑规则生成模型
介绍字段级的数据质量监控模型的训练、部署、应用检测的全流程，重点讲述两个模型要解决的问题、实现手段、模型算法效果。
5. 数据质量根因分析定位
介绍基于血缘分析平台、发布平台、变更分析平台等不同根因源的数据质量根因问题分析的解决方案。
6. 整体数据质量智能监控效果评估
从规则有效性、告警反馈分析、数据攻防检测等方面建立完整的智能监控效果评估闭环流程，评估模型的准确率和覆盖率。

听众能了解到微众银行的数据质量监控的全流程布防体系，从微众的实践之路中遇到的问题、解决方案得到启发，其中借鉴数据质量智能监控模型的方案，可以快速低成本的部署应用。

内容大纲

听众收益

孙暕晖/侯欢

腾讯微信视频号专项测试负责人/测试开发工程师

孙暕晖：腾讯微信视频号专项测试负责人

微信视频号音视频业务的专项测试负责人，有多年音视频专项测试经验，在今年CVPR2024 VQA大赛中获得第二名，对VQA有独特理解和专精技术，对音视频专项测试有完整体系的方法论和测试方案以及测试案例。

侯欢：腾讯微信测试开发工程师

21年毕业于西安电子科技大学，加入腾讯微信。目前主要负责微信视频号业务（短视频、直播）音视频质量测试。研发音视频检测算法和测试工具；制定系统测试方案，挖掘异常音视频问题。为业务提供优化方向，维护视频号业务良好生态。

待定

追求极致 - 揭秘微信视频号音视频质量保证

随着移动互联网的发展，短视频和直播业务已经逐步走向蓝海。刷视频、逛直播间已经成为了人们日常生活中不可或缺的一部分。但随着平台用户数量日渐增加，用户体验问题也日益显现，良好的观看体验显得尤为重要。因此，我们微信测试团队在进行了大量专项测试，为优化产品提供方向，致力于提升用户体验。本次议题我们将分享音视频专项测试框架，重点剖析画质评估方法和视频秒开体验方案。我们深信，只有通过持续的测试和优化，才能为视频号的用户提供最优质的体验。

1. 背景
2. 专项测试整体框架
整体框架图
2.1 视频、图像类方案概述
2.2 音频类方案概述
2.3 共线工具概述
3. 专项测试方法篇
3.1 基于二维码对齐的全参画质评估

本节我们将详细介绍一种基于二维码对齐的帧全参考测试方案。我们在专项测试中使用了这个方案，它能将很多不可量化的、不可使用全参考算法的场景变得可以实现算法评估。开始算法计算时，是需要仔细的对齐这一系列的帧再做计算，因为全参考的计算原理是根据两张相同场景的图片数据，做比较测算。该方案可以提高转码传输质量评估的准确性。

3.2 VQA视觉质量无参评估（CVPR2024第二名）

3.2.1 方法详述

自研的VQA模型，根据视频链接，返回一个画质分，用于表现该视频的主观质量（清晰度等）

3.2.2 业务收益

该方案为线上大量视频质量评估提供画质参考，为画质情况提供有效监控。

3.3 基于滑动物体检测和OCR识别的秒开测试

3.3.1 方法详述

为了计算视频的秒开耗时，我们设计了一种基于图像检测的方法，通过计算滑动首帧和进房画面首帧的时间差计算直播间的秒开耗时。首先根据滑动时字体图标移动进行移动物体检测划分推荐流片段；然后基于OCR识别检测直播间片段。最后对视频分帧，基于图像分类计算视频秒开。

3.3.2 业务收益

该方案提高了测试结果精确性，可同线上指标做校验；同时极大的减少人力成本。我们从不同客户端、不同网络损失维度，分别分析了优化前和优化后推荐流直播间的秒开耗时。
另外，我们还绘制了全部直播间的视频和音频秒开耗时曲线图，分析音画同步情况：

本小节扩展：基于此方案的，音视频结合视频卡顿计算方法
4. 专项测试融合篇
4.1 测试方案与测试方法的关系

全面了解音视频质量测试在短视频和直播业务各个阶段的测试方案和测试工具，借鉴画质评估和秒开评估技术方案，对音视频质量评估具体参考意义。