自动化测试-上海站_QECon全球软件质量效能大会-橙柚科技

8折票售票中

团购享更多优惠

深圳站 · 5月12-13日

北京站 · 7月28-29日

上海站 · 9月22-23日

优惠倒计时

聚焦测试自动化规模化中的问题，以及自动化价值向研发端到端的外溢。

自动化测试专场

专场出品人：高广达

华为数据存储产品线测试技术高级专家（首席）ICT软件测试专业组组长

数据存储产品线测试技术高级专家（首席），ICT软件测试专业组组长，华为20年测试工作经验，长期专注测试技术发展，在MBT（基于模型测试）、精准测试、自动化测试、开发者测试、测试设计、协议测试等领域有深入探索。

王海兵

携程机票研发能效团队经理&SRE

携程机票事业群研发能效团队经理&SRE，拥有10年的测试团队经验和10年的研发及工具开发团队经验。多年兼任团队SRE一职，为团队的稳定运行和高效开发做出了重要贡献。

待定

基于流量回放的自动化回归测试平台AREX探索实践

线上核心的业务系统通常会需要迭代升级甚至重构，如何确保系统原有业务的正确性非常重要：
1. 业务复杂度高，构造测试数据和维护测试用例成本高，且覆盖率很难保证；
2. 测试脚本无法模拟真实环境场景，较难复现生产 bug。
3. 项目时间紧，回归测试不全面而导致线上故障。
利用线上真实流量来进行自动化回归测试已成为一种趋势，然而传统工具不支持写接口验证，且会生成业务脏数据等。在本次分享中，我们将介绍我们团队为解决这些问题而进行的探索，即将流量回放、Mock和比对测试相结合的自动化回归测试工具AREX，并分享我们初步取得的效果。

1. 背景：研发过程中的测试效能及 AREX 平台诞生背景。
2. 探索 AREX：AREX在流量录制回放、Mock及比对测试上的独特实现逻辑，初版AREX面临的困境及其创新解决方案。
3. AREX体系：AREX的组成和架构概述，深入了解AREX的工作原理和技术要点。
4. 效果与展望：AREX在携程研发团队中的实战效果展示，对质量和效能方面带来的显著收益，及后续功能优化，算法优化的方向。

为了解决在在敏捷开发和DevOps浪潮下，回归测试面临的诸多痛点，我们的团队采用了流量回放作为解决方案，并结合了自研的Mock机制和比对测试功能，推出了自动化回归测试平台AREX，该平台已经开源。本次演讲，我们将向听众展示AREX的核心功能，包括流量录制回放、比对测试以及写接口验证的实现逻辑。通过了解这些技术细节，听众可以获得对于质量保障工作的新思路和启示，以及在实践中应用流量回放解决方案的经验。

内容大纲

听众收益

丛阳

华为软件测试经理

华为游戏中心团队资深测试工程师，有多年的客户端测试经验，在客户端自动化设计、自动化效率提升等方面有丰富实践。

待定

自动化工厂执行结果智能分析

解决自动化执行后分析工作量大耗时的问题

1. 失败分析：一方面通过确定规则匹配筛选处理大部分的失败分析，另一方面通过失败用例特征训练预处理用例分析结果；
2. 介绍自动化分析与测试框架、业务代码联动以取得更好的分析效果；

.....

内容大纲

听众收益

Kubernetes每隔两个月会进行版本升级，每次升级后的k8s需要在多云环境中进行部署和管理测试的验证。测试的维度将包括众多云环境(Azure、OCVS、AWS、GCVE， VSphere)、K8S版本（至少近三个版本）、不同的网络解决方案（calico、flannel、Antrea）、不同操作系统(ubuntu/redhat/photon)、不同节点大小、不同HA支持方案(kube-vip/AVI)等等；这些维度的组合将构成上千个测试场景的集合，需要数周的测试时间、如何设计兼容以上测试场景并高效进行并发测试的框架，就是一个非常具有挑战和迫切的事情。
每次发版QA会集中测试多云环境中VSPHERE和K8S的基础功能（网络、PV、apiserver lb、集群节点的scale up/down等），但对于每次发版的产品新功能，需要由研发进行新功能测试代码的编写，因此需要将研发脚本整合到QA的测试框架下，并且保证研发进行新功能测试的代码不会影响QA测试脚本的运行结果，同时要将运行结果尽快反馈给研发和产品的同事、以尽快进行产品缺陷的修正和验证case的修改

余超

VMWARE中国技术专家

VMWARE技术专家，多云平台TKG产品测试开发负责人。原第四范式质量部团队测试专家，负责实现AI平台产品的CICD流水线搭建，实现AI微服务平台产品的快速交付和自动化测试。曾任职于百度和freewheel资深测试开发工程师，期间负责百度“爱耳目”产品的服务端测试和freewheel公司各个业务部门产品的CICD建设。

待定

多云环境中部署及管理Kubernetes 集群的测试自动化实现

1.构建全新的测试框架，将对接多云SDDC资源、测试环境构建、运行测试case并行执行，在4小时内完成以往数周的测试工作量。
2.整合integration测试，将不同部门的基础测试环境搭建和运行测试脚本的环境进行整合，并将结果通知到不同部门接收，使得不同部门不同产品的测试流程更加平顺。
3.将Sanity Tests、networking Test、vSphere CSI Test、Specific K8S Tests整合到QA的regression测试中，满足多云环境中基础feature测试的要求。

1.多云环境中，如何对容器编排的K8S或类似的开源平台进行测试框架的测试开发工作；如何满足在多维测试条件下设计测试场景、使其在有限的计算资源下进行并存测试。
2.如何整合Sanity Tests、networking Test、vSphere CSI Test、Specific K8S Tests到一个测试场景中；有效对接QA的regression测试和Dev的新feature功能测试；如何将不同部门并有着上下游关系的测试案例进行组合并将测试结果展现出来。

内容大纲

听众收益

常兴

蚂蚁集团应用开发专家

蚂蚁集团智能代码&智能终端团队应用开发架构师，目前主要负责蚂蚁云测平台终端自动化引擎研发、APP自动化测试/稳定性/性能专项技术方案等，保障支付宝、网商、财富等蚂蚁集团APP及阿里系部分应用的自动化测试、抓包、安全巡检等场景的研发效率及定制性业务技术攻关；及提供软硬件自主研发的云测平台，保障终端集群服务和调度能力的可靠性和稳定性; 毕业后曾就职于百度、新浪微博公司，从事APP研发、端自动化体系建设和平台开发功能。

待定

打造企业级云测平台的实践

移动互联网发展10多年，手机云测平台基本上已是各个中、大厂质量效能领域的标配平台。在大型企业内部，手机云测平台不断的壮大之后，承担的职责已经远远不仅限于自动化测试。在大型企业内，终端云平台更多的会以技术平台的角色，推动测试左移尽早发现问题，测试右移承担线上运维/投放等功能。并且参与到CI/CD，DevOps以更敏捷的方式横向/纵向服务于更多的团队。那么这里以蚂蚁云测终端自动化平台为例，从14年到现在，深耕于终端自动化集群平台的研发和运维，在线终端设备约5k，每日千万级的自动化任务量，主要服务于支付宝质量及阿里系部分核心APP。平台演进过程和业务不断壮大过程中，遇到的显著问题，这里我归纳为三点：
1. 平台稳定性问题，包括终端设备在线稳定性、软件服务稳定性、任务调度稳定性等；
2. 业务可行性能力，主要体现在平台可托管终端机器类型的丰富性、设备能力开发灵活可用性、一些业务底层技术的攻关能力；
3. 客户端自动化将本提效方案。
针对以上三类问题，本次议题则以蚂蚁云测平台为例，谈谈我们在云测终端平台演进过程中，如何克服困难为企业终端APP业务增长持续提供稳定、可用、高效的平台技术方案。

1. 终端自动化体现建设：以解决业务痛点为目标，既要在单点的难点问题上有技术攻坚力度，又要能够对下游业务有很好的

开放程度让其能够有很好的个性化业务产出，还要为用户自动化业务降本增效提供体系化的解决方案。
2. 大规模终端集群稳定性保障：自研智能硬件->硬件可编程接入->多容器化系统架构->工具层能力，实现了终端集群高密度

大规模标准化部署，做到了全链路软硬件技术可监控可恢复目标。

了解大规模终端集群平台演进过程中，遇到的问题及解决方案，得到企业级终端云平台稳定性和可用行能落地的解决方案。以及在云测平台支持业务过程中，如何为客户将本增效，持续产生业务增量的最佳实践。

内容大纲

听众收益