音视频作为用户重要的娱乐,如何保障用户高质量的享受音视频的效果,从音频品质、音乐效果、录唱体验,到视频清晰、美颜等等方面都对团队提出了很多的挑战,需要质量团队从文件质量、效果评估、客观评测算法、主观评测效果、数据集保障各个方面进行能力和工具的建设,通过优秀的实践落地,更好的帮助音视频产品上线效果,助力产品目标。
音视频测试 专场
专场出品人:杨究宇
腾讯音乐 QQ音乐 质量效能总监
20年 负责QQ音乐、全民K歌、音乐国际业务质量和效能管理工作,负责过程管理、客服管理,搭建音乐测试体系、研效提升,从无到有建设音视频评测体系,建立音频评测工具,使用深度算法cnn/无参考BIQA模型理论,Inception-Resnet V2网络模型等建设了TME 视频清晰度客观打分算法,有效评估了各类视频的清晰度,并通过归因算法,对不同类型的视频、团队进行快速问题分类,PLCC打分0.93左右。
徐曼娜
TME 算法专项测试工程师
华中科技大学服务计算与系统实验室硕士,徐曼娜长期从事算法类测试开发工作,曾先后于百度搜索测试部负责知识图谱测试开发、百度地图负责驾车导航SDK引擎开发。目前在腾讯音乐负责算法效果类专项测试及效能开发工作,包括推荐&搜索、音视频专项质量保障及研效提升等。研究方向包括算法效果类评测、主客观评价、评价标准&工具。
待定
待定
TME音视频质量保障实践之路
音视频业务始终是音乐类软件的核心业务,无论是在线直播还是用户生成内容(UGC)视频,对音视频质量都有着严格的要求。然而,在保证音视质量方面,仍面临诸多挑战:
1. 音视频的质量评价包含多个维度,实现统一量化评估具有一定难度。
2. 音视频需求测试阶段依赖人工测试,导致效率较低且覆盖范围受限。
3. 音视频质量保证不仅应关注单一环节,还需重视全流程的整体质量评估与把控。
4. 如何在测试层面发掘优化点,以指导整体音视频质量的提升。
TME音视频质量保障体系构建思路:
1. 客观指标建设:
    1.1 清晰度打分指标TDQA,K歌内部数据集PLCC达到0.918,保证了评分的准确性。
    1.2 归因分析模型,能够从过曝光、过暗、蒙层、噪点等多维度对低质量视频进行深入分析。
    1.3 建立音频质量评估体系,做好厂牌音频和用户干声的音质保证。
2. 主观评测实践:
    2.1 针对音视频不同的类型和应用场景,制定主观评测标准,确保评测结果更具针对性。
    2.2 开发主观评测平台,提供音视频标注、多资源对比、主客观指标计算等功能,便于总结和分析。
    2.3 建设主观评价团队,覆盖各业务线、各团队、各角色,保证评价的全面性和客观性。
3. 线上监控平台:
    3.1 对常见的视频指标如清晰度、流畅度、秒开等,以及常见的音频指标如背噪、电流音、click音等进行监控,纵向观测
         化趋势,横向对比竞品质量,在把握好大盘质量的同时寻找优化方向。
    3.2 实时开播画面监控,从音视频质量出发,筛选出优质/低质直播间,进行流量的扶持或限制;新增作品的质量监测,
          做好ugc部分整体音视频质量把控。
    3.3 音视频的多维度分析,全面评价音视频的画质与音质维度质量。
    3.4 参数云控,实现不同直播间的个性化参数调整,满足各种需求。

音视频质量保障体系其他基建:
1. 音视频样本库建设,为评测和分析提供丰富的素材。
2. 视频异常检测工具建设、音质检测工具,提高视频质量评估的效率和准确性。
.....
内容大纲
听众收益
2014年硕士毕业于浙江大学,先后任职微策略、蚂蚁金服及蘑菇街等公司,负责了信贷审批、销售运营等业务质量保障与体系建设,同时负责了数据工厂等测试平台开发及测试专项落地;
当前在网易云音乐任职测试开发专家,担任内容业务测试负责人,负责社区、播客、曲库及原创音乐等业务质量体系建设与团队管理,在质量度量、测试完备性、稳定性保障及线上监控建设上有丰富的落地经验;同时横向负责了质量可视化、精准测试及三方MOCK等质量平台与专项建设;

擅长领域:业务平台质量建设、自动化稳定性等专项测试、测试平台开发等
王晓坤
网易云音乐内容质量负责人
待定
待定
云音乐AIGC生成音乐内容质量保障实践
AIGC在音乐内容生成中得到广泛应用,云音乐天音平台是一站式AIGC音乐内容生成平台,提供智能编曲、作词和成曲等功能。由于传统的web测试手段难以覆盖生成的内容质量保障,保障AIGC音乐内容质量存在挑战,可能影响到用户的功能和使用体验。对AIGC音乐内容进行自动化测试,以提前发现问题所在,需要涵盖能够客观评估的内容指标;也需要对线上内容进行监控,打通闭环流程,降低内容异常影响,驱动问题闭环提升;
通过建立客观和主观评估指标,并设置合理的准出标准,采用指标规则及算法模型对AIGC音乐内容进行大规模自动化验证,以保障其质量;同时,通过业务链路分层监控,及时发现和召回相关质量问题,提升用户的功能和使用体验。
在保障过程中,我们对音频文件大小、文件头、音质采样率及响应度等指标进行规则验证,确保相关生成内容在预设规则范围内;同时对空白音、钢琴音等难以检验的音频规则,我们进行了算法模型分析,发现其中规律并优化建模,提升问题发现率,降低问题噪音;通过不断得到内容效果测试输入反馈,逐步优化完善内容检测模型,提升了云音乐AIGC音乐内容质量与效率(问题发现时长从天级降低到分钟级),驱动了天音平台的迭代优化,为音乐创作者提供了更优质高效的AIGC音乐内容服务。
AIGC内容相关质量建设思路与实践,从线下、线上驱动测试完备性及效率提升,线上问题及时发现与召回;
AIGC内容自动化测试实践,提升内容质量与效率;AIGC内容线上监控建设,助力问题快速监控召回;
内容大纲
听众收益
涂勇军
OPPO 高级软件测试工程师
从事软件测试及管理工作十余年,先后从事数据通信、云计算、大数据、AI算法等相关领域测试,现任职OPPO,负责视觉理解方向算法测试。
待定
待定
端侧AI算法评测之实践
随着智能终端普及和AI算法的广泛使用,大量应用给人们带来了智能化的感受,但是AI算法的不确定性也给使用者带来了一些困扰;高频使用的智能终端涉及生活的方方面面,如何从AI算法的不确定中找到确定性,对于算法测试来说,是一个非常有挑战的问题,比如数据如何贴近用户,指标怎么反应用户体验等等。
1. 端侧算法测试特点
   1.1 端侧算法的独特性             —— 算法多样、场景开放、用户高感知
   1.2 端侧算法测试痛点             —— 反馈周期长、可解释性差、可复现性低、隐私安全
   1.3 端侧算法测试做什么         —— 从不确定中寻找确定性
2. 测试实践与探索
    2.1 需求分析                           —— 通过实例了解算法需求分析
    2.2 指标建设                           —— 指标如何反馈场景,贴近用户
    2.3 数据构建                           —— 数据如何贴近用户?长尾问题?
    2.4 评测工具                           —— 评测效能提升的工具建设
    2.5 探索实践                           —— 数据增广探索、测试充分性探索、弱监督方法探索
3. 回顾与展望
通过端侧算法测试的一个案例,重点分享算法数据构建、评测工具、评测探索等实践经验,在不确定性中寻找确定性,增强过程的可解释性,提升算法可信度。
内容大纲
听众收益
关注QECon公众号
关注QECon视频号
议题投稿
Speaker@qecon.net    
票务联系
18611377287  马静  
媒体合作
13516196409  皮皮
商务合作
15122643988  木子