基于监控体系，第二个工作是问题诊断，我们首先建立了三类体验质量数据服务，第一类是监控指标数据服务，主要覆盖的是服务端、客户端、设备、QoE、QoS、QoC，这些数据放在统计库、时序库中使用。第二类是网络端所有控制面和媒体面的事件数据服务。第三类是终端事件数据服务，包括终端侧用户行为事件，例如加入房间、切换角色、操作麦克风或摄像头等事件，此外还包含了终端设备数据，例如CPU、内存、摄像头等。
基于这三类体验质量数据服务，RTC构建了三层问题诊断体系。
第一层构建是覆盖全链路、全维度的QoE/QoS实时监控体系，可以在分钟级完成体验诊断和快速恢复问题。
第二层监控体系是基于网络行为数据和端侧行为数据的一键式用户个例通话QoS调查能力，它可以帮助我们快速解决RTC业务单用户的体验问题和投诉。
第三层问题诊断能力是在第一层QoE/QoS全局指标监控和第二层QoS行为调查能力基础上的体验问题自动诊断高级能力，它通过监控三十多个指标产生二十多个异常事件，并通过学习模型，给出影响的六类体验场景。这样系统就可以快速自动化地判断出体验发生异常的原因，并且快速传递给客户。
如何构建音视频服务全流程质量监控平台？上述介绍的是华为云RTC业务体验优化的实践案例，做体验质量优化工作是需要平台完成的，我们下面来分享华为是如何构建音视频服务全流程质量监控平台的。首先从数据采集、传输、计算到消费四个环节的亿级规模音视频质量监控大数据平台，包括支持端、边、云全数据采集和传输的数据网络，支持实时计算、离线计算和机器学习的多模数据处理系统，以及支持运维、运营、客户的数据消费服务体系。
在构建平台时，会遇到很多性能、质量、效率以及实时性的问题，如何构建一个大容量、低成本、高效率和可信数据质量的平台？我们采用了批流一体和存算分离的架构。批流一体解决的是开发效率的问题，我们同一个指标可能在批流一体中计算一次就可以对所有服务使用，不需要重复开发，同时我们有一站式数据开发平台可以解决开发效率的提升。成本问题上我们采用的是存算分离——存储和计算是分离的，存储采用的是对象存储，价格相对低廉，计算引擎采用的是前面介绍的批流一体的方式，这样可以做到成本最佳。质量方面是采用了“ODS-DWD-DWS-ADS”四层数据治理平台，保证所有数据可跟踪、可管理，确保任何指标数据都是实时、完整、准确的。
在有了大容量、低成本的平台后，我们还面临断网、设备故障等问题。我们在平台可用性上基于云服务实施，采用跨Region主备容灾和多AZ模式，整体SLA可达99.99%，来自端、边缘、云等全部六类数据不丢失，监控、调度等六类服务不降级。这样我们在整个环境下，任何环节出现异常，在质量和服务提升上都可以正常工作。
如何持续保证音视频体验质量三大利器？
回顾本次分享，音视频体验发展有三个特点：第一，用户对体验的要求是真实感越来越强，直播、RTC等用户要求更高；第二，在用户体验上要求越来越互动；第三，面对各种网络、终端业务环境越来越复杂。