屏幕共享是视频会议中使用频率最高的功能之一，但在实际场景中用户所处网络环境复杂，常遇到丢包或者拥塞的情况，所以如何优化弱网环境下的用户体验也成为了音视频通信中重要的一环。本文主要分享阿里云 RTC QoS 如何通过若干编码器相关优化提升弱网环境下的屏幕共享体验。
作者：长程/田伟峰
审校：泰一
本文介绍以下四个方面的优化：
Screen Content Coding Tools
Long Term Reference (LTR)
Fast QP Rate Control
Content Adaptive Frame Rate
对本文中效果测试的说明：
为保证视频质量，屏幕共享的 Codec 设置了最大 QP (Quantization Parameter)，在本文后面的测试中，这个最大 QP 对所有配置都是一样的。
为了更好的比较，效果测试中展示了流畅性和清晰度两个维度的效果。
对于流畅性的比较，由于视频分辨率太大，所以对其画面进行了缩放，使得原始版本和改进版本可以放在同一个视野中播放，以很好的看到卡顿和延迟的改进。画面模糊是由于上述原因降分辨率所致，在清晰度的对比中可以看到原始分辨率的画面。
Screen Content Coding ToolsCodec 中增加并改进了对于屏幕内容（其内容多为如 Word、Excel、PPT 等计算机生成的图形，文字等，具有重复纹理多，色彩分布较离散，无噪声等特点）特别适合的 Coding Tools 如 Intra Block Copy (Current Picture Reference)，Transform Skip 等，显著提升了屏幕内容的压缩效率，可以做到相对于原 Codec，对于屏幕内容视频相同质量下平均可以节省带宽 20%+，编码时间只增加 10%，对某些典型序列场景带宽可以节省 40%+，由于是非标准的 Coding Tools，实际使用中会根据 SDP 协商，当所有与会方都支持该特性时才会开启。
SCC Tools 效果 流畅性效果测试 SCC Tools 在弱网下的改进效果。
上图中，上半部分是增加了 Screen Content Coding Tools 编码出来的码流，下半部分是原始 Codec 编出的码流，可以看出使用 Screen Content Coding Tools 之后卡顿和延迟明显降低了。
清晰度效果上面的动图可以看到卡顿情况的改进，下图展示的是清晰度的对比，左边是原始版本，右边是增加了 SCC Tools 版本，可以看到 SCC Tools 版本和原始版本相比清晰度并没有下降。
长期参考帧技术是一种网络模块和编码器共同配合完成的参考帧选择技术。在 RTC 场景下一般的编码参考策略是向前一帧参考（在不考虑 SVC 的情况下），因为参考的距离越近压缩效果越好，出于实时的考虑编码只有 I 帧和 P 帧，没有 B 帧。而长期参考帧是一种可跨帧的参考帧选择策略，这种策略打破了传统的向前一帧的限制，可以更加灵活地选择参考帧。
长期参考帧策略的目的是在有 P 帧丢失的场景下，接收端不需要重新请求 I 帧也能继续正确的解码和播放，其相对于 I 帧可以明显提升编码效率，节省带宽。该技术可以绕过丢失的帧，利用丢失帧之前的一个已经接收的长期参考帧作为参考进行编码 / 解码显示，从而提升弱网场景下的视频流畅性。
根据长期参考帧的特点和目的，实现长期参考帧技术的应用需要有接收端侧反馈信息，编码器根据接收端反馈的帧信息选择参考帧编码，在有 P 帧丢失的场景下，接收端通过请求长期参考帧恢复将很快恢复画面。由于存在接收反馈，高 RTT 时反馈延时较大将会导致参考距离变大，所以长期参考帧比较适合低 RTT 场景。在多人会议场景中，下行人数太多也会制约长期参考帧的应用。
综合来看，长期参考帧更适合 1V1 的通信场景，适合低 RTT 伴随丢包或者拥塞的弱网场景，这样的场景下长期参考帧比传统的向前一帧参考有更好的实时性和流畅性。
LTR 效果测试 LTR 以及 SCC Tools 在屏幕共享弱网下的效果。
流畅性效果