WebRTC[31]-WebRTC的FEC类型

WebRTC 自诞生之日起, 就代表了实时通信领域的最好的技术. 不过很长时间里, 它所支持的视频编码器只有VP8, 后来随着H265/VP9为代表的下一代视频编码器的诞生, WebRTC里出现了VP9 Codec. 而当前应用最广泛的H264 却一直不受待见. 一直到Cisco 宣布旗下的H264 Codec开源为OpenH264, 并且替所有OpenH264的使用者支付了H264的专利费， 以次为契机， 在IETF的WebRTC会议中， 把H264和VP8都列入了WebRTC所必需要支持的视频编码器。

目录 WebRTC::FEC ULPFEC FLEXFEC Encode ulpfec Decode ulpfec 动态 FEC 冗余度 FlexFEC in WebRTC WebRTC::FEC Ta...

ULPFEC在WebRTC中的实现

测试

需要解决的问题 1、FEC Level Header for FEC Packets中的Protection Length 字段的大小是如何确定的？RFC5109中10.2节的例子中没有明确给出该字段值的计算方式。 2、RFC5109中10.3节的东西，还需要仔细阅读，因为WebRTC中，就是采用该方式传输的数据包。 3、ULP FEC的具体实现，需要阅读WebRTC源码 FEC总结比较好的文章 1、FEC 5109协议的翻译 https://blog.csdn.net/viyana/article/det

Opus 编码器的 OPUS_SET_COMPLEXITY 参数控制编码器的复杂性，这个参数的范围在 0 到 10 之间，其中 0 是最低复杂性，10 是最高复杂性。调整 OPUS_SET_COMPLEXITY 参数会影响编码器的以下行为：计算复杂性：将 OPUS_SET_COMPLEXITY 参数调高会增加编码过程的计算复杂性。这意味着，更高的复杂性可能会导致更高的 CPU 利用率和更大的延迟。

要使用RED，更改编解码器的顺序，使它在Opus编解码器之前。当你在相对较小的50kbps的Opus流旁边发送几百千比特的视频时，基于拥塞的Opus音频的FEC策略没有太多意义。在重度数据包丢失的情况下，LBRR使用的比特率最高可达10kbps（或数据速率的三分之二）。SILK的LBRR，也就是低比特率冗余，也包含在Opus中（记住Opus是一个混合编解码器，它在比特率谱的低端使用SILK）。然而，Opus中的SILK与Skype早年开源的原始SILK相当不同，用于前向错误纠正模式的LBRR部分也是如此。

flexfec

在对应分组的源数据包中仅存在一个数据包丢失时，可以对丢失的数据包进行恢复处理，换言之若对应分组的源数据包的丢包数量大于 1 则恢复处理会失败。至少存在两个按行分组的源数据包/FEC数据包丢包两个以上，并且丢失的数据包在列维度上是对齐的，则恢复失败。至少存在两个按列分组的源数据包/FEC数据包丢包两个以上，并且丢失的数据包在行维度上是对齐的，则恢复失败。在同一行的分组的源数据包中出现两个以上的丢包则恢复失败。

https://blog.csdn.net/CrystalShaw/article/details/103183607?utm_medium=distribute.pc_relevant_t0.none-task-blog-OPENSEARCH-1.channel_param&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-OPENSEARCH-1.channel_param

前面为大家介绍了GCC的部分逻辑，GCC作为码率控制的第一环所有的数据都会收到它输出的参考码率的限制。在发送的数据内容中有很多的分类：视频数据、音频数据、重传数据、FEC数据。FEC前面有向大家介绍过，中文称为：前向纠错。在WebRTC中有一个很好的Fec应用例子，它通过RR回复的网络信息进行动态调整，使得在传输中抵抗不同程度的网络损伤。下面我针对FEC给大家介绍一下动态变化的逻辑。FecController是WebRTC提供的接口，如果需要自定义自己的控制类，那么继承它之后进行开发就可以了。

并不是所有媒体包的优先级都相同，因此可根据优先级来划分保护等级，比如优先分配给音频包，然后是视频的I帧包，接着是P帧、B帧。而FEC包#2有两个等级，0级用于保护媒体包C和D，1级用于保护媒体包A、B、C、D。FEC头的结构由：扩展位E、长掩码L、填充位P、扩展标志X、CSRC计数、标志位M 、PT载荷类型、基本序列号、时间戳、长度组成，占8个字节。(1)、保护等级大于0的媒体包只会被保护一次，保护等级等于0的媒体包可以被多次保护；FEC数据包由RTP头、FEC头、FEC等级、FEC载荷组成，如下图所示。

流媒体学习之路(FEC)——FEC应用仿真与测试（附demo） 文章目录流媒体学习之路(FEC)——FEC应用仿真与测试（附demo）一、FEC应用简析1.1 FEC原理简述1.2 FEC编码的不同二、FEC丢包模型三、测试对比四、结果与分析 提示：demo链接在文章末尾，有兴趣自取。 一、FEC应用简析   前面的NACK方案能在延迟较小的情况下快速补偿丢包，但是随着丢包率上升以及延迟增加，纯NACK方案逐渐无法满足传输需求了。那么在已知高延迟高丢包的环境下，我们可以通过提前冗余去做数据补充，让我们可以

流媒体学习之路(mediasoup)——前后端交互全流程解析（8） 文章目录流媒体学习之路(mediasoup)——前后端交互全流程解析（8）   

转自：https://www.jianshu.com/p/06a27ebacec7在基于IP网络的多媒体通信系统(比如WebRTC)中，网络丢包对多媒体通信质量有非常严重的影响：例如造成视频的马赛克、图像模糊、帧率下降等问题，造成音频的声音失真、噪声干扰、音频中断等问题。这都会严重影响系统的通信质量，造成非常差的用户体验。WebRTC主要采取两种手段对抗网络丢包：丢包重传(NACK)和前向纠错(F...

void VideoSendStreamImpl::ConfigureProtection() { RTC_DCHECK_RUN_ON(worker_queue_); // Consistency of FlexFEC parameters is checked in MaybeCreateFlexfecSender. const bool flexfec_enabled = (f...

FEC FormatWebRTC 应用RFC 5109所定义的 XOR 来对RTP 数据进行保护, 以抵抗网络丢包. 协议所定义的包结构如下:+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ | RTP Header (12 octets or more) | +-+-+-+-+-+-+-+-+-+-+-+-+-