HEVC—SAO技术

来源

        SAO原始的思想来自于Samsung的提案JCTVC-A124。因为该提案太过复杂，因此没有被H265采用。但是基于该提案提出的SAO（JCTVC-BO77/C147/D122/E049）最后被采用了。在原始的提案中SAO分为LUMA SAO和CHROMA SAO(JCTVC-F056）。SAO的offset包含BO(Band offset)和EO(Edgeoffset)。

原理

        通过PSNR的计算公式可以看到，重构数据和原始YUV之间的差的平方和是决定PSNR的因素。SAO通过分析deblocking后的数据和原始YUV之间的关系来对deblock后的数据进行delta操作，使得尽量接近原始YUV，达到提高PSNR的目的。

        一个最基本的想法就是把deblock的重构数据和原始YUV中每一个相同位置的pixel做差值，把这个差值传给decoder，这样可以完全恢复原始YUV.但是这实际上是不现实的，如果每一个pixel都传输一个offset，这会导致码率会非常的高，达不到压缩的效果(如同DPCM)。H265在码率和PSNR之间做了一个tradeoff，以较小的码率增加来提高PSNR。

        此外，在图像中像素值剧烈变化的边界区，经过编码-解码重建之后通常会出现波纹状的失真现象，这种失真称作振铃效应。振铃效应产生的根本原因在于边界区高频分量在编码过程中丢失。SAO技术能够减少高频分量的损失，同时不降低编码的效率，从像素域入手对振铃区域进行补偿。

        下面就看H265是怎么做的。

        H265是基于CTB来做SAO。通过分析deblock重构pixel和原始输入YUV之间的关系将pixel分成了三种SAO模式： EO、BO以及不采用

        EO：边缘补偿，分为四种模式，分别为水平、垂直、135度、45度，每个CTU只能选择其中的一种模式。选择的过程采用RDO进行决策。在确定模式之后，又分为五种类型。

        这五种类型是根据当前的像素值与相邻的像素值之间的关系决定的。其中，类型0没有画出，它是代表平坦区域，即与相邻的像素值相等，那么就不进行EO操作。对于剩下的四种类型，每个类型分配一个offset。其中类型1与类型2的补偿值为正，3与4的补偿值为负。

        BO：带补偿。将图像的像素值范围划分为32个带（即32等分）。以平常经常使用的8bit的视频为例，像素值的范围就是0-255，那就是对0-255进行32等分，每一份的像素值为8k-8k+7（k∈[0,31]）。计算每个带中原始样点与重建样点的平均值之差（即补偿值），选择连续的4个偏移最大的带进行补偿（切记是连续的4个带）。即如果像素值属于在这4个连续的带的范围，那么就对该像素进行补偿，补偿值为之前计算的每个带中原始样点与重建样点的平均值之差。为什么选择连续的4个带呢？一方面大部分的像素值应该集中在很少的几个带中，因此这能够覆盖大部分的像素值了，另外一方面，EO中也是用了4个偏移量，因此能够进行复用，节省了码率。