用于视频编解码的跨分量自适应环路滤波器的方法及其装置
1.交叉引用
2.本发明要求于2019年7月26日递交的，申请号为62/878,899的美国临时专利申请的优先权，美国临时专利申请的全部内容通过引用并入本文。
技术领域
3.本发明涉及视频编解码系统中的自适应环路滤波器(adaptive loop filter，alf)处理。更具体地，本发明涉及视频编码器或解码器中的跨分量alf处理。
背景技术：4.运动估计(motion estimation)是有效的帧间(inter-frame)编解码技术来利用视频序列中的时间冗余(temporal redundancy)。运动补偿的帧间编解码已经广泛地用于各种国际视频编解码标准中。各种编解码标准中所采用的运动估计通常是基于块的技术，其中运动信息(如编解码模式以及运动向量)被决定用于每一宏块(macroblock)或者类似的块配置。此外，也适应性地应用帧内(intra-frame)编解码，其中在没有参考任何其他图像的情况下处理该图像。帧间预测的或帧内预测的残差通常进一步由变换、量化以及熵编解码处理来生成压缩的视频比特流。在编码进程中，引入了编解码伪影(artefact)，特别是量化进程中。为了缓和编解码伪影，额外的处理已经被应用于重构的视频来增强新编解码系统中的图像质量。额外的处理通过在环路操作中配置使得编码器以及解码器可以导出相同的参考图像来实现改善的系统性能。
5.图1a示出了合并包括自适应环路滤波器(adaptive loop filter，alf)的环路处理的示例性适应性帧间/帧内视频编解码系统。对于帧间预测，运动估计(motion estimation，me)/运动补偿(motion compensation，mc)112用于基于来自其他一个或多个图像的视频数据提供预测数据。开关114选择帧内预测110或帧间预测数据以及所选择的预测数据被提供给加法器116来形成预测误差，也称为残差。预测误差然后由变换(transformation，t)118紧接着量化(quantization，q)120处理。已变换以及已量化的残差然后由熵编码器122进行编码来形成对应于压缩的视频数据的比特流。与变换系数有关的比特流然后与辅助信息(如运动、模式、以及其他与图像区域相关的信息)一起打包。该辅助信息也可以被熵编解码来减少所需要的带宽。因此，与辅助信息相关的数据被提供给如图1a所示的熵编码器122。当使用帧间预测模式时，也需要在编码器重构一个或多个参考图像。因此，已变换以及已量化的残差由逆量化(inverse quantization，iq)124以及逆变换(inverse transformation，it)126处理来恢复残差。然后在重构(reconstruction，rec)128将残差添加回预测数据136来重构视频数据。重构的视频数据可以被存储于参考图像缓冲器134并用于其他帧的预测。
6.如图1a所示，进来的是视频数据在编码系统中经过一系列的处理。由于一系列的处理，来自rec 128的重构的视频数据可能受到各种损坏。因此，在该重构的视频数据被存储于参考图像缓冲器134之前，将各种环路滤波处理应用于该重构的视频数据以改善视频
质量。在视频编解码系统中，如去块滤波(deblocking filter，df)130、样本自适应偏移(sample adaptive offset，sao)131以及alf 132的各种滤波器已经被用于增强图像质量。
7.图1b示出了图1a中编码器的对应的解码器。视频比特流由熵解码器142进行解码来恢复已变换以及已量化的残差。在解码器侧，仅执行运动补偿(mc)113而不执行me/mc。解码进程类似于在编码器侧的重构回路。所恢复的已变换以及已量化残差、sao/alf信息以及其他系统信息用于重构视频数据。重构的视频进一步由df 130、sao 131以及alf 132处理来生成最终增强的解码视频。
8.跨分量的alf处理
9.在jvet-o0636中(2019年7月3-12日，歌德堡，itu-t sg 16wp3以及iso/iec jtc 1/sc 29/wg 11的联合视频专家组，第15次会议，kiran misra等人“cross-component adaptive loop filter for chroma”，文献：jvet-o0636)，提出了跨分量自适应环路滤波器(cross-component adaptive loop filtering，cc-alf)处理。cc-alf利用亮度样本值来细化每一色度分量。图2a示出了根据jvet-o0636的关于其他环路滤波器的cc-alf结构。在图2a中，在各自的sao(210、212以及214)后执行alf处理。在传统的视频编解码系统中，仅使用了alf亮度220以及alf色度230。在jvet-o0636中，两个额外的alf滤波器(即，cc alf cb 222以及cc alf cr 224)用于导出调整信号来分别使用加法器240以及242添加到alf处理的cb以及cr。
10.如图2b示出的，根据jvet-o0636，cc-alf将线性、菱形形状的滤波器应用于亮度通道用于每一色度分量。滤波器系数在aps中被传输(由2
10
因子缩放)，以及被旋转用于固定的点表示。滤波器的应用基于可变块尺寸控制以及由为每一样本块所接收的上下文编解码旗标(flag)来发信令通知。在条带(slice)层级一起接收块尺寸以及cc-alf启用旗标用于每一色度分量。在jvet-o0636中也公开了cc-alf的语法以及语义。
11.非线性alf操作
12.在vtm 3.0(vvc(通用视频编解码)测试模式版本3.0)中，自适应环路滤波器的滤波进程被执行如下：
13.o(x,y)＝∑
(i,j)
w(i,j).i(x+i,y+j),
ꢀꢀꢀꢀ
(1)
14.在上述等式中，样本i(x+i,y+j)是输入样本，o(x,y)是已滤波输出样本(即，滤波结果)，以及w(i,j)表示滤波系数。因为alf被应用于重构的样本，样本i(x+i,y+j)对应于重构的样本。在alf处理的中心位置的中心重构像素对应于(i,j)＝(0,0)，即，i(x,y)。实际上，在vtm3.0中，其使用整数算法来实施用于固定的点精度计算：
[0015][0016]
在上述等式中，l表示滤波长度，以及其中w(i,j)是固定的点精度的滤波系数。
[0017]
如果滤波系数的和被强制为1，没有编解码效率影响，等式(1)可以变形为如下：
[0018]
o(x,y)＝i(x,y)+∑
(i,j)≠(0,0)
)w(i,j).(i(x+i,y+j)-i(x,y))，(3)
[0019]
在上述等式中，除了w(0,0)，w(i,j)是与等式1中相同的滤波系数，其中，w(0,0)在等式(3)中等于1，而在等式(1)中等于(1-∑
(i,j)≠(0,0)
w(i,j)。
[0020]
使用等式(3)的上述滤波公式，当相邻样本值与被滤波的当前样本值(i(x,y))非常不同时，通过使用样本限幅函数来减少相邻样本值(i(x+i,y+j))的影响，可以容易地引
入非线性来使alf更加有效。
[0021]
在jvet-m0385中(2019年9-18日，marrakech,ma，itu-t sg 16wp3以及iso/iec jtc 1/sc 29/wg 11的联合视频专家组，第13次会议，j.taquet等人，“non-linear adaptive loop filter”，文献：jvet-m0385)，公开了非线性alf。在测试软件vtm3.0中，对自适应环路滤波器的输入样本值引入了适应性限幅(clipping)操作。这一适应性限幅的目的是引入一些非线性来剪切待滤波的限制输入值与滤波器的其他相邻输入样本值之间的差值。
[0022]
根据jvet-m0385，alf滤波操作别修正如下：
[0023]o′
(x,y)＝i(x,y)+∑
(i,j)≠(0,0)
w(i,j).k(i(x+i,y+j)-i(x,y),k(i,j))
ꢀꢀ
(4)
[0024]
在上述等式中，o’(x,y)对应于修正的alf滤波输出，i(x,y)对应于alf之前的样本，k(d,b)＝min(b,max(-b,d))是限幅函数，以及k(i,j)是限幅参数，其取决于在(i,j)的滤波系数。编码器执行优化来找到最佳k(i,j)。
[0025]
在根据jvet-m0385的实施例中，限幅参数k(i,j)被指定用于每一alf滤波器，其中每一滤波器系数用信号表示一个限幅值。意味着在比特流中每一亮度滤波器发信令通知12个限幅值以及每一色度滤波器发信令通知6个限幅值。
[0026]
为了限制信令成本以及编码器复杂度，限幅值被限制于jevt-m0385中可能值的较小集合。此外，仅使用用于帧间条带的4个可能值以及用于帧内条带的3个可能值。
[0027]
因为亮度的局部差值的差异性通常高于色度，两个不同集合用于亮度以及色度滤波器。此外，最大样本值被包括于每一集合中，从而使得如果非必要，限幅可以被禁用。
[0028]
根据jvet-m0385提出的限幅值的集合被提供于表1。
[0029]
表1：允许的限幅值
[0030][0031]
使用对应于集合中限幅值的索引的golomb编码，在条带报头(header)中编码限幅值。
[0032]
在本发明中，公开了改善cc-alf编解码性能的技术。另外，也公开了与用于改善cc-alf的信令相关的技术。
技术实现要素：[0033]
公开了用于重构的视频的环路滤波处理的方法以及装置。根据方法，接收色彩图像中重构的色度样本以及相关的重构的亮度样本。从多个第一alf候选中选择第一目标alf。对应于第一目标alf的第一alf处理被应用于相关的重构的亮度样本，以生成第一已滤波色度样本用于待处理的重构的色度样本。生成包括第一已滤波色度样本的最终已滤波色度样本，其中最终已滤波色度样本被用作视频解码输出或者用于进一步的视频编码或解码进程。
[0034]
在一个实施例中，第二alf处理被应用于重构的色度样本来生成第二已滤波色度样本用于待处理的重构的色度样本，其中通过组合第一已滤波色度样本以及第二已滤波色
度样本生成最终已滤波色度样本。在一个实施例中，对应于第二目标alf的第二alf处理，以及根据从多个第二alf候选选择第二目标alf显式导出从第一alf候选选择第一目标alf。
[0035]
在一个实施例中，关于从多个第一alf候选中选择第一目标alf的信息在编码树块(coding tree block，ctb)层级、编码单元(coding unit，cu)层级或块层级中发信令通知或者从ctb层级、cu层级或块层级中解析。
[0036]
在一个实施例中，在编码器侧在一个aps中发信令通知第一alf候选或者从一个aps解析第一alf候选，或者在解码器侧从一个aps解析第一alf候选。此外，独立于一个aps中的多个第二alf候选发信号通知或解析一个aps中的第一alf候选。
[0037]
根据另一方法，接收色彩图像中重构的色度样本以及相关的重构的亮度样本。第一alf处理应用于相关的重构的亮度样本，来生成第一已滤波色度样本用于待处理的重构的色度样本，其中第一已滤波色度样本的导出包括待处理的相关的重构的亮度样本(即对应于待处理的重构的色度样本)与待处理的相关的重构的亮度样本的第一相邻相关的重构的亮度样本之间的至少一个第一差值。生成包括第一已滤波色度样本的最终已滤波色度样本，其中最终已滤波色度样本被用作视频解码输出或者用于进一步的视频编码或解码进程。
[0038]
在一个实施例中，第二alf处理被应用于重构的色度样本，来生成第二已滤波色度样本用于待处理的重构的色度样本。在一个实施例中，第二已滤波色度样本的导出包括待处理的重构的色度样本与待处理的重构的色度样本的第二相邻色度样本之间的至少一个第二差值。
附图说明
[0039]
图1a示出了合并环路处理中df、sao以及alf的示例性适应性帧间/帧内视频编码系统。
[0040]
图1b示出了合并环路处理中df、sao以及alf的示例性适应性帧间/帧内视频解码系统。
[0041]
图2a示出了关于根据jvet-o0636的其他环路滤波器的cc-alf的架构，其中在相应的sao后执行alf处理。
[0042]
图2b示出了根据jvet-o0636的为每一色度分量应用于亮度通道的菱形形状的滤波器。
[0043]
图3示出了根据本发明实施例的重构的视频的示例性环路滤波处理的流程图，其中使用了多个cc-alf滤波器。
[0044]
图4示出了根据本发明实施例的重构的视频的示例性alf处理的流程图，其中在一个aps中发信多个cc-alf滤波器的信息。
具体实施方式
[0045]
下文描述是实施本发明的最佳实施模式。这一描述目的是说明本发明的基本原理以及不应当对此进行限制性理解。本发明的范围由参考所附权利要求书佳确定。
[0046]
方法1：cc-alf的对应的亮度样本位置
[0047]
在cc-alf中，添加一个额外的滤波器用于色度分量以及已滤波输出是原始色度滤
波器与额外的滤波器的加权和。如果视频格式是yuv444或者rgb444，通过使用不同色彩分量中相同的空间位置来明确定义待处理的色度样本的对应亮度样本。然而，如果视频格式是非yuv444或者rgb444，如yuv420或者yuv422，cc-alf中对应亮度样本的定义成为一个问题。根据本发明的一个实施例，对应的亮度样本是根据yuv格式或者色度的采样位置进行下采样。例如，如果视频格式是yuv420以及就亮度位置而言色度的采样位置是(0,0.5)，对应的亮度样本可以是四个亮度样本中的一个。在另一示例中，对应的亮度样本可以是左边两个亮度样本的平均值。在另一情况中，对应的亮度样本可以是四个亮度样本的平均值。可以就色度位置或者亮度位置定义滤波器覆盖区(footprint)。如果就色度样本定义滤波器覆盖区，cc-alf滤波处理的输入可以是上述提到的对应的亮度样本。如果就亮度位置定义滤波器覆盖区，cc-alf的滤波器形状的中心位置由待处理的色度样本的对应亮度样本来定义。在一个实施例中，对应亮度样本的定义取决于视频格式或者色度分量的采样位置。
[0048]
方法2：cc-alf实施方式
[0049]
在另一实施例中，非线性限幅操作可以被应用于cc-alf。可以在滤波进程中使用相邻样本与待处理样本之间的差值而不是直接使用相邻样本。待处理样本可以是色度分量中的样本值，或者是cc-alf中对应亮度样本的样本值。
[0050]
在另一实施例中，cc-alf中额外的滤波器中滤波器系数的精度与原始alf设计对齐。
[0051]
方法3：多个cc-alf滤波器
[0052]
在另一实施例中，可以在一个条带/砖(birck)/图块(tile)/图像中使用多个cc-alf滤波器。当使用多个cc-alf滤波器时，多个cc-alf滤波器的选择可以在ctb层级、cu层级或块层级被显式发信令通信。在另一实施例中，多个cc-alf滤波器的选择可以根据多个色度滤波器的选择来隐式导出。当使用多个cc-alf滤波器时，可以在一个aps中独立地发信令通信它们或者与多个色度滤波器一起发信令通信。例如，多个滤波器的两个集合(一个用于cc-alf以及另一用于色度滤波器)在一个aps中被分别发信令通信。在另一情况中，仅多个滤波器的一个集合在一个aps中被发信令通信，以及这一集合中的每一候选包括至少一个色度滤波器以及cc-alf滤波器。
[0053]
在另一实施例中，不可以同时使用色度滤波器以及cc-alf滤波器。换言之，对于每一待处理的色度样本，仅可以应用色度滤波器以及cc-alf滤波器的一个。在一个实施例中，这两个滤波器的形状可以被进一步统一。在另一实施例中，针对每一滤波器发信令通信一个旗标，来指示滤波器类型是色度滤波器还是cc-alf滤波器。
[0054]
在另一实施例中，所提出的方法被应用于亮度alf。即，亮度分量的alf输出也受对应的色度样本影响。在一个示例中，添加两个滤波器，以及一个滤波器的输入是cb分量，以及另一滤波器的输入是cr分量。以及alf输出是这两个额外的滤波器以及原始滤波器输出的加权和。在另一情况中，仅添加一个滤波器，但这一滤波器的输入是包括cb、cr以及cb与cr平均值的组合中的一个。
[0055]
任何前述提到的方案可以被实施于编码器与/或解码器。例如，任何前述提出的方案可以被实施于编码器与/或解码器的环路滤波模块。或者，任何所提出的方案可以被实施为与编码器与/或解码器的环路滤波模块耦合的电路。
[0056]
图3示出了根据本发明实施例的重构的视频的示例性环路滤波处理的流程图，其
中使用了多个cc-alf滤波器。流程图中示出的步骤可以被实施为在编码器侧的一个或多个处理器(如，一个或多个cpu)上可执行的程序代码。流程图中示出的步骤也可以基于硬件实施，如用于执行流程图中步骤的一个或多个电子装置或处理器。根据这一方法，在步骤310中，接收色彩图像中重构的色度样本以及相关的重构的亮度样本。在步骤320，从多个第一alf候选中选择第一目标alf。在步骤330中，应用对应于第一目标alf的第一alf处理于相关的重构的亮度样本，来生成第一已滤波色度样本用于待处理的重构的色度样本。在步骤340中，生成包括第一已滤波色度样本的最终已滤波色度样本，其中最终已滤波色度样本被用作视频解码输出或者用于进一步的视频编码或解码进程。
[0057]
图4示出了根据本发明实施例的重构的视频的示例性alf处理的流程图，其中在一个aps中发信令通知多个cc-alf的信息。根据这一方法，在步骤410，接收色彩图像中的重构的色度样本以及相关的重构的亮度样本。在步骤420中，应用第一alf(自适应环路滤波器)处理于相关重构的亮度样本，来生成第一已滤波色度样本用于待处理的重构的色度样本，其中第一已滤波色度样本的导出包括：待处理的相关的重构的亮度样本(即对应于待处理的重构的色度样本)与该待处理的相关的的亮度样本的第一相邻相关的重构的亮度样本之间的至少一个第一差值。在步骤430，生成包括第一已滤波色度样本的最终已滤波色度样本，其中最终已滤波色度样本被用作视频解码输出或者用于进一步的视频编码或解码进程。
[0058]
所示出的流程图旨在说明根据本发明的视频编解码的示例。本领域具有通常知识者可以修正每一步骤、重新排列步骤、拆分步骤或者组合步骤来实施本发明而不背离本发明的精神。在本公开中，已经使用了特定的语法以及语义来说明示例来实施本发明的实施例。在不背离本发明精神的情况下，本领域具有本领域技术人员可以通过用等同的语法以及语义替换该语法以及语义来实施本发明。
[0059]
上述描述被示出来使本领域技术人员来以特定应用的上下文以及其需求所提供的来实施本发明。所描述实施例的各种修正对本领域技术人员将是显而易见的，以及本文定义的基本原理可以被应用于其它实施例。因此，本发明不旨在限于所示出以及所描述的特定实施例，而是与符合本文所公开的原理以及新颖特征的最宽范围一致。在上述细节描述中，各种特定的细节被示出以提供本发明的透彻理解。然而，本领域技术人员将能理解，可以实施本发明。
[0060]
以上所描述的本发明的实施例可以以各种硬件、软件代码或两者的组合来实施。例如，本发明的实施例可以是集成于视频压缩芯片的一个或多个电子电路或集成于视频压缩软件的程序代码来执行本文描述的流程。本发明的实施例还可以是执行本文所描述的流程的在数字信号处理器(dsp)中所执行的程序代码。本发明还涉及由计算机处理器、数字信号处理器、微处理器或场可编程门阵列(fpga)执行的多个功能。这些处理器可以通过执行定义由本发明所呈现的特定方法的机器可读代码或固件代码，来执行根据本发明的特定任务。软件代码或固件代码可以以不同的程序语言以及不同的格式或风格来开发。然而，软件代码的不同的代码格式、风格以及语言以及配置代码来执行根据本发明的任务的其他方法将不背离本发明的精神以及范围。
[0061]
本发明的可以以其他特定形式呈现而不背离其精神以及基本特征。所描述的示例在所有方面被认为仅是说明性的而非限制性的。因此，本发明的范围由所附权利要求书指
示而不是由前述的描述指示。符合权利要求书的含义以及等同范围的所有变化都包含于其范围内。
