资讯详情

资讯详情

VVC帧内预测深度解析:67种模式与ISP技术实战

引言帧内预测是VVC压缩效率的基石在视频编码中帧内预测利用空间相关性消除单帧内的冗余信息。H.266/VVC将帧内预测从HEVC的35种模式扩展至67种并引入ISPIntra Sub-Partitions、MRLMulti-Reference Line、PDPCPosition Dependent Intra Prediction Combination等一系列新工具使帧内编码效率较HEVC提升约15-20%。然而模式数量的爆炸式增长也带来了计算复杂度的严峻挑战。若采用全搜索策略帧内RDO耗时将占据编码总时间的40%以上对于实时编码器而言几乎不可接受。如何在保证压缩效率的前提下加速帧内决策是每个VVC编码器必须面对的核心问题。本文从算法原理到工程实现系统梳理VVC帧内预测的关键技术点并给出可复用的优化策略。67种角度模式从HEVC的扩展与重构模式编号与角度映射VVC帧内预测模式编号0-66对应关系如下模式编号模式名称说明0INTRA_PLANAR平面模式适合平滑区域1INTRA_DC直流模式适合纹理均匀区域2-66INTRA_ANGULAR65种角度模式覆盖-45°至135°范围相比HEVC的33种角度模式VVC增加了广角模式Wide Angle Modes将角度覆盖范围从[-45°, 135°]扩展至[-135°, 45°]的镜像方向。广角模式的核心价值在于当块为非正方形如2:1或1:2矩形时传统角度预测的参考像素投影会出现严重偏差广角模式通过角度镜像修正这一问题。角度插值的精度提升VVC将角度预测的参考像素插值精度从HEVC的1/32像素提升至1/64像素并采用4抽头高斯滤波器替代双线性插值。具体流程为根据模式编号计算角度偏移量offset (mode - 对应基准角度) × 精度因子以offset为索引在参考像素行/列上进行1/64精度采样使用4抽头高斯滤波器对采样点进行平滑插值工程提示1/64精度插值使预测精度提升约0.15dB BD-rate但计算量增加约30%。在实时编码器中可考虑对非关键CU降级为1/32精度以节省算力。ISP子块划分帧内预测的分而治之ISP的核心思想ISPIntra Sub-Partitions将一个大尺寸CU水平或垂直划分为2或4个子块每个子块独立进行帧内预测但共享同一套模式与参考像素。其工作流程为对当前CU进行全像素重建作为后续子块的参考按水平/垂直方向划分为2或4个子块对每个子块独立进行变换、量化、反量化、逆变换与重建子块重建结果立即更新参考像素供下一子块使用ISP的压缩增益与代价VTM测试数据显示ISP在Class E1080p序列上可获得约1.2%的BD-rate增益在屏幕内容序列上增益可达3-4%。增益来源主要有两点子块划分使预测更贴合局部纹理尤其适合边缘区域子块独立变换使残差能量更集中提升变换编码效率但ISP的代价同样显著RDO搜索空间扩大约3倍需额外测试水平/垂直/2/4划分组合解码端需维护子块级参考像素更新逻辑增加实现复杂度流水线解码时子块依赖关系破坏并行度ISP快速决策策略在x266中ISP搜索采用以下剪枝策略以控制复杂度尺寸约束仅对宽度或高度≥8的CU启用ISP4×4/4×8/8×4等小尺寸跳过模式预筛选先用粗糙RDO选出Top-3模式仅对这3种模式测试ISP划分方向早停若水平划分首轮子块SATD已超过全CU代价的1.5倍立即终止该方向搜索色度禁用ISP仅用于亮度分量色度分量不启用实测表明上述策略使ISP搜索耗时降低约65%BD-rate损失控制在0.05%以内工程性价比极高。MRL与PDPC参考像素的精细化利用MRL多参考行机制HEVC仅使用距离CU边界最近的一行/一列参考像素reference line 0。VVC引入MRL允许编码器从reference line 0-3中选择最优参考行进行预测。MRL的价值场景当边界附近存在噪声或压缩伪影时使用更远的参考行可获得更干净的预测对于某些纹理方向较远参考行的投影角度更准确MRL在VTM中带来约0.5% BD-rate增益但需额外传输2bit参考行索引。在实时编码器中可仅对亮度分量启用MRL且限制搜索范围为line 0和line 1以平衡增益与复杂度。PDPC位置依赖校正PDPC对传统角度预测的结果进行位置相关的加权修正公式为Ppdpc(x,y)clip(wT⋅PTwL⋅PL−wTL⋅PTL(64−wT−wLwTL)⋅P3264)Ppdpc​(x,y)clip(64wT​⋅PT​wL​⋅PL​−wTL​⋅PTL​(64−wT​−wL​wTL​)⋅P32​)其中 PTPT​ 、 PLPL​ 、 PTLPTL​ 分别为上方、左方、左上方的参考像素 wTwT​ 、 wLwL​ 、 wTLwTL​ 为位置依赖权重。PDPC的适用条件仅对Planar、DC、角度模式0/1/18/50即水平/垂直/对角启用对ISP子块禁用子块边界参考像素已足够精确权重表预计算存储避免运行时除法运算PDPC在VTM中贡献约0.3% BD-rate增益计算开销极小建议在所有场景中无条件启用。RDO搜索加速帧内编码的工程核心传统全搜索的不可行性VVC帧内RDO若对所有67种模式×4种MRL×3种ISP划分×2种色度模式进行全搜索单CU的候选组合数可达数千量级。即使对64×64 CU全搜索耗时也在毫秒级4K60fps实时编码完全不可行。分层粗选-精选策略工业级编码器普遍采用两阶段搜索Stage 1 - 粗选HAD代价对所有67种角度模式计算HADHadamard变换绝对差和代价HAD计算跳过变换量化仅用整数Hadamard近似选出Top-N通常N8-12候选模式Stage 2 - 精选完整RDO对Top-N模式进行完整RDO包括变换、量化、熵编码比特估计同时测试Planar和DC模式不经过粗选直接加入精选若启用ISP/MRL仅对精选后的模式测试这些工具SATD与HAD的工程取舍SATDSum of Absolute Transformed Differences对残差进行Hadamard变换后取绝对值求和比SAD更接近真实RD代价计算量适中HAD通常指对原始像素差直接做Hadamard不经过预测速度更快但精度略低在x266中粗选阶段使用SATD精选阶段使用完整RD代价。实测表明SATD粗选比HAD粗选的命中率提升约8%耗时仅增加15%性价比更高。色度模式推导VVC色度模式共6种PLANAR(0)、DC(1)、LM_L(2)、LM_T(3)、LM_LT(4)、DM(5)。其中DMDerived Mode直接复制对应亮度CU的模式。工程实践先完成亮度CU编码获取最优亮度模式色度RDO时DM模式直接继承亮度模式无需额外搜索LM系列线性模型模式仅当色度 subsampling 为4:2:0时启用对实时编码器可仅测试DMPLANARDC三种模式跳过LM系列VTM与x266帧内实现对比特性VTM参考软件x266实时编码器角度模式搜索全67种粗选Top-8 精选ISP搜索全划分组合仅对Top-3模式测试MRL4条参考行全搜索仅line 0/1PDPC无条件启用无条件启用色度RDO全6种模式DMPLANARDC4K60fps不可行可达需GPU加速关键洞察VTM追求压缩效率极限x266追求实时性与效率的平衡。两者并非对立而是同一技术谱系上的不同取舍点。理解VTM的设计逻辑才能做出正确的工程裁剪。结语帧内预测优化是持续的精调过程VVC帧内预测的工具箱已经非常丰富但没有银弹。每一种工具在不同场景下的增益差异巨大ISP对屏幕内容效果显著对自然视频收益有限MRL在噪声场景下表现突出在干净源上几乎无用。建议建立帧内工具增益画像针对不同内容类型自然视频/屏幕内容/动画/会议配置不同的工具启用策略与搜索强度。让编码器理解内容而非盲目全开。帧内预测是编码器的第一道防线它的效率直接决定了后续帧间预测与变换编码的工作难度。愿每一位视频编码工程师都能在67种角度中找到属于自己的最优方向。
觉得有用,分享给同行:

为您的企业打造数字门面

稳重轻奢商务风格,端正雅致视觉,长效耐看不易过时。

立即咨询 →