多视视频加深度(MVD,multi-view video plus depth)的3D视频格式中,深度图提供视频的场景几何信息,其不在终端成像显示而是通过基于深度图像的绘制(DIBR)技术用于绘制虚拟视图像。在深度图的压缩编码过程中,深度图的失真会引起绘制的虚拟视图像的失真。深度图用于绘制而不用于显示的特性使得准确估计深度图绘制的虚拟视失真可以提高深度图编码的率失真性能。本文分析了不同的深度图失真引起的不同的虚拟视失真,进而提出一种估计深度图失真引起虚拟视失真的指数模型,并将模型用于深度图编码的率失真优化(RDO)中。实验结果表明,本文提出的模型可以准确估计深度图失真引起的虚拟视失真,提高深度图编码性能,相比于HTM的VSO可以降低约10%的编码时间,并且虚拟视质量略优于HTM。
针对虚拟视点绘制中出现的伪轮廓和空洞问题,提出一种改进的虚拟视点绘制算法。根据深度信息标记出深度图像的不可信区域,通过多阈值图像分割技术对图像进行分割处理,利用三维图像变换生成虚拟视点图像,并采用局部中值滤波消除目标图像中存在的细小空洞。对绘制出的两幅图像进行融合处理,并应用图像修复法填充剩余的空洞。实验结果表明,该算法能获得的虚拟视点图像质量较高,同时与MPEG提供的虚拟视点绘制标准参考软件相比,生成的虚拟视点PSNR值提高了0.74 d B。
针对现有I帧错误隐藏方法不能平衡恢复图像质量与算法复杂度的问题,提出了一种高效的I帧分区错误隐藏方法。首先,利用视频帧之间的运动相关性将丢失宏块分为运动宏块和静止宏块。对于静止宏块,采用帧拷贝法进行掩盖;对于运动宏块,再根据其周围正确解码宏块的纹理信息将其分为平滑块和纹理块。对平滑块采用双线性插值法进行恢复;对纹理块利用比较精细的指数分布权重的加权模板匹配(WTE)法进行掩盖。实验结果表明,与WTE算法相比,所提方法的峰值信噪比(PSNR)平均提高了2.6 d B,计算复杂度平均降低了90%。对于场景连续的具有不同特征和分辨率的视频序列,所提方法都具有一定的适用性。
针对高效视频编码(HEVC)帧内预测过程中的高计算复杂度问题,提出一种基于纹理特征的预测模式选择和编码单元划分的快速帧内预测算法。利用每一深度层纹理方向强度判断编码单元是否需要进行分割,并且减少候选模式数量。首先,在每一深度层编码单元上结合像素方差,以像素点为单位计算相应的纹理方向强度,确定其纹理复杂度并结合阈值策略预测最终划分深度;其次,比较垂直和水平方向强度关系及统计预测候选模式概率分布,以减少预测模式数量,确定最优候选模式子集,进一步降低编码复杂度。所提算法与平台HM15.0相比,编码时间平均节省51.997%,BDPSNR(Bjontegaard Delta Peak Signal-to-Noise Rate)仅降低0.059 d B,BDBR(Bjontegaard Delta Bit Rate)仅上升了1.018%。实验数据表明,在保证信噪比和比特率基本不变的同时,所提算法能有效降低编码复杂度,利于HEVC的实时视频应用。
在自由视点视频系统中,如何能在视频终端得到高质量的视频图像已成为基于深度图的绘制(DIBR)技术所研究的主要任务,其中虚拟视点像素插值是该技术中影响绘制质量的一个重要环节。针对虚拟视点绘制标准方案中存在的问题,提出了一种基于空间加权的像素插值算法。它是通过对多个投影像素点的深度值和水平方向绝对距离进行加权操作来实现像素插值的。在插值过程中,该算法考虑了不同区域投影像素点个数对像素插值准确性的影响,从而剔除了部分失真像素点,并且在图像输出前还分别对左、右参考虚拟视点进行了失真检测和矫正。实验结果表明,该算法改善了绘制的主、客观质量,其中,PSNR平均提高0.30 d B,SSIM平均提高0.001 3。因此,该算法可以有效地抑制像素插值过程引入的噪声,提高像素插值的精度。
