立体图像（精选9篇）
立体图像 篇1
随着网络技术的不断发展, 通过网络传送图像已经成为了网络上的主流应用之一。但是, 传送中经常会有图片出现各种破损情况。为了解决这类问题, 有必要研究一种错误数据解决方案。这也是我们此次课题研究的主题。本文假设所有丢失块像素值为0, 以方便计算。
一、实验目的
找到一种误码修正方法, 对缺损图片进行修正。并且能通过实验验证, 这种方法具有一定的可行性和实用性。
二、验证方法
实验中主要通过对图片的峰值信噪比进行计算从而对误码掩盖的效果进行判定, 计算公式如下:
其中, M、N代表图像的宽和高, f (i, j) 代表原图像的像素值, f' (i, j) 代表重建图像的像素值。
三、破损块生成方法
破损块由matlab程序生成, 经过相关程序原图上会生成有规律排列正方形破损块。
四、算法结果
根据我们的研究, 我们得出了2种误码掩盖方法:
(一) 利用相关性替换。
人眼在观察同一幅图片时, 左右眼所观察到的图像可能出现一定的偏差, 分别形成左右眼图像。如果找到与破损图像对应无破损的左/右眼图, 那么我们就可以利用这一特性进行修补。由于左右眼图主要区别就在于两幅图中所存在的水平偏差, 所以我们就将对水平偏差的检测和修正填补作为算法的核心, 根据两幅图中相似部位出现位置差异确定水平偏差。
经过我们的分析研究, 最终得出了相关算法。具体代码如下:
先确定offset, max等形参值, 建立A1、A2两个数组, 然后依次将两幅图每列像素值之和进行计算, 以被修改图为例:
然后将两幅图的各列像素和进行比较, 找出差异最小的两列, 以此确定水平偏差offset。
最后按照上式计算出的offset值进行误码掩盖。
效果如图1所示。
可以看出, 该算法效果虽然也在一定程度上实现了误码掩盖, 但是仍有一定的不尽如人意之处。对此, 我们试图找出出现这种情况的原因。
在对比左右眼图时发现, 除水平位移外两图间其实还存在有细微的形变, 这样就导致计算偏差。
为验证上述想法, 我们设法找到了一组新的左右眼图, 对其形变进行了修改, 修改后右眼图得出的效果如图2。
由此看出在修改后掩盖效果得到明显提高, 进一步验证了之前的观点。
(二) 线性内插法。
在利用左右眼图像的相关性进行误码掩盖的同时, 我们也在利用图像本身的一些性质进行修改。
在一幅图片中, 往往图像中相邻区域的色彩存在有一定的相似性, 故而利用这种相似性对图像进行修补, 这就是线性内插法基本思想。
在使用线性内插法时, 先对整幅图片进行检测, 当发现破损时, 利用相邻像素点进行计算, 完成破损处像素点的填补。填补时从破损块四角开始算起, 利用周围3个有效点 (包括完好点以及经过误码掩盖后的点) 进行计算, 然后向中心推进, 直至填补完成。
核心代码如下:
由此可以看出, 该算法计算简单、运行效率高, 可以在一定程度上满足误码掩盖的需求。但我们也应该注意到, 在修补后的图像边缘过渡不够平滑。
五、结论
在我们得出的2种方法当中, 利用相关性替代可以在较大程度上还原原图破损部位, 但是受制于左右眼图像自身不同, 可能在边缘会出现块效应。
线性内插法能够完成一般性的误码掩盖, 但由于仅考虑了图像内部像素的约束关系, 继续提高掩盖效果存在明显瓶颈。
参考文献
[1] .吕瑞兰, 朱秀昌.基于模糊推理的彩色图像帧内误码掩盖方法[J].南京邮电学院学报 (自然科学版) , 2009
[2] .吕瑞兰, 朱秀昌.一种基于模糊推理的块编码图像帧内误码恢复方法[J].南京邮电学院学报 (自然科学版) , 2005
[3] .宋丽娟, 朱秀昌.基于双模式的立体图像误码掩盖[J].应用科学学报 (自然科学版) , 2010
立体图像 篇2
从课堂气氛来看，每班大部分学生都能按老师的要求积极做作业，但学生中也出现不敢下笔的的现象、表达不清、形体不准确、修改来涂抹去得情况，通过我在课堂上积极鼓励、引导他们、用不能修改的笔限时放开胆量的解决，学生都有不同程度的改善。
从作业方面看，上述学生中出现的问题还要在今后课堂中多锻炼加以弥补。个别学生作业态度不端正，纠正后还是比较好的。
立体图像 篇3
同时对太阳正面和背面进行详尽光观测有助于实现更高精度的空间天气预报，并为未来的自动化或载人的太阳系探测计划提供更好的保障。
STEREO探测器于2006年10月发射升空，其主要任务是对日地之间的物质和能量流进行监控。
同时，这也将提供有关日-地关系的独特而具有革命性的视角和观点。2007年，这一探测器系统首次实现对太阳的3-D观测。2009年，这一系统首次获取了“日冕物质抛射”（CME）的立体观测数据。这种剧烈的日面现象将导致严重后果，包括通讯中断，导航信号干扰以及卫星和电网的损毁。
STEREO探测器搭载的成像和粒子探测设备的设计和建造高度国际化，参与进来的国家包括美国、英国、法国、德国、比利时、荷兰以及瑞士。克里斯•戴维斯博士（Chris Davis）是该项目的科学家，他认为STEREO探测器已经为我们带来了一些令人震撼的图像，包括太阳的粒子爆发，以及在太阳风中苦苦挣扎的彗星。他说：“对于这一崭新的阶段，我感到非常高兴，我非常期待看到未来几年内有更多新的观测成果出现。”
而在一次接受英国《卫报》记者采访时，英国卢瑟福实验室（Rutherford Appleton Lab）的科学家，搭载在STEREO探测器上的英国建造的相机的首席科学家理查德•哈里森（Richard Harrison）表示：“太阳远不是一般人想象的那样，是一个平静的黄色圆球。它很复杂，因此获取其立体图像对于理解其运作原理至关重要。你不能指望盯着太阳的一小块区域，然后尝试去理解太阳如何运作，甚至比你化验大脑的一部分，并试图了解其工作原理还要艰难。你需要一个更大，更全面的视野。”
立体图像 篇4
但是，大部分DP算法有一个较为明显的不足，即视差图容易出现横向的“条纹”瑕疵，究其原因是缺少行、列方向上连续视差结果的融合。针对上述问题，诸多学者做了一些有建设性的研究。Birchfield等人[13]提出将竖直方向匹配度较高的区域视差拓展到低可信度区域的做法，该算法虽然实现了较快的运行速率，但扫描线间的视差结果较差，另外在算法优化部分可能会造成错误视差扩散到全局的不利影响;Gong and Yang[14]则提出了一种提高二通道DP算法可靠性的做法，即通过在垂直和水平两个方向上分别进行动态规划计算搜索路径，该算法确保了较高的匹配精度，但要借助编程图形显示卡来获取视差图的实时效果;另外Leung等人[15]提出了一种迭代动态规划(Iterative Dynamic Programming,IDP)算法，其通过多次迭代算法，来增强视差图的连续性，而导致的较长运行时间不利于实验操作。
鉴于此，本文提出一种基于改进双向动态规划的视差图获取算法，以修正后的ASCF为代价函数，并构建新的全局能量函数，通过改进双向动态规划寻径来得到最终的稠密视差图。经验证，所提算法的匹配效果良好，并获得了稠密视差图。
1 新型视差图获取算法的研究
DP算法的实质是将对应点的匹配问题转化为寻找某一能量函数的全局最优解，而构造出合适的像素间匹配的代价函数是构建全局能量函数的重要前提，所构建的代价函数优劣与否直接影响着立体匹配算法的运行速率和精确度，其中代价函数主要包含有差值绝对值和函数(Sum of Absolute Differences,SAD)、差值绝对值(Absolute Difference,AD)、差值平方(Squared Differences,SD)等，此类代价函数在算法构造上相对简单、易于操作，但由于忽视了不同区域间跃变的影响，会产生较高的误匹配率。为了克服在交叉深度不连续区域的匹配问题，学者们在不连续区域为每一个像素选择自适应匹配窗口，其中Yoon等人[16]将几何数学的邻近性和像素色度空间融入到权值计算当中，此举有效地抑制了立体匹配中的不确定性，但在构建ASCF的过程中，导致视差非连续区域的误匹配率有所增加。
针对这一问题，提出了一种新型视差图获取算法即改进动态规划双向约束算法，即采用修正后的ASCF，进一步增强原始代价值在视差非连续区域的比重，以确保这一区域的误匹配率有所降低，从而改变构建ASCF的传统方法所导致总体误匹配率高的状况，并参照经典Potts模型[17]构建全局能量函数，考虑到相邻像素视差值保持的一致性准则，增加了视差平滑约束项的比重，提高所构建的全局能量函数的精确度。由于传统的DP算法在求取全局能量函数最优解时存在一个很大的局限性，即易出现“条纹”瑕疵的现象。为了克服这一问题，此算法提出采用扫描线行列双向动态规划来寻找最小匹配代价路径，并对初始视差图的数据项和平滑约束项分别制定了相应的奖励策略。最后，针对出现的错误孤立视差点，通过简单的滤波方法和遵循相关的3个准则予以消除。此算法流程如图1所示。
1.1 修正后的ASCF
Yoon等人[16]基于空间几何距离的相关性和像素间颜色相似性对ASCF进行了详细分析，即将几何数学的邻近性和像素色度空间融入到权值计算当中，其计算公式为
式中:γc和γp分别为控制权值的参数;Δgpq为对应像素的空间几何距离的相关性，即窗口中心像素p和匹配窗口中像素q之间空间坐标的欧几里德距离。
许多学者提出了不同的Δcpq构造方法，其中Salmen等人[18]根据像素点RGB值的内在联系，将Δcpq设定为窗口中心像素p与匹配窗口像素q的RGB值的加权欧几里德距离。由于获得该参数需要通过实验反复测试，以致代价函数的精确度相对较差，图像对的误匹配率也不低。Yang等人[19]对两像素点彩色差值求平均，尽管该构造方法在一定程度上减轻了算法的运算量，但由于忽略了像素点间彩色像素值的相关性，导致代价函数的自适应约束能力减弱，视差保持特性有所降低。
本算法仍采用将图像像素点的彩色像素值转化为CIELab值，Δcpq为窗口中心像素p和像素q的CIELab值的欧几里德距离。另外，对应像素为，待匹配像素为p，相应的代价函数的计算公式为
式中:为目标图像窗口的代价权值;w(p,q)为参考图像窗口的代价权值;为两个匹配窗口视差为d的对应像素的原始代价函数，截断绝对值的计算式如下
式中:Ic为RGB颜色空间的亮度值;Ti为截断门限值，即当亮度值之差大于门限值时取值为门限值。为了减少视差非连续区域的“条纹”瑕疵和错误匹配点，该算法对式(3)做了以下改进，即增加原始代价值在这区域的比重，新的原始代价函数的计算公式为
式中:Ti为截断门限值;Td为视差非连续区域的判断门限，当对应像素的彩色像素值差值的绝对值之和大于或等于在非连续区域的截断门限值时，原始代价值取为截断门限值，反之，取值为差值的绝对值与截断门限值之和中的最小值。
1.2 构建新的全局能量函数
本文构建的全局能量函数仍然只包含平滑项和数据项，其计算表达式如下
式中:为数据项，该代价函数采用的是式(2)中的ASCF，选取最小的视差值为其代价值。其中V(dp,dq)为视差平滑约束项，用来确保相邻像素视差值的一致性，该算法构建新的全局能量函数的思路是在参照经典Potts模型[17]，即
式中:ρI(ΔI)为相邻像素p与q之间的视差值。
梯度ΔI的函数ρI(ΔI)表达式为
式中:s为惩罚项;T为阈值;P是用来增大梯度处的惩罚项。
在构建的新的全局能量函数中，针对平滑约束项作了以下修正
式中:p1为小于p的常参数。
1.3 改进双向动态规划寻径
由式(5)构建的新的全局能量函数可知，立体匹配问题转化为求解一个视差分配d*，即使能量函数E(d)的取值最小
d*=arg min E(d)(9)
求解式(9)所述的能量最小化问题，传统的DP算法忽略了核线间的影响，致使核线与核线间的约束不够，即只是进行单一的行方向上的DP运算，如图1所示为在行方向上进行DP求解示意图，其中图2a是以x,y分别为横、纵坐标，视差搜索范围为d的视差空间图像(DSI)，图2b为只在行方向DP求解的示意图，其目的是为了搜索得到一条从左至右的最小代价路径，而每条路径的长度[20]为。
显然，这种缺少行、列方向上连续视差结果融合的DP算法不能保证全局最优，为了增强纵向像素间视差的约束项，以确保视差图横向条纹“瑕疵”的减少，故提出基于行、列双向的动态规划算法，具体过程如图3所示。
本算法提出了一种由行匹配初试结果来确定相应的奖励策略，即通过减小d*所对应代价函数的比重，以提高其在列匹配中被选中的可能性，初始匹配结果依靠第一次行DP求解得到，同时需在确定的窗口区间内，对数据项制定了合理的奖励策略:情况1，若列方向初始视差梯度变化出现明显错误的视差值点时，其用原来的代价值来赋值;情况2，若在列方向初始视差梯度未出现异常的情况下，而在行动态规划中能够得到匹配的视差值点，那么其值应该赋予较大的奖励值;情况3，其他视差值点则使用较小的奖励值。其表达式为
式中:Ti为截断门限值，如式(4)所述;r一般取相对较小的正数，当r取值过小时，奖励值过小，会造成行方向上的DP效果不明显;当r取值过大时，会使得列方向上的视差值点被选中的概率过大，导致列方向上的DP失去了意义。经过多次实验测试得知，r取值为7时，所得匹配结果较为理想。另外，能量函数的数据项的计算方法与上述平滑项一致，这里就不再累述。
1.4 去除孤立的错误视差点
针对所获取视差图中出现的一些较为明显的噪声点，该算法采用易于操作的滤波方法来去掉孤立点。一般遵循以下3个可靠性准则:1)若该像素点上下邻域像素的视差值相等，则赋予该点视差值与上下邻域点一致;2)若该像素点左右邻域像素的视差值相等，则赋予该点视差值与左右邻域点一致;3)若该像素点周围邻域点的视差值都不相等，则赋予该点视差值为其邻域所有点的视差值均值。
2 实验结果
本算法的实验平台和参考图像来自于Middlebury大学数据库，对其中的Cones,Venus,Tsukuba,Teddy这4幅图像进行了测试，实验中的各个参数k，γc，γp,Ti,Td,T,p,r,s分别取值1,5,19,25,30,5,3,10,3。实验结果如图4所示。此算法以修正后的ASCF为代价函数，并构建新的全局能量函数，通过改进双向动态规划寻径来得到最终的稠密视差图，分别与以ASCF作为代价函数、基于行列双向动态规划(DoubleDP)算法和以SAD作为代价函数的DP算法所获取视差图进行比较。实验视差图在所有区域(All)、非遮挡区域(Non_occ)、视差非连续区域(disc)的错误率做了记录，实验结果如表1所示。从表中分析可知，在优化策略一致的情况下，相较于SAD，采用ASCF来获取视差图误匹配率要低很多，而此算法相对于其他3种算法，误匹配率最低，“条纹”瑕疵方面最少，所获得的视差图效果最好。
%
3 小结
提出一种基于改进双向动态规划的视差图获取算法，以修正后的ASCF为代价函数，并构建新的全局能量函数，通过改进双向动态规划寻径来得到最终的稠密视差图。实验结果表明，该算法能够取得较为理想的效果，与其他3种DP算法相比明显降低了误匹配率，减少了图像中的“条纹”瑕疵。
虽然该算法在降低误匹配率和减少“条纹”瑕疵方面有显著的改善效果，但由于需要计算每个像素在确定窗口的自适应代价值，以致执行时间较长。故今后将使用GPU[21]和多线程[22]的处理方式，以便大幅度地提高算法运行速度，满足实际应用的要求。
摘要：提出一种基于改进双向动态规划的立体图像匹配算法,选用修正后的自适应加权代价函数(Adaptive Support Weight Cost Function,ASCF),然后构建新的全局能量函数,并通过改进双向动态规划来寻径,最后采用简单的滤波方法和遵循3个可靠性准则去除孤立的错误视差点,以获得稠密视差图。实验结果表明,该算法在降低误匹配率和减少“条纹”瑕疵方面有显著的改善效果。
立体图像 篇5
立体匹配是双目立体视觉系统中最重要也是最困难的一部分, 是三维重建的核心技术。立体匹配实际上是对左右两台摄像机从不同视点看同一景物, 在左右两幅图像重叠区域寻找对应点的过程。它利用空间物体点在左右摄像机中的成像模型来获取成像偏差的过程。按照约束方式的不同, 立体匹配算法可分为区域匹配算法和全局匹配算法。按照匹配基元的不同, 立体匹配算法分为基于区域的匹配算法、基于特征的匹配算法和基于相位的匹配算法[1]。然而, 基于区域的匹配算法对光照强度和对比度的变化非常敏感, 同时匹配窗口的选取也是一个难点, 当图像存在纹理特征重复和遮挡现象比较严重的情况下, 会引起匹配混淆, 错误匹配概率较高。基于全局的匹配算法, 如图割算法[2]、置信度扩展[3,4]和动态规划[5]等算法能够对整个图像进行有效的约束, 匹配结果也较局部匹配算法精确, 但是实时性不好, 匹配时间过长。
本文主要是针对局部匹配算法和全局匹配算法的缺点和不足, 采用了一种基于区域匹配与全局匹配算法相结合的算法, 来提高双目立体匹配的效率, 增强立体匹配算法的实时性。首先, 利用均值漂移算法[6]对左右两幅图像进行彩色图像分割, 再使用NCC相似度测量计算相关度, 得到初始匹配视差图;其次, 引入置信度的概念, 针对大的遮挡区域和低纹理区域中置信度低的区域, 取邻域相关系数最大的视差值;最后, 对边缘像素进行修正, 并对整个视差图进行滤波从而得到效果精确的视差图, 用来检验匹配算法的精确性。
2 基于均值漂移算法的彩色图像分割
在双目立体匹配中, 图像分割对获取视差平面方程有着重要作用。图像分割主要是根据图像中的颜色信息, 将颜色相同或者相似的相邻像素点划分为同一个区域, 从而将整幅图像分割成颜色相同或者近似的区域, 并将同一个区域内所有像素点的视差分布用某个视差平面方程来表示, 以此得到图像的视差图。Fukunaga[7]首先提出了均值漂移算法, Cheng[8]改进了均值漂移算法中的核函数和权重函数, 并将其应用于聚类和全局优化, 从而扩大了该算法的应用范围。近年来, 均值漂移算法也被广泛应用于图像分割和追踪等计算机视觉领域, 并取得了较好的效果。
均值漂移算法是结合图像像素点的颜色信息和周围空间的分布特性之间的关系, 沿着平均梯度方向找出每个像素点的相似颜色收敛点, 根据收敛点的不同而划分不同的区域, 从而实现图像分割。
改进的均值漂移定义如下:
其中, GH (xi-x) 为不同样本点ix到中心样本点x的不同距离对偏移向量的不同贡献而引入的核函数权值,
H为一个对角矩阵,
从而, (1) 式可以变为
G (x) 为核函数, 它决定了采样点ix与核中心x之间的相似性度量;本文采用单位高斯核函数, 令
前面 (5) 式可以变为如下,
Mh (x) 表示加权平均偏移向量, 指向概率密度梯度方向, 则mh (x) 可以看成是样本点x沿着概率密度梯度方向偏移后的样本点。在已知G (x) 和w (xi) 的情况下, 根据式 (8) 进行迭代会收敛到待漂移样本点附近的概率分布密度峰值处。迭代步骤如下:
(1) 首先, 在特征空间中任意选择初始搜索区域圆, 设置其搜索半径和误差阈值;
(2) 根据式 (8) 计算圆中采样点的均值mh (x) , 判断是否满足||mh (x) -x||<ξ, 则停止循环, 否则进入步骤3) ;
(3) 令x=mh (x) , 继续返回第一步开始循环。
采用均值漂移算法对图像进行分割之后的效果图如图1所示。
3 区域匹配
区域匹配算法主要是以一幅图像中某一个待匹配点的灰度邻域作为匹配模板, 然后在另外一幅待匹配的图像中搜索具有相似灰度值分布的对应点邻域, 从而完成两幅图像的匹配。区域匹配效率高, 而且实现也比较简单。但在匹配的过程中也需要考虑匹配窗口的大小, 而且搜索过程也需要满足一定的阈值条件。区域匹配中代价函数是用来计算图像间像素的相似性的测量函数。常用的代价函数主要有绝对灰度差和SAD (sum of absolute difference) , 归一化互相关NCC (normalized cross correlation) , 灰度平方差和SSD (sum of square difference) 等。
对于立体图像对, 假设I1和I2分别表示左右图像对的灰度函数, I1 (x, y) 和I2 (x, y) 分别表示左右图像坐标为 (x, y) 的像素点的灰度值, (x, y) 为左图像中心像素点, d表示该点的视差值, 那么, 上述相似性度量函数公式为:
绝对灰度差和S A D
归一化互相关N C C
灰度平方差和S S D
经过实验结果对比, 决定选用NCC作为区域匹配的测度函数。各代价函数求得的视察效果图如图2所示。
区域匹配中, 匹配窗口的大小难以选择, 所以本文采用自适应窗算法, 该算法详细步骤如下:
(1) 设定初始匹配窗口的大小为3*3;
(2) 将窗口的沿上、下、左、右四个方向分别向外扩展一个像素点的大小, 判断此时窗口内包含的像素点是否超过规定阈值, 若超过, 则停止, 否则继续执行下一步;
(3) 记录此时窗口的大小, 以左图像的该像素区域窗口作为模板, 在右图像中进行匹配, 记录此时得到的视差值为d1, 之后再以右图像的该像素区域窗口作为模板, 在左图像中进行匹配, 记录此时得到的视差值为d2;
(4) 比较d1和d2的大小, 若d1=-d2, 则记录此像素点视差值为d=d1, 否则令d=0。
4 置信播算法进行模板视差最优分配
通过区域匹配得到的视差平面模板不够精确, 只考虑了模板内像素点之间的影响, 而没有考虑到区域块间的相互影响。本文采用全局匹配算法—置信传播算法对初始视差平面模板进行全局优化, 从而得到更加精确稠密的视差图。置信传播算法主要是利用消息传输和置信度传输机制来实现全局能量函数的最小化的。
4.1 置信传播算法原理
将马尔科夫随机场应用于立体图像对中, 将立体图像对中的参考图看成是一个无向图V, 每个像素点看成一个节点X, 每个像素点的视差值看成是该像素点的状态, 即无向图的势函数, 建立图像的马尔科夫随机场模型。此时, 求取立体图像的最优视差分布即可看成是求马尔科夫随机场的最大概率分布。通过对立体匹配过程中不同区域视差规律的分析, 利用贝叶斯定理得到的马尔科夫随机场后验概率分布可简写为:
其中D为图像的视差分布, I为立体图像对, E为全局能量函数。
由 (12) 可知, 求取马尔科夫随机场的最大概率分布的过程即是求立体匹配全局能量函数最小化的过程。即求马尔科夫随机场分布最大后验概率就相当于通过置信传播算法求取图像的精确稠密视差图。采用置信传播算法就是采用消息传输机制实现置信度最大化, 即实现马尔科夫随机场最大概率分布, 即是实现全局能量函数的最小化。
定义全局能量函数为:
其中d表示整幅图像的视差分配, N表示图像中所有像素的四邻域点集, dp表示点p所分配的视差值, 平滑项V (dp, dq) 表示两相邻像素点p和点q分配视差dp和dq时的视差不连续惩罚量, P表示图像中像素点的集合, 数据项Dp (dp) 表示p点视差为dp时非相似性测度。若某个视差分配使该全局能量函数最小, 则该视差分配即为图像的最终视差图。
置信传播算法的消息迭代传输:
mtp→q (dq) 表示第t次迭代时点p传输给视差值为dp的邻域点q的消息, Ω表示视差搜索空间范围, N (p) 表示点p的四邻域集, N (p) q表示点p的三邻域集, 它不包括接收消息的点q。
经过T次迭代后, 消息传输趋于稳定, 此时可通过置信度传输计算图像中各个像素点的置信度, 计算点p置信度的公式为:
图中各个像素点的最佳视差可以通过最小化置信度获得, 计算点p的最佳视差d*p的公式为:
4.2 置信传播算法的改进
置信传播算法是在像素点之间的置信度传播, 图像中像素点多, 数量庞大, 也大大增加了算法计算量。而且图像中可能存在单个像素点畸变, 如果使用这些畸变像素点进行消息传输, 会大大降低算法的精度。
本文引入图像分割的思想, 采用基于分割区域之间的置信度传播, 用每个分割区域代替单个像素点, 显著提高了立体匹配的速度。
5 实验结果
本文实验所采用的立体图像对来自于美国Middlebury大学计算机视觉研究中心提供的立体图像数据库。其中主要对384x288的Tsukuba测试图像进行求取视差图的仿真实验。计算机硬件条件为:双核CPU, 主频为1.99GHz, 内存为2G。软件编译环境为VC2008和Matalb2008。本文采用BM (Block Matching) 、SGBM (Semi-global BM) 以及GC (Graph Cut) 算法求得的视差图分别与本文算法所求得的视差图效果以及时间上进行比较, 视差效果图对比如图3所示, 匹配耗费时间对比列于表1。BM、SGBM速度快, 但视差图效果不好, GC视差效果好, 但熬时多, 本文匹配算法结合各种匹配算法的优缺点, 在精度和速度之间进行权衡, 得出的视差图更加精确, 且速度与单独使用全局匹配算法—GC图割算法相比, 有了很大的提高。
6 结语
本文采用的是区域匹配与全局匹配相结合的立体匹配算法, 解决了区域匹配算法存在的一些问题, 如匹配窗口的大小难以选择、若左右两幅图像存在重复结构的纹理特征或者存在遮挡现象引起的匹配混淆等。采用改进的置信传播算法, 用分割的区域块代替原始的像素点之间的匹配计算, 减少了匹配所用的时间, 同时也可以得到精确稠密的视差图。
参考文献
[1]邓红梅, 吴四夫.基于相位相关算法的研究与实现.信息技术.2005 (4) :19-20.
[2]Pedro F.Felzenszwalb, Ramin Zabih, Dynamic Programmingand Graph Cut Algorithms in Computer Vision[J].In IEEE Trans-actions on Pattern Analysis and Machine.Intelligence, 2011:721-740.
[3]Q.Yang, L.Wang, R.Yang, H.Stewenius, and D.Nister“, Stereomatching with color-weighted correlation, hierarchical beliefpropagation, and occlusion handling, ”[J].IEEE Transactions onPattern Analysis and Machine Intelligence, 2008 (31) :492-504.
[4]Klaus, A.Sormann, M.Karner, K.Segment-Based Stereo Match-ing Using Belief Propagation and a Self-Adapting DissimilarityMeasure.Pattern Recognition, 2006.ICPR2006.18th Interna-tional Conference, 2006:15-18.
[5]Y.Deng.X.Lin“.A fast line segment based dense stereo algo-rithm using tree dynamic programming”[J].In ECCV, 2006:201-212.
[6]Comaniciu D, Meer P.Mean shift analysis and applications[C].International Conference on Computer Vision, 1999:1197-1203.
[7]Fukunaga K, Hostetler L D.The estimation of the gradient ofa density function with applications in pattern recognition[J].IEEE Trans on Information Theory, 1975, 21 (1) :32-40
[8]Cheng Y Z.Mean shift, mode seeking, and clustering[J].IEEE Trans on Pattern Analysis and Machine Intelligence, 1995, 17 (8) :790-799.
立体图像 篇6
立体成像技术已经成为国内外相关领域的研究热点之一,其应用前景非常广阔,迫切需要一种统一、客观、有效的立体图像评价标准,对与立体图像相关的技术进行评价。目前,立体图像质量评价方面的相关研究较少,文献[1]将立体图像左右视图的亮度、对比度、SSIM(Structural SIMilarity)等指标进行加权评价立体图像;文献[2]利用小波变换模拟人眼视觉特性中的多通道效应,文献[3]利用小波变换与人眼的对比度敏感特性分别提出了质量评价模型;文献[4]挖掘左右图像质量特征、立体感知质量特征,提出了一种基于最小可察觉失真的立体图像质量客观评价模型;文献[5]在源立体图像中加入人为噪声,然后用SSIM评价图像质量;文献[6]结合立体图像的深度信息评价,建立了一个图像客观评价模型;文献[7]取左右视点PSNR的平均值为立体图像质量以及立体视觉感知评价的客观模型。以上文献通过建立视觉模型或直接建立立体图像质量客观评价模型来对立体图像质量进行评价。但是,大脑对立体信息的认识机理是一个非常复杂的过程,目前还没有一种较为清晰的研究。因此,有些专家针对立体图像质量评价的研究现状,提出了采用基于统计学习理论的支持向量机(support vector machine, SVM)模型来对立体图像的质量评价进行研究,该方法能够模拟人脑对立体信息的认知特性,避免通过人为建立视觉模型来模拟人类视觉系统机理的过程。文献[8]根据图像奇异值有较强稳定性的特点,提出了一种基于支持向量回归的立体图像客观质量评价模型。文献[9]提出了一种基于独立分量分析和二叉树支持向量机的立体图像质量评价方法。但是,对于SVM模型,其性能的好坏与其模型参数的选取有很大的关系。由于立体信息的数据量较单通道的数据量成倍、成几倍地增加,立体信息的计算复杂度要明显增加。因此,本文采用主成分分析的方法提取立体图像的特征值和特征向量,然后再利用遗传算法对支持向量机的参数进行优化,本文所提方法既优化了计算复杂度,又提出了一种比较优化的SVM模型参数的选择方法。实验结果表明,本文所提方法较直接采用支持向量机方法具有更好地泛化性能,更加符合人眼的视觉感受。
1 立体图像质量的主观评价
立体图像的质量评价可以分为主观评价和客观评价两方面。由于立体图像的最终信宿是人, 主观评价方法利用人直接评判立体图像的质量,得到的结果更直接,更能反映立体图像的质量。尽管由于受试者个体上的差异,使得评判过程无法准确控制,但是,在统计意义上的主观实验的结果仍然是评价立体图像质量的重要依据。任何客观评价方法都应该与主观评价有较高的一致性。本文采用双重刺激损伤标度DSIS(Double-Stimulus Impairment Scale)的方法对实验立体图像进行评分,如表1所示。
2 立体图像质量的客观评价
相对于主观评价,立体图像质量的客观评价具有结果稳定、速度快、费用低、方便计算机处理和实现等优点。
2.1 基于主成分分析的立体图像特征提取
主成分分析(Principal Component Analysis, PCA)是一种统计分析方法,它可以从多元事物中解析出主要影响因素,揭示事物的本质,简化复杂的问题。
PCA将高维数据投影到较低维空间。对新求出的“主元”向量的重要性进行排序,根据需要提取重要的特征值,可以达到降维的目的,同时最大程度地保持了原有数据的信息量[10,11]。
假设训练集有P个样本,每个样本大小为M×N,其样本矩阵为:
x=(x1,x2,…,xP)T (1)
其中,向量xi为第i个图像构成的MN维一列向量。
计算所有样本的平均值:
计算每一样本值与平均值的差值:
di=xi-E i=1,2,…,P (3)
构建协方差矩阵:
其中,A=(d1,d2,…,dP)。
采用奇异值分解定理,通过求解ATA的特征值和特征向量来获得AAT的特征值和特征向量。求出ATA的特征值λi及其正交归一化特征向量ξi。
根据特征值的贡献率选取前Q个最大的特征值及其对应的特征向量。贡献率是指选取的特征值之和与所有特征值之和的比值,即:
由于立体图像具有较大的信息量和较高的复杂度,本文利用PCA进行数据预处理,提取立体图像特征值和特征向量,从而找出立体图像有效信息,减少噪声等不利因素的干扰。
2.2 遗传算法
遗传算法(Genetic Algorithm,GA)是借鉴生物界适者生存,优胜劣汰遗传机制演化而来的一种随机优化搜索方法。遗传算法有选择、交叉和变异三个基本组成部分。
选择算法常用的有随机选择、比例选择算法等等,比例选择算法是利用比例与各个个体适应度的概率决定其子孙的遗传可能性。若设种群数为M,个体i的适应度值为f(x),则个体i被选取的概率为:
交叉算法有单点交叉、均匀交叉和算术交叉等。本文采用的算术交叉为两个个体的线性组合产出新的个体。假设两个个体XA,XB,则新个体为:
x′A=αXB+(1-α)XA
x′B=αXA+(1-α)XB (7)
其中,α为交叉概率。
变异算法有均匀变异、基本位变异、高斯近似变异等。为了避免问题过早收敛,本文采用均匀变异方法。对于二进制的基因码组成的个体种群,实现基因码的小概率翻转,即0变1,而1变0。
遗传算法具有内在的隐并行性和更好的全局寻优能力;采用概率化的寻优方法,能自动获取和指导优化的搜索空间,自适应地调整搜索方向,不需要确定的规则[13,14]。这些特点使得遗传算法的应用范围大大扩展。
由于本文所采用的SVM模型参数通常需要根据先验知识和实验者的经验来获取,具有很大的不确定性和随机性,致使实验结果未必能够达到最优的结果。根据遗传算法的特点,本文利用遗传算法对SVM的模型参数进行优化,克服了局部最优的缺点[11,12]。
2.3 支持向量机
SVM是一种通用的前馈神经网络,其主要思想是建立一个超平面作为决策曲面,使得正例和反例之间的隔离边缘被最大化。下面给出传统二分类支持向量机的分类过程。
给定训练样本{(xi,yi)},其中xi是输入模式的第i个向量,i=1,2,…,N且yi∈{1,-1}对于线性可分问题,支持向量机用于分离的决策曲面方程是:
g(x)=wTx+b=0 (8)
SVM通过公式(8)构造超平面,使距离超平面最近的样本数据与超平面之间的距离最大。因此,支持向量机问题转化为下列Lagrange函数求最值问题,根据拉格朗提函数和Wolfe对偶定理得到:
其中,αi≥0,i=1,2,…,N。
最终可得:
对于非线性问题, 通过内核积函数φ(xi)将训练集数据xi映射到一个高维线性特征空间,令K(xi,xj)=φ(xi)φ(xj),则决策函数为:
其中,K(xi,xj)是一般常用径向基核函数。
其中,G是常数。
则优化模型变为:
其中,C是常数且εi≥0,i=1,2,…,N。
传统的支持向量机是针对两类分类问题提出的,目前SVM多分类方法主要通过构造一系列的二值子分类器并将它们组合在一起来实现多类分类。比如One-versus-Rest方法均存在不可区分区域,有向无环图方法虽然解决了不可区分区域问题,但各个子分类器在有向无环图中的位置会影响整个系统的性能[16,17]。
本文采用二叉树SVM,对于K类问题,需构造K-1个分类器。二叉树分类的优点是分类时不一定需要遍历所有的分类器,测试时间较短,有较高的分类效率。由于本文研究的立体图像质量按5个等级进行区分,因此采用5分类的二叉树支持向量机,其分类结构图如图1所示。
基于二叉树的多类SVM算法首先将所有类别分成两个子类,再将两个子类分别划分成两个次级子类,依次类推,直到所有的节点只含有一个类别为止,这样,多分类问题就转化为二分类问题,每个节点处采用SVM二值分类器作为分类函数。其中4个SVM模型训练过程相同,只是输入的训练样本数据不同。图2给出了SVM4模型。
可分性度量值用于描述类间差异大小。空间中的样本都有自己的分布区域,当它们完全不重叠或者重叠较小时,它们的可分性比较好,否则可分性就比较差。建立在可分性基础上的分类模型将有助于提高二叉树SVM的多分类准确率。
所以,本文采用基于样本间的可分性度量确定二叉树SVM结构的多分类结构。
令J12表示类别1和类别2之间的可分性度量值,则:
其中,Jb为类别1和类别2间的类间总平均平方距离:
其中,
Jw是类别1和类别2的类内总平均平方距离,即:
因此,给定核函数K(xi,xj)就可以得到类别1和类别2之间的可分性度量值J12。然后,将此度量引入到二叉树SVM中,确定其结构。
2.4 实验过程
本文的立体图像质量的评价包括训练和测试两个阶段。
训练阶段具体流程如下:
①从立体图像数据库中选取具有代表性的样本。
②样本数据通过PCA提取重要特征值和特征向量。
③把PCA提出的主要信息输入图3所示的4个SVM。并且遗传算法优化SVM。
④训练结束后,得到一个二叉树SVM训练模型。
测试阶段具体流程如下:
①从主观评价测试数据库中随机选取测试样本。
②PCA提取测试图像的主要特征和特征向量。
③输入到已经训练阶段已经训练好的4个SVM模型。
④SVM输出立体图像质量的等级结果。
3 实验结果与分析
本文实验数据均选自天津大学无线通信与立体成像研究所立体图像数据库,实验中的源立体图像(river.bmp、girl.bmp、flower.bmp和family.bmp)及其降质图像均覆盖了5个质量评价等级,图像大小为1024×2560。共选取300幅立体图像,每个等级各60幅,四幅源立体图像如图3所示。
实验确定SVM结构时所得各等级样本间可分性度量值Jij(i,j=1,2,3,4,5,且i≠j)如表2所示。其中Xi代表主观质量评价值为i级的样本,即第i级样本。由表2可知,质量等级为1、2、3、4、5样本的最小可分性度量值分别为0.045、0.035、0.035、0.014、0.014。由于质量等级为1的样本最小可分性度量值最大,故先分离之。质量等级为2和3的样本最小可分性度量值相同,需要对其次最小度量值进行比较。由于质量等级为2和3样本的次最小度量值分别为0.040和0.036,故先分离次最小度量值较大的质量等级为2的样本。质量等级为4和5样本的分离顺序同上所述。但是等级4和等级5用同一个SVM分离,所以也可以先分4再分5。所以二叉树SVM系统的分离顺序为质量等级为1、2、3、4和5的样本或者质量等级分别为1、2、3、5和4的样本。
在训练阶段,从300幅图像中选取具有代表性的80幅作为子训练数据集,从该数据集利用PCA算法得到9个主成分。实验表明选取的9个主成分占据子训练数据集总能量的95%,不仅能够充分表示样本集的特征,而且能够减少实验的运行时间和计量值。这9个主成分是子训练数据集协方差矩阵的前9个较大特征值所对应的特征向量。
在优化训练之前,遗传算法的初始化配置参数如表3所示。
本文提出的基于可分性度量的二叉树SVM方法(包括SVM及GA_SVM)的最终分类结果如表4所示。预配置参数的SVM取得了78%的正确识别率(Correct Classification),300个测试样本中有66个样本被错分,而GA _SVM取得了94%的正确识别率,即300个测试样本中有18个样本被错分,准确率的大幅提升充分证明采用遗传算法对SVM参数进行优化的正确性和有效性。并且,在二叉树SVM的各个分支结构中,GA_SVM错分的样本数目均比SVM要少。
表5给出了优化前后的SVM的参数选择情况。
图像之间等级间隔越小,则信息越接近。
表6给出的是实验中被错分的样本的情况,由表6可知,错误分类的样本大多在相邻等级的分界处(即质量等级相差数为1),随着样本质量等级差别的增加,被错分的样本的数目随之减少,并且GA_SVM错分的样本数明显少于SVM。相差等级数为1的样本很容易被错误分类,图4分别为质量等级为3分和4分的图像,人眼很难分辨出差别,这种差别就有可能导致主观评价偏差,在训练阶段干扰实验,所以边界错误较多。
为了更精确地分类,可以深入挖掘图像本身的差别信息,提高主观评价设备精度,减少由于主观评价而对客观评价的错误影响。综上所述,实验结果表明基于遗传算法和二叉树的SVM能比较有效地对立体图像实现五种分类,准确率达到94%,达到了预期的效果。
4 结束语
本文提出了一种基于PCA和GA_SVM的立体图像质量的客观评价算法。首先通过PCA提取图像的主要信息,进而减少噪声,图像背景、内容和深度等不合理因素的干扰。然后通过GA优化,从而得到最好的SVM的模型。仿真结果显示,GA_SVM模型的分类效果要明显优于单独使用SVM的方法,使得实验结果与主观感受更加一致。
摘要：立体图像质量评价已成为立体成像技术领域的关键问题之一,采用基于统计学习的支持向量机模型模拟人类的认知特性对立体图像进行质量评价。但是由于立体图像较单视点平图像数据量成倍增长,为了降低计算复杂度,提取更加符合人类认知特性的图像特征,采用主成分分析提取立体图像样本的特征值和特征向量,利用遗传算法对支持向量机的参数进行最优化选择。实验结果表明:该方法较单纯采用支持向量机方法对立体图像质量进行评价泛化性能更好,其正确分类率达到94%,更符合人眼的主观感受。
立体图像 篇7
立体匹配是计算机视觉中的一个经典问题,是从多视点图像对中获取场景物体深度信息的主要技术手段,有着广泛的应用。多年来,研究者们提出了许多优秀算法来解决立体匹配问题,但由于其本身的病态性,目前还没有比较完美的解决方案。
D.Scharstein等人[1]总结了立体匹配算法的各种主要方法。其大致分为两种,基于局部窗口约束的局部匹配方法和能量最小化的全局匹配方法。其中后者利用了全局约束,降低了遮挡区域及无纹理区域等带来的影响,有着较好的匹配结果。这一类算法主要有动态规划、信任度传播[2]、图割方法[3]等。
Birchfield[4,5]等人提出了利用动态规划(DP)在视差空间图像中寻找最优路径的方法,具有较快的速度并有比基于窗口方法更高的匹配准确率。A.F.Bobick等人[6]提出了基于GCP的DP方法,一定程度上消除了行内的部分误匹配点。但DP算法缺乏行间的深度关系约束,对于块状误匹配较为敏感,易产生"拖尾"现象等误差匹配。
针对DP算法的不足,本文提出了基于图像分割的算法,利用图像分割域内像素视差的约束关系,得到更多的GCP点域,将分割域信息加入到DP算法里的能量项约束中,在一定程度上克服了传统基于DP立体匹配算法对行间约束的不足,并引入了更合理的能量约束项。实验结果表明,本文算法可得到较好的视差结果。
1 基于分割的动态规划立体匹配算法概述
本文算法的流程图如图1所示,首先采用均值偏移(Mean Shift)算法对图像对进行分割处理,然后计算零均值归一化互相关ZNCC窗口代价函数,得到地面控制点,再利用像素与其所属的分割域关系约束,得到部分地面控制分割域,然后结合分割信息构造全局能量函数,最后对图像进行DP能量最小求解,得到匹配视差结果。
2 初始匹配和权重估计
2.1 图像区域分割和初始匹配代价
对于输入的左右图像对,首先进行图像分割处理,并假设分割区域内具有相近的视差分布,视差跳跃边缘与分割边缘一致。
本算法采用基于Mean Shift[7,8]的图像分割算法。此算法利用概率分布的梯度寻找分布峰值的稳定性高的非参数估计方法,将图像聚类得到一系列互不交叉的区域,适当调整带宽参数hs和hr在RGB色彩空间中对图像进行过分割处理。为满足分割域内视差相近且平滑的假设,本文对输入的图像对过分割为足够小的分割区域,并得到分割后的滤波图和分割边缘图。利用滤波图像对,可以衡量两像素之间的初始匹配:
式中Isegm(.)为像素点所属分割域的滤波RGB值,该初始匹配可以限制匹配成本范围,降低误匹配率,结合后续的窗口匹配计算,得到左右像素点之间的相似度测度值。
2.2 基于ZNCC的匹配计算
窗口匹配计算选用零均值归一化互相关ZNCC窗口代价函数[9]。该函数对相似度做了归一化处理,鲁棒性较强,对图对的轻微亮度差异不敏感,是较好的相似匹配窗口函数。
对于已经进行外极线校正的立体图对,可以认为匹配的对应点在图像的同一行上。对于左图像中某点IL(x,y),可以从右图中同一水平扫描线上搜索其匹配点。相似度测度由下式给出:
当两个窗口包含的灰度信息相同或相近时,测度函数值达到最大1。对于输入的RGB图像对,我们在RGB三通道上分别进行ZNCC代价匹配,取其最小相似度作为最终的相似度,并结合分割域的初始匹配Esegm给出两像素间的相似度测度:
这部分工作很大程度上决定了后续匹配结果的好坏,选用ZNCC窗口代价函数保证了后续工作的准确率。
2.3 地面控制点(GCP)
为了改善动态算法的性能,结合ZNCC匹配计算结果,我们可以得到非常可信的一些视差点,即GCP。GCP是指视差图中绝对可信的点,即为真实的视差点。本文利用ZNCC窗口代价匹配和可信度约束,可准确地得到GCP。
结合已计算得到的相似度测度,选择可能的GCP。当匹配点对的相似度测度超过一定阈值时,选取该点对作为候选点,实验中采用的阈值为0.9。进一步利用可信度约束可以得到GCP:
对于左图像中某候选点,若其同一行的所有匹配对应点的相似度测度均明显小于最大匹配,则该候选点被选定为GCP,其视差为最大匹配视差。实验中选择阈值为0.75。使用标准图像对测试表明,此方法可以保证绝大多数的GCP点为正确的视差点,且可以得到充分的GCP点作为后续DP算法的约束。
对于如上方法得到的GCP,认为其是信任度非常高的点。在后续DP算法中,设定其信任度B为一较高值,实验取值为10,普通匹配点为1。
2.4 分割域约束
在已得到有效的GCP后,我们可以利用分割区域内视差相近这一假设对GCP所属的分割域的其它点进行分割域约束,以加强匹配中的约束,提高匹配率。具体方法如下:
(1)对GCP点所属的分割域进行标注,计算分割域内GCP数目及其均值。比较分割域内各个GCP的视差值与该分割域均值的差值,若差值大于一定的阈值d,则视为离群点,不作为参考点。
(2)得到可靠的分割域深度约束参考点后,利用常用的顺序约束和分割域内视差平滑的假设,可以得到每点p和其所在分割域内参考点之间的深度约束关系,如下式给出:
(3)根据分割域的可信度和其中每点的深度范围进行信任度划分,得到不同信任度的视差配对。分割域内每点与其所在分割域的信任度正相关,并与其本身的可能视差范围负相关。而分割域的信任度与该分割域内可参考的GCP数量有关,数量越多,则信任度越高。
在后续DP算法中,同样认定如上方法得到的分割域约束点是可信点,设定其信任度B为一相对高的值,该值由步骤(3)决定。
经过如上的匹配代价计算及信任度加权处理后,我们可以定义全局能量函数,并利用动态规划算法来计算得到最终的视差图。
3 算法描述
3.1 全局能量函数
在进行动态规划前,为了评价结果的优劣并选择最优解路径,需要定义一个准则函数。本文算法采用匹配能量函数E(d)作为准则函数,由数据项、平滑项和遮挡项三部分组成:
Eocclude为遮挡能量,这里依据分割域定义。根据视差跳跃边缘与图像分割域边缘一致这一假设,可判断两相邻点的深度差值,若大于一定阈值,则视为视差跳跃。判断该相邻点对是否属于分割域边界点,若为边界点则设定其为一较小惩罚项或为鼓励项;反之,则说明视差跳跃发生在分割域内,与分割域内视差平滑假设相矛盾,故设定其为一较大惩罚项。
Esmooth为平滑能量,保证视差结果是相对平滑的。该能量项与相邻点深度差值有关,差值越大则惩罚能量越高,当超过一定值时,则为一给定上限值。定义如下:
Edata为数据能量,这里取为初始匹配中得到的相似度测度,该项越大,则全局能量函数越小。
定义了全局能量函数后,我们选用动态规划算法得到最终视差图。
3.2 动态规划算法
在如上构造全局能量函数后,立体匹配问题就转换为求解最优视差分配d,使全局能量函数最小的能量最小化问题,该问题可由DP方法来解决。
图2为行方向上进行DP求解立体匹配问题的过程,其在解空间中寻找一条从最右端到最左端的最小匹配代价路径,该路径即为最优匹配解。在算法过程中建立DP表,存储可能的DP值,并保存对应的路径。在遍历可能代价路径后,可寻找到最小匹配代价路径。
该算法本身仅考虑了行内的像素视差约束,但在本文中,我们加入了分割域深度约束并对能量项进行了调整,考虑了每个像素与其所在分割域其它像素之间的视差约束,加强了行间约束关系。
4 实验结果与分析
我们采用Middlebury网站提供的2006数据集里的Baby2图像对进行测试。
实验参数分别为:
实验结果表明,本文采用的基于图像分割的动态规划匹配方法改进了动态规划算法的匹配结果,减少了DP算法在不同扫描线上的不连续性,并有着较好的视差结果。
5 结束语
本文提出了一种基于图像分割的DP立体匹配算法,利用Mean Shift方法将图像分割为许多具有一致视差的小区域,并使得视差跳跃边界与区域边界一致,结合分割信息采用DP算法求解全局能量函数,并得到最终视差结果。通过对标准测试图像对的测试实验表明,此方法能够取得较为理想的效果,改进了传统DP算法的匹配结果。
参考文献
[1]Scharstein D,Szeliski R.A taxonomy and evaluation of dense two-frame stereo correspondence algorithm[J].International Journal of Computer Vision,2002,47(1):7-42.
[2]Sun J,Zheng N,Shum H.Stereo matching using belief propagation[J].IEEE Trans on Pattern Analysis and Machine Intelligence,2003,25(7):1-14.
[3]Boykov Y,Veksler O,Zabih R.Fast approximate energy minimization via graph cuts.IEEE Trans on Pattern Analysis and Machine Intelligence,2001,23(11):1222-1239.
[4]Birchfield S,Tomasi C.A pixel dissimilarity measure that is insensitive to image sampling[J].IEEE Trans on Pattern Analysis and Machine Intelligence,1998,20(4):401-406.
[5]Birchfield S,Tomasi C.Depth discontinuities by pixel-to-pixel stereo[J].International Journal of Computer Vision,1999,35(3):269-293.
[6]Bobick A,Intille S.Large occlusion stereo[J].International Journal of Computer Vision,1999,33(3):181-200.
[7]Cheng Y.Mean Shift,mode seeking and clustering.IEEE Trans on Pattern Analysis and Machine Intelligence,1995,17(8):790-799.
[8]Comanici D,Meer P.Mean Shift:A robust approach toward feature space analysis.IEEE Trans on Pattern Analysis and Machine Intelligence,2002,24(5):603-619.
立体图像 篇8
3D立体图像质量评价(Stereo Image Quality Assessment, SIQA)是立体视频技术的一个重要组成部分。立体图像/视频在采集、存储、处理以及传输中会不可避免地引入噪声或失真,造成立体图像/视频质量的下降。因此,对其质量的评价是一个需要研究和解决的重要问题[1,2]。立体图像质量评价方法一般分为主观和客观两类评价方法。主观方法因其费时、费力、成本高的缺点,不易实现和应用;而客观方法是集成化的算法、模型,能够快速方便的得到立体图像的质量,无需人工干预,但其评价方法尚未成熟,有待于深入研究,因此客观评价方法成为研究的重点。
近些年,立体图像客观质量评价的研究取得了一系列成果[3,4,5,6,7,8],总体上可以划分为两类: 1) 将平面图像的评价方法直接应用于立体图像的质量评价。You等人[3]将经典的平面图像质量评价方法,如PSNR、 MS-SSIM[9]、VIF[10]等直接用于左、右视点,取平均值作为立体图像的质量。然而,立体图像与平面图像的质量评价有很大的区别,深度感失真程度是影响立体图像感知质量的重要因素。2) 在平面评价方法的基础上加入视差信息改善立体图像的评价模型。Yang等人[4]通过左右视点加绝对差值图进行立体图像质量评价。文献[5]将深度信息与平面评价方法结合评价立体图像质量;Hachicha等人[6]提出了基于双目恰可察觉失真的立体图像质量评价方法,并用双目融合竞争衡量立体感的变化。
本文以视觉感知特征图的失真程度衡量立体图像的失真程度。首先,提取立体图像的视觉感知特征图, 包括显著图(Saliency Map, SM)、恰可感知失真图(Just-Noticeable-Distortion Map, JM)、梯度图(Gradient Map,GM)和视差图(Disparity Map, DM),以感知特征图失真程度构成感知特征集作为立体图像的特征参数;然后,通过随机森林分类算法表述HVS进行特征融合,建立特征参数与主观评价值的关系,预测得到立体图像质量的客观评价值。
1结合视觉感知特征集和随机森林的评价模型
人眼对立体图像的特征信息比较敏感,超过察觉阈值的失真会导致特征信息的改变,引起感知特征图的失真,因此本文通过融合4种感知特征图的失真程度来预测立体图像的客观质量。首先,提取参考和失真立体图像对的4种感知特征图;然后,分别计算参考和失真特征图的均方差(Mean Squared Error, MSE), 由左、右视点的参考和失真显著图、JND图、梯度图分别可以得到2个特征值,再由参考和失真视差图得到1个特征值,四种感知特征图总共得到7个特征参数,构成感知特征集;最后,用随机森林分类算法融合感知特征集预测立体图像质量。图1是本文提出的立体图像客观质量评价模型的系统框架。训练过程用已知主观评价值的立体图像对提取特征参数训练随机森林,建立输入与输出之间的映射关系,完成模型的建立,随后就可以用本文模型预测立体图像的质量。
1.1感知特征图和感知特征集
由于超过感知阈值的失真会引起立体图像的感知特征图的改变,因此本文提取立体图像对的感知特性图,包括显著图、JND图、梯度图和视差图,以感知特征图的失真情况构建感知特征集衡量立体图像的失真情况。感知特征集是原始特征图和失真特征图的均方差(MSE)的集合,其中每个元素表示一种感知特征图的失真程度,整个集合表示立体图像的失真程度。
1.1.1显著图
人眼对显著区域更感兴趣,同时,超过察觉阈值的失真会引起显著图的改变。对于人眼关注度较高的区域,如果有超过察觉阈值的失真,那么这个失真属于敏感失真,在计算显著图时会产生较大影响;而在关注度较低的区域,失真属于不易察觉失真,在计算显著图时变化较小。这个过程非常接近HVS特性, 可以模拟人眼在观看有失真的图像时的机制,因此本文用显著图作为一种感知特征图。考虑到计算效率和提取特征的精准,单视点图像的显著性主要采用了频率调谐方法[12]。首先,将RGB图像转换到Lab色彩空间;然后,利用高斯滤波器对图像进行模糊,并计算模糊图像的颜色均值;最后,计算原图像中每个像素和颜色均值之间的距离得到平面显著图S,计算公式如下:
其中:Iμ是Lab颜色空间所有通道像素矢量的平均值,Iω(x, y)是经高斯过滤后的原始图像对应的Lab颜色空间的像素值。
1.1.2 JND 图
恰可感知失真模型表示在人眼无法察觉的情况下,图像中每个像素点所能容忍的最大失真。JND图也是感知特征图中的一种,与显著图相似,超过察觉阈值的失真同样会引起JND阈值的改变。每个像素点的JND值是由当前像素点和附近像素点共同决定的,不易察觉的细微失真不会引起JND阈值的改变,而当该像素点和附近像素点同时失真时,这种失真属于敏感失真,此时JND值也会产生较大的改变,因此JND图的失真都是由敏感失真引起的,可以用JND图的失真情况作为特征来衡量图像的失真情况。本文采用空域JND模型[13],主要包括亮度掩蔽效应和纹理掩蔽效应两部分。
亮度掩蔽效应是指人类视觉特性对图像的感知不仅仅依赖图像本身的亮度变化,更重要的是背景对象的局部变化。亮度掩盖因子为
其中是(x, y)位置点的图像背景亮度值。
纹理掩蔽效应是指纹理区域主要体现图像的纹理和细节,人眼视觉对这部分的可视性较低,因此纹理区域中较光滑或边缘区域可以容忍较多的失真。纹理掩蔽效应可以由空间局部的活动性来确定,如周围像素的梯度等。为了能够更精确的描述纹理阈值,需要对边缘与非边缘的纹理掩蔽效应区分处理,纹理掩盖因子定义为
其中:η 是调节因子,We(x, y)为图像在点(x,y)上的边缘加权因子,G(x, y)为在像素点(x, y)周围不同方向处最大的梯度平均值,其计算公式为
其中:Ak(x ,y)为四个方向的高通滤波算子。图像中像素点(x, y)处的空域 Ω 计算公式为
其中:Tl(x, y)是该点的亮度掩蔽因子,Tt(x, y)是该点的纹理掩蔽因子,c是调节因子。
1.1.3梯度图
梯度反映图像局部亮度变化最显著的部分,梯度算法的实质是利用模板提取出图像中对象与背景之间的显著变化。梯度是图像的边缘信息,人眼对于边缘信息非常敏感,失真图像会产生或者丢失图像的边缘信息,比如JPEG压缩会产生伪边缘,而高斯模糊会丢失图像的细节边缘信息,因此梯度图的改变可以反映图像的失真情况。本文通过Sobel算子卷积掩模计算梯度图。
1.1.4视差图
人类在观看立体图像时会产生立体感,是因为左右视点同时看到的同一物体或场景的相同部分和不同部分,人眼会自动进行融合和抑制,立体感的失真情况也是进行立体图像的质量评价时应该考虑的。本文用视差图的相似程度作为衡量立体感失真程度的特征,而准确、完整的视差信息是衡量立体感失真情况的关键,因此本文采用中值滤波器改进的光流法[14]作为视差匹配方法,选择水平向的匹配矢量作为立体图像的视差图。
以NBU-3D库中的horse图像为例,取其左视点图像和相应的JPEG压缩失真的图像,分别提取以上4种感知特征图,结果如图2所示。
1.2基于随机森林分类算法的特征参数融合
由于目前对人类视觉系统的研究还很不全面,而HVS是提高客观模型预测准确性的关键,因此本文用机器学习方法模拟HVS进行感知特征的融合,进行高维样本的非线性回归,使特征参数以最佳的融合方式预测立体图像的质量。
随机森林(Random Forest, RF)是Breiman[15]在2001年提出的一种统计学习机器学习算法,首先从训练样本中利用bootsrap重抽样方法抽取一系列样本,用每个样本建立一棵决策树,然后所有决策树都对每个输入进行预测,通过投票表决算法得出最终预测结果。很多的理论和研究都证明RF的预测准确率很高, 而且对噪声和异常值的鲁棒性很好,不易出现过拟合。本文利用随机森林分类算法进行感知特征集的融合, 输入的训练集就是感知特征集,通过决策分类,得到最终的分类结果就是立体图像的预测质量。在本文模型中,随机森林由20 000棵决策树构成,训练集的特征数为7,构造决策树的特征数为2。
2实验结果
在宁波大学建立的对称失真立体图像测试库(NBU-3D[16])上进行评价实验,检验本文提出的结合感知特征失真和随机森林的立体图像质量评价模型的准确性和有效性。NBU-3D立体图像库包含12对原始图像和312对失真图像,包括5种失真类型,分别是:JPEG2000压缩失真(60对),JPEG压缩失真(60对),高斯白噪声WN(60对),高斯模糊Gblur(60对),H.264压缩失真(72对),并给出了每对失真立体图像的平均主观分数差值(Difference of Mean Opinion Score, DMOS)。本文使用VQEG对客观质量评价的4个检验标准, 即Pearson线性相关性系数(Pearson Linear Correlation Coefficients, PLCC)、Spearman秩相关系数(Spearman Rank Order Correlation Coefficients, SROCC)、Kendall秩相关系数(Kendall Rank Order Correlation Coefficients,KROCC)以及均方根误差(Root Mean Square Error, RMSE)。PLCC越大,RMSE越小,说明模型的准确性越好;SROCC和KROCC越大,说明模型的单调性越好。
首先将本文模型与其他评价方法的各项性能指标进行比较,包括4种平面评价方法(PSNR、MSVD[11]、 MS-SSIM[9]、VIF[10])的加权平均方法和2种立体评价方法(Benoit[5]、You[3]),结果如表1所示。可以看出, 本文方法在单一失真类型情况下的PLCC和SROCC都在0.90以上,尤其是在JPEG失真、JP2000失真和H.264压缩失真时评价效果很好,就总体性能,本文方法的PLCC值和SROCC都在0.94以上,KROCC在0.79以上,RMSE接近5.7,均优于其他评价方法的各项评价指标,说明本文提出的客观评价模型性能优良。
然后将本文基于随机森林的特征融合模型与另外两种机器学习算法进行对比,即支持向量基(Support Vector Machine, SVM)和自反馈神经网络(Back Propagation Neural Network, BPNN),结果如表2所示。从各项指标可以看出,基于RF和SVM的模型预测结果要比BPNN好很多,同时根据本文提取的特征,基于RF的融合模型的预测准确性和泛化能力都比SVM好。
3结论
本文从人类视觉系统观看图像时对图像的理解方式出发,分析了视觉感知特征图的失真程度和立体图像质量直接的联系,提取立体图像的四种感知特征图(显著图、JND图、梯度图和视差图)构成感知特征集衡量立体图像的失真程度,通过训练随机森林分类算法建立特征融合模型模拟人类视觉系统对感知特征集进行融合,预测得到立体图像的客观评价值。实验结果表明,本文模型与主观评价结果有较高的一致性, 能够较好地预测人眼对立体图像的主观感知。在本文的基础上,接下来将进一步改进感知特征图的提取方法,提高感知特性图和人眼感知的一致性,进一步完善本文的模型。
摘要：本文从感知特征图与立体图像质量的关系出发,提出了一种立体图像感知特征图失真程度预测立体图像质量的评价模型。首先,从人类视觉系统对图像的理解方式出发,提取立体图像的视觉感知特性相关的特征图像;然后,计算感知特征图的失真程度,构成感知特征集并作为立体图像的特征参数;最后,用随机森林分类算法进行特征融合,建立立体图像质量评价模型。实验结果表明,本文模型符合人眼视觉特性,能够较好地预测立体图像质量。
立体图像 篇9
图像质量评价是图像处理领域的研究热点,图像质量是比较各种图像处理算法性能优劣以及优化系统参数的重要指标,因此在图像采集、编码压缩、网络传输等领域建立有效的图像质量评价机制具有重大的意义。近些年来,随着图像处理技术的发展,该领域的研究已吸引了研究人员的广泛关注,图像质量评价算法不断涌现,典型的模型有基于人类视觉系统(Human Visual System,HVS)的图像质量评价模型[1]。随着多媒体技术和互联网技术的大力发展,立体视频技术正迅速发展起来。与传统媒体相比,立体视频在能够为大众创造更加直观真实的场景感受的同时,需要处理的数据至少多一倍。但在提高编码压缩效率的同时,还要保证立体图像的主观感知。立体视频系统中的图像质量评价是与立体视频系统相关的所有技术的基础。对立体图像质量评价的理解和深入程度,直接影响到立体视频系统的发展速度。因此,如何建立一个符合人类感知结果的立体图像质量客观评价模型就显得尤为重要。
目前,相比平面图像质量评价,国内外对立体图像质量评价的研究相对较少。Horita等人提出的用于评价彩色立体图像质量的模型[2]适合左右图像同样质量的情况,而对于左右图像质量不相同时结果不理想,同时易受图像内容影响,该模型并没有考虑深度感知对立体图像质量产生的影响,评价结果不能完全符合人眼的主观感受。Boev等人提出了一个用于评价立体视频质量的评价模型[3],该模型主要是将立体图像的质量分成立体深度感评价和左右视点合成图像(Cyclopean Image,CI)质量评价两个方面。该方法模拟HVS处理立体图像时的生理过程的思路值得借鉴,但如何合成Cyclopean Image以及该合成方法是否合理仍值得商榷。Benoit等人结合深度信息的评价,建立了一个立体图像客观评价模型的框架[4],但获得的深度图存在准确性问题,模型输出值与主观感知的一致性仍有待提高。清华大学和天津大学都在立体图像质量客观评价方法上进行了研究[5,6,7],Yang Jiachen等人提出的对图像质量以及立体视觉感知评价的客观模型[5],直接将PSNR从平面迁移到立体图像中,而且没有对图像质量和立体感知评价结合后与主观质量的相关性进行分析。Shao Hang等人结合深度信息,利用图像色彩、强边缘信息评价图像质量[6],但同样存在深度图像的准确性问题。现有的立体图像质量客观评价模型没有充分结合人眼视觉特性,或是只是评价图像质量,而没有评价立体感知,最终评价结果跟主观感知的相关性较差。本文提出一种基于人眼视觉特性的立体图像质量客观评价方法,结合人眼视觉特性,同时研究立体图像中立体感知对最终立体图像质量的影响,提高客观评价模型与主观感知的相关性。
1 基于人眼视觉特性的立体图像质量客观评价模型
人类视觉系统是由大量形态、功能各异的神经细胞组成的信息处理系统。长期以来,通过对人眼的某些视觉现象的观察并结合视觉生理心理学方面的研究成果,人们发现人类视觉系统有很多特点,如人眼视觉敏感度、多通道特性、掩蔽效应以及立体感知等,在图像质量评价中引入这些视觉感知特性可提高评价模型与主观评分的相关性。因此,本文所提出的立体图像质量客观评价模型不但结合人眼视觉特性,合理地建立数学模型模拟人眼视觉系统,而且评价立体图像中的人眼立体感知质量。然后挖掘立体左右图像质量、立体感知质量与最终立体图像质量的关系,同时分析客观评价模型结合立体感知质量的必要性。
图1为本文提出的立体图像质量客观评价模型总体框图,包括对左右图像质量的评价以及立体感知质量的评价。首先,结合人眼视觉特性评价左右图像质量,左右原始和测试图像进行小波变换子带分解,提取各子带的特征值,对原始和测试图像的特征值作相似度度量,各子带的权重系数由对比度敏感函数决定。然后,通过评价原始和测试绝对差值图像相似度来完成对立体感知质量的评价。最后,通过分析左右图像质量和立体感知质量评价结果与立体图像最终质量的关系,得出其与主观评分的分布规律,将左右图像质量和立体感知质量的评价结果拟合成回归方程,作为对立体图像质量的最终评价结果。
1.1 左右图像质量评价
HVS模型的主要特性包括视觉非线性、多通道、视觉灵敏度带通、掩盖效应、多通道间不同激励的相互作用以及视觉心理等特征。这些特性直接或间接地与图像信息的处理有关,因此,在图像质量评价方法中引入人眼的各种视觉特性,可以使客观评价的结果更加符合人们的主观判断。本文在立体图像左右图像质量的评价中引入HVS特性中的视觉对比灵敏度带通和多通道特性,对HVS部分特性进行建模。首先,左右图像分别经过5级小波变换,分成11个频带,然后,提取各通道特征值后,按对比度敏感函数(Contrast Sensitivity Function,CSF)值进行加权,最后,利用Canberra距离来度量左右图像的质量。
视觉皮层的细胞对不同的视觉信息或激励存在不同的敏感性。在图像质量评价方法中建立人类视觉系统的频率选择性通道,其目的是近似模拟人眼视觉感知的多分辨率特性。在多通道分解算法方面,有的评价体系会采用较为复杂的分解算法,例如Daly、Lubin所采用的多通道分解模型。但大部分评价方法都会采用一些简单的分解算法,比如小波变换和离散余弦变换来降低评价算法的计算复杂度,相比离散余弦变换,本文选择小波变换多级分解,更能模拟人眼视觉系统的多通道特性。
均值、标准差等统计特性反映了重要的纹理特征。将原始图像和测试图像分别进行5级二维小波变换,分解为水平方向、垂直方向以及对角方向,并分别提取各子带系数的均值、标准差作为纹理特征,用于度量参考图像与测试图像间的相似程度。图2所示为Art立体图像子带系数标准差变化示意图,其中,左图像未经失真处理,而右图像分别经过不同程度的高斯模糊和白噪声失真处理。图中横坐标为主观质量评分值,纵坐标为经小波变换后的图像各子带水平方向上系数标准差,ch1到ch5分别表示第一级到第五级水平方向上子带系数的标准差。由图2可知,随着主观质量的变化,图像经小波变换后各子带的标准差呈递减(增)趋势,因此,选取各小波子带系数的特征值作为质量度量是可行的。大量研究表明,人眼在不同通道信息的敏感性是不同的,通常用对比度敏感函数CSF来描述人眼视觉系统与频率信息之间的关系。CSF函数是频率的函数,并且具有带通滤波器的特性。对比度敏感函数的近似曲线如图3所示,其中横坐标为图像的空间频率f,纵坐标为CSF函数值,表明视觉响应的相对幅度。如图3所示,虚线Ahv(f)表示水平和垂直方向上的CSF曲线,实线Ad(f)表示对角方向上的CSF曲线。
本文根据CSF函数,对小波分解后不同空间频带不同方向的小波系数选择不同权值进行加权,权值为在相应频带内CSF曲线的平均值。由于图像的绝大多数能量集中在低频部分,并且最低频还包含图像的直流分量,所以特别地将小波变换最低频子带即直流低频子带系数的权值设为1。对于5级小波分解,水平垂直方向和对角方向各5个频带,再加上直流低频子带,整个频带共划分为11个,根据CSF特性曲线对应取11个权值,其中水平垂直和对角方向每个小波子带的权值如表1所示,其中whv,wd分别表示水平垂直方向和对角方向上的权值。
最后质量度量采用Canberra距离[8],能够有效地区分差异较小的测试图像之间的质量,在计算质量过程中,本模型结合视觉多通道特性,利用对比度敏感函数确定小波域每级水平垂直对角三个方向的小波系数的权值。以水平方向为例,如下式所示
其中:wm,h表示第m级水平方向系数的权值,M为水平方向的子带总数。σmor,hg、σmpr,ho表示第m级水平方向原始图像和测试图像的子带系数标准差,同理可得垂直和对角方向以及直流低频子带的度量结果QV、Qd和QDC,并通过QC=QhC+QvC+QdC+QCDC(C=Lor R)计算得到左、右图像质量QL、QR。最终立体图像的左右图像质量评价结果为Q1,Q1=(QL+QR)/2,其值越大,表明立体图像质量越差。
1.2 立体感知评价
立体感是指人眼感受到深度的能力,这是一种辨别明显发生位移的物体间的相对距离的能力,立体感的好坏会影响到立体图像质量。研究表明原始左右图像的绝对差值图与测试左右图像的绝对差值图相似度可以评价立体图像的立体感知,绝对差值图越相似,立体图像立体感越强[5]。
令Lorg、Rorg、Ldis、Rdis分别为原始图像和测试图像的左右图像,则原始和测试左右图像的绝对差值图像Xorg和Xdis分别为Xorg=|Rorg-Lorg|和Xdis=|Rdis-Ldis|。采用经典算法Wang的结构相似度来评价绝对差值图像的质量[9],如下式所示
其中:块的大小为8×8,μx,μy表示原始和测试左右图像绝对差值图像块的均值,σx2、σy2和σxy分别为原始和测试左右图像绝对差值图像块的方差和协方差,C1和C2是常数。立体感知评价结果Q2为全部8×8图像块SSIM值的均值。同样以Art图像的绝对差值图为例,SSIM_MAP如图4所示。图像中的像素点越黑说明SSIM值越小,左右视点绝对差值图越不相似。显然图4(a)的质量优于图4(b)好,这与主观评价的结果一致。
1.3 客观模型的回归分析过程
为获取左右图像质量、立体感知质量与主观评价值之间的函数关系,本文采用了Wang等的立体图像库的主观实验结果[10],该立体图像库原始图像均来自在立体图像处理领域具有权威地位的Middle Burry网站[11],立体图像集包括10组高清(分辨率均大于1 200×1 100)测试图像,涵盖了如人物、静态、丰富纹理等不同的图像特征,立体图像库中的10对立体图像包括Art、Bowling1、Computer、Dolls、Drumsticks、Dwarves、Laundry、Mobius、Reindeer、Rocks1。失真处理类型包括JPEG压缩、JPEG 2000压缩、白噪声失真、高斯模糊失真,图像库还给出了平均主观评分差值(Difference Mean Opinion Scores,DMOS)。DMOS是主观评分均值(MOS)和满分(100)的差值(DMOS=100-MOS),因此,DMOS值越大表示图像质量越差,且DMOS的取值范围为[0,100]。本文选用了立体图像库中三组测试图像Art、Bowling1、Computer在不同程度的JPEG压缩、JPEG 2000压缩、白噪声失真下的81对立体图像,包括21幅JPEG压缩失真图像,30幅JPEG2000压缩失真图像以及30幅白噪声失真图像。对每一对立体图像分别根据前述方法计算出左右图像质量Q1以及立体感知评价结果Q2,并考察两个评价结果与主观评价值DMOS之间的关系。
将立体图像的左右图像质量评价结果、立体感知评价结果分别与主观评价值DMOS进行非线性最小二乘拟合,两者与主观评价值DMOS的非线性拟合响应函数分别为g和h,如式(3)、(4)所示,左右图像质量和立体感知的分布情况如图5所示,图中横坐标表示左右图像质量评价模型和立体感知评价模型归一化到[0,1]的值,纵坐标表示主观评分DMOS值,散点代表所选的81对立体图像,曲线是非线性拟合响应函数g和h。
从图5可以看出,左右图像质量评价结果和立体感知评价结果的分布都具有规律性,分布在非线性拟合出的响应函数g和h曲线的附近,分析可得出立体图像最终主观质量与立体图像中左右图像质量和立体感知质量都相关。然后采用线性回归的方式将响应函数g和h进行拟合,得到如下式所示的立体图像质量评价客观模型:
上式中,Q表示立体图像质量的最终评价结果,g和h前的系数在一定程度上反映了左右图像质量评价结果和立体感知评价结果在立体图像质量评价中的重要性,可看出左右图像质量和立体感知都与立体图像的感知质量有关。在立体图像感知质量评价过程中,图像质量感知以及立体感知都是人眼对立体图像总体感知质量的刺激源,因此在立体图像质量客观评价模型中,除了对图像质量的评价,还要评价立体感知质量。
2 实验结果与分析
本文所用的立体图像库中共有立体图像380对,其中原始图像10对,待评价的立体测试图像为370对。剔除1.3节中为获取左右图像质量和立体感知质量与主观评价值之间函数关系所采用的81对立体图像,采用剩下的289对立体图像来分析如式(5)所示的模型的最终评价结果与主观评分之间的相关性。本文利用评估图像质量评价方法的2个常用客观参量作为评价指标[12],即:非线性回归条件下的Pearson相关系数(Correlation Coefficient,CC)和Spearman相关系数(Rank-Order Correlation Coefficient,ROCC),前者反映客观模型的准确性,后者反映其单调性。将模型的输出值Q做四参数Logistic函数非线性拟合,CC和ROCC值越高说明客观评价方法与DMOS相关性越好。
模型评价结果与主观评分的散点图如图6所示。横坐标为本文提出的立体图像质量评价客观模型输出值,纵坐标表示平均主观评分差值。图中每个散点代表数据库中所选的立体图像对,曲线代表四参数Logistic函数非线性拟合结果,散点越集中,说明客观模型与主观感知的一致性越好。曲线表达式如式所示,a、b、c、d分别为DMOS最大值、最小值、客观模型输出结果的平均值以及1,CC和ROCC系数计算式如式(6)、(7)所示。
其中:N表示被测试的失真图像的数目。分别表示待测样本组X与Y的均值,这里X与Y分别表示DMOSp与DMOS。SNXi与SNiY分别表示Xi与Yi在各自样本组里面的排列序号,指将样本组X与Y里面的元素按照从大到小的顺序排列起来之后的序号。CC和ROCC系数取值范围均为区间[-1,1],其绝对值越接近1,表明样本组之间的相关性越好。反映准确性和单调性的CC和ROCC系数如表2所示。
从图6可得,本文提出的基于人眼视觉特性的立体图像质量客观评价模型在不同失真类型下,散点均比较集中,与主观评价数据之间的吻合度较高,能够准确地反映立体图像的主观感知质量。同时,从两个角度考察DMOSp与DMOS的一致性,分别为Pearson相关系数(CC)和Spearman相关系数(ROCC),从表2数据可以看出,本文提出的客观模型各项性能指标都较高,与主观评价结果比较一致。
3 小结与展望
本文充分利用视觉灵敏度带通、多通道效应以及立体感知等人眼视觉特性,提出一种立体图像质量客观评价模型。通过回归分析方法,挖掘左右图像质量、立体感知质量评价结果与立体图像主观感知质量的关系与响应函数,分析两者在立体图像质量评价中的重要性。在评价左右图像质量中利用小波变换模拟人眼视觉特性中的多通道效应,不同空间频带的小波系数按对比度敏感函数进行加权,左右图像质量度量采用Canberra距离。采用原始左右图像的绝对差值图与测试左右图像的绝对差值图相似度来评价立体感知,并通过回归分析将左右图像质量和立体感知函数拟合成为所需的立体图像质量客观评价模型。最后,分析了模型的预测值与主观质量评分之间的相关性,实验结果表明该模型与主观评价结果基本一致,能够较为准确地反映立体图像质量。在本文的基础上,进一步地结合人眼立体视觉中的双目掩蔽特性来改善评价效果,是未来工作的研究方向。
参考文献
[1]Yu Z,Wu H R,Winkler S,et al.Vision-model-based impairment metric to evaluate blocking artifact in digital video[J].Proceeding of The IEEE(S0018-9219),2002,90(1):154-169.
[2]Horita Y,Kawai Y,Minami Y.Quality evaluation model of coded stereoscopic color image[J].Proceedings of SPIE(S0277-786X),Perth,May30,2000,4067:389-398.
[3]Boev A,Gotchev A,Egiazarian K.Towards compound stereo-video quality metric:a specific encoder-based framework[C]//IEEE Southwest Symposium on Image Analysis and Interpretation,Denver,2006:218-222.
[4]Campisi P,Benoit A,Cousseau R.Quality assessment of stereoscopic images[J].Eurasip Journal on Image and Video Processing(S16875176),2008,629024:1-13.
[5]Yang J C,Hou C P,Zhou Y,et al.Objective quality assessment method of stereo images[C]//3DTV Conference,Potsdam,Germany,May4-6,2009,5069615:1-4.
[6]Shao H,Cao X,Er G H.Objective quality assessment of depth image based rendering in3DTV system[C]//3DTV Conference,Potsdam,Germany,May4-6,2009,5069619:1-4.
[7]Lu F,Wang H Q,Ji X Y,et al.Quality assessment of3D asymmetric view coding using spatial frequency domain model[C]//3DTV Conference,Potsdam,Germany,May4-6,2009:5069630:1-4.
[8]Kokare M,Biswas P K,Chatterji B N.Texture image retrieval using rotated wavelet filters[J].Pattern Recognition Letters(S0167-8655),2007,28(10):1240-1249.
[9]Wang Z,Bovik A C,Sheikh H R,et al.Image quality assessment:from error visibility to structural similarity[J].IEEE Transactions on Image Processing(S1057-7149),2004,13(4):600-612.
[10]Wang X,Yu M,Yang Y,et al.Research on subjective stereoscopic image quality assessment[C]//Proceedings of SPIE-IS&T Electronic Imaging(S0277-786X),San Jose,California,USA,Jan18-22,2009,7255:1-10.
[11]Scharstein D,Szeliski R.Middlebury Stereo Datasets[EB/OL].http://vision.middlebury.edu/stereo/data,2006.