像素提取（精选3篇）
像素提取 篇1
基于光学三角测量法的结构光三维成像系统,以其结构简单、成本低和测量精度高等特点,成为近年来三维数据获取方法研究的重点[1]。在结构光成像过程中,需要不断改变结构光的位置来获取新的三维坐标点,通常用投影仪代替激光发射器,通过改变投影模板的位置来改变光路,只要在计算机中更换投影模板就可以实现表面成像[2]。这种方法加快了成像速度,而且避免了由于抖动对测量产生的影响。但是投影仪与激光器相比光强比较差,且投影光线的散射比激光大,在被测物表面上所形成的条纹相对于激光成像来说更粗一些。因此,为提高三维测量精度,图像中光条的亚像素提取成为三维成像中的关键。
光条的亚像素提取方法很多[3,4],像灰度阈值法、极值法和阈值法等常用方法非常简单,但是精度差,基于方向模板的方法采用几个方向模板来检测亚像素位置,具有最大法线方向增量的方向即为亚像素位置所在的方向。此方法具有很强的抗噪能力,但是计算复杂。图像中的光条可以认为是具有曲线结构特征的,大多数都采用Steger的曲线结构检测器[5]。该方法精确、鲁棒,但真实被测物往往有遮挡、阴影和表面的不连续性,导致了图像中有很多光条端点,Steger方法不能准确地检测光条端点的亚像素位置。为了解决这一问题,本文采用了Steger曲线结构检测器与过零点检测[6]相结合的方法提取结构光的亚像素位置,并采用连接算法按顺序连接每个光条上的亚像素点。
1 结构光成像系统
本文设计的双目结构光成像系统由一台LCD投影仪(SONY,CPJ-D500)、两台性能参数一致的摄像机构成,如图1所示。投影仪具有24位真彩色VGA/SVGA输出,输出信号分辨率可达800 X 600@60 Hz,并通过视频端口与PC机相连,由电脑控制投影仪投影编码结构光模板。在测量过程中,投影模板被投影到被测物上,被两台CCD摄像机(MINTRON,MTV-188IEX)采集到。摄像机采集图像的分辨率设为768×576像素。在PC机上采用大恒采集卡DH-CG410采集从摄像机获取图像,采集卡的S端子与摄像机的视频输出端相连,通过软件控制图像采集过程。
三维数据的获取如图2所示,摄像机与投影仪之间在xoz平面上构成三角关系。在提取了图像上的结构光光条上的点后,可根据摄像机与投影仪之间的几何关系计算相应的三维表面数据。从图像上一点(u,v)可以计算出直线op的方程。从在标定时求得的外部参数中可以获取摄像机与投影仪之间的距离l。在结构光标定时可以获得角度θ。直线op与结构光op′相交于点p。求解点p的函数可以简单表示如下:
由式(1)可知,改变亚像素点(u,v)就会改变重建的三维数据,因此为了实现三维数据的精确获取,结构光亚像素的精确提取是必不可少的。
2 结构光亚像素的提取
2.1 线结构光检测法
首先,采用线结构检测方法来检测亚像素值[4,5,6,7]。设一个像素点(x,y)的灰度值为f(x,y),光条的法向方向向量为n=[nx,ny]T,梯度为r=[rx,ry]T。在点(x,y),用Gaussian模板的偏微分与图像卷积就可以得到rx、ry、rxx、rxy和ryy;方向向量n可以通过计算Hessian矩阵的特征值和特征向量得到。亚像素坐标灰度的泰勒多项式可以表示为:
2.2 过零点检测法
过零点检测方法能够很好地解决端点处的结构光提取问题,其步骤如下:
构造如下函数:
如果亚像素点(x,y)在光条的脊上,(nx,ny)与(rx,ry)正交,也就是说Q(x,y)=0。如果在一个像素点上的Q值为正,在该像素点相邻的另一个像素点上的Q值为负,则在这两个像素点的连线上必有一个亚像素点在光条的脊上,即这两点之间必定存在一个亚像素点(x,y)使得Q(x,y)=0[4]。然而,(nx,ny)有两个相反方向正交于光条曲,因此必须考虑(nx,ny)的方向。设(x0,y0)为一个像素点的坐标,(xi,yi)为该像素点的八邻域中的一个点。可以构造另一个函数
如果E(x,y)<0,即在点(x0,y0)和点(xi,yi)处Q(x,y)异号,即在这两点之间必定有一脊点,该脊点即可作为结构光的端点。
图3所示为应用Steger方法检测亚像素的过程。图3(a)为原始图像,对图3(a)中求得每个像素点的(nx,ny),采用Steger方法得到满足式(4)的偏移量,再得到每一点偏离该像素点中心位置的偏移量(tnx,tny),每个像素点上所得到的亚像素位置必须在该像素点上,并且把具有满足要求的偏移量所对应的像素点标识如图3(b)所示。对图3(b)中每个标识点,如果满足式(6),就在图3(b)中标识该点。从图3(b)端点处可以看出,用Steger方法得到多个像素宽度的端点,由于曲线在端点处失去了方向,Steger方法不能提取光条端点的亚像素坐标。而在图3(c)中,采用了过零点检测算法后得到了最多两个像素宽度光条,与图3(b)相比,光条在端点处变细,便于亚像素级结构光光条的重建。因此,在结构光提取过程中,可采用Steger检测器与过零点检测相结合的方法,解决端点问题,以达到很好的检测效果,提高三维测量精度。
3 实验结果及分析
为了验证本文中结构光亚象素的提取方法是否可提高三维数据获取的准确性,文中采用一个平板作为被测物。分别用本文方法与三角测量法获取了大约300,000个三维坐标点,再把这些三维坐标点拟合成平面,计算每个点到这个平面的距离作为最小均方误差(LMS)。采用本文方法计算出来的LMS为0.1009 mm,而采用如图2所示的光学三角测量法得到的LMS为0.1257 mm。详细计算结果见图4(a)。与光学三角测量法相比,本文采用的方法具有更高的测量精度。PL与PR分别表示从左右摄像机获取的三维数据。
同时,从这些数据中取出一小块区域(大约1,500个点)显示如图4(b)所示,从图中可以看出,从左右摄像机所获取的三维数据点吻合度相当好。这从另外一个角度反映了本系统实现三维测量的稳定性与准确性。
此外,以石膏头像作为被测物,采用本文方法获取了石膏头像表面上大约200,000个点的坐标,这些点云显示如图5所示,可以更直观地看出本文方法的效果。
4 结论
在结构光测量系统中,影响三维测量精度的因素很多,如系统标定、投影点的提取等。本文着重分析了结构光光条亚像素提取的影响,并提出了Steger方法与过零点检测相结合的亚像素提取算法。这种方法较好地解决了结构光光条端点的亚像素提取问题。通过获取一平板表面的三维数据点,对比本文方法与三角测量法之间的误差,进而分析了数据点的精度,本文方法计算出来的LMS为0.1009 mm。对于有效视场深度在1 m的成像范围来说,本文提出的亚像素提取方法将大大提高三维数据重建精度。用石膏头像的三维重建实验更直观地说明了采用本文亚像素提取算法的效果。
摘要：将Steger曲线结构检测器与过零点检测相结合,提出一种新的亚像素提取算法,并通过实验验证了此方法的有效性。
关键词：图像处理,光学测量,亚像素提取,结构光,三维重建
参考文献
[1]Blais,F.Review of20years of range sensor development[J].Electron Imaging,2004,13(1):231-243.
[2]Zhang L,Curless B,Seitz S M.Rapid shape acquisition using color structured light and multi-pass dynamic programming[C].in:Proc.1st Int.Symp.on3D Data Processing,Visualization,and Transmission.2002,24-36.
[3]Amor,B.B.,Ardabilian,M.,and Chen,L.3D face modeling based on structured-light assisted stereo sensor[C].in:Proc.13th Int.Conf.on Image Analysis and Processing.2005,p.842-849.
[4]陶立,孙长库,何丽,等.基于结构光扫描的彩色三维信息测量技术[J].光电子-激光,2006,17(1):111-114.
[5]Steger,C.An unbiased detector of curvilinear structures[J].IEEE Trans.Pattern Anal.Mach.Intell,1998,20(2):113-125.
[6]郝丽俊,程胜,杨荣骞,等.投影结构光空间位置和形状的标定方法研究[J].光电子-激光,2007,7(18):816-819.
[7]刘枝梅,邓文怡,娄小平.结构光测量系统中光条中心的提取算法[J].北京机械工业学院学报,2009,124(1):42-45.
单像素人体轮廓提取方法研究 篇2
目前针对不同图像的目标轮廓提取学者们提出了很多方法[3—6], 在这些方法中, 多数采用边缘检测算子提取目标轮廓, 如canny算子、sobel算子、rober算子等。Canny算子检测到的边缘会出现一些噪声引起的伪边缘, sobel算子对边缘的定位精度不够高, 难以检测弱的边缘像素, robert算子只能检测到一部分边缘像素, 所以上述这些方法都不能直接用于单像素目标轮廓的提取。本文提出了一种单像素人体轮廓提取方法, 该方法在获取人体区域图像基础上, 利用数学形态学的方法对人体区域图像进行修复处理, 并根据边缘像素邻域信息提取单像素的人体轮廓, 为后续的步态特征计算及识别奠定了良好的基础。
1 单像素轮廓提取方法
本文提出的单像素人体轮廓提取方法实现流程如图1所示, 主要包括图像采集、背景图像获取、人体剪影图像获取、人体区域校正、人体轮廓提取等环节。
1.1 图像采集与背景图像获取
本文采集了一段单目标行走视频, 从视频中提取一帧图像, 如图2 (a) 所示, 再将该图像转换为灰度图像, 如图2 (b) 所示。
为了获取背景图像, 本文使用求均值的方法。选取一个图像序列Fm (m=1, 2, …, k) , 设pi (x, y) 为第i帧图像中某像素点 (x, y) 的灰度值, 则k帧图像序列在该点的平均灰度值为
根据公式 (1) 可以计算k帧图像序列中各个像素的平均灰度值, 则由这些经过灰度值平均计算的像素所组成的图像就是背景图像。利用该方法计算背景图像时, 图像的帧数越多越好, 也就是说k值越大, 所获得的背景图像就越接近真实的背景[7]。
从视频序列中连续提取25帧图像, 并将这25帧图像转换为灰度图像, 利用公式 (1) 计算各个像素的平均灰度值, 得到背景图像, 如图2 (c) 所示。
1.2 人体区域校正
人体区域的获取是人体轮廓提取的前提。本文首先使用背景差法提取人体区域, 并在此基础上校正人体区域。背景差的方法是通过计算当前帧图像与背景图像的差值来检测目标区域, 例如, 将图2 (b) 与图2 (c) 做差值计算就得到了人体区域图像, 根据人体区域图像的灰度值统计结果, 设定阈值, 可以得到人体步态的二值图像, 如图3 (a) 所示。可以看出, 在图3 (a) 中存在大小不一的孤立噪声点, 影响后续的轮廓提取。因为中值滤波的方法是将图像中一个像素的灰度值用该像素邻域中各像素的中值替代, 能够有效地消除孤立的噪声, 所以本文采用中值滤波的方法去除图3 (a) 中的噪声点, 处理结果如图3 (b) 所示。
有些人体步态图像在二值化处理后, 存在断裂和丢失人体区域的现象, 所以还需对人体区域进行修复处理。因为数学形态学具有填充细小孔洞、连接临近区域、平滑边界等优点, 本文采用数学形态学的方法修复断裂和丢失的人体区域, 其实现过程如图4所示。
首先, 对步态二值图像进行膨胀处理, 膨胀是数学形态学的基本运算, 其计算公式如下,
式 (2) 中, p为形态学运算后所得二值图像中任意一点, ε2为二值图像所在二维空间。
然后, 利用形态学的孔洞填充方法填充图像中的孔洞。
最后, 对填充孔洞的图像再进行腐蚀运算, 得到修补的人体区域。腐蚀也是数学形态学的基本运算, 其计算公式如下,
1.3 单像素轮廓提取
如图5 (a) 所示, 像素A的8-邻域像素的灰度值都是“1”, 说明A是区域的8-邻域内部点, 图5 (b) 中像素B的4-邻域像素的灰度值都是“1”, 因此点B是区域的4-邻域内部点[9—11]。由图5可以看出, 利用邻域像素灰度值的信息, 可以对像素所在位置进行很好地区分。为了提取单像素人体轮廓, 本文根据每个像素的邻域像素信息, 在人体区域二值图像中去除所有人体内部像素, 从而得到人体轮廓图像。
首先, 对图像进行逐行扫描, 如果当前扫描像素的邻域像素灰度值都为“1”, 则认为该像素是人体内部点, 在输出图像中将该位置像素的灰度值置为“0”;否则, 认为该像素为边缘像素, 在输出图像中将该位置像素的灰度值置为“1”, 得到人体区域的单像素轮廓。为了提取单像素轮廓, 如图6 (a) 中目标 (灰度值为“1”) , 首先用上述方法找到所有目标区域的内部点, 得到由所有内部点所组成的图像, 然后再用人体区域二值图像与这个内部点图像做差, 得到目标区域的轮廓, 图6 (b) 是用8-邻域法得到的轮廓, 图6 (c) 是用4-邻域法得到的轮廓。从图6 (b) 和图6 (c) 的比较可以看出, 用8-邻域法求得的轮廓常会出现同一侧轮廓的同一行有2个像素值为1的点, 而用4-邻域法求得的轮廓在同一侧轮廓的同一行只有一个像素值为1的点。因此, 本文采用4-邻域的方法提取单像素的人体轮廓。
2 实验结果与分析
本文的仿真实验是在Windows 7系统, 使用Matlab7.0编程软件完成的。为了验证本文所提的单像素人体轮廓提取方法的有效性, 选取了两组图像, 并按照第2节所描述的方法, 进行了步态图像中的人体目标单像素轮廓提取仿真实验。第一组实验图像来自中科院自动化所的步态库, 图像大小为215×315, 实验结果如图7所示, 其中 (a) 为原始图像, (b) 为背景图像, (c) 为单像素人体轮廓图像。从图7中可以看出, 由于人体区域与背景的色彩差异较大, 所以得到的人体区域比较准确, 获得了效果较好的单像素人体轮廓图像。
第二组实验利用USB摄像头采集图像, 图像大小为480×640, 仿真实验结果如图8所示, 其中图8 (a) 为拍摄到的原始图像, 图8 (b) 为背景灰度图。由于该组图像存在背景色彩与人体服饰色彩差异较小的区域, 当背景色彩与目标色彩接近时, 得到的人体区域会在色彩接近的区域出现孔洞和断裂, 如图8 (c) 所示。为了解决这一问题, 先对其进行膨胀处理, 得到一个没有断裂且整体封闭的人体区域, 如图8 (d) 所示, 然后对膨胀后的人体区域中的细小孔洞进行填充, 如图8 (e) 所示, 对填充后的图像进行腐蚀处理, 得到正确的人体区域二值图像, 如图8 (f) 所示, 最后, 用4-邻域方法获取人体单像素轮廓, 如图8 (g) 所示所示。
3 结论
本文提出了一种单像素人体轮廓提取方法。首先, 使用灰度图像背景差法获取人体区域图像, 然后利用数学形态学的方法对人体区域图像进行修复处理, 最后, 利用边缘像素邻域信息提取单像素的人体轮廓。从仿真实验结果可以看出, 当背景与人体区域色彩接近时, 会导致获取的人体区域不完整, 可采用数学形态学的方法将人体区域恢复完整后再提取单像素人体轮廓。由于不同背景所导致的人体区域丢失程度不同, 在进行数学形态学操作时所用的具体方法也应随之调整。在提取单像素人体轮廓算法中, 使用4-邻域法比8-邻域法得到的轮廓更符合步态识别中对轮廓的要求。
摘要：在步态识别中, 常用轮廓信息来描述人体运动的细节, 而单像素人体轮廓是决定步态识别精度的一个关键环节。提出了一种单像素人体轮廓提取方法。首先, 使用灰度图像背景差法获取人体区域图像;然后利用数学形态学的方法对人体区域图像进行修复处理;最后, 利用边缘像素邻域信息提取单像素的人体轮廓。仿真实验结果表明, 提出的方法能够有效地提取不同步态图像的单像素人体轮廓。
关键词：图像处理,步态识别,轮廓提取
参考文献
[1] 曾玮.基于确定学习理论的人体步态识别研究.广州:华南理工大学, 2012Zeng W.Research of human gait recognition via deterministic learning theory.Guangzhou:South China University of Technology Guangzhou, 2012
[2] 汪岳.基于边缘检测经典算法的改进研究与实现.合肥:安徽大学, 2012Wang Y.Studies and improvements on the algorithms of classic edge detection.Hefei:Anhui University, 2012
[3] 王祖进, 黄筱调.基于形态学的元件图像边缘检测算法.南京工业大学学报 (自然科学版) , 2013;35 (2) :115—118Wang Z J Huang X D.Chip image edge detection algorithm based on morphology.College of Mechanical and Power Engineering, Nanjing University of Technology, 2013;35 (2) :115—118
[4] 薛岚燕, 程丽.基于融合技术的小波变换和数学形态学的边缘检测算法.华中师范大学学报 (自然科学版) , 2013;2, 47 (1) :27 —30Xue L Y, Cheng L.Edge detection based on combination of wavelet transform and mathematical morphology using fusion rules.Journal of Huazhong Normal University (Nat Sci) , 2013;2, 47 (1) :27—30
[5] 吕金坤, 王明泉, 蔡文涛.结合数学形态学和图像融合的边缘检测算法.电视技术, 2013;37 (3) :26—28Lv J K, Wang M Q, Cai W T.Edge detection algorithm combined with mathematical morphology and image fusion.Digital Video, 2013;37 (3) :26—28
[6] 洪留荣.无需设定阈值的图像边缘检测.计算机应用, 2013;33 (8) :2330—2333Hong L R.Image edge detection without threshold.Journal of Computer Applications, 2013;33 (8) :2330—2333
[7] 宋艺.基于步态的人体身份识别.长沙:长沙理工大学, 2008Song Yi, Research on human identification based on gait.Changsha:Changsha University of Science&Technology, 2008
[8] Sonka M, Hlavac V, Boyle R.图像处理、分析与机器视觉.3版.艾海舟译, 北京:清华大学出版社, 2011Sonka M, Hlavac V, Boyle R.Image processing, analysis, and machine vision.Third Edition.Ai Haizhou.ed.Beijing, Tsinghua University Press, 2011
[9] 邹柏贤, 张然, 苗军.Prewitt图像边缘检测方法的改进.微电子学与计算机, 2013;30 (5) :23—26Zou B X, Zhang R, Miao J.Improved prewitt method for image edge detection.Microelectronics&Computer, 2013;30 (5) :23—26
[10] 冈萨雷斯R.C, 武兹R E.数字图像处理, 北京:电子工业出版, 2011Gonzalez R C.Woods R E.Digital image processing.Beijing:Publishing House of Electronics Industry, 2011
像素提取 篇3
在机器视觉测量的摄像机标定和三维坐标测量中,广泛采用圆形点[1,2]作为标定特征点或测量特征点。为提高抗干扰能力和现场适应性,获得更好的图像质量,以保证标定和测量精度,很多情况下圆形特征点被制作成主动受控的发光点,且发光点的能量中心与圆形几何中心保证重合。因此,如何准确获得与空间发光点能量中心对应的光斑图像中心成为机器视觉测量中的一个关键问题。
空间圆形发光点(以下简称发光点)在图像平面上所成的像一般为椭圆形,常用的光斑图像中心的提取算法有:基于光斑图像边缘提取的椭圆拟合法[3]、基于光斑图像灰度分布的重心法[4]和曲面拟合法[5]。虽然以上算法均为亚像素级提取算法,但是各有局限性:椭圆拟合算法提取的中心一般不是发光点中心的对应像点[6,7];重心法受噪声扰动影响较大,难以达到较高的精度[4];曲面拟合算法采用灰度插值方法,虽然可以获得较高的精度,但运算量较大[8]。
通过Hessian矩阵可以判断曲线或曲面的局部极小值或极大值[9],且文献[10]、[11]将其引入到图像处理与分析中。本文在此基础上提出用Hessian矩阵提取光斑图像像素级中心,并进一步定位亚像素中心。首先建立了光斑图像灰度分布的数学模型,分析了中心区域的曲面特征,提出了一种新的光斑图像中心亚像素提取的方法,该方法分为两步:第一步,计算图像的二阶偏导矩阵,即Hessian矩阵以获得光斑图像局部能量(灰度)分布特征,准确定位光斑图像的像素中心;第二步,以像素中心邻域内图像灰度分布函数的二阶泰勒展开为其数学模型,推导出该邻域灰度分布曲面的极大值点亚像素图像坐标的计算公式,即为光斑图像的亚像素中心。
1 光斑图像灰度分布数学模型
1.1 发光点能量分布数学模型
发光点通常由发光二极管制成,其能量分布可用理想高斯模型来描述,如图1所示。发光点的能量(光强)分布数学模型为
式中:Emax为能量即光强最大值;(xc,yc)为发光点能量中心坐标,亦为函数的极大值点;ax、ay分别是发光点所形成的光强分布光斑的长、短轴。
1.2 光斑图像数学模型
1.2.1 光斑图像灰度分布函数的建立
如图2所示,空间发光点Γ1在摄像机像平面上的透视投影变换为光斑图像Γ2。其中,o-xyz为发光点坐标系,o为摄像机光心,z轴垂直于空间发光点Γ1所在平面Π1,x轴与y轴分别与发光点的长、短轴平行。o-XYZ为摄像机坐标系,且Xo Y面平行于摄像机像平面Π2,而Z轴与平面Π2垂直。由于o-xyz与o-XYZ只存在旋转关系,因此,空间发光点的透视投影模型可表示为
式中:s为某一常数,A为摄像机内参矩阵,R为3×3正交旋转矩阵,H=AR;P=[x y z]T为发光点在o-xyz下的三维坐标,且z为常数,令其为z0;p=[X Y 1]T为以毫米为单位光斑图像点的齐次像坐标。
由式(2),可得发光点的能量中心点(xc,yc)在摄像机像平面Π2上的透视投影点为
其中:p0=[X0 Y0 1]T,P0=[xc yc z0]T。
又由式(2)可得:
将式(4)带入式(1)可得发光点在摄像机像平面Π2上的光斑图像的灰度分布函数如下:
其中:E′max为光斑图像灰度极大值;h1、h2分别为H-1的第一行和第二行构成的行向量。
1.2.2 发光点能量中心为透视投影不变量的证明
下面证明发光点的能量中心在摄像机像平面上对应的像点就是光斑图像灰度分布函数的极大值点,即能量中心点为透视投影不变量。
由式(5)易知,该函数的极大值点p′0满足下式
又由式(4)可得:
其中h3为H-1的第三行构成的行向量。
由式(6)和式(7)得:
即:
对比式(3)与式(9)可知,发光点的能量中心(也即空间圆的圆心)在摄像机像平面上对应的像点p0恰为光斑图像灰度分布函数的极大值点p′0。
2 由Hessian矩阵确定光斑图像像素级中心
从光斑图像灰度分布函数的二阶方向导数和自相关函数两个不同的角度,均可获得光斑图像灰度分布曲面的像素级中心点(即极值点)的求解条件,它们本质上是一致的。
2.1 图像灰度分布二阶方向导数的分析
图像灰度分布函数I(X,Y)在像素坐标点(X,Y)沿v方向上二阶偏导定义为
其中Hess(I(X,Y))为Hessian矩阵,具体表达为[8]
其中:IXX、IXY、IYX、IYY为图像灰度分布函数I(X,Y)对X、Y的二阶偏导数。
通常先对图像做高斯滤波预处理,则上述二阶偏导数可由下列卷积得到:
其中:gxx(x,y)、gxy(x,y)、gyy(x,y)、gyx(x,y)为二阶微分离散高斯卷积核,按下式计算:
卷积核的二维宽度范围为(2N+1)×(2N+1)。其中,N=3σ,σ越大,图像的平滑程度越好,同时也会造成图像越模糊,计算量增大。通常取σ=1~3。
光斑图像Γ2上一点P0(X,Y)成为极值点条件是,在任意方向v上使得(v·∇)I(P0)=0,等价于∇I(P0),于是有:
①如果vTHess(I(X,Y))v正定,即Hess(I(P0))的所有特征值为正,P0为极小值;
②如果vTHess(I(X,Y))v负定,即Hess(I(P0))的所有特征值为负,P0为极大值。
对于本文所讨论的实际光斑图像,其中心为极大值点,因此利用条件②进行判定。
2.2 图像灰度自相关函数的分析
图像灰度的自相关函数[12]描述了局部图像灰度的变化程度的分布,由下式表示:
式中:E(x,y)是由于图像窗口偏离点(x,y)而造成的图像灰度的平均变化,称为图像灰度的自相关函数;w是图像窗口尺度,在x和y方向的变化范围分别为X和Y;I代表图像灰度。在光斑图像中心处,图像窗口的移动将引起E(x,y)的显著变化。
若在像素坐标点(X,Y)将E(x,y)展开,可用一次泰勒多项式近似表示为
其中
当图像窗口在光斑图像中心附近移动时,图像灰度自相关函数E(x,y)在各个方向上的变化均最大,且其各个方向上的极值曲率将达到最大。因此,可通过计算E(x,y)的极值曲率判断光斑图像中心。而图像灰度自相关函数E(x,y)的极值曲率可由矩阵M(x,y)的特征值近似表示[8]。式(20)与式(10)在形式上完全一样,矩阵M(x,y)实际上就是自相关函数E(x,y)的近似Hessian矩阵,与式(10)中的Hessian矩阵Hess(I(X,Y))本质上是一致的。因此,同样可以通过求解Hessian矩阵M(x,y)的特征值来判定P0(X,Y)是否为极值点,这里也用Hess(I(X,Y))表示M(x,y)。
综合2.1和2.2得到求取光斑图像中心的充分条件为:
①Det(Hess(I(X,Y)))~λ1·λ2=IXXIYY–IXY2>0;
②Tr(Hess(I(X,Y)))~λ1+λ2=IXX+IYY<0。
上述这两个条件与2.1节中导出的条件②是相容或等价的。其中,λ1和λ2为矩阵Hess(I(X,Y))的两个特征值。Det(Hess(I(X,Y)))表示灰度分布函数I(X,Y)或自相关函数E(x,y)在某像素点(X,Y)的变化量,Tr(Hess(I(X,Y)))表示变化的方向。
通过上述两个角度分析,获得了求取光斑图像像素级中心位置的统一性判定条件。
3 光斑图像亚像素中心的求取
由第2节Hessian矩阵推导出的判定条件确定光斑图像像素级中心位置后,即可在该像素邻域内确定其亚像素位置。
设光斑图像中心的像素位置为(x0,y0),亚像素位置为(x0+s,y0+t),其中(s,t)∈[-0.5,0.5]×[-0.5,0.5]。则在亚像素位置点(x0+s,y0+t)的邻域内图像灰度分布函数可用二阶泰勒展开式表示为
其中:fx、fy为图像灰度分布函数f(x,y)在(x0,y0)处的一阶偏导数,fxx、fxy、fyy、fyx为图像灰度分布函数f(x,y)在(x0,y0)处的二阶偏导数。由前述光斑图像特征的分析可知,式(22)在光斑图像中心处对s和t的一阶导数为零,即满足如下条件:
于是得到:
由式(24)即可确定光斑图像中心的亚像素位置。
4 提取精度验证实验
为了验证所提出的光斑图像中心亚像素提取算法,进行了如下仿真测试实验。
共产生10种具有式(1)所描述能量分布的不同空间圆形发光点,并通过设定的摄像机模型进行透视投影成像。在此条件下,发光点的能量中心在摄像机像平面上对应的像点坐标精确已知。摄像机成像过程由下式描述
其中:u′=[X Y 1]T为以像素为单位的图像点齐次坐标,x′=[x y z 1]T为空间三维点的齐次坐标。A为摄像机内参矩阵,R为旋转矩阵,T为平移矢量,它们的取值分别如下:
上述参数决定了空间光斑到摄像机像平面形成光斑图像的成像过程。其中,内参矩阵A包含的参数为有效焦距和像面中心,仅影响光斑透视投影后在图像平面上的大小和位置,不改变空间光斑能量中心透视投影不变性,不影响光斑中心的提取。旋转矩阵R和平移矢量T描述了摄像机坐标系与空间光斑所在世界坐标系的位姿关系,即刚体变换关系,对光斑的具体成像过程没有影响,可以任意取值。一般地,实际的机器视觉测量系统中,通常要求光斑图像大小要大于10 pixels×10 pixels大小,且光斑图像避免较大透视畸变,这只需要设定空间光斑自身在世界坐标系中的具体分布即可。因此,参数A、R、T变化时,只需使空间光斑自身在世界坐标系中的具体分布跟随变化,而对所成光斑图像并无影响,对后续的实验结果和结论不产生影响。
在上述设定下,对投影后得到的光斑图像施加不同信噪比水平的噪声,以考察算法的鲁棒性。图3所示为产生的10种空间圆形发光点中的一种所得到的不同信噪比下的光斑图像。
对生成的光斑图像分别采用重心法、椭圆拟合法和本文算法进行中心提取,并考察各算法在同一信噪比水平下提取的RMS误差,即RMSerr=[(‖u1-u′1‖2+‖u2-u′2‖2+……+‖uN-u′N‖2)/N]1/2。其中,uk为空间圆形发光点的能量中心在摄像机像平面上对应的真实像点坐标,u′k是各算法提取得到的光斑图像中心坐标(k=1,2,…,N),N为光斑图像数,这里N=10。表1为所得到RMS误差数据。
由表1的数据可以看出,本文方法提取的光斑图像亚像素中心精度相较其它两种方法有明显提高。而在提取时间上,三种方法大致相当,均在5 ms左右,表中未列出。另外,还与曲面拟合方法进行了比较,在提取精度上两者水平相当,在表中没有给出曲面拟合法的RMS误差数据。但在提取时间上曲面拟合法要比本文方法慢10倍以上。在图像大小相同的条件下,本文方法提取一幅光斑图像的时间约为5.2 ms,而曲面拟合法的提取时间约为53.1 ms。因此,本文方法具有更适合动态应用场合的优势。
5 结论
本文以具有高斯能量分布的空间圆形发光点的透视投影光斑图像中心提取为研究对象,首先证明了发光点能量中心为透视投影不变量。在此基础上,通过对光斑图像灰度分布的二阶方向导数和灰度分布自相关函数两个方面性质的分析,得到了光斑图像中心的像素级位置的统一判定条件。以像素级中心位置为搜索起始点,通过二阶泰勒展开多项式描述光斑图像亚像素中心邻域内的灰度分布,并基于一阶导数过零的判据获得了光斑图像中心的亚像素位置计算公式。仿真测试实验表明,本文算法有效提高了提取精度,在信噪比为0.1的情况下仍然能够达到0.1像素的提取水平。由于本文算法只需对光斑图像区域进行卷积操作,无需插值拟合运算,没有增加运算的负担。因此,本文算法更适合于动态应用场合光斑图像中心的高精度快速提取。
参考文献
[1]Heikkila Janne.Geometric Camera Calibration Using Circular Control Points[J].IEEE Transactions on Pattern Analysis and Machine Intelligence(S0162-8828),2000,22(10):1066-1077.
[2]Mallon John,Whelan Paul F.Which pattern-Biasing aspects of planar calibration patterns and detection methods[J].Pattern Recognition Letters(S0167-8655),2007,28(8):921-930.
[3]魏振忠.基于机器视觉的在线柔性三坐标测量系统研究[D].北京:北京航空航天大学,2003:37-39.WEI Zhen-zhong.Flexible On-line3D Coordinates Measurement System Based on Machine Vision[D].Beijing:Beijing University of Aeronautics and Astronautics,2003:37-39.
[4]尚鸿雁.激光自准直三自由度动态角度测量技术研究[D].北京:北京航空航天大学,2005:89-91.SHANG Hong-yan.3-DOF Dynamic Angle Measurement Based on Laser Auto-collimation[D].Beijing:Beijing University of Aeronautics and Astronautics,2005:89-91.
[5]李为民.大尺度范围内视觉测量技术研究[D].合肥:中国科学技术大学,2006:34-37.LI Wei-min,Research on Large-scale Vision Measurement Technology[D].Hefei:University of Science and Technology of China,2006:34-37.
[6]Heikkila Janne,Silven Olli.A Four-step Camera Calibration Procedure with Implicit Image Correction[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition,San Juan,Puerto Rico,June17-19,1997:1106-1112.
[7]ZHANG Guang-jun,WEI Zhen-zhong.A position-distortion model of ellipse center for perspective projection[J].Measurement Science and Technology(S0957-0233),2003,14:1420-1426.
[8]张广军.视觉测量[M].北京:科学出版社,2008:42-70.ZHANG Guang-jun.Vision Measurement[M].Beijing:Science Press,2008:42-70.
[9]张贤达.矩阵分析与应用[M].北京:清华大学出版社,2008:268-271.ZHANG Xian-da.Matrix Analysis and Applications[M].Beijing:Tsinghua University Press,2004:268-271.
[10]Eberly D,Gardner R.Ridges for image analysis[J].Journal of Mathematical Imaging and Vision(S0924-9907),1994,4:353-373.
[11]Steger Carsten.Unbiased Extraction of Curvilinear Structures from2D and3DImages[D].Germany:Technische Universit-t München,1998:27-81.