结构光三维测量

结构光三维测量（精选5篇）

结构光三维测量 篇1

1 引言

随着计算机辅助设计技术和应用背景的发展,对实物进行三维数字模型获取的逆向工程技术获得了越来越广泛的应用。结构光测量系统作为视觉测量的一种,由于具有结构简单、建模容易实现以及精度高等特点被广泛应用[1]。

测量系统的标定是实现视觉测量的关键技术之一。在结构光系统标定过程中,标定点的获取是一难点,这是因为靶标上已知的三维点很难恰好位于结构光光平面上,三维标定点很难直接获取。鉴于此,交比不变原理被广泛应用到获取结构光标定点中[2,3],在此基础上又提出了基于双重交比不变原理获取标定点的标定方法[4,5]。

针对交比不变原理的结构光标定方法,从交比不变获取标定点的不确定度角度上进行分析,得出了标定样本数据的精度对结构光系统标定精度的影响[6,7]。

本文在假定参与运算的样本点相互独立且服从已知概率随机分布条件下,分析了光平面法向量误差对系统测量精度的影响和标定样本点精度对点坐标估计和光平面法向量求解的影响程度,提出了结构光测量系统的误差传递模型以及进一步提高测量精度的措施。确定了满足在1 000 mm的测量距离上获得±0.5 mm的测量精度情况下,各标定参数所需满足的精度要求,以及标定样本的精度要求。同时对提出的误差分析模型进行试验验证,为结构光测量系统的广泛应用提供了依据。

2 结构光系统的标定原理

正文结构光系统标定过程的关键部分是标定点的间接获取。如图1所示。本实验假设条纹编码光投射到平面靶标上为直线,靶标平面上有共线特征点A1,A2,A3(位于拟合直线L11上),光平面与靶标平面上共线特征点所在的直线的交点为R1,被称为标定点,r1为其相对应的图像坐标。图像点(a1,a2,a3)可通过图像处理获得,r1图像坐标可通过共线特征点的拟合直线和光平面与靶标平面交线在摄像机成像平面的拟合直线的交点求得。当3个点(A1,A2,A3)的世界坐标和4个共线点(a1,a2,a3,r1)图像坐标已知时,根据交比不变原理,可估计出点R1的局部世界坐标值。

由4个共线点(a1,a2,a3,r1)定义的交比为

根据交比不变原理可知:

由式(1)和(2)可得R1的坐标为

在实际计算中,参与交比计算的特征点只有3个,计算结果很容易受到特征点噪声的影响。为了克服偶然误差的影响,靶标上共线特征点多于3个。取N≥3个共线特征点与M(M=CN3)组合进行计算,取交比计算值的均值作为标定点的坐标值[6]。

获得结构光光平面上任意多组标定点的世界坐标(xi,yi,zi)(i=1,2,…,m)。利用光平面方程估计光平面参数(nx,ny,nz,d)。用于估计的目标函数为点到平面的欧式距离的平方和,即

通过最小化目标函数,可得到结构光光平面方程的系数。

3 误差分析

根据以上系统建模和标定原理分析可知,系统的测量误差主要来源为系统建模误差、标定误差和图像处理误差。本文主要考察系统标定误差对测量精度的影响。结构光标定过程可分为摄像机标定和光平面标定两部分,其中摄像机标定研究的较为详细[8],这里不做分析。重点分析满足光平面法向量误差对系统测量精度的影响程度,特征点提取精度对光平面标定的影响,且在1 000 mm的测量距离上获得±0.5 mm的测量精度情况下各标定量的精度要求。

3.1 测量误差分析

本章首先分析光平面标定参数精度对结构光系统测量误差的影响程度。

结构光测量方程为

其中:x,y,z为被测物点在摄像机坐标系下的值,u,v,f为该点成像于CCD图像面上的坐标值,p被称为径向放大倍数,可表示为

式(8)的泰勒展开为

其中R为泰勒级数高阶余项。

使用法向量的相对偏移量来近似法向量中各分量的偏移,即

由表1所示,在相同的测量距离的情况下,法向量最大允许相对偏移量δ随着测量绝对精度的提高而减小;当测量的绝对精度一定的情况下,法向量最大允许相对偏移量δ随着测量距离的增大而减小。

当测量距离为z=1 000 mm,要求z方向精度为z=±0.5 mm时,径向放大倍数的相对误差为

可得到在1 000 mm的测量距离上获得±0.5mm的测量精度。

3.2 光平面标定误差分析

光平面标定参数估计的误差主要来自于用于估计光平面参数的标定点误差。而标定点的精度取决于参与交比计算的共线特征点的世界坐标及对应图像坐标提取和标定点图像的提取精度。共线特征点的世界坐标的精度有靶标加工精度所决定,其图像坐标的精度由图像处理的提取精度所决定。下面我们分别针对各参数对标定结果精度的影响情况进行分析。

1)噪声对平面法向量求解的影响

光平面标定方程为

可写为线性方程组求解: An×3x=bn×1

其中:为标定点所构成的系数矩阵,b为单位向量。

设系数矩阵A有扰动δA,以x和x+δx分别表示方程组Ax=b及扰动方程组(A+δA)(x+δx)=b的精确解和近似解,则有[9]

其中cond(A)为系数矩阵A的条件数,cond(A)=||A-1||⋅||A||。

由式(15)可知,cond(A)决定解的相对误差最大值,即cond(A)越大,δA对线性方程组(14)的解的影响越大。根据矩阵论可知,系数矩阵A的条件数cond(A)接近于1时,系数矩阵A受噪声的鲁棒性最强。对于cond(A)大的矩阵,小的误差可能引起解的失真,矩阵A为病态矩阵。一般说来,如A的按模最大特征值与按模最小特征值之比较大时矩阵就是病态的。特别是当det(A)很小时,A总是病态的。因此,可以以系数矩阵A的条件数为参考依据来合理移动两维工作台求得多组标定点,从而使扰动对法向量数据的影响最小,确保标定结果的精确性。

由于在实际实验的过程中,测量视场的限制容易出现det(A)很小的情况,所以为了保证法向量受到扰动的影响最小,尽可能地扩大标定点之间的位置,保证用于求解法向量标定点数据的有效性。

若取δA=a A,其中a≠0,-1,代入线性方程组,可得线性方程组的相对误差为

从该式可知,相对误差a与系数矩阵A的条件数无关。对于任意非奇异矩阵A,该线性方程组的相对误差取决与系数矩阵A的相对扰动量。

由3.1节分析可知,满足系统在1 000 mm的测量距离上获得±0.5 mm的测量精度要求的情况下,法向量的标定误差满足式(13)。光平面标定结果满足

由于在标定过程中,系数矩阵A的相对扰动较小,则|a|<1且a≠0,满足

当用于求解光平面法向量的标定点的相对扰动满足式(17)时,得到满足式(13)的法向量标定精度,即可获得在1 000 mm的测量距离上获得±0.5 mm以内的测量精度。

2)标定点获取的误差分析

由系统标定原理可知,标定点获取是结构光系统标定过程的关键。标定点是共线点的拟合直线和光平面与靶标相交直线的交点,是借助辅助特征点间接获取。标定点图像坐标提取是基于图像处理和直线拟合的基础上得到的。为了避免在直线拟合过程引入数值计算误差(即出现直线垂直和水平的情况),在系统构建过程中保证光平面与靶标平面相交直线倾斜(θ≈30°)。

下面从特征点图像坐标误差和特征点世界坐标提取误差对交比不变计算标定点误差的影响两方面进行分析。

设共线特征点图像坐标和世界坐标相互独立,且服从高斯分布[10]。对式(3)进行一阶泰勒展开,可得[11]:

σ2(Rx~)=J⋅Λ(a1~a10,A1~A10)⋅JT(18)

其中:J为1×20的雅可比矩阵;Λ(a1~a10,A1~A10)为20×20的对角矩阵,由共线特征点图像坐标和世界坐标的标准方差组成。

假定上述两组图像坐标标准方差相等,均为σ1。仅考虑参与交比计算的共线特征点的图像坐标的误差与求解标定点世界坐标的误差分布的关系,则有:

σ12(Rx~)=|J1||⋅σ12(19)

其中J1为1×10的雅可比矩阵。

假定标定点世界坐标标准方差相等,均为σ2。仅考虑共线特征点的世界坐标的误差与求解标定点世界坐标的误差分布的关系,则有:

其中J2为1×10的雅可比矩阵。

根据蒙特卡罗统计方法,分别考察特征点的图像提取精度和世界坐标精度对标定点坐标求解的影响。假定特征点标定点相互独立,噪声为加性高斯白噪声。取图像坐标的提取误差在1 pixels以内(即(-0.5,+0.5)pixels),标定点世界坐标为(220,190,0)。在a1~a10的图像坐标中加入相应的零均高斯白噪声(σ1∈(-0.5,+0.5)单位:pixels)。改变噪声方差,根据式(3)和(4)计算R的世界坐标,重复计算N次(取N=1 000)。考察图像提取精度对标定点世界坐标求解的影响,如图2所示。

从实验分析可看出,点坐标误差随着特征点图像提取误差大小同方向变化。因此提高靶标图像特征点的提取精度,可相应地提高标定点的精度。当图像提取误差在(-0.5,+0.5)pixels时,所引起的标定点计算误差约在(-0.1,+0.1)mm。

在特征点A1~A10的世界坐标上加入不同方差的零均高斯白噪声(σ2∈(0,0.5]mm)。改变噪声方差,计算R的世界坐标,重复计算N次(取N=1 000)。特征点世界坐标精度对点坐标求解误差的影响如图3所示。

如图3所示,特征点世界坐标误差对交比不变原理求解点坐标的影响近似为线性,提高标定点世界坐标的精度可以提高标定点求解的精度。当特征点世界坐标方差为0.05 mm时,标定点计算误差为(-0.035+0.035)mm。

综合考虑特征点的图像提取和世界坐标获取误差的情况下,标定点的计算误差为(-0.105 9,0.105 9)mm,相对误差a满足式(16)。也就是说,在不考虑摄像机标定误差的情况下,当特征点的图像提取精度为(-0.5,0.5)pixels,世界坐标精度为(-0.05,0.05)mm,标定点的计算精度约为(-0.1,0.1)mm。使用所得到的标定点拟合光平面参数,可得到在1 000 mm的测量距离上获得±0.5 mm以内的测量精度。

4 实验验证

本实验采用EPSON EMP-821 LCD投影仪和Cool SNAP cf CCD摄像机组成的结构光测量系统,摄像机和投影仪的分辨率分别为1 040×1 392(像素尺寸为4.65µm×4.65µm)和1 024×768。测量距离在1 000 mm以内,测量范围为40 cm×30 cm×20 cm。

在特征点的图像提取精度为(-0.5,0.5)pixels,世界坐标精度为(-0.05,0.05)mm的标定样本精度的情况下,估计系统的标定参数。利用所得到的标定参数,在900 mm的测量距离附近对不同位置的平面物体进行测量,测量数据统计结果如表2所示。

从表2数据可知,结构光系统的测量的均方根误差为0.333 4 mm,满足限定的精度要求。该实验结果证明了本文所述的误差分析可以有效地对结构光系统误差进行定量分析。

5 结论

本文在光平面测量模型和交比不变原理进行结构光标定的基础上,对结构光测量系统的误差进行了定量分析。利用误差传递和矩阵扰动理论分别对系统的测量误差和光平面标定误差进行了误差分析。给出了满足在1 000 mm的测量距离上获得±0.5 mm的测量精度时,各标定参数所需满足的精度要求,以及标定样本的精度要求。并通过实测实验数据验证了分析结果的有效性。

参考文献

[1]Mouaddib E B,Salvi J.Recent progress in structured light in order to solve the correspondence problem in stereo vision[C]//Proceedings-IEEE International Conference on Robotics and Automation.Albuquerque,NM,USA:IEEE,1997,1:130-136.

[2]Huynh D Q.Calibration of a structured light system:A projective approach[C]//Proceedings of the IEEE Computer SocietyConference on Computer Vision and Pattern Recognition.San Juan,Puerto Rico:IEEE,1997:225-230.

[3]徐光祐,刘立峰,曾建超,等.一种新的基于结构光的三维视觉系统标定方法[J].计算机学报,1995,18(6):450-456.XU Guang-you,LIU Li-feng,ZENG Jian-chao,et al.A new method of calibration in 3D vision system based on structure light[J].Chinese J.Computers,1995,18(6):450-456.

[4]Zhang G,Wei Z.A novel calibration approach to structured light 3D vision inspection[J].Optics&Laser Technology,2002,34(5):373-380.

[5]Zhou F,Zhang G,Jiang J.Constructing feature points for calibrating a structured light vision sensor by viewing a plane fromunknown orientations[J].Optics and Lasers in Engineering,2005,43(10):1056-1070.

[6]周富强,刘珂,张广军.交比不变获取标定点的不确定性分析[J].光电子?激光,2006,17(12):1524-1528.ZHOU Fu-qiang,LIU Ke,ZHANG Guang-jun.Uncertainty analysis of constructing calibration points based on invariance ofcross ratio[J].Journal of Optoelectronics?Laser,2006,17(12):1524-1528.

[7]刘珂,周富强,张广军.线结构光传感器标定不确定度估计[J].光电工程,2006,33(8):79-84.LIU Ke,ZHOU Fu-qiang,ZHANG Guang-jun.Estimation of uncertainty in calibrating line structured light sensor[J].Opto-Electronic Engineering,2006,33(8):79-84.

[8]Li Yunhao,Zhang Maojun,Yang Bin,et al.Noise analysis in camera calibration[C]//International Conferences on Info-techand Info-net.Beijing,China:IEEE,2001,3:536-542.

[9]孙继广.矩阵扰动分析[M].北京:科学出版社,1987.SUN Ji-guang.Matrix Disturbance Analysis[M].Beijing:Science Press,1987.

[10]Maybank S J.Probabilistic analysis of the application of the cross ratio to model based vision[J].International Journal ofComputer Vision,1995,16(1):5-33.

[11]Qian S S.Uncertainty of Measurement-processing and Expression of Experiment[M].Beijing:Tsinnghua University Press,2002.

结构光三维测量 篇2

随着制造技术的快速发展和制造领域的不断扩大,使得对制造产品的质量要求也越来越高。传统意义上很多对产品的检测方法已经不能适应现代制造业的要求。计算机视觉[1,2,3]检测技术具有操作、维护简单,测量速度快,精度高,测量范围广等众多无可比拟的优点,被认为是检测技术领域中最具有发展潜力的技术。机器视觉被称为自动化的眼睛,在国民经济、科学研究及国防建设上都有着广泛的应用。机器视觉不但可以实现无接触观测,还可以长时间保持精度,因此,机器视觉系统可以广泛应用于长时间的、恶劣的环境[4,5]。

在此探讨了线性结构光三维扫描系统的特点。设计一种能够测量物体深度的结构光三维扫描系统,通过图像处理技术对激光条纹进行提取,并建立数学模型,采用三角法测量方法获取深度信息,对工件图像进行重建。最后,实验结果验证了该系统的有效性。

1 基于机器视觉的结构光三维扫描系统模型

结构光测量[6,7]是将激光器发出的光束经过光学系统形成某种形式的光包括点单线多线单圆同心多圆、网格、十字交叉、灰度编码图案、颜色编码图案和随机纹理投影等投向景物,在景物上形成特定的图案,并通过图像处理,对图案进行提取,然后根据三角法进行计算,从而得到景物表面的深度信息。根据投射光图案的种类可分为单点法、单线法和图案法。

1.1 系统的硬件结构设计

如图1所示,文中所设计的结构光三维扫描系统由3大部分组成,分别是运动平台、激光器和摄像机。系统的运动平台由导轨丝杠机构成,丝杠上的滑块带动工件左右运动,丝杠由伺服马达驱动。摄像机垂直于导轨运动平面。激光器和摄像机与摄像机呈固定角度安装。激光器所射出的线形光斑垂直于工件的运动方向。激光器与摄像机的相对角度可以调节,调节范围由20°～45°之间。运动平台行程为100 mm,图像分辨率为0.2 mm/pixel。

1.2 系统的数学模型建立

系统的数学模型如图2所示。工件放置于运动平台上,摄像机垂直安装在运动平台正上方,激光与水平面的夹角θ,激光器产生一字的线性结构光,由于物体表面与运动平台的高度差,条形光斑同时照射在物体上的A处和平台的B处。用摄像机获得光斑的图像,经图像采集卡输入至计算机,经过图像处理,可以测量出点A与点B的距离d,根据三角法公式tanθ=H/d,可以通过光斑间距计算出工件的高度因此物坐标和像坐标对应关系为:

其中:xg,yg,zg分别为物坐标;k为像素-毫米转换系数;xi,yi分别为图像坐标。

2 结构光光斑提取的相关理论与方法

从系统的数学模型可知,物体的深度信息H主要受θ和d的影响,而θ主要表现为系统误差,因此,有必要对条纹间距d进行深入研究,以提高系统的精度。其主要包括:图像增强、图像二值化以及图像细化。

2.1 图像增强

图像增强主要增加图像的对比度,突出图像中的高频部分[8]。算法描述为:设原图像的灰度级为x,其最大和最小灰度级分别为xmax和xmin;期望图像灰度级的最大和最小值分别为ymax和ymin;则与原图像灰度级x相对应的期望灰度级:

若令:

可改写为:

式(3)是一个线性函数:参数a是函数的斜率;b是函数在y轴的截距;x表示输入图像的灰度;y表示输出图像的灰度。

2.2 图像二值化

这里所采用的256色的灰度图像,通过选取阈值t,将小于t的灰度全设为0,即黑色;将大于t的灰度全部设为255,即白色。这样,目标就从背景中独立出来。采用文献[9]提出的一种基于熵的自动阈值提取方法。一幅图像的直方图可以表示为:

式中:G表示灰度值的总和;g(h)表示图像灰度等级为h的像素个数。一幅具有[0,N-1]灰度值范围图像的直方图的熵可以表示为:

式(6)中,ta表示图像分割的阈值,则不同阈值范围内的熵可以表示为:

总熵可以表示为通过求解一组优化的阈值,可以使总熵达到最大。其中:L表示阈值的个数,a=0,1,…,L-1。

2.3 图像细化

图像的细化[10]是一个通过迭代去除目标图像上不影响连通性的轮廓象素点,以得到最终宽度为一个像素的图像骨架的过程。对被处理的图像进行细化有助于突出图像的形状特点和减少冗余的信息量。

3 实验结果与分析

3.1 系统标定

实验通过基于机器视觉结构光三维扫描系统获取扳手三维图像,为获得准确的三维图像,首先采用40 mm的标准块规进行测量,测量结果与误差如表1所示。图3为三维扫描系统的测量软件界面。

3.2 实验内容与步骤

用该系统获取准确的扳手图像信息如图4、图5所示。对所获取的信息进行图像增强、腐蚀和去除小颗粒滤波处理,再根据三角法测量原理测量计算出扳手的厚度。

对所获取的图像信息进行图像处理,首先对图像进行图像增强增加图像的对比度突出图像中的高频部分,如图6、图7所示。其次采用自动阈值技术对图像进行二值化处理,如图8所示。为了得到更清晰的图

像,采用相关的滤波器将小颗粒噪声去除,处理结果如图9所示。

3.3 实验数据

图10、图11给出了扳手手柄和钳口处的高度信息提取结果。通过对多处截面进行高度信息提取,可以重构处扳手的三维图像,如图12、图13所示。

3.4 结果分析

经过分析上述的测量数据,总体误差为4.47%。从实验测量结果来看,实现系统还有待进一步提高。影响其精度的主要原因如下:

(1)由于本系统采用的激光光斑比较粗,从一定程度上影响了精度。

(2)对激光光斑的提取算法性能不足,可进一步改进。

4 结语

这里就基于机器视觉结构光三维扫描系统进行深入的探讨和实验,具体包括以下3个方面:结构光光斑提取相关的图像处理的理论和方法,对系统所获取的原始图像进行图像增强、腐蚀和去除小颗粒滤波处理;基于机器视觉结构光三维扫描系统的架构。设计实验所用设备,确定三角法测量物体深度的数学模型;在工业检测中运用该系统进行实验,误差为4.47%,验证了该系统的有效性和精度要求

参考文献

[1]Marr D.Vision[M].San Francisco:Freeman Publisher,1982.

[2]David A Forsyth,Jean Ponce.Computer Vision:A ModernApproach[M].Beijing:Publishing House of Electronics In-dustry,2004.

[3]马颂德.计算机视觉[M].北京:北京大学出版社,1998.

[4]陈海东.机器视觉的快速匹配与识别定位方法及其在自动检测中的应用研究[D].广州:华南理工大学,1999.

[5]张广军.机器视觉[M].北京:科学出版社,2005.

[6]Batlle J,Mouaddib E,Salvi J.Recent Progress in CodedStructured Light as a Technique to Solve the Correspon-dence Problem:A Survey[J].Pattern Recognition,1998,31(7):963-982.

[7]陈向荣,朱志刚,石定机.基于双外极线的结构光深度信息快速获取[J].清华大学学报,1998(Z1):99-102.

[8]章毓晋.图像处理和分析[M].北京:清华大学出版社,1999.

[9]吴冰,秦志远.自动确定图像二值化最佳阈值的新方法[J].测绘学院学报,2001,15(1):284-286.

结构光三维测量 篇3

1 原理

De Bruijn序列也称之为M序列, 是一种伪随机序列。其周期最长而且具有有非周期移位特性。在通信, 密码学, 建筑学方面都有很重要的运用。

1.1 条纹产生过程

De Bruijn序列产生的条纹与三相位法产生的条纹光不同, 三相位法产生的条纹是人为变换光的相位 (通常是每2/3个单位变换一次) , 这样我们通常能够获取两种不同的条纹光一种是黑白条纹如图1所示, 在相邻条纹之间有可能产生相似或者相同的序列这样就会产生二义性。利用DeBruijn产生序列的目的在于消除条纹光的二义性, 假设, 给定一个十六进制的编码序列, 设定一个窗口的大小为m, 我们能够找出一个序列长度为16m的编码序列。这样得到的序列能够保证每m个序列均不一样。

彩色点通常是由, R, G, B三种基色构成, 我们利用二进制的方式能够准确识别8中颜色, 即, 将RGB三位分别有0或者1来表示, 则颜色可以表示为若投影的序列有n+1条即:, 形成的序列{000, 001, …, 111}, 由于要保持相邻序列之间具有二义性, 上述序列要与颜色集合{001, 010, …, 111}做相应的异或处理则能够构成不同的颜色序列。在实际运用当中, 为了要剔除与黑色部分相混淆的阴影部分我们要将其剔除, 红色通道 (110) 和黄色通道 (111) 容易同时发生跳变因此我们也要将其剔除。这样构成Debrujin的序列就是5项。与此同时, 条纹的粗细也是影响成像好坏的一个重要因素, 如果, 条纹粗会导致像素点数量稀疏, 成像不清晰, 条纹过细, 可能会使图像点易受光噪声干扰。以下图表是我们实际操作过程中的一些参数:

De Briijn产生的序列是随机序列, 因此产生序列的顺序并不是唯一的。图2是产生条纹的图像:

1.2 图像滤波

光学测量中由于外部环境的因素 (如:环境的震动, 温度的变化等) 和内部设备的误差 (图像显卡的电子噪声, 设备散热的热噪声等) 都会对所形成的图像形成一定的干扰。因此, 在三维图像的形成之前要对图像进行滤波处理。

首先, 使用一个低通滤波器去除高频部分的噪声, 其次对于颜色分量较低的部分 (包括干扰光, 反射光等) 我们也要将其剔除出去。通常情况下我们所选取的低通滤波器是3*3的即可。

具体的公式为:

此门限的具体算法是通过自适应门限算法:先将三种颜色的求和并归一化其算计算方法为:

其中, abs是取绝对值, 即:将相邻点的三基色做差然后再相加。

1.3 边缘检测

对图像的处理方式一般有两种:第一种是将彩色的图像全部转化成灰度图像, 这样的方式有可能弱化检测边缘;第二种是在彩色图像之间进行检测, 此方法有利于边缘提取。Canny边缘检测方法是通过边缘检测算法的算子计算图像像素的梯度, 判断计算结果是否是局部极大值或者极小值的方法来获得图像边缘点信息。

1.4 条纹的判定与匹配

得到了条纹的边缘之后首先对条纹的颜色进行判定然后与原始的颜色序列进行对比, 对于每一条颜色带的匹配可使用RGB颜色平均数的办法:

为判定颜色将每个颜色的分量相对比:

其判定方法是:判定上述向量中最大的两个颜色比率。假设r/g、r/b远大于1则判定为1, 如果这几个比率均接近1则说明颜色接近全部为1.同理其他颜色的情况也如此。在这里我们使用多变动态规划算法来对相应的条纹进行匹配, 条纹的全局评价递归函数如下公式:

其中,

是三种颜色全部相同的颜色匹配函数。

是两组条纹的全局评价函数。

能够获取评价函数的最大值[9]。

其意义在于:对于条纹序列i和j, 如有im-1=jn-1, 则进一步解决一个子问题, 找“i0, i1, …, im-2”和“j0, j1, …, jm-2”的一个最长公共条纹序列;如果im-1!=jn-1, 则要解决两个子问题, 找出“i0, i1, …, im-2”和“j0, j1, …, jn-1”的一个最长公共子序列和找出“i0, i1, …, im-1”和“j0, j1, …, jn-2”的一个最长公共条纹序列, 再取两者中较长者作为i和j的最长公共条纹序列。

2 实验数据分析

本文通过石膏人模型来说明三维形态重建情况。使用DeBruijn序列条纹进行三维重建。

通过计算机处理, 得到的三维点阵信息[10]进行运算, 获得的石膏人三维形态。

利用Debruijn彩色条纹编码可以通过系统较好的还原物体三维形态, 在减少图片张数的同时很好的保证了三维形态的精确度。显示的实验结果能够很好的反应物体的形态。

3 结语

(1) 整个系统中包含了比较完整的算法如边缘检测, RGB颜色匹配, 三维形态重建等。

(2) 在提升算法精度和设备准确度的情况下, 此种算法能够很好的利用在高动态的环境下, 例如, 路面检测, 桥梁变形检测等领域。

(3) De Bruijn序列产生的彩色条纹还原物体三维形态的方法是一种空间编码的方法, 只要靠单张图片还原物体三维形态的方法, 相比较时间编码的方式中靠三张图片还原物体三维形态, 在精确度上还是确有不足的, 但在实时检测中提供了很大的便利。

参考文献

[1]曲学军, 张璐.基于双目视觉的三维测量方法[J].计算机仿真, 2011, 28 (2)

[2]Frankowski, G., Chen, M., Huth, T.Real-time 3D Shape Measurement with Digital Stripe Projection by Texas Instruments Micromirror Devices DMDTM[J].Proc.Of SPIE, 3958 (2000) , pp.90-106

[3]李永怀, 冯其波.光学三维轮廓测量技术进展[J].激光与红外.2005, 35 (3) :143-147

[4]Zhengyou Zhang.A Flexible New Technique for Camera Calibration[J].Teehnieal Report MSR-TR-98-71, 1998

结构光三维测量 篇4

非接触光学三维传感技术近年来被广泛研究,并应用在汽车制造、质量控制、生物医学、逆向工程、机器视觉及娱乐等领域。条纹投影和相移相结合的方法在非接触光学三维传感中有着重要的地位,因具有精度高、系统要求低的优势而被广泛研究。相位测量轮廓术[1](Phase Measuring Profilometry,简称PMP)就是其中的一种,与PMP相关的研究主要集中在建立更有效的相位提取算法和相位展开算法[2,3,4,5,6,7,8]。本文以通用N步相移算法的PMP原理为例,分析在物体表面不连续处由于CCD采样引入的测量误差和鉴别方法。

PMP测量系统中,CCD是典型的获取变形条纹强度分布的传感器件。CCD的光电特性对PMP测量有很大的影响。由于照明、物体表面非均匀反射、采样等因素,在阴影区域、低调制度区域以及表面不连续区域相位测量精度都很低[9,10]。目前已有一些方法利用光强调制度、空间频率等参数来鉴别相位不可靠区域[11,12],但只适用于阴影区域和低调制度区域。因此,本文着重分析了对表面不连续物体测量时,CCD采样对相位测量结果的影响。通过分析PMP原理,将受物体高度调制的相位看作矢量的辐角。并提出利用时间相位展开算法[13,14](TPU)来鉴别因采样引起的测量误差。

1 CCD采样对相位测量的影响

图1是PMP原理示意图。如果投影系统和成像系统都是远心光路,则相位和高度的关系可以表示为

其中:λe=P0/tanθ是等效波长。0P是参考平面上余弦光栅的空间周期,θ是投影系统和成像系统光轴夹角。当一组相移余弦光栅(相移量为2nπ/N,(n=,1,N))投影到物体表面时,成像系统获得相应的一组变形条纹In(x,y),利用通用N步算法可以求得相位分布。

显然,相位ϕ(x,y)可以看成矢量V(x,y)的辐角,V(x,y)为式(3)表示的矢量。

式(3)为连续坐标表示的形式。对于使用CCD作为感光元件的成像系统,图像强度In(x,y)需经过CCD采样成离散信号。CCD中第(i,j)像素(第i行,第j列像素)在CCD靶面上实际为一个具有一定大小的矩形区域,其输出值正比于该矩形区域内总曝光量。如图2所示。

为简单起见,我们暂时不考虑曝光时间和比例因子,将抽样后的光强表示为

(x1i:x2i,y1j:y2j)为第(i,j)像素在CCD靶面上对应区域的空间坐标范围。将上式带入式(2),可得:

ϕ(i,j)为第(i,j)像素的相位值,可以看成是矢量V(i,j)的辐角,如下式:

显然,矢量V(i,j)是区域(x1i:x2i,y1j:y2j)内所有矢量V(x,y)的合矢量。以图3为例,我们讨论两个不同像素单元(i1,j1)和(i2,j2),它们分别对应物体表面平滑区域和物体表面不连续区域两种情况。假定像素(i1,j1)对应区域内高度变化很小,则其合矢量的辐角与各个分矢量的辐角近似相等(图4(a)),此时测量值存在误差但误差较小。

对于像素(i2,j2),假定A、B两个区域面积比例为kA和kB0(

又像素(i2,j2)的光强为

那么像素(i2,j2)对应的合矢量为

即测量结果为A和B两个区域对应矢量的合矢量的辐角。若测量结果位于A和B区域相位之间(如图4(a)),则看成是可接受的插值结果,会引入误差但不会对相位分布产生太大影响;若测量结果同时大于或者小于A和B区域相位(如图4(b),图4(c)),则这种错误相位严重的干扰了测量结果,必须从测量结果中删除。

表1给出了不同情况下分矢量与合矢量辐角的关系。其中ϕA,ϕB分别表示A,B区域内的截断相位,ϕ表示像素(i2,j2)的相位测量结果。

可以明显看出合矢量辐角都不等于任何一个子区域内的辐角,在1,2,4,6四种情况下合矢量辐角值介于分矢量辐角之间,即实际测量的相位可以看成A和B两部分插值的结果;在3和5两种情况下合矢量辐角同时大于或小于子区域的辐角,这种情况将在测量结果中产生明显的毛刺,正好对应图4(b)和图4(c)两种情况。

综上可知,在对表面具有不连续高度分布的物体进行测量,当CCD像元正好跨越两个高度不同区域时,若两个区域对应的截断相位异号且截断相位差的绝对值大于π,则会在相位结果中出现毛刺。

由于相位与等效波长密切相关(式(1)),当等效波长改变时相位也做相应的变化,而在不连续区域相位与等效波长不再满足式(1),因此可以利用改变等效波长,观察相位的变化就可鉴别出在不连续处产生的错误的相位。

2 无效相位点的鉴别

根据式(1),展开相位与等效波长成反比关系,在时间相位展开中展开相位将随着等效波长的减小而线性增加。当一组等效波长呈指数关系(2v)的光栅用于时间相位展开(TPU)时,测量的相位值ω可以利用最小二乘拟合(LSF)得到。

其中:φu(2v)是利用TPU展开的相位,s是最大光栅周期总数。利用LSF可以提高相位的精度。拟合过程中同时可以得到拟合标准差,它显示了数据与拟合曲线之间的误差大小。由前面分析可知,在物体表面不连续处由于CCD采样将导致相位和等效波长不满足线性关系,因此这些地方的相位LSF的拟合标准差将远大于其他可靠测量处的值。利用这一点,只要在TPU中设定拟合标准差阈值,大于阈值的点即为无效相位点,它们将被从测量结果中剔除,其值可以通过可靠相位插值获得。

3 实验验证

3.1 计算机模拟验证

首先模拟了一组截断相位ϕA和ϕB值以验证矢量求和将在相位上产生毛刺。ϕA和ϕB取值从-π到π,间距π/4,共计9个值。将ϕA和ϕB两两组合得到不同截断相位分布情况,共计81对数据。对这81对数据求其合矢量辐角ϕ,结果如图5所示,其中|ϕA-ϕB|只画出值大于π且ϕA、ϕB异号的点。

可以看出,当ϕA、ϕB异号且|ϕA-ϕB|大于π时,ϕ同时大于或小于ϕA和ϕB,与表1的第3和第5种情况相吻合。

在Matlab中模拟了一个同时具有光滑表面和不连续的物体,如图6所示。变形条纹图大小为256×256像素,等效波长(像素单位)分别取256,128,64,32,16和8,θ取值为27°。物体表面的变形条纹如图7所示,其中考虑了CCD像元积分。利用TPU获得的相位分布如图8所示,图8(a)为测量结果的正视图,图8(b)为侧视图,图8(c)为测量结果的三维视图。从正视图和侧视图中可以明显看到在物体剧烈变化的边界区域测量结果中出现了毛刺,这与前面的分析相吻合。图9为拟合标准差阈值为0.1 rad时得到的模板,其中白色的点为不可靠点,在结果中将被删除并对其进行插值。图10为插值后的结果。

3.2 实验

实验中采用五步相移PMP测量了一个牙齿模型。投影条纹的总周期数分别为32、16、8、4、2、1,获得的变形条纹如图11所示。时间相位展开后的结果如图12所示,其中阴影和低调制度区域的点已经被调制度模板删除。可以看出,相位中在物体边缘出现了明显的毛刺,这些错误相位正是由于CCD采样引起的。图13为拟合标准差的灰度表示,物体边缘的拟合误差明显大于其他地方。图14是根据拟合标准差阈值获得的模板,白色区域表示不可靠相位点,图15为删除这些点并插值的结果。

4 结论

结构光三维测量 篇5

线结构光视觉测量技术具有测量精度高、速度快以及信息量丰富等优点,被广泛应用于数字化测量领域。测量过程中,系统将结构光投射到被测工件表面,利用结构光面与摄像机之间的位置关系来提取工件表面信息。与一般视觉测量系统不同,线结构光测量系统需要同时标定出摄像机参数和线结构光面方程。

目前,针对摄像机的标定方法已经非常成熟,例如基于径向约束的方法[1]、基于主动视觉的方法[2]、基于二维平面靶标的方法等[3],而关于结构光面的现场标定方法仍在不断研究之中。其中,R.Dewar和K.W.James[4]分别提出了细丝散射法。该方法将结构光投射到金属细丝上,利用仪器测出光在细丝上形成亮点的空间位置来标定结构光面。但由于该方法使用的细丝数量有限,导致测量点数少,标定精度较低。段发阶[5]提出了一种齿形靶标法,他以特殊设计的锯齿形立体结构作为靶标来进行线结构光面的标定。但该方法要求靶标与光平面呈一个特殊位置,且获得标定点较少,调整复杂,并不适合现场标定。Huynh和魏振忠等[6,7]提出了基于立体标靶的交比不变和双重交比不变法,所得标定点的精度大幅提升但仍需相互垂直的平面构成高精度标靶,这不但提高了标定成本,且标靶平面之间对光照相互遮挡,难以获得高质量标定图像。吴庆华[8]提出了3圆点靶标法,该方法尽管在精度和制作难易程度上都优于齿形靶标,适合操作简单的现场标定,但其坐标映射策略较为复杂,程序实现难度大。王金桥等[9]提出引入两束激光条纹相交求解特征点,该方法能够有效简化标定过程,但由于两束激光的光纹在相交处会产生干涉,将降低激光条纹中心的提取精度。

综上所述,现有的线结构光面标定方法靶标制作难度大、现场标定过程复杂,为此本研究利用简单的二维平面靶标,通过求取结构光条纹与靶标平面内直线的交点来拟合得到结构光面平面方程,简化求解过程,提高标定效率。

1 线结构光扫描测量原理

摄像机和激光器固定安装在运动滑座上,并可随滑座一起沿工作台作直线移动。测量时首先由电机驱动滑座移动到各测量位置,激光器发出的激光投射到被测工件上,在工件表面形成一条光亮的激光条纹。然后,摄像机拍摄工件表面图像,再结合摄像机和线结构光平面的预先标定结果,便可以计算出各测量位置处激光条纹在摄像机坐标系下的物理坐标。最后,笔者将这些坐标统一到世界坐标系下得到工件表面点云数据,从而完成整个工件的线结构光扫描测量。

线结构光视觉测量系统如图1所示。

线结构光视觉测量系统用到的坐标系包括摄像机坐标系OcXcYcZc,世界坐标系OwXwYwZw,图像物理坐标系O'XY和图像像素坐标系OUV。系统以首次采集图像时的摄像机坐标系作为世界坐标系,后续摄像机移动到各位置处测得的工件表面光条纹坐标均统一到该世界坐标系下,以实现整个工件表面轮廓的测量。

线结构光视觉测量系统如图2所示。

假设工件表面任意一点P(xc,yc,zc),其在图像坐标系下的像素坐标为p(u,v),物理坐标为(x,y),两者满足如下关系:

式中:(u0,v0)—摄像机像平面光心坐标;dx,dy—单一像素在x,y方向的物理尺寸。

同时,根据摄像机针孔成像模型,图像物理坐标系和摄像机坐标系又有如下关系:

联立式(1)和式(2)可得到图像像素坐标系和摄像机坐标系之间的关系[3]:

式中:s—比例因子。

设结构光平面在摄像机坐标系下的方程为:

因此,只需求出摄像机内部参数和结构光平面方程,联立公式(3,4)就能够求出工件表面任一点P在当前摄像机坐标系下的坐标。再根据线位移工作台上运动滑座的位移矢量,就可以将各测量位置处的P点坐标转换到世界坐标系下,进而拟合出工件表面轮廓点云数据。其中,各测量位置处摄像机坐标系与世界坐标系满足如下关系:

式中:d—滑座移动距离;—滑座位移方向向量。

2 测量系统标定

如上所述,线结构光视觉测量系统标定包括对摄像机参数的标定和结构光平面标定两个部分。考虑到张正友提出的基于二维平面靶标的标定方法简单易行且精度较高,该系统采用该方法对摄像机参数进行标定。针对结构光面与摄像机之间位置关系的标定,本研究提出了一种新的基于自由平面靶标的标定方法。

该系统以摄像机参数标定时使用的平面靶标作为标定对象,将激光投射到靶标上,提取激光条纹中心线并拟合出直线方程。然后,以该直线与靶标内各棋盘格交点作为特征点,并求出这些特征点在摄像机坐标系下的坐标。

平面靶标特征点如图3所示。

为了得到摄像机坐标系下的结构光平面方程,必须求出上述特征点在摄像机坐标系下的坐标,而仅根据各特征点的图像坐标(u,v)是无法通过公式(3)求解出该特征点在摄像机坐标系下的坐标(xc,yc,zc)的。因此,本研究先利用交比不变性求出特征点在平面靶标坐标系下的坐标[10],再将其转换到摄像机坐标系。

交比不变性原理示意图如图4所示。

根据交比不变性原理,有:

利用公式(6),已知某点在图像坐标系下的坐标(u,v),可以求出其在靶标坐标系下坐标(xt,yt,0)。再由摄像机针孔成像模型可知,平面靶标坐标系下任意一点P(xt,yt,0)在摄像机坐标系下的坐标(xc,yc,zc)可通过下式计算得到:

式中:Rt,tt—靶标坐标系到摄像机坐标系的旋转矩阵和平移向量。

本研究通过保持激光器和摄像机位置不变,任意调整靶标位姿,可以得到若干组这样的特征点坐标。

本研究通过将得到的若干组特征点利用最小二乘法进行平面拟合,即可求出结构光面在摄像机坐标系下的平面方程。

3 试验结果

系统是在Win7平台利用VC++结合Open CV开发的,使用的摄像机为大恒DH-HV2003UC型USB接口工业相机,像素分辨率为1 600×1 200。激光器采用波长635 nm的5 m W一字线结构光激光器,平面靶标是打印的10×8的棋盘格,格子尺寸为10 mm×10 mm。

3.1 标定实验

本研究采用张正友的方法,利用Open CV函数库中的标定函数计算出摄像机内部参数如表1所示。

拍摄靶标平面内激光条纹图像及其条纹提取、细化处理后图像。本研究对激光条纹图像先进行大津阈值分割,再利用改进的Hilditch细化算法进行细化条纹,最后采用最小二乘法拟合出条纹所在直线方程,以提高交点特征点坐标提取精度,并求出图像内特征点在摄像机坐标系下的坐标。

实验中,调整靶标位姿求出10组这样的特征点坐标数据,再用最小二乘算法拟合出结构光面在摄像机坐标系下的平面方程:

Z=0.005X-0.052Y+867.576

第一组靶标图和激光条纹图如图5所示。

特征点在不同坐标系下的坐标如表2所示。

3.2 精度分析

影响系统标定精度的误差因素主要来源于以下几个方面:

(1)激光条纹中心线提取误差。激光条纹中心线的提取是工件表面测量和后续数据处理的前提,直接影响系统的标定精度。结构光投射在工件表面时,激光条纹会受到金属工件表面的反射和背景条纹的干扰,提取中心线时需要作图像去噪和细化处理。

(2)坐标系转换误差。摄像机坐标系与世界坐标系之间的转换需要用到线位移工作台上运动滑座的位移矢量,该位移量是通过在位移工作台上安装的光栅传感器测得的,因此光栅传感器的测量误差也会影响到系统测量精度。

为了验证系统的测量精度,本研究利用标定好的结构光测量系统进行了平面靶标棋盘格尺寸测量试验。笔者将激光条纹以一定角度投射到平面靶标上,提取激光条纹并拟合出直线方程,并计算出激光条纹与靶标平面内水平直线的夹角β以及各交点坐标。最后,计算由各交点坐标确定的棋盘格尺寸并与公称值10 mm进行比对。笔者通过四组这样的试验,计算出结构光测量系统的测量误差绝对值小于0.1 mm,相对误差低于1%。

系统精度验证图如图6所示。

平面靶标棋盘格尺寸测量结果如表3所示。

4 结束语

本研究提出了一种基于自由靶标的线结构光面参数标定方法,建立了线结构光测量系统的数学模型,根据张正友摄像机标定思想完成摄像机内外参数标定,并在以上平面靶标基础上引入线结构光。通过提取不同位姿靶标上特征点坐标,然后利用最小二乘法进行平面拟合,完成线结构光面的标定。

该方法只需要2幅以上不同位姿的靶标图像就可以进行光面标定,提高了现场标定的快捷性,方便性,而且不需要高精度硬件测量组件,降低了标定成本。

实验结果表明,该方法具有较高准确性,在本研究的实验条件下相对误差为0.9%,能满足使用要求。

摘要：针对现有的线结构光视觉测量系统现场标定方法存在效率低、操作复杂等不足,提出了一种基于自由移动平面靶标的标定方法。该方法以平面靶标作为标定对象,首先采用张正友的方法标定出了摄像机内部参数,然后引入了线结构光和自由移动平面靶标,以各种位姿下靶标内的激光条纹与棋盘格角点边线交点作为特征点,求取了特征点在摄像机坐标系下的坐标,并拟合出了结构光面平面方程,从而完成了整个测量系统的标定。试验结果表明,采用上述方法标定后的线结构光视觉测量系统测量误差小于1%,达到了较高的标定精度,能够满足使用要求。

关键词：线结构光,视觉测量,标定,光平面,平面靶标

参考文献

[1]TSAI R Y.A versatile camera calibration technique for highac-curacy 3D machine vision metrology using off-the-shelf TV cameras and lenses[J].IEEE Journal of Robotics and Automation,1987,3(4):323-344.

[2]HARTLEY R.Self-calibration of stationary cameras[J].International Journal of Computer Vision,1997,22(2):5-23.

[3]ZHANG Zheng you.A Flexible New Technique for Camera Calibration[J].IEEE Transon Pattena Analysis and Machine Intelligence,2000,22(11):1330-1334.

[4]DEWAR R.Self-generated targets for calibration of structured light optical sectioning sensors with respect to an external coordinate system[R].Dearborn Mich:Sochety of Manhfatnring Engineers,1988.

[5]段发阶,刘凤梅,叶声华.一种新型线结构光传感器结构参数标定方法[J].仪器仪表学报,2000,21(1):108-110.

[6]HUYNH D Q.Calibration a structured light stripe system:a novel approach[J].Internal Journal of Computer Vision,1999,33(3):73-86.

[7]魏振忠,张广军,徐园.一种线结构光视觉传感器标定方法[J].机械工程学报,2005,41(5):210-214.

[8]吴庆华.基于线结构光扫描的三维表面缺陷在线检测的理论与应用研究[D].武汉:华中科技大学机械科学与工程学院,2013.

[9]王金桥,段发阶,伯恩,等.线结构光扫描传感器结构参数一体化标定[J].传感技术学报,2014,9(5):1196-1201.