三维视觉（共8篇）
三维视觉 篇1
人脸识别容易受环境、姿态、表情等因素的影响[1],三维人脸图像数据与二维人脸图像数据相比,能够提供更完整、更丰富的识别信息,因而三维人脸识别对光照、姿态以及表情等因素的鲁棒性较强[2]。当前人脸识别算法主要倾向于基于三维人脸模型的识别算法[3,4,5],然而,虽然在理论上,三维人脸识别算法比二维人脸识别算法性能更优越,但在实际应用中,三维人脸识别算法尚处于不成熟状态,主要存在以下困难: 1) 三维数据获取困难,尽管激光、结构光采集设备能获得较精确数据,但价格昂贵,一般用户难以接受,且结构光采集易受环境影响; 2) 由于传统三维人脸识别算法是基于人脸的三维重建,而三维重建的计算复杂度大[6],导致传统三维人脸识别算法复杂。
1 新算法整体流程
针对上述问题,本文提出了一种新的三维人脸识别算法,其算法流程图如图1 所示。与传统三维人脸识别算法相比,该算法以结构简单的双目立体视觉系统为基础,通过调整左、右摄像机与人脸的相对位置,完成人脸的二维图像采集,从而能经济、高效地完成图像采集; 识别过程中,利用主动形状模型( Active Shape Model,ASM) 技术对二维图像进行二维特征点自动定位,并结合摄像机的内外参数得出特征点的三维坐标,从而避免了复杂的人脸三维重建; 最后利用反向传播( Back Propagation,BP) 神经网络进行识别,获得了较高的正确识别率。
2 二维特征点标定
在提取特征点之前,先根据肤色等信息对双目视觉系统获得的左右人脸图像进行人脸区域提取,然后利用极线变换[7]对图像进行校正,并对校正后的左、右图像进行特征点定位,将确定好的人脸区域作为初始位置,最后还要利用ASM技术[8]进行特征提取,左右每幅图像上分别提取76 个特征点。双目立体视觉系统获得图像经过上述极线校正、特征定位及特征提取后的图像如图2 所示,其中,特征点用线段连接起来,图2a、图2b分别表示左、右图像提取的特征点。
特征点提取后,可以得到这76 个特征点的图像像素坐标,表1 描述了部分特征点的像素坐标。由表1 可知,经过图像校正后,左右图像中的特征点的纵坐标位置基本一致,也就是说经过极线校正后,特征点的视差信息可以直接由左右图像的横坐标之差求出。
3 三维特征提取
3. 1 特征点三维信息恢复
为了克服二维人脸识别易受环境、姿态、表情等因素影响的缺点,将提取的特征点进行三维信息恢复,由于特征点三维恢复的最终目的是实现三维人脸识别,因而只需对人脸面部关键特征点进行三维信息恢复。根据双目立体视觉原理计算相应的三维空间坐标信息[9],其原理如图3 所示,图中b是基线距离,即摄像机光心Cl与Cr之间的距离,f是摄像机的焦距,P( X,Y,Z) 为空间点,设该空间点在左右摄像机坐标系中的坐标分别为( x1,y1,z1) 和( x2,y2,z2) ,在左右平面上对应的像素坐标为( u1,v1) 和( u2,v2) ,则视差d = u1- u2,根据三角测量原理和2 个摄像机的关系,有
空间点的三维坐标,可表示为
由张正友标定法[10]确定摄像机焦距等参数,并测出基线距离,然后根据式(2),可以计算出空间点三维坐标信息,从而得到所求的人脸面部关键特征点的三维信息。
3.2构造三维特征
通过人脸关键部位的特征点的位置,如鼻尖、眼角等的位置,提取三维人脸上的直线距离特征、角度特征、人脸比例特征、周长特征、曲线特征、体积特征以及表面积特征等几何特征,从而形成一个20 维几何特征向量,用于对三维人脸的识别。下面分别描述这些特征及其构造。
1) 距离特征
距离特征主要包括距离矩阵和局部特征点的曲线距离,选两点的欧氏距离作为其三维特征点之间的直线距离,曲线距离则使用分段计算两点之间的距离,然后求得近似模拟曲线距离。所选取的曲线距离有“鼻根点—鼻尖点—鼻下点”和“左鼻翼点—鼻尖点—右鼻翼点”的曲线距离。具体计算过程为
式中: ( xi,yi,zi) 和( xj,yj,zj) 分别表示参与计算的两个特征点的三维坐标。
2)角度特征的表示与度量
人脸上的一些部位之间的角度特征受外界的影响较小,因此可以提取这些角度特征来进行识别。该计算主要是基于余弦定理,具体计算过程为
式中: p1( x1,y1,z1) ,p2( x2,y2,z2) 和p3( x3,y3,z3) 为所选3 个人脸特征点的三维坐标。这类几何特征可以为眼睛内外、眼角与鼻尖之间的角度,鼻根到鼻尖再到鼻下点的距离等。
3) 比例特征的表示与度量
根据人脸美学得知,面部长度大概是鼻子长度的3. 5倍,面部宽度大概是左右眼角直线距离的5 倍,将面部长度和宽度之比作为人脸的长宽比例。这个几何特征可以度量不同人脸的形状,并应用于人脸的识别。
4) 周长特征的表示与度量
这类特征主要是计算鼻子XY和YZ剖面周长,这里主要是基于两点欧氏距离来计算。
5) 面积特征的表示与度量
面积特征是计算特定人脸区域的表面积,可用海伦公式表示如下
式中: p1,p2,p3分别为p1( x1,y1,z1) ,p2( x2,y2,z2) 和p3( x3,y3,z3) 的简写,表示为3 个特征点的三维坐标; s为这3 个特征点所围成的区域面积。
6) 体积特征的表示与度量
体积特征主要用于计算鼻子的体积,计算式如下
式中: S为鼻子的XY剖面面积; h为鼻子高度。而鼻子的高度的计算则如下,设鼻尖的坐标为( x1,y1,z1) ,鼻根的坐标为( x2,y2,z2) ,鼻下点的坐标为( x3,y3,z3) ,可以建立鼻根点和鼻下点所组成的直线方程
式中: A = z2- z3,B = y3- y2,C = y2( z3- z2) - z2( y3-y2) 。则鼻子的高度可以认为是鼻尖点到式( 8) 所代表的直线距离,则鼻子的高度公式为
4 基于BP神经网络的三维人脸识别
采用“误差反向传播”学习的BP网络,它可以对任意形状的观察向量集合进行正确地分类,其应用十分广泛。BP神经网络结构如图4 所示。假设输入输出对是( xk,yk) ,其中,xk= ( xk1,xk2,…,xkn)T,为第k个输入人脸特征向量; yk= ( yk1,yk2,…,ykn)T为第k个样本的期望输出。
将3. 2 节构造的20 维几何特征向量作为BP神经网络的输入,中间层采样15 个节点,输出层为判决结果。利用梯度下降法,根据已知人脸样本对神经网络中权系数进行训练,训练结果即可对人脸进行识别测试。
5 实验结果及分析
为了检测提出算法的性能,采用本文算法建立的三维人脸数据库与Bosphorus大学提供的3D人脸数据库[11]对算法进行测评。其中,Bosphorus 3D人脸数据库是采用基于结构光的三维扫描仪对人脸进行采集,里面包括表情变化的数据。该库提供了对应的三维人脸的24 个特征点位置,这些位置都是由受过专业培训的人员进行手工标记得到的。在实验中使用了除左右耳垂点两个特征点之外的22 个特征点。Bosphorus 3D人脸数据库部分人脸模型如图5 所示。本文算法自建的三维人脸数据库中包含30 个人脸信息,每个人脸拍摄15 组人脸数据,数据包括部分表情的变化。取其中10 组共300 张人脸数据作为BP神经网络训练样本集,然后取其余5 组共150 张人脸数据作为测试集。图6 描述了本文自建数据库采用的部分二维图像对。
对上面2 个三维人脸数据库,利用相同的特征,采用最近距离分类法和本文的BP神经网络分类法进行识别比较,表2 描述了2 种识别方法对2 种数据库进行识别比较的结果。由表2 可知,对同一数据库利用相同的特征,用本文的BP神经网络识别法比用最近距离识别法正确识别率高。由于Bosphorus数据库是通过结构光三维扫描仪获得的,并用人工标注特征点,三维人脸坐标相对较精确,因此采用相同的识别法对2 个数据库进行识别,Bosphorus数据库正确识别率要高于本文自建的数据库的正确识别率,但该数据库的获取代价大,且工序繁琐; 尽管采用相同的识别法,本文自建人脸数据库正确识别率略低于采用Bosphorus数据库,但其正确识别率达到了90% 左右,能满足实际的需要,且本文算法简单、经济。
6 结论
本文提出了基于双目视觉三维人脸识别算法,该算法以结构简单的双目立体视觉系统对人脸进行采集,使采集过程友好、简单、快捷; 在识别过程中,利用ASM技术对二维图像进行二维特征点自动定位,并结合摄像机的内外参数得出特征点的三维坐标,从而避免了复杂的人脸三维重建; 并利用BP神经网络进行识别,使正确识别率得到了提高。利用相同的特征,用最近距离分类法和本文的BP神经网络分类法,对本文建立的数据库和Bosphorus数据库进行识别比较,发现本文算法简单快捷,是一种经济、实用的三维人脸图像识别算法。
摘要：针对传统三维人脸识别算法的复杂性,提出了一种新的三维人脸识别算法。该算法以双目立体视觉系统为基础,通过调整左、右摄像机与人脸的相对位置,完成人脸二维图像的采集,然后利用主动形状模型(Active Shape Model,ASM)技术对采集的二维图像进行特征点自动定位,并结合摄像机的内外参数得出特征点的三维坐标,从而避免了复杂的人脸三维重建;再利用人脸关键特征点的三维信息计算特征点距离矩阵,提取三维人脸几何特征;最后利用反向传播神经网络进行识别。实验结果表明,该算法简捷、快速,且具有较高的正确识别率,是一种经济、实用的三维人脸识别算法。
关键词：三维人脸识别,双目视觉,主动形状模型,反向传播神经网络
三维视觉 篇2
关键词：三维动画；数字光照；电影制作0引言
“数字”一词来源于英语单词“digital”，在三维动画的世界，所有物体、对象和场景均是以几何方法定义的，是一种虚拟的被数字化了的描述。在三维动画的制作过程中有着虚拟数字光源、光照、渲染等种种基于计算机图形真实感的图形图像的重要技术。数字光照是以数字化特征的计算机为创作平台，通过几何方法定义的虚拟的被数字化了的光线描述。它以现实生活中真实的光照原理为基础，采用数字化的技术手段，还原生活中各种形式的自然及人工光线现象。在赋予艺术形象独特的造型感、空间感的同时，提升画面的视觉艺术美感，并以此达到渲染三维动画电影气氛的效果。
美国学者Arnold Gallardo曾提到有关光照在三维艺术创作中作用：“通过光照，你只需要改变主颜色和整体照明程度，就可以改变场景中物体给人的印象和感觉。光照和好的动画、物体细节相结合可以产生令人信服和诱人的3D环境。”在三维动画电影中，数字光照與现实世界的特定艺术性光照一样都扮演着重要的角色，完美地控制数字光照能够在视觉上突出画面的重点，让观众在情感上与影片进行互动，从而提升电影艺术感染力。大致来讲，数学光照对三维动画电影画面视觉表达的具体功用主要体现在以下三个方面。
1数字光照对画面主体的塑造
就像其他传统艺术门类，如绘画、摄影、实拍电影一样，三维动画电影也需要在镜头画面中表现出主体角色或场景，并根据情节进行重点刻画，必要时通过种种数字灯光特效来达到突显角色性格的效果。
2010年7月上映的美国Illumination Entertainment公司制作了该公司的第一部三维动画长片《卑鄙的我》。这部三维动画电影，故事情节虽然比较老套，但整体的视觉画面，尤其是灯光对角色性格塑造的表现却非常突出。电影一开场就交代了主人公格鲁的家，场景中道具物体很多，俯视的机位造成主角的形体在空间中不够明显的状况。这种情况下，如果灯光设置不好，就很容易形成画面过于拥堵，主体不明确的情况。但是，制作者以穿过玻璃窗的光线，在画面中形成强烈的明暗对比，一下子就达到了确立画面的主体，吸引观众视线的视觉目标，同时也从侧面反映了主角外表坚强，内心空虚的人物性格。
另一场戏是主角格鲁正在为盗月计划做动员，这一场戏的数字灯光采用了传统实拍电影光照中比较少用的顶光和逆光来表现角色的性格。在实拍电影光照中，顶光和逆光容易造成面部有较多的阴影，且补光用起来不是很方便，容易让角色显得较为阴险狡诈，画面也会很堵，影响视觉。但动画电影中数字光照不受这些影响，在虚拟的三维空间中，可以架设大量的辅灯来减少面部的阴影，且随着光阴追踪、全局光照这类专业灯光渲染技术的大量运用，画面的阴影部分渲染得越来越柔和。在画面中，顶光与大量辅光的完美配合，虽然面部处于阴影中，但并不过于阴暗，反而突显了主角表面凶恶，内心善良的性格特征。
2数字光照对时空关系的表达
现实生活中我们依靠光线感知世界万物，从时间、空间、外观构造到所有一切可被感知的细节。在三维动画为我们创造的虚拟空间里，这一切都需要数字光照为我们达成，通过光影来塑造三维空间的真实感。通过准确的光线及阴影表现，我们才能更好地理解画面中物体与物体之间的时空关系，并将其与故事情节结合起来，从而更好地融入其中。
2009年美国皮克斯动画工作室制作的《飞屋环游记》，是由曾执导《怪物公司》的彼得·道克特导演的皮克斯的第十部动画长片，作为戛纳电影节60多年历史上的第一部动画开幕片，以美轮美奂的视觉画面赢得了第82届奥斯卡最佳动画长片奖，创造了全球七亿三千万美元票房的好成绩。在这部动画电影的制作中，皮克斯动画工作室应用了一项自行开发的全新的CGI技术——基于点的渲染技术Pixar RenderMan（PointBased Rendering），最终的成片中有大约90%的镜头都使用了这项技术，它的诞生使电影产品渲染中的全局光照效果变得比以前更加实用和高效。创造了超出光线追踪和光能传递之外的更灵活和高效的数字灯光渲染解决方案。
电影初始，有老先生卡尔和爱妻艾莉幼年初识时的破旧小屋里，动画灯光设计师充分展示了数字光照对空间环境的塑造能力。室外的充足阳光透过已经残旧不全的屋顶照射进来，代表着冒险精神的蓝色气球就在阁楼的深处，小卡尔在小艾利的怂恿下正要走过去。画面通过灯光雾很好地交代了光源的方向，将阁楼和屋顶的环境关系及破损程度表现得淋漓尽致，两个孩子完全处于室内阴影下的空间位置交代的也很清晰。在光线的总体色调上不失温馨，采用了较温暖的色调，让整个小屋都充满了梦幻的色彩。当故事发展到小卡尔受伤后，艾利晚上偷偷溜到他家去看他。在这一场戏中，动画灯光设计师又通过数字灯光对故事发生的时间进行了准确表现。画面中浅浅的蓝色光线准确地塑造了有着朦胧月光的夜景，室内橘色的灯光在卡尔的面部形成了极具好莱坞特色的边缘光，既表达了故事的时间又体现了角色的空间关系，同时还通过光线的色彩对比，将小主人公忐忑的心理表现出来。
3数字光照对场景气氛的渲染
光线的强弱、明暗、色彩变化造就了不同的自然环境关系，也让三维动画的空间关系变得更有层次感。在与画面构图的协同作用下，环境气氛被逐步渲染提升，给观众形成种种心理暗示，帮助故事情节变得高潮迭起。
在《飞屋环游记》中，老年的卡尔为了让艾莉开心而带她回到年轻时常去野餐的地方。这个室外场景动画灯光设计师选择了黄昏的时间段，以此来反衬两人已进入了暮色之年。黄昏场景的数字灯光着力刻画画面暗部，这时的画面暗部比较透，阴影也比较长。薄暮作为黄昏的延续，主光采用了灯光阵列来显示天空中柔和的散射效果。画面色调温馨，为了配合故事情节，阴影的色调也选择了偏红的颜色，整体营造了一种夕阳无限好只是近黄昏的情感氛围。当老卡尔在妻子去世后，为了表达出角色的悲痛心情，动画灯光设计师将整体色彩氛围设定为忧郁的深紫色。通过使用全局光照结合点云渲染技术，将室内本身的紫色的光线与从玻璃窗中微微射入的橘色阳光进行互补，并将室内墙面上形成的色溢现象真实地表现出来，营造了一种不失真实又满怀忧伤的情绪氛围。
4结束语
不难看出数字光照其实与传统电影布光一样，是营造动画电影画面的关键因素，如何让画面给观众留下深刻的印象，怎样通过灯光造型更好地塑造角色形象，是每个灯光师都在不断研究的课题。因为光线就和音乐一样，可以穿越我们的理性思维而直接作用于我们的情感，数字光照设计的优劣决定了光照能否在镜头中达成视觉目标，并获得令人满意的视觉效果。参考文献：
[1] 丁翠红.试析二维与三维动画影片的视觉艺术特征[J].现代视听，2011（08）.
[2] JeremyBirn（美）.数字绘图中的光照与渲染技术[M].清华大学出版社，2008.
三维视觉 篇3
关键词：智能化焊接,视觉,三维重建,接缝,熔池
0 前言
焊接在工业生产中的应用领域越来越广泛,传统焊接品质的控制通过焊前工艺设计和焊后检测来保证,不能依据实际工况的变化在线调整,且效率低、效果差,已经不能满足高效优质低耗精密焊接的需求。由于熔池中包含丰富的信息,能够反映焊接品质,熟练焊工通过观察熔池和浮渣形态进行调整,达到焊接品质实时控制。焊接视觉传感的研究就是借鉴焊工经验行为,利用光学传感器拍摄焊接过程中的熔池图像,通过数字图像处理获取熔池几何形状信息,掌握熔池视觉特征与焊缝品质的关系规律,进而调整焊接参数实现焊接品质闭环控制。该技术能获得丰富直观的信息,近来年已成为焊接过程传感的重要研究方向,已经在熔池二维信息的获取、处理和分析方面进行了较为深入的研究[1,2,3,4]。但熔池高度、熔化金属下塌量、熔池侧壁熔合情况、熔透情况、熔池内部金属流动等信息与焊接成形紧密相关,迫切需要对熔池进行三维重建研究,获得更多的信息,建立更全面的熔池几何特征与焊接品质的关系模型。
另一方面,在核电站设备的维修、海洋工程建设以及未来的空间站建设维修等不适合人类亲临现场的环境都需要采用遥控焊接技术。传统的遥操技术通过延伸人的感知能力,获得现场信息,进行判断和决策,并控制执行机构(机器人)所有的运动。这种完全依赖于人的遥控操作方式效率低下,容易导致操作者疲劳。并且由于二维图像深度信息的丧失,难以完成一些精确的任务操作。同时,焊接机器人任务空间的三维传感也是机器人全自主焊接的发展需要,这样不仅能克服示教再现型机器人缺乏对环境自主适应能力的缺点,也能为离线编程系统提供任务空间的 CAD 模型,避免了离线编程标定的不便。开发具有全局感知能力的传感器可以感知工件和环境信息,提高焊接机器人柔性,扩展焊接机器人的应用范围[5]。同时,三维重建也是熔池数值模拟结果的有效验证方法。
1 计算机视觉
现实世界是三维的空间,人类通过两眼认识自然界物体的三维立体信息。但是一般的摄像系统只能把三维物体以二维的形式保存、记录下来,丢掉了大量的三维信息。计算机视觉就是用计算机模拟人眼的视觉功能,从图像或图像序列中提取信息,对客观世界的物体进行形态和运动识别。
计算机视觉的研究开始于20世纪50年代中期,当时的研究主要集中在二维景物图像的分析。利用二维图像解释三维目标的研究始于1695年Roberts对多面体识别中提出的“积木世界”。Roberts的研究开创了以理解三维场景为目的的计算机视觉研究。20世纪70年代中期,以Marr为代表的研究者提出了一整套视觉计算的理论来描述视觉过程,其核心是从图像恢复物体的三维形状。从20世纪80年代初到80年代中期,计算机视觉开始了全球性的研究热潮,计算机视觉得到了蓬勃的发展,在Marr视觉计算理论框架的基础上,新概念、新方法、新理论不断涌现。20世纪90年代初,关于计算机立体视觉的研究趋于成熟。
计算机视觉最主要的研究方向是三维重建,研究目标是使计算机具有通过二维图像认知三维环境信息的能力,不仅使机器能够感知三维环境中物体的几何信息(形状、位置、姿态、运动等),而且能够对其进行描述、存储、识别和理解。计算机立体视觉就是利用计算机技术和光学手段从获得的一幅或多幅图像中还原出被摄物体的立体形状、位置等,从而获得三维数据值[6]。
基于视觉的三维重建技术的优势在于不受目标物体形状限制,重建速度快,可以实现全自动或半自动建模等,有广泛的应用前景。
2 三维重建方法
根据所用摄像机的数目,可将三维重建方法分为单目立体视觉法、双目立体视觉法和多目立体视觉法。
2.1 单目视觉法
单目视觉法是仅使用一台摄像机进行三维重建的方法。其中又包括两种方法,第一种是使用单视点的单幅(或多幅)图像,通过图像的二维特征推导出深度信息,这些二维特征包括明暗度、纹理、轮廓等。该方法的优点是使用单幅或少数几张图像就可以重建出物体三维模型;不足的是通常要求的条件比较理想化,与实际应用情况不是很吻合,重建效果较差。第二种方法则使用多视点的多幅图像,利用一台摄像机的旋转、运动或者对目标进行光路设计使不同视点的图像能够进入摄像机的靶面,通过匹配不同图像中的相同特征点,利用这些匹配约束求取空间三维点坐标信息,从而实现三维重建。这种方法在图像资源丰富、目标所受光照情况不改变、目标形状不发生变化的情况下重建效果较好,但是运算量较大,重建时间较长,需要知道摄像机的准确运动情况。
在焊接过程中,熔池反射电弧光的光强变化迅速,并且熔池处于流动状态,无法通过一台摄像机的运动获得多个视点的同步熔池图像,使得第二种单目立体视觉法在焊接领域不适用。第一种单目立体视觉法又包含阴影恢复法、结构光法、光度立体法、纹理法等,已有文献报道结构光法和阴影恢复法在在焊接熔池的三维重建的研究,将在第三节中进行归纳。
2.2 双目视觉法
双目立体视觉是一种将双目视差信息转换为深度信息的方法,这种方法使用两台摄像机从两个视点观测同一物体,获取在物体不同视角下的一对图像,然后通过左右图像间的匹配和三角测量原理,计算出场景中目标物体的几何形状和位置等三维信息。这一重建过程与人类视觉的感知过程相似,非常直观和易于理解,并且不需要人为设置辐射源,只需利用场景在光照条件下的二维图像来重建物体的三维信息,具有效率高、适应性强、精度合适、系统结构简单、成本低等优点,是目前研究最多、应用最广泛的立体视觉技术之一,特别是在非接触自动在线检测和质量控制等领域均具有很大的应用价值。
由于该方法结构简单,测量精度较高,已有焊接研究者利用该方法对焊接领域中的接缝坡口、焊接工件、遥控焊接任务空间场景及熔池进行三维重建,将在下一章详细归纳。
2.3 三目视觉法
三目视觉方法的基本思想是通过增加一台摄像机提供额外约束,该方法可以避免双目视觉方法中难以解决的假目标、边缘模糊、误匹配等问题,重建效果优于双目视觉方法。但由于增加了一台摄像机,设备结构更加复杂,成本更高,控制难度也大幅增加,并没有双目立体视觉法应用广泛。
3 焊接三维重建研究
由于焊接过程中存在着高温、飞溅、电弧等干扰,同时熔池体积小、温度高且分布不均匀、冷却速度快、熔池处于运动状态、填充金属的熔化和凝固过程同时存在等,直接对熔池进行三维测量十分困难,焊接中存在的电磁干扰和熔池的高温使得机械和电磁方法不适用,X射线方法和红外传感方法都能够获得焊缝熔透信息,但无法实时测量熔池高度信息[7]。熔池三维重建最有前途的方法是视觉传感法。
基于视觉的焊接接头三维重建技术能广泛应用于包括接缝轨迹规划、焊接品质控制、移动焊接机器人自主导航等焊接技术领域,进行焊接三维重建研究是智能化焊接发展的关键技术之一。目前焊接领域采用的三维重建方法主要有结构光法(单目主动立体视觉法、阴影恢复法(单目立体视觉法被动)以及双目立体视觉法(被动光法)三种。
3.1 结构光法
结构光三维视觉是基于光学三角法测量原理,通过光学投射器将一定模式的结构光投射于物体表面,在表面上形成由被测物体表面形状所调制的光条三维图像。摄像机获得光条二维畸变图像。光条的畸变程度取决于光学投射器与摄像机之间的相对位置和物体表面高度。当光学投射器与摄像机之间的相对位置一定时,由畸变的二维光条图像坐标便可重现物体表面高度。
美国肯塔基大学张裕明博士在主动式视觉领域曾进行了一系列研究工作,获得了较好的研究成果[8,9,10]。他首次将结构光法用于焊接三维重建研究,通过计算熔池反射的结构光的变形量来获取熔池表面高度信息,于2007年设计了一套由面阵点状激光器和高电子快门摄像机组成的熔池视觉检测系统。脉冲激光器的平均功率为 20 mW,每次形成激光面阵中点数为19×19,激光波长为 685 nm,摄像机所采用的滤光片中心波长为 685 nm,滤光窗口宽度为20 nm。在激光脉冲持续时间内,激光点阵一次覆盖整个熔池表面,在摄像机曝光时间内激光的光强远远大于弧光的光强,有效的抑制了弧光干扰,获得了非常清晰的熔池表面点状反射图像。提出了EPA和OPA两种算法重建熔池表面,对比结果发现OPA方法得到的结果误差更小,熔池表面更光滑,图1为其使用的 GTAW 实验系统、利用OPA算法获得的熔池表面三维图像以及xz平面上重建点与实际点的对比[11],可以看到位于图像中间的点误差较小,而图像四周边缘的点误差比较大。王志江等[12]利用小功率结构光条纹激光器投射激光条纹于非熔化极气体保护焊熔池表面,由成像屏接收熔池表面镜面反射过来的激光条纹,利用镜头前附加了与激光器波长匹配的窄带滤光片的电荷耦合器件(CCD)摄像机观察成像屏上的条纹变化,从而获得熔池表面的高度等三维信息。
结构光法应用于焊接领域进行三维重建可以成功地得到熔池的三维形状,但该方法算法较复杂,计算时间长,精度有待进一步提高。同时设备复杂,需要增加辅助光源,成本较高,不利于工业应用。
3.2 阴影恢复法
阴影恢复法(shape from shading,SFS)最早是美国科学家Horn为了解决月球表面的重建问题于20世纪70年代提出的,是利用单幅图像中的阴影线索(即灰度信息或图像的明暗变化)来恢复其表面各点的相对高度或表面法向量等参数值,即根据一个确定的反射模型建立物体表面形状与图像亮度之间的约束关系,并根据对物体表面形状知识建立表面形状参数的约束关系,然后对这些约束关系联立求解可得到物体表面的三维形状。该方法只需要单幅图像就可以解决表面重建问题,其关键技术包括反射图模型的建立和反射图方程的求解[13]。尽管有很多方法提出,SFS问题仍然很难获得精确的重建结果。由于实际反射的多样性,很难确定合适的反射模型,并且光源条件、图像品质等都难以得到保证,如何给出合适的约束条件成为许多研究者需要面对的难题。由于以上等原因,SFS方法的具体应用和效果都受到较大限制。在实际场景中的SFS方法重建结果往往会差强人意,尽管可以重建出局部较为细致的深度信息,但在整体深度上的偏差会比较大,而且由于平滑等约束,难以避免过平滑及丢失细小特征的结果[14]。
赵冬斌等[15]首次将SFS方法引入到焊接熔池表面高度信息提取上,通过对成像实际条件的深入分析,提出了符合实际成像条件的通用反射图模型,并提出了求解方程的基本算法;针对实际焊接熔池图像的特点,引入了表面光滑约束、边界条件、灰度加权调整,在基本算法的基础上形成了改进算法,成功地由单幅熔池图像获得了填丝脉冲GTAW低碳钢对接熔池图像熔池正面三维形状信息,如图2所示,其中Vf为送丝速度。该方法为提取熔池正面三维信息开辟了一个新的方向。李来平等[7]进一步研究了多种材料焊接过程中熔池图像特征,提出了脉冲 GTAW 熔池表面通用反射图模型,首先分析了熔池表面成像过程中的电弧光源特点、熔池表面的形状和反射特性和摄像机特性,建立脉冲GTAW熔池表面通用反射图模型,分别建立了低碳钢、不锈钢、铝合金脉冲GTAW熔池表面反射图模型并对反射图方程进行求解,实现了三种材料熔池图像的三维重建,铝合金熔池三维重建结果如图3所示。杜全营等根据熔池表面的成像特点,从提高运算速度的角度对三维恢复理论上进行改进,处理结果如图 4所示 [16]。
但是阴影恢复方法要求是表面反射均匀的漫反射体(符合朗伯漫反射模型),在理想的成像条件下(光源和摄像机无穷远),对反射图方程的逆求解过程,由图像灰度计算出物体的表面方向。然而,熔池是在强电弧光笼罩下,其表面成像镜面特性;并且用于传感熔池表面的摄像机也非无限远,是小孔成像,成像模型为投射投影模型。上述利用阴影恢复熔池形状法做了过多的假设,使得阴影恢复方法在熔池表现形貌三维恢复模型不再可靠[12]。并且阴影恢复法算法复杂度较高,大多数算法必须由迭代运算来逐步逼近真实结果,迭代的收敛速度会随迭代过程而减慢,由此带来较大的时间消耗。SFS方法处理的都是灰度图像,在重构前的去噪、降噪工作难度较大,容易把噪声带入后期重建中,而大多数研究方法是噪声敏感的,由此可能导致重建结果的失真。
3.3 双目立体视觉法
双目立体视觉三维重建包括立体图像对的获取、摄像机标定、特征提取、立体匹配、三维恢复等六个基本步骤。摄像机标定就是获得立体视觉系统的数学模型的过程,包括摄像机的内参数,两摄像机之间的位置关系,摄像机坐标系和世界坐标系的关系等。标定的结果相当于获得图像点对应的空间直线的方程。立体匹配就是寻找两图像上对应同一空间点的像素或者特征的过程,是立体视觉中最重要和最困难的步骤。在极线约束下,对应点的寻找是沿着某条线(极线)进行的,深度确定就是求两条直线交点的过程[5]。
焊接研究者利用双目立体视觉法来模拟焊工的双眼来获得焊缝和熔池的三维形状信息,在焊接领域已经得到较多的关注和研究。美国的Chris Mnich等人使用双目立体视觉法对GMAW的管道焊接熔池进行恢复。焊接方法为STT,焊接期间瞬间熄弧,两摄像机同时采集熄弧瞬间熔池图像,双目熔池图像对和恢复的熔池三维形状如图5所示[17]。可以看到恢复的熔池表面凹凸感明显,细节丰富,与熔池实际形状吻合度高。不足的是在光亮的无纹理匹配区域只能用平面来取代。虽然如此,该方法仍不失为一种整体精度高、适用性强的焊接熔池三维重建方法,值得深入研究。
a)熄弧瞬间熔池图像对 b)熔池三维重建结果
荷兰的C.X.Zhao和I.M.Richardson等人使用二维粒子图像测速仪(PIV)跟踪氧化物粒子的运动来确定熔池表面速度场,运用二维熔池图像来完成三维流体流速的重建,从而得到了熔池的三维流动情况[18]。
南京理工大学的王克鸿等[19]设计研制了结构激光双目立体视觉传感器,成功得到不同形状接缝的三维几何尺寸(图6)。
a) I形接头 b) U形接头 c) 搭接接头
上海交通大学使用双CCD拍摄焊缝图像,对摄像机进行标定后并获取焊缝的三维形状,发现机器人重复定位精度对视觉计算的影响标准误差不大于0.3 mm,而当工具中心点标定误差大于1 mm时,需要对机器人进行重新标定[20]。
华南理工大学的李鹤喜等人采用极线约束和激光标识相结合的立体视觉匹配方法,完成了管件相交马鞍形空间曲线焊缝的立体视觉检测[21]。
王军等对经典USF平面距离图分割算法进行改进,通过增加区域合并步骤,使之能够分割含有圆柱面的立体视差图,给出了马鞍形工件的立体视差图分割结果,证明了算法的可行性,结果如图7所示[22]。
a) 未区域合并 的分割结果b) 区域合并 后的分割c) 马鞍形工件 重建结果
哈尔滨工业大学梁志敏等建立了用于遥控焊接机器人任务空间三维重建的立体视觉系统,并完成了系统标定和极线校正。针对典型的焊接任务空间,进行了外围设备、焊接工件和焊缝的三维重建实验,并对系统标定误差和重建结果误差进行了分析。验证了立体视觉的三维重建算法可以克服焊接场景无纹理的缺点,获得精度较高的重建结果,能够满足遥控机器人任务空间的建模需要[5]。
国内利用双目立体视觉法的研究主要针对焊接中的接缝坡口、工件、焊缝和焊接外围设备等的三维重建,针对熔池三维形状研究鲜有报道。这种方法的难点在于熔池变化很快,使得对两摄像机的同步和对图像品质都要求很高。若存在强烈弧光干扰或熔池图像存在区域特征不明显,则匹配困难。
4 总结与展望
随着电子技术、自动控制技术以及图像处理技术、迅速地引入到焊接领域,焊接智能化的发展已经成为重要发展和研究方向,包括焊接品质的在线智能化控制和焊接环境的智能识别。
三维视觉 篇4
随着制造技术的快速发展和制造领域的不断扩大,使得对制造产品的质量要求也越来越高。传统意义上很多对产品的检测方法已经不能适应现代制造业的要求。计算机视觉[1,2,3]检测技术具有操作、维护简单,测量速度快,精度高,测量范围广等众多无可比拟的优点,被认为是检测技术领域中最具有发展潜力的技术。机器视觉被称为自动化的眼睛,在国民经济、科学研究及国防建设上都有着广泛的应用。机器视觉不但可以实现无接触观测,还可以长时间保持精度,因此,机器视觉系统可以广泛应用于长时间的、恶劣的环境[4,5]。
在此探讨了线性结构光三维扫描系统的特点。设计一种能够测量物体深度的结构光三维扫描系统,通过图像处理技术对激光条纹进行提取,并建立数学模型,采用三角法测量方法获取深度信息,对工件图像进行重建。最后,实验结果验证了该系统的有效性。
1 基于机器视觉的结构光三维扫描系统模型
结构光测量[6,7]是将激光器发出的光束经过光学系统形成某种形式的光包括点单线多线单圆同心多圆、网格、十字交叉、灰度编码图案、颜色编码图案和随机纹理投影等投向景物,在景物上形成特定的图案,并通过图像处理,对图案进行提取,然后根据三角法进行计算,从而得到景物表面的深度信息。根据投射光图案的种类可分为单点法、单线法和图案法。
1.1 系统的硬件结构设计
如图1所示,文中所设计的结构光三维扫描系统由3大部分组成,分别是运动平台、激光器和摄像机。系统的运动平台由导轨丝杠机构成,丝杠上的滑块带动工件左右运动,丝杠由伺服马达驱动。摄像机垂直于导轨运动平面。激光器和摄像机与摄像机呈固定角度安装。激光器所射出的线形光斑垂直于工件的运动方向。激光器与摄像机的相对角度可以调节,调节范围由20°～45°之间。运动平台行程为100 mm,图像分辨率为0.2 mm/pixel。
1.2 系统的数学模型建立
系统的数学模型如图2所示。工件放置于运动平台上,摄像机垂直安装在运动平台正上方,激光与水平面的夹角θ,激光器产生一字的线性结构光,由于物体表面与运动平台的高度差,条形光斑同时照射在物体上的A处和平台的B处。用摄像机获得光斑的图像,经图像采集卡输入至计算机,经过图像处理,可以测量出点A与点B的距离d,根据三角法公式tanθ=H/d,可以通过光斑间距计算出工件的高度因此物坐标和像坐标对应关系为:
其中:xg,yg,zg分别为物坐标;k为像素-毫米转换系数;xi,yi分别为图像坐标。
2 结构光光斑提取的相关理论与方法
从系统的数学模型可知,物体的深度信息H主要受θ和d的影响,而θ主要表现为系统误差,因此,有必要对条纹间距d进行深入研究,以提高系统的精度。其主要包括:图像增强、图像二值化以及图像细化。
2.1 图像增强
图像增强主要增加图像的对比度,突出图像中的高频部分[8]。算法描述为:设原图像的灰度级为x,其最大和最小灰度级分别为xmax和xmin;期望图像灰度级的最大和最小值分别为ymax和ymin;则与原图像灰度级x相对应的期望灰度级:
若令:
可改写为:
式(3)是一个线性函数:参数a是函数的斜率;b是函数在y轴的截距;x表示输入图像的灰度;y表示输出图像的灰度。
2.2 图像二值化
这里所采用的256色的灰度图像,通过选取阈值t,将小于t的灰度全设为0,即黑色;将大于t的灰度全部设为255,即白色。这样,目标就从背景中独立出来。采用文献[9]提出的一种基于熵的自动阈值提取方法。一幅图像的直方图可以表示为:
式中:G表示灰度值的总和;g(h)表示图像灰度等级为h的像素个数。一幅具有[0,N-1]灰度值范围图像的直方图的熵可以表示为:
式(6)中,ta表示图像分割的阈值,则不同阈值范围内的熵可以表示为:
总熵可以表示为通过求解一组优化的阈值,可以使总熵达到最大。其中:L表示阈值的个数,a=0,1,…,L-1。
2.3 图像细化
图像的细化[10]是一个通过迭代去除目标图像上不影响连通性的轮廓象素点,以得到最终宽度为一个像素的图像骨架的过程。对被处理的图像进行细化有助于突出图像的形状特点和减少冗余的信息量。
3 实验结果与分析
3.1 系统标定
实验通过基于机器视觉结构光三维扫描系统获取扳手三维图像,为获得准确的三维图像,首先采用40 mm的标准块规进行测量,测量结果与误差如表1所示。图3为三维扫描系统的测量软件界面。
3.2 实验内容与步骤
用该系统获取准确的扳手图像信息如图4、图5所示。对所获取的信息进行图像增强、腐蚀和去除小颗粒滤波处理,再根据三角法测量原理测量计算出扳手的厚度。
对所获取的图像信息进行图像处理,首先对图像进行图像增强增加图像的对比度突出图像中的高频部分,如图6、图7所示。其次采用自动阈值技术对图像进行二值化处理,如图8所示。为了得到更清晰的图
像,采用相关的滤波器将小颗粒噪声去除,处理结果如图9所示。
3.3 实验数据
图10、图11给出了扳手手柄和钳口处的高度信息提取结果。通过对多处截面进行高度信息提取,可以重构处扳手的三维图像,如图12、图13所示。
3.4 结果分析
经过分析上述的测量数据,总体误差为4.47%。从实验测量结果来看,实现系统还有待进一步提高。影响其精度的主要原因如下:
(1)由于本系统采用的激光光斑比较粗,从一定程度上影响了精度。
(2)对激光光斑的提取算法性能不足,可进一步改进。
4 结语
这里就基于机器视觉结构光三维扫描系统进行深入的探讨和实验,具体包括以下3个方面:结构光光斑提取相关的图像处理的理论和方法,对系统所获取的原始图像进行图像增强、腐蚀和去除小颗粒滤波处理;基于机器视觉结构光三维扫描系统的架构。设计实验所用设备,确定三角法测量物体深度的数学模型;在工业检测中运用该系统进行实验,误差为4.47%,验证了该系统的有效性和精度要求
参考文献
[1]Marr D.Vision[M].San Francisco:Freeman Publisher,1982.
[2]David A Forsyth,Jean Ponce.Computer Vision:A ModernApproach[M].Beijing:Publishing House of Electronics In-dustry,2004.
[3]马颂德.计算机视觉[M].北京:北京大学出版社,1998.
[4]陈海东.机器视觉的快速匹配与识别定位方法及其在自动检测中的应用研究[D].广州:华南理工大学,1999.
[5]张广军.机器视觉[M].北京:科学出版社,2005.
[6]Batlle J,Mouaddib E,Salvi J.Recent Progress in CodedStructured Light as a Technique to Solve the Correspon-dence Problem:A Survey[J].Pattern Recognition,1998,31(7):963-982.
[7]陈向荣,朱志刚,石定机.基于双外极线的结构光深度信息快速获取[J].清华大学学报,1998(Z1):99-102.
[8]章毓晋.图像处理和分析[M].北京:清华大学出版社,1999.
[9]吴冰,秦志远.自动确定图像二值化最佳阈值的新方法[J].测绘学院学报,2001,15(1):284-286.
三维视觉 篇5
在电子集成电路芯片的生产线上,芯片的外观检测是一项重要的工序[1]。目前很多生产线上仍采用传统的人工目测检测,发现缺陷后,手动剔除不合格产品,这样的检测方法存在很多问题[2],难以满足工业需求。随着机器视觉技术的发展,它们已被成功应用到工况监视、成品检测和质量控制等领域[3]。机器视觉检测作为一种高效的检测手段,与传统的检测方法相比,具有不可替代的优越性[4,5,6,7,8],它们大幅度地提高了产品的质量和可靠性,保证了生产的速度[9,10]。
1 芯片外观检测
芯片外观检测指标中一般有二维指标和三维指标,如图1所示,检测项目有管脚跨距、管脚间距、管脚对称性、管脚一致性、管脚排弯、管脚倾斜、管脚宽度、管脚弯曲度、管脚栈高和管脚共面度等。其中三维指标检测难度最大,同时也是三维外观检测的重点,如管脚栈高和管脚共面度等的检测。该问题主要有两个关键技术:硬件采图和软件算法。硬件采图装置的光路原理直接决定了软件计算芯片三维指标的方法,同时它所采集的图像质量直接影响着软件算法的复杂度和检测精度,因此硬件采图装置的光路设计显得尤为重要。在实际生产中,QFP芯片的种类繁多,外形尺寸范围跨度大(如外形尺寸从5 mm×5 mm～40 mm×40 mm),如何设计一个光路可以采集高质量图像,同时可以对各种规格芯片进行可靠成像并满足软件处理要求,也是一个技术难点。
在QFP芯片检测领域,国外起步较早,目前国内尚无成熟的相关产品,国外代表厂家为美国的KLA-Tencor、SCANNERTECH和Coherix以及马来西亚的TTVision等。KLA-Tencor采用特有的阴影检测技术,通过精确的打光倾斜照射管脚,管脚的阴影将投射到一个半透明玻璃平台,分析每个管脚不同角度打光下影子的尺寸,重构管脚的三维坐标,该方案对打光要求高,并且标定复杂,同时软件实现难度较大。
SCANNER公司和TTVision公司采用单相机加棱镜方式获取芯片五面图像,通过图像处理算法计算三维指标。该方案芯片检测时有下降动作,降低了检测效率。Coherix公司采用三相机成像的方式检测芯片的三维指标,三套图像采集系统增加了硬件成本,同时增加了标定的难度。
本文针对目前视觉检测装置的不足和工业的实际需求,提出了一种新的QFP芯片的三维外观视觉检测光路,该光路已成功应用在外观检测设备上,并较好地满足了实际生产要求。
2 光路设计方法
根据前面的分析,为了克服现有装置的不足,本文提出了一种新的光路设计方法。针对芯片三维指标求取难以及多相机成像硬件成本高的问题,本光路采用1个数字相机加4个平面反射镜的方式,在一个视场内同时对芯片的五面(芯片底面和四侧面)采图。针对芯片外形尺寸范围跨度大导致的成像困难问题,本光路采用平行光路设计。针对芯片输送过程中有下降动作的问题,本光路采用特殊的U行反光板打光方式,可使芯片在输送过程中平行移动到采图装置上方而无需下降动作。此外,本光路采用LED条行光背光照明,另加大景深镜头,从而保证了芯片成像均匀,对比度高,有利于提高整个装置的检测精度。
如图2(a)和图2(b)所示,该光路主要包括吸取机构1、U形反光板2、两个光源3、待测芯片4、四个平面反射镜5、镜头6、相机7及工作距离调节机构8。其中吸取机构1负责吸取待检测芯片4至检测位,检测完成后,吸取芯片1离开检测位。U形反光板2安装在吸取机构1上,随吸取机构一起动作,起反光作用。两个光源3安装在U形反光板2和平面反射镜5之间,起打光作用。四个平面反射镜5以一定的角度安装在四面,起改变光路的作用。镜头6为一大口径、大景深镜头,安装在相机7上。相机7安装在工作距离调节机构8上,工作时对芯片4进行采图。若要采集清晰的图像,镜头前端面离芯片之间的距离(以下称工作距离)必须合适,因此工作距离调节机构8负责对相机和镜头进行上下调节,把相机和镜头调节到一个合适的工作距离。
下面将对该光路原理进行详细的叙述。
图2(a)为主视光路示意图,表达了待检测芯片底面成像的光路原理;图2(b)为右视光路示意图(除去光源),表示了待检测芯片侧面1和侧面3成像的光路原理;图2(c)为主视光路示意图,表达了待检测芯片侧面2和侧面4成像的光路原理。
针对三维成像问题,本光路采用单个数字相机和4个平面反射镜在一个相机视场内同时对芯片底面和四侧面成像,打光原理如图2所示。采集的图像主要有两部分:芯片4底面(见图3)视图和芯片4四侧面视图(如图4所示)。芯片4底面成像原理如图2(a)所示,光源发出的光照射在U形反光板2上,把U形反光板2内部整个区域照亮,经U形反光板2反射后照射在芯片底面4,从而在相机中成像,成像光路如图2(a)中的细实线部分,一成像实例的效果如图4中的底面视图。芯片4四侧面(如图3)成像根据打光方式的不同分为两组,侧面1和侧面3为一组,记为A组,侧面2和侧面4为一组,记为B组。A组的成像原理如图2(b)所示,光源发出的光照射在U形反光板2上,把U形反光板2内部整个区域照亮,经U形反光板2侧面反射的光透射芯片侧面1和侧面3的管脚,经平面镜反射后垂直入射镜头,在相机上成像,成像光路如图2(b)中的细实线部分,一成像实例的效果如图4中的侧面视图1和侧面视图3。B组的成像原理如图2(c)所示,光源发出的光直接透射芯片侧面2和侧面4的管脚,经平面镜反射后垂直入射镜头,在相机上成像,成像光路如图2(c)中的细实线部分所示,一成像实例的效果见图4中的侧面视图2和侧面视图4。
对芯片底面视图(图4芯片的底面视图)进行数字图像处理后,可以求芯片的二维指标;对芯片四侧面视图(图4芯片的侧面视图)进行数字图像处理后,可以求出芯片的三维指标,如管脚栈高。三维指标求取原理如图5所示。
图5中SV为芯片侧面视图管脚的长度,可对芯片侧面视图进行数字图像处理后求出;θ角为一固定角度,由机械结构设计决定;fb是待测芯片的固有参数,由芯片设计厂家提供;stoff为待求三维指标,即管脚栈高。stoff的求解公式如公式1:
成像过程中,由于入射光线都是垂直镜头前端面入射(各入射光线均平行),所以只需对镜头进行平面标定即可,无需三维标定,大大降低了标定难度。同时该光路借助单个相机和4个平面反射镜,把芯片的底面视图和侧面视图同时成像在一个视场内,对图片进行数字图像处理时,无需进行多坐标系变换,从而降低了软件处理难度。此外,该光路通过单个相机即完成三维测量的任务,相对三个相机成像光路而言,大大降低了视觉检测装置的硬件成本。
针对不同规格的芯片检测问题,该光路采用平行光路设计,当芯片尺寸发生变化时,经U形反光板或平面反射镜反射后的光线平行移动,并且光线在移动的同时,芯片底面和侧面成像的入射光线始终都是垂直镜头入射,因此只需对该光路标定一次。当更换芯片规格时,无须重新标定,且不用更换任何零部件,因此一套外观检测装置可以检测各种型号的QFP芯片(可检测的芯片外形尺寸范围为5 mm×5 mm～40 mm×40 mm),从而增强了视觉检测装置的通用性。
针对检测时待测芯片有下降动作的问题,本光路采用特殊的U形反光板设计,反光板除了给芯片底面成像打光外,同时还对芯片其中的两侧面成像打光,这样使得视觉检测装置上端可以设计一缺口,如图6所示。检测时,吸取头可带动待测芯片平行移动到视觉装置上方,无需下降动作即可开始采图(见图6、图7),这缩短了芯片输送时间,提高了检测效率。
3 实验结果
图8是用该光路设计的装置采集的图片效果图。可以看出,芯片的五面同时在一个相机视场内成像,并且成像均匀、对比度高。用该装置对测试芯片进行拍照采集图片,采集的图片经过软件处理计算芯片各个管脚的各个检测项目的值,对同一测试芯片连续采集和计算100次,把这100次计算的值分别求平均值,将该平均值作为该芯片各个管脚各个检测项的测试值,然后把该测试值与芯片相应管脚相应检测项的标准值取差值并求绝对值得绝对误差,该芯片各个管脚的某一检测项的最大绝对误差即为该检测项的检测精度,依此方法求出各个检测项的检测精度。
测试中共用了10个测试芯片(芯片各个管脚各个检测项的标准值已知),芯片的型号为QFP-64(每边共16个管脚)。经测试,各个芯片的各检测项的检测精度均小于15 μm,达到视觉行业检测标准,表明了应用该光路采集的图片满足软件处理要求。表1中列出了某测试芯片1～16号管脚的管脚宽度和管脚栈高的检测结果。
mm
4 结 语
本文提出了一种新的芯片三维外观检测光路设计方法。该光路成像均匀,并且采集的图片对比度高。在满足软件处理要求的情况下,该光路可对大尺寸范围内的芯片进行可靠成像。相对目前的视觉检测装置,该光路降低了软件处理难度、标定难度及视觉装置硬件成本,减少了芯片输送时间,有利于提高整个检测系统的检测效率。该光路已成功应用在QFP外观检测设备上,应用结果表明,它能够满足工业实际生产要求。同时,该光路也存在一定的不足:U行反光板设计思路,导致了反光板尺寸较大,实际应用时,给外观检测设备机械手的设计带来不便,在以后的工作中,将对反光板进行优化设计。
摘要：半导体芯片的三维外观检测是芯片生产过程中的一个重要环节,而其中的光路设计是三维外观检测技术中的一个难点和重点。针对QFP芯片的三维外观检测,提出了一种新的光路。新的光路通过采用数字相机和平面反射镜,在一个视场内同时实现了芯片的底面和四个侧面的成像。新的光路降低了标定的难度和后续软件计算芯片三维指标的难度,同时也减少了硬件成本。新的光路采用平行光路设计,可对外形尺寸为5mm×5mm～40mm×40mm范围内的QFP芯片进行清晰成像,从而使得一套外观检测装置可以检测各种型号的QFP芯片。此外,该光路减少了芯片输送时间,提高了检测效率。该光路已成功应用在外观检测设备中,实验结果表明,它较好的克服了目前外观检测装置的不足,并且能够满足工业实际生产要求。
关键词：半导体芯片,QFP芯片,三维外观检测,光路设计
参考文献
[1]杨勇.一种集成芯片引脚外观检测系统的研究[J].仪器仪表学报,2002,23(5):74-76.
[2]许国庆.基于机器视觉的IC芯片外观检测系统[D].广州:华南理工大学,2010.
[3]牛一帆.机器视觉在印刷质量检测中的应用[J].印刷质量与标准化,2009(9):43-46.
[4]PHAM D T,ALCOCK R J.Automated grading and defectinspection:a review[J].Forest Products Journal,1998,48(4):34-42.
[5]NEWMAN T S,JAIN A K.A survey of automated visualinspection[J].Computer Vision and Image Understanding,1995,61(2):231-262.
[6]JARVIS J F.Research directions in industrial machine vi-sion:a workshop summary[J].Computer,1982,15(12):55-61.
[7]吴敏金.图像形态学[M].上海:上海科学技术文献出版社,1991.
[8]万宏辉,朱更明.D I P外观缺陷机器视觉检测系统[J].邵阳学院学报:自然科学版,2007(4):54-57.
[9]唐向阳,张勇,李江有,等.机器视觉关键技术的现状及应用展望[J].昆明理工大学学报:理工版,2004,29(2):36-39.
[10]段峰,王耀南.机器视觉技术及其应用综述[J].自动化博览,2002(3):59-61.
三维视觉 篇6
关键词：三维重建,机器视觉,全自动,三维立体模型拼接
摄影测量是从摄影影像和其他非接触传感器系统获取所研究物体,并对其进行记录、量测、分析与应用表达的科学和技术[1]。摄影测量和遥感学科是地理空间信息学科的有机组成部分,为数字地球提供实时、动态、全球、廉价而且其他方法都无法取代的空间框架图像及从中导入语义与非语义信息的唯一技术手段[2]。作为基于影像的空间信息科学, 摄影测量除了将继续在影像城市、虚拟数字地球和地理环境中得到应用之外,还有很大的潜力用于工业制造、医学诊断、文化遗产保护等方面[3]。本文就是973文化遗产数字化保护项目中,针对建立完整的敦煌莫高窟三维立体模型提出的解决办法。
三维重建是建立完整的三维立体模型的前期过程。对真实场景的三维重建一般有两种方法: 一是通过三维扫描设备的三维重建技术; 二是基于图像的三维重建技术[4]。由于利用激光扫描费时费力, 而且对周围环境的光照要求很高,通常选用第二种方法。基于图像的三维重建依此要经过相机标定、 三维点云数据获取和简化、曲面重构以及纹理映射这几个步骤[5]。
目前,专业人士已经通过综合利用3S技术以及摄影测量技术,将卫星传输的数据形成数字式三维地球。但是由于地球范围广,卫星数据传输的延迟性,三维地球模型拼接时的精度只能停留在米( m) 级[6]。而本文是针对某些具体的小范围场景的三维重建,旨在实现快速地、高精度地、全自动拼接出完整的三维立体模型。
只要研究出两个三维立体模型拼接的方法,就可以举一反三,实现多个三维立体模型的拼接。本文主要介绍两个三维立体模型的自动拼接方法。
三维立体模型的自动拼接体现在自动地提取特征点、自动地匹配特征点、自动地计算RT矩阵。图1为两个三维立体模型拼接流程图。
1特征点的自动提取
三维立体模型是具有图像纹理的,三维立体模型特征点的提取就利用上了图像特征。图像特征有很多,通常是提取图像角点。首先在三维立体模型对应的左右两幅图像上提取角点,再将左右图像上的角点匹配起来,计算出该点的空间坐标,也就得到了需要的特征点。
1.1图像的角点提取
图像上角点的检测算法历史悠久,且与时俱进, 不断改进完善。较早的有1977年Moravec提出利用灰度方差的Moravec算法[7],1995年由牛津大学的S. M. Smith和J. M. Brady提出的SUSAN算法[8],接着Harris等人在Moravec的基础上改进的Harris算法[9,10],最新崛起的也有SIFT算法[11]等等。虽然SIFT算法有着尺度不变、稳定等优势[12]; 但是由于Harris算法检测速度快,抗噪声抗干扰能力强、检测效果好,而且有函数可以直接调用等等的优点,足够满足本文角点提取的要求,最终选择选择Harris算法。
1.2图像的角点匹配
角点匹配的精度直接影响了特征点提取的好坏。为了使得左右图像上角点快速地自动匹配,充分利用上了三维立体模型的点云数据。三维点云数据包括各个点分别在左右两幅图像上的图像坐标以及它的三维空间坐标。若左图像的某个角点附近有点云数据,则其在右图像的匹配点必定也在这些点云附近。确定图像上一个角点的匹配点在另一图像上的搜索区域后,对该区域里的所有角点利用区域相关法计算相似度[13]。
式( 1) 中是相关窗口内所有像素灰度值的平均值:
取相似度Ni,j最大的点,而且Ni,j大于一定域值的点为最终的匹配点。
1.3特征点空间坐标计算
将一个三维立体模型的左右图像的角点与匹配之后,离该模型特征点的获取就差计算特征点的空间坐标了。当已知了同一个点在左右两幅图像上的图像坐标,根据相机标定的知识[14],可以列出以下方程:
根据方程可求出点的空间坐标 ( X,Y,Z) 。
2特征点的自动匹配
通过特征点的获取得到两个三维立体模型的特征点点集,通过以下两个步骤可以将这两组特征点一一匹配起来。
2.1粗匹配
粗匹配与特征点获取时的角点匹配一样,都是根据图像的灰度信息进行区域相关法匹配,称之为平面约束。不同的地方是此处不能在利用三维点云数据确定匹配点的搜索区域,因为两个三维立体模型的三维点云数据都是不相关的。只能采用遍历法寻找匹配点,这就大大增加了计算时间。粗匹配之后得到两组点集{ pi} { qi} ,两点集中的点都是一一对应的。
2.2精匹配
粗匹配不仅耗时,匹配精度也值得怀疑。精匹配就是将粗匹配后误匹配点剔除。精匹配利用的是空间两点距离客观不变这一条件,也称为空间约束法。
点集{ pi} 里第i点与j点的距离dpipj对应于点集 { qi} 里两点距离dqiqj误差最小的两对匹配点,即可认为它们分别真实代表着同一个点,当做参考点 { pa,pb} 、{ qa,qb} 。经过实验证明: 此处的距离误差用绝对误差较相对误差科学,点的匹配精度只和点的位置有关,与两点距离无关。
判断pi和qi为正确的匹配点的方法是: 参考图2,记pi到pj的距离与qi到qj距离误差为| dpipj- dqiqj| , 当| dpipa- dqiqa|和| dpipb- dqiqb|同时小于一定的域值时,则认为pi和qi为正确的匹配点; 否则当做误匹配点,从点集{ pi} { qi} 中剔除。
2.3匹配精度
为了直观检验两种匹配方法的匹配效果,拟定了一个验证某种方法的匹配精度的表达式:
Δ 表达的意思是在两个模型上,任意两对匹配点之间的空间距离的绝对误差。由于距离dpipj、dqiqj的单位均为米( m) ,Δ 的单位也为米( m) 。Δ 越小,精度越高。
3RT矩阵计算
计算空间坐标变换系数时,理论上已知四对匹配点对即可。而此时,已知了远远超过四对匹配点, 那是因为每对匹配点都是存在误差的。传统的方式是利用 所有的匹 配点对数 据,在利用最 小二乘[15,16]、四元组等数学算法,计算出RT矩阵。在这里提出一种大胆的想法,在所有的匹配点对里,挑选出最合适的四对匹配点来计算RT矩阵。所谓最合适,得满足三个要求: 1四对匹配点匹配精度要高; 2四对匹配点在各自的空间坐标系里分布不能太紧密; 3四对匹配点在各自的空间坐标系里不能共面。
如何描述匹配点对的匹配精度,这是个问题。 每个点的真实匹配点均是未知的,无法将算法寻找的匹配点与真实点作比较,算出误差,得到精度。在这里,继续利用上特征点精匹配时的两对参考点 { pa,pb} 、{ qa,qb} ,它们之间的距离误差在任意两点中是最小的,认为这两对点是匹配正确的点。匹配点对的精度可以利用精匹配的判定标准,某对匹配点的匹配精度:
Δi越小,表示匹配精度越高。
如果四对匹配点在各自空间坐标系分布太密集,坐标系变换时旋转误差将被放大,这并不是我们期待的结果。这时候就得考虑四个点的分布问题。将点集{ pi} 与{ qi} 中的匹配点对按以上匹配精度排序之后,在精度靠前50对匹配点中,组合四对匹配点。最终取四点最小间距最大的一组用作RT矩阵计算。
对于要求3,四点不能共面。四点共面概率是很小的,如若真的遇上,RT矩阵是计算不出来的。
同样的,为了直观检验RT矩阵计算出来之后拼接的效果,拟定了一个拼接精度的表达式:
这里不考虑三维立体模型特征点匹配时的误差,认为匹配点对都代表着同一个空间点。Δ拼越小, 拼接精度越高,其单位为米( m) 。
4实验结果验证
实验的硬件环境都是物理内存为2 G、32位Win7系统、奔腾处理器的三星台式电脑,软件环境均为Visual C++ 6. 0平台,利用Open Cv1. 0的库函数。
4.1Harris角点提取
实验处理的是四目测量系统在同一个视角下不同相机拍摄的两幅图像,两图像的像素为6 016 × 4 000,大小为7 M左右,格式为JPG文件。
匹配的精度和效率很大程度上受特征点提取的影响。没有必要把不在公共区域的角点掺合进来。 在提取角点前,先选定区域,可以达到事半功倍的效果。
角点提取函数cv Good Features To Track( ) 的参数quality_level设定的是0. 06,min_distance设定的是20个像素。图3是图像上的角点提取结果。
图3提取出的角点效果还是比较可观的,像佛像眼角、眉角、嘴角等地方的角点提取的都比较准确。
4.2角点匹配
在角点提取的基础上,进行角点匹配。
区域相关法的矩形窗口大小为15 × 15个像素, 相似度域值设定为0. 8。图4为二维图像角点匹配结果。图4中红色的叉点为利用cv Good Features ToTrack( ) 提取出的的特征点,白色叉点为利用三维点云数据匹配好的角点。
从图4可以看出,利用三维点云数据很成功的把两幅图像的角点匹配起来。肉眼几乎挑不出错误。
4.3特征点匹配
实验处理的是四目测量系统在不同视角下同一个相机拍摄的两幅图像,两图像的像素为6 016 × 4 000,大小为7 M左右,格式为JPG文件。
粗匹配时用区域相关法时的窗口大小是15 × 15,设定的域值是0. 8。
图5为利用平面约束和空间约束后特征点的匹配的结果: 绿色叉点是导入的三维立体模型的特征点,而且是未匹配上特征点的,红色叉点为平面约束后的粗匹配点,白色叉点为空间约束后的精匹配点。
肉眼可以定性地看出精匹配精度高于 粗匹配,为了进一步 定量描述 精匹配与 粗匹配的 差距,在两个三维立体模型提取了三组不同的特征点来匹配,计算式( 4) 的匹配精度 Δ,进行比较分析。
从表1可以看出,精匹配精度达到了mm,比粗匹配提高了两个数量级。
4.4三维立体模型拼接
为了具有比较性,分别利用最小二乘法、四元组法、四点法三种方法计算RT矩阵,进行三维立体模型拼接。图6为两个独立的三维立体模型的点云、三角网格、3D图; 图7为两个模型拼接之后的完整模型。
三种方法计算出的RT矩阵拼接效果用肉眼是看不出差别的。同样的,分别计算出三种方法的拼接精度[式( 6) 的 Δ拼],实验结果见表2。
从表2可以看出,三种方法的拼接精度顺序由高至低是: 四点法、四元组法、最小二乘法。在此,可能便会产生疑问,最小二乘法和四元组法的计算原理就是让误差最小,为什么拼接精度却比不上只用四对点来计算的四点法。这是一个比较容易走进的误区。 最小二乘 和四元组 法让误差 最小是
5结束语
提出了一种新型的对中小范围的真实场景的三维立体模型快速、高精度、全自动的拼接方法。
( 1) 特征点提取过程中的角点匹配利用三维点云数据,提高速度以及精度。
( 2) 特征点匹配时利用两点空间距离客观存在条件有效剔除误匹配点,保证匹配精度。
( 3) RT矩阵计算时,仅仅利用四对匹配点对, 突破常规。
三维视觉 篇7
产品交互平台是一种基于网络的综合多种媒体表现形成构建的信息平台,其丰富了产品的内容[1,2,3],具有较高的应用价值。虚拟现实是基于计算机技术和相关科学技术,将用户置身于一个虚拟三维的世界中,确保用户可与虚拟场景中的物体进行交互的行为。当前产品交互平台建模大都采用二维显示的方式,存在交互性较低、工作量过大以及难更新等缺陷[4,5]。而随着多媒体技术和虚拟现实技术的不断发展,产品交互方式呈现网络化和多样化趋势,因此,本文设计与实现了基于三维虚拟视觉的产品交互平台。
目前研究产品交互平台的方法较多,但都存在一定的问题。其中,文献[6]将设计的思维引入产品交互领域,该过程注重交互设计师与软件工程师间的沟通,局限性较高。文献[7]提出了在多声道环绕立体投影显示系统中,采用VR⁃Platform技术平台,实现产品的虚拟展示和交互,该种方法抗噪能力较差,交互效果不佳。文献[8]分析了基于投影动态捕捉演示设备和多通道环幕显示,实现产品交互,可向用户提供生动形象的产品信息,但是存在效率低和耗能高的弊端。 文献[9]基于FHG⁃IGD图形和计算机技术实现产品交互,该方法过于依赖产品的二维图形特征,敏感性较高,用户体验满意度较低。为了解决上述分析的问题,本文将三维虚拟视觉融入产品交互设计平台中,依据三维虚拟视觉技术塑造产品交互场景,通过三维数字建模模拟产品信息,实现了基于三维虚拟视觉的产品交互设计平台开发。分析了产品交互功能的实现过程,并给出产品交互平台的人机交互界面设计过程,以及实现产品外形三维虚拟视觉展示的主要代码。实验结果说明,所设计产品交互平台具有较高的认可度和可用性。
1 基于三维虚拟视觉的产品交互设计平台的开发与实现
本文分析的三维虚拟视觉交互技术,是在虚拟现实产品交互设计平台中的三维人机交互技术,其是一种多通道人机交互过程,是在计算机中塑造三维模型并通过交互软件设置交互程序。三维人机交互是在三维虚拟视觉空间环境中同虚拟三维物体交互对象进行交互的行为。
1.1 平台总体结构
本文设计的基于三维虚拟视觉的产品交互设计平台的总体结构如图1 所示,其关键部分是交互设计模块、三维虚拟视觉展示模块以及交互展示模块。
(1)交互设计模块。交互设计模块可实现企业对产品的虚拟交互平台的设计,该模块有模型和材质的导入、模型的重命名、模型运动的设定、模型分解展示的设定、备选模型和材质的关联设定和设计参数的存储等功能模块。交互设计模块依据采集的产品用户的交互操作信息,如点击鼠标、文本输入等执行不同的设计流程。
(2)三维虚拟视觉展示模块。三维虚拟视觉展示模块确保用户在产品交互平台中可随机调控观察点,全面了解产品特征。该模块由视点的变换和动态渲染两个模块构成。三维虚拟视觉展示模块同用户进行交互可获取该模块的运行参数。
(3)交互展示模块。交互展示模块的功能确保用户在设计的产品交互平台中同平台进行交互处理。该模块由产品展示方式的选择、产品不同部件的行为交互、交互采集产品组件的相关信息以及产品个性化定制等模块组成。交互展示模块可确保用户全面了解产品和相关部件的特征,为用户的个性化需求服务,提高用户的购买积极性。
1.2 基于三维虚拟视觉的产品交互功能实现过程
三维虚拟视觉作为产品交互平台的新的互动方式,可确保用户同产品交互平台间的沟通距离最小化,其实现主要包括如下4 个过程,如图2 所示。
(1)三维虚拟视觉建模。采集所交互产品的三维虚拟视觉数据,分析其结构层次,获取产品不同构件的建模方法,简化已建好的模型,并采用贴图纹理映射等方法设置模型的材质,使用3D Max,Auto CAD等建模软件,塑造产品的三维虚拟视觉模型。
(2)动画展示过程。动画是交互平台的关键部分,其是实现用户同产品间交互的关键,同时可对复杂产品的信息进行演示,向用户展示更为全面的产品信息。
(3)虚拟交互设计。完成交互平台中的三维产品模型和动画制作后,应对它们进行虚拟的交互设计,可确保用户对产品进行旋转、缩放等控制。 本文采用VRML(Virtual Reality Modeling Language),全称为虚拟现实建模语言设计产品模型的交互动作。
(4)平台发布。将设计完成的产品交互平台框架同交互设计的产品模型融合成为一个总体,并辅以图片和时频等因素,可生产一个完整的产品交互平台界面,用户通过该界面实现产品的交互。
1.3 基于三维虚拟视觉的产品交互平台人机界面设计
基于上述分析的产品交互平台功能实现过程,能够明确产品交互平台的用户界面应包含的因素如下:
页面导航:依据三维虚拟交互平台的交互流程,该平台的导航模块需要包括外观浏览、交互处理以及用户帮助三部分。用不同的图标描述不同的内容,用户点击相应的图标则可选择对应的服务。
页面布局:布置层叠状的标签卡,用户点击鼠标,则可打开标签卡对应的分类服务内容。
页面元素:用户选择相应的服务后,页面上显示对应的产品信息,并且页面上还有调控产品三维虚拟视觉展示的按钮和管理音量高低的按钮。
1.4 代码设计
本文设计的平台中实现产品外形三维虚拟视觉展示的主要代码如下:
采用以上代码,用户能够在场景视图中对鼠标进行变换操作,进而对产品特征进行综合观测。
2 实验分析
为了验证本文设计的基于三维虚拟视觉的产品交互平台的有效性,需要进行相关的实验。实验对本文设计的某手机三维虚拟视觉交互平台的学习程度、效率以及交互满意度三个方面进行评估。实验邀请10 名用户参加检测,采用的对比平台为手机购物超市,并通过调查问卷方式对用户操作产品交互平台过程中的交互感受进行量化分析。三维虚拟实景展示如图3 所示。
2.1 数据处理及分析
本文实验受试者为10 名,其中大学生5 名,互联网从业人员5 名。10 名被试者对本文设计的产品交互平台的主观评价采用评分制进行评估,评分标准为:1~5 分分别表示很不满意、不满意、一般、满意、很满意。评分的均值、标准差、均值的标准误差计算公式如下:
式中:n表示受试人数;x用于描述受试者对手机交互平台打出的分数。
2.2 实验结果分析
统计分析用户操作记录,结果为:
受试者对本文设计的手机三维交互平台的初次印象评分均值如表1 所示。分析表1 可得,10 名受试者对本文设计的手机三维交互平台的初次印象的平均分为4.65,说明大部分测试者对手机三维交互平台具有较好的印象。
受试者对手机三维交互平台的交互方式评分均值如表2 所示。分析表2 可得,平均分数为4.78,能够看出用户对本文设计的手机三维交互平台的交互方式具有较高的认可度。
实验对比分析受试者使用本文设计的手机交互平台和手机购物超市的界面可用性以及购物体验结果,分别如图4 和图5 所示。分析图4 和图5 可得,本文设计的基于三维虚拟视觉的手机交互平台的可用性和满意度都优于手机购物超市,具有较大的优势。
3 结论
本文将三维虚拟视觉融入产品交互设计平台中,依据三维虚拟视觉技术塑造产品交互场景,通过三维数字建模模拟产品信息,实现基于三维虚拟视觉的产品交互设计平台开发。该平台包括交互设计模块、三维虚拟视觉展示模块以及交互展示模块。
分析了产品交互功能的实现过程,主要包括三维虚拟视觉建模、动画展示过程、虚拟交互设计和平台发布。给出产品交互平台的人机交互界面设计过程,以及实现产品外形三维虚拟视觉展示的主要代码。实验结果说明,所设计产品交互平台,具有较高的认可度和可用性。
摘要：当前产品交互平台建模大都采用二维显示的方式,存在交互性低、工作量过大以及难更新等缺陷,因此将三维虚拟视觉融入产品交互设计平台中,依据三维虚拟视觉技术塑造产品交互场景,通过三维数字建模模拟产品信息,实现基于三维虚拟视觉的产品交互设计平台开发。该平台包括交互设计模块、三维虚拟视觉展示模块以及交互展示模块。分析了产品交互功能的实现过程,主要包括三维虚拟视觉建模、动画展示过程、虚拟交互设计和平台发布。给出产品交互平台的人机交互界面设计过程,以及实现产品外形三维虚拟视觉展示的主要代码。实验结果表明,所设计产品交互平台,具有较高的认可度和可用性。
关键词：三维虚拟视觉,产品交互设计平台,二维显示,产品信息模拟
参考文献
[1]王晓丹.商品展示的虚拟时代[J].消费电子,2013(10):133.
[2]唐磊.交互设计的发展现状与趋势[J].长春教育学院学报,2012,28(4):56-57.
[3]DDF.UXPA.用户体验百家谈[M].北京:电子工业出版社,2014.
[4]廖宏建,曲哲.基于Kinect体感交互技术的虚拟装配实验系统开发[J].实验技术与管理,2013,30(7):98-102.
[5]蒋松儒.交互技术应用趋势下的展示设计[J].天津美术学院学报,2013(2):79.
[6]董世海.人机交互的进展及面临的挑战[J].计算机辅助设计与图形学报,2004,16(1):1-13.
[7]廖祝华,刘晓平.EAST装配仿真的三维交互和用户界面设计[J].系统仿真学报,2004,16(10):2329-2331.
[8]陈卯纯,孙薇,赵小惠.物联网智能家居中的人机交互[J].包装工程,2014,35(2):64-67.
三维视觉 篇8
关键词：图像,明暗恢复形状,三维测量,缺陷检测
1 引言
在制造业中,为了提高产品的加工质量和生产效率,需要在生产现场对制造过程中的产品进行质量检测,本文通过对单幅图像表面灰度信息进行三维恢复,进而可以实现工件的三维质量检测。虽然目前有很多关于三维形貌恢复的研究,但是多数研究仍处于实验室研究阶段,并且因为精度、测量范围、工作条件、操作过程的限制,不易应用到自动化生产线上。已有的三维形貌恢复方法中,基于明暗恢复形貌[1](Shape from Shading,简称SFS)的方法是一种简单且实用的工业在线检测方法。基于该方法的设计思路,本研究通过对采集的三维图像进行预处理并增加透视投影约束条件来改善反射模型,然后,对工件表面三维检测领域的工业应用作了探索。
2 三维测量原理
本文测量的基本原理是从灰度信息中找到与物体表面形状相关的线索,即明暗恢复形状,该问题最早是由MIT的Horn[2]等人在1970年提出来的,并假定物体满足朗伯体表面反射条件[3],建立了物体表面方向和图像灰度之间的函数关系,表面光照模型如图1所示。
若把物体表面灰度表示为I(x,y),物体表面反射系数均为ρ,物体表面法矢为(dxdz,dydz,-1),光源方向为(ps,qs,-1),表面法矢与光源方向的夹角为θ,则根据Lambertian反射原理,物体表面灰度可表示为以下公式:
3 检测系统设计
基于单幅图像进行形貌恢复在硬件设计方面的一个突出特点是结构简单,成本低,检测速度快等。硬件系统主要由光学系统、CCD摄像头、图像采集卡和PC机组成。考虑到实时图像采集的测量精度和速度要求,该系统采用MTV-1881EX黑白CCD摄像机,IMAQ PCI-1407图像采集卡[5]等,硬件结构原理如图2所示。
其工作原理是:将被测量物体置于尽可能均匀照明的平行光照下,摄像头在测量程序的控制下将被测量物体的图像采集到计算机的特定内存中,计算机通过视觉处理软件对图像进行预处理,再把预处理后的图像信息导入三维测量算法中进行形貌恢复,进而取得该物体的几何信息,最后进行测量分析并输出结果。
实验所选用的图像采集卡是PCI-1407黑白图像采集卡,其主要技术指标为:该采集卡具有强大的图像采集和A/D转换功能,像素是8bit,内存是4kB,是一种低价格、高品质的单色图像采集卡,其性能可以满足实际的需要,采集原理如图3所示。
工作原理是:当光源中的光照射到场景中的物体上后,物体所反射的光先由CCD接收并进行光电转换,所得到的电信号再经图像采集卡量化就可形成空间和幅度均离散化的灰度图,最后经总线输入到计算机内存中去。
4 三维视觉检测实例分析
在工业现场拍摄的单幅轴承工件图像如图4(a)所示,在轴承外圈工件的加工过程中,表面的加工质量和缺陷必须及时检测并剔除,所以需要进行三维检测。为了减少光学系统的失真和环境噪声的影响,需对图像进行预处理,包括图像变换和噪声滤波,预处理图像如图4(b)所示。
目前虽可以采用图像处理技术,如二值法等,可以大致得到工件的表面尺寸,但对于工件的表面深度信息却无法获取。而利用本文所研究的方法只需要采集单幅图像,不但可以获得工件二维尺寸,而且还可以测出其表面深度信息,恢复结果如图4(c)所示。
由于CCD摄像机采集的图片大小为768×576像素,工件外形尺寸为45mm×45mm×14mm,所以恢复的三维图像将x、y方向尺寸分别细分为:45/576=0.0781mm。
z方向的分辨率由灰度级别决定,由于本研究所采用的图像为8位灰度图像共有256个灰度级别,所以z方向的分辨率为:14/256=0.0547mm。
为了对表面高度恢复精度进行评价,选取一个表面区域内8行8列高度数据来进行分析,见图5(a)方框所示区域,对应的高度数据如表1所示,表中第一行第一列为对应图像坐标系的坐标,x、y方向的单位为像素,z方向单位为mm。
我们通过恢复得到的红色区域的轴承表面高度最大值为13.989mm,最小值为13.808,与标准值14mm相比,平均值为13.913mm。最大误差为靠近边缘处的图像坐标点(7,40),Δzmax为0.112,平均高度差仅为0.087mm,所以该值在容许误差范围内,因而该区域无缺陷。
对于表面存在缺陷的工件,采用二维图像处理的方法无法做出深度判断,而采用本文的方法从恢复结果可以找到轴承表面上的微小缺陷的位置和深度信息,对局部区域图像进行分析,如图6(a)方框所示区域,其恢复结果数据如表2所示,从而可以容易判断出表面缺陷位置和大小。
由表2中可以看出,与标准值14mm相比,可以很容易判断出最大缺陷为图像坐标点为(23,26)处,缺陷深度最大值为0.94mm,平均缺陷深度为0.604mm。
5 结论
利用单幅图像进行形貌恢复来获取工件三维尺寸信息从k而对工件表面的质量缺陷做出检测,与以往的三维测量方法相比更能全面的评价工件的表面加工质量。本文采用单幅轴承零件图像进行三维检测分析,其表面恢复精度是比较高的,并能对缺陷区域的位置和大小作出判断。与其它SFS恢复算法相比,本算法改进了反射模型,提高了运算速度和恢复的精度,可在科研、医学诊断、工程设计、刑事侦查现场痕迹分析、自动在线检测、质量控制、机器人等领域中得到广泛的应用。随着光源条件、摄像机和算法的进一步完善,本方法的三维测量精度将会得到进一步的提高。
参考文献
[1]马颂德,张正友.计算机视觉——计算理论与算法基础[M].北京:科学出版社,2003.
[2]B.K.P.Horn.Shape from shading:A method for Obtaining the Shape of a Smooth Opaque Object from One View[D].Ph.D.dissertation,Massachusetts Inst.of Technology,1970.
[3]A.Tankus,N.Sochen,Y.Yeshurun.A new perspective on Shape-from-Shading[A].In Proceedings of the of IEEE International Conference on Computer Vision[C],volume II,pages862-869,Nice,France,Oct.2003.