三维虚拟视觉（精选7篇）
三维虚拟视觉 篇1
0 引言
产品交互平台是一种基于网络的综合多种媒体表现形成构建的信息平台,其丰富了产品的内容[1,2,3],具有较高的应用价值。虚拟现实是基于计算机技术和相关科学技术,将用户置身于一个虚拟三维的世界中,确保用户可与虚拟场景中的物体进行交互的行为。当前产品交互平台建模大都采用二维显示的方式,存在交互性较低、工作量过大以及难更新等缺陷[4,5]。而随着多媒体技术和虚拟现实技术的不断发展,产品交互方式呈现网络化和多样化趋势,因此,本文设计与实现了基于三维虚拟视觉的产品交互平台。
目前研究产品交互平台的方法较多,但都存在一定的问题。其中,文献[6]将设计的思维引入产品交互领域,该过程注重交互设计师与软件工程师间的沟通,局限性较高。文献[7]提出了在多声道环绕立体投影显示系统中,采用VR⁃Platform技术平台,实现产品的虚拟展示和交互,该种方法抗噪能力较差,交互效果不佳。文献[8]分析了基于投影动态捕捉演示设备和多通道环幕显示,实现产品交互,可向用户提供生动形象的产品信息,但是存在效率低和耗能高的弊端。 文献[9]基于FHG⁃IGD图形和计算机技术实现产品交互,该方法过于依赖产品的二维图形特征,敏感性较高,用户体验满意度较低。为了解决上述分析的问题,本文将三维虚拟视觉融入产品交互设计平台中,依据三维虚拟视觉技术塑造产品交互场景,通过三维数字建模模拟产品信息,实现了基于三维虚拟视觉的产品交互设计平台开发。分析了产品交互功能的实现过程,并给出产品交互平台的人机交互界面设计过程,以及实现产品外形三维虚拟视觉展示的主要代码。实验结果说明,所设计产品交互平台具有较高的认可度和可用性。
1 基于三维虚拟视觉的产品交互设计平台的开发与实现
本文分析的三维虚拟视觉交互技术,是在虚拟现实产品交互设计平台中的三维人机交互技术,其是一种多通道人机交互过程,是在计算机中塑造三维模型并通过交互软件设置交互程序。三维人机交互是在三维虚拟视觉空间环境中同虚拟三维物体交互对象进行交互的行为。
1.1 平台总体结构
本文设计的基于三维虚拟视觉的产品交互设计平台的总体结构如图1 所示,其关键部分是交互设计模块、三维虚拟视觉展示模块以及交互展示模块。
(1)交互设计模块。交互设计模块可实现企业对产品的虚拟交互平台的设计,该模块有模型和材质的导入、模型的重命名、模型运动的设定、模型分解展示的设定、备选模型和材质的关联设定和设计参数的存储等功能模块。交互设计模块依据采集的产品用户的交互操作信息,如点击鼠标、文本输入等执行不同的设计流程。
(2)三维虚拟视觉展示模块。三维虚拟视觉展示模块确保用户在产品交互平台中可随机调控观察点,全面了解产品特征。该模块由视点的变换和动态渲染两个模块构成。三维虚拟视觉展示模块同用户进行交互可获取该模块的运行参数。
(3)交互展示模块。交互展示模块的功能确保用户在设计的产品交互平台中同平台进行交互处理。该模块由产品展示方式的选择、产品不同部件的行为交互、交互采集产品组件的相关信息以及产品个性化定制等模块组成。交互展示模块可确保用户全面了解产品和相关部件的特征,为用户的个性化需求服务,提高用户的购买积极性。
1.2 基于三维虚拟视觉的产品交互功能实现过程
三维虚拟视觉作为产品交互平台的新的互动方式,可确保用户同产品交互平台间的沟通距离最小化,其实现主要包括如下4 个过程,如图2 所示。
(1)三维虚拟视觉建模。采集所交互产品的三维虚拟视觉数据,分析其结构层次,获取产品不同构件的建模方法,简化已建好的模型,并采用贴图纹理映射等方法设置模型的材质,使用3D Max,Auto CAD等建模软件,塑造产品的三维虚拟视觉模型。
(2)动画展示过程。动画是交互平台的关键部分,其是实现用户同产品间交互的关键,同时可对复杂产品的信息进行演示,向用户展示更为全面的产品信息。
(3)虚拟交互设计。完成交互平台中的三维产品模型和动画制作后,应对它们进行虚拟的交互设计,可确保用户对产品进行旋转、缩放等控制。 本文采用VRML(Virtual Reality Modeling Language),全称为虚拟现实建模语言设计产品模型的交互动作。
(4)平台发布。将设计完成的产品交互平台框架同交互设计的产品模型融合成为一个总体,并辅以图片和时频等因素,可生产一个完整的产品交互平台界面,用户通过该界面实现产品的交互。
1.3 基于三维虚拟视觉的产品交互平台人机界面设计
基于上述分析的产品交互平台功能实现过程,能够明确产品交互平台的用户界面应包含的因素如下:
页面导航:依据三维虚拟交互平台的交互流程,该平台的导航模块需要包括外观浏览、交互处理以及用户帮助三部分。用不同的图标描述不同的内容,用户点击相应的图标则可选择对应的服务。
页面布局:布置层叠状的标签卡,用户点击鼠标,则可打开标签卡对应的分类服务内容。
页面元素:用户选择相应的服务后,页面上显示对应的产品信息,并且页面上还有调控产品三维虚拟视觉展示的按钮和管理音量高低的按钮。
1.4 代码设计
本文设计的平台中实现产品外形三维虚拟视觉展示的主要代码如下:
采用以上代码,用户能够在场景视图中对鼠标进行变换操作,进而对产品特征进行综合观测。
2 实验分析
为了验证本文设计的基于三维虚拟视觉的产品交互平台的有效性,需要进行相关的实验。实验对本文设计的某手机三维虚拟视觉交互平台的学习程度、效率以及交互满意度三个方面进行评估。实验邀请10 名用户参加检测,采用的对比平台为手机购物超市,并通过调查问卷方式对用户操作产品交互平台过程中的交互感受进行量化分析。三维虚拟实景展示如图3 所示。
2.1 数据处理及分析
本文实验受试者为10 名,其中大学生5 名,互联网从业人员5 名。10 名被试者对本文设计的产品交互平台的主观评价采用评分制进行评估,评分标准为:1~5 分分别表示很不满意、不满意、一般、满意、很满意。评分的均值、标准差、均值的标准误差计算公式如下:
式中:n表示受试人数;x用于描述受试者对手机交互平台打出的分数。
2.2 实验结果分析
统计分析用户操作记录,结果为:
受试者对本文设计的手机三维交互平台的初次印象评分均值如表1 所示。分析表1 可得,10 名受试者对本文设计的手机三维交互平台的初次印象的平均分为4.65,说明大部分测试者对手机三维交互平台具有较好的印象。
受试者对手机三维交互平台的交互方式评分均值如表2 所示。分析表2 可得,平均分数为4.78,能够看出用户对本文设计的手机三维交互平台的交互方式具有较高的认可度。
实验对比分析受试者使用本文设计的手机交互平台和手机购物超市的界面可用性以及购物体验结果,分别如图4 和图5 所示。分析图4 和图5 可得,本文设计的基于三维虚拟视觉的手机交互平台的可用性和满意度都优于手机购物超市,具有较大的优势。
3 结论
本文将三维虚拟视觉融入产品交互设计平台中,依据三维虚拟视觉技术塑造产品交互场景,通过三维数字建模模拟产品信息,实现基于三维虚拟视觉的产品交互设计平台开发。该平台包括交互设计模块、三维虚拟视觉展示模块以及交互展示模块。
分析了产品交互功能的实现过程,主要包括三维虚拟视觉建模、动画展示过程、虚拟交互设计和平台发布。给出产品交互平台的人机交互界面设计过程,以及实现产品外形三维虚拟视觉展示的主要代码。实验结果说明,所设计产品交互平台,具有较高的认可度和可用性。
摘要：当前产品交互平台建模大都采用二维显示的方式,存在交互性低、工作量过大以及难更新等缺陷,因此将三维虚拟视觉融入产品交互设计平台中,依据三维虚拟视觉技术塑造产品交互场景,通过三维数字建模模拟产品信息,实现基于三维虚拟视觉的产品交互设计平台开发。该平台包括交互设计模块、三维虚拟视觉展示模块以及交互展示模块。分析了产品交互功能的实现过程,主要包括三维虚拟视觉建模、动画展示过程、虚拟交互设计和平台发布。给出产品交互平台的人机交互界面设计过程,以及实现产品外形三维虚拟视觉展示的主要代码。实验结果表明,所设计产品交互平台,具有较高的认可度和可用性。
关键词：三维虚拟视觉,产品交互设计平台,二维显示,产品信息模拟
参考文献
[1]王晓丹.商品展示的虚拟时代[J].消费电子,2013(10):133.
[2]唐磊.交互设计的发展现状与趋势[J].长春教育学院学报,2012,28(4):56-57.
[3]DDF.UXPA.用户体验百家谈[M].北京:电子工业出版社,2014.
[4]廖宏建,曲哲.基于Kinect体感交互技术的虚拟装配实验系统开发[J].实验技术与管理,2013,30(7):98-102.
[5]蒋松儒.交互技术应用趋势下的展示设计[J].天津美术学院学报,2013(2):79.
[6]董世海.人机交互的进展及面临的挑战[J].计算机辅助设计与图形学报,2004,16(1):1-13.
[7]廖祝华,刘晓平.EAST装配仿真的三维交互和用户界面设计[J].系统仿真学报,2004,16(10):2329-2331.
[8]陈卯纯,孙薇,赵小惠.物联网智能家居中的人机交互[J].包装工程,2014,35(2):64-67.
[9]刘要华,朱珍民,叶剑.协同人机交互机制的研究与设计[J].计算机工程与设计,2014,35(2):726-730.
基于双目视觉的三维人脸识别算法 篇2
1 新算法整体流程
针对上述问题,本文提出了一种新的三维人脸识别算法,其算法流程图如图1 所示。与传统三维人脸识别算法相比,该算法以结构简单的双目立体视觉系统为基础,通过调整左、右摄像机与人脸的相对位置,完成人脸的二维图像采集,从而能经济、高效地完成图像采集; 识别过程中,利用主动形状模型( Active Shape Model,ASM) 技术对二维图像进行二维特征点自动定位,并结合摄像机的内外参数得出特征点的三维坐标,从而避免了复杂的人脸三维重建; 最后利用反向传播( Back Propagation,BP) 神经网络进行识别,获得了较高的正确识别率。
2 二维特征点标定
在提取特征点之前,先根据肤色等信息对双目视觉系统获得的左右人脸图像进行人脸区域提取,然后利用极线变换[7]对图像进行校正,并对校正后的左、右图像进行特征点定位,将确定好的人脸区域作为初始位置,最后还要利用ASM技术[8]进行特征提取,左右每幅图像上分别提取76 个特征点。双目立体视觉系统获得图像经过上述极线校正、特征定位及特征提取后的图像如图2 所示,其中,特征点用线段连接起来,图2a、图2b分别表示左、右图像提取的特征点。
特征点提取后,可以得到这76 个特征点的图像像素坐标,表1 描述了部分特征点的像素坐标。由表1 可知,经过图像校正后,左右图像中的特征点的纵坐标位置基本一致,也就是说经过极线校正后,特征点的视差信息可以直接由左右图像的横坐标之差求出。
3 三维特征提取
3. 1 特征点三维信息恢复
为了克服二维人脸识别易受环境、姿态、表情等因素影响的缺点,将提取的特征点进行三维信息恢复,由于特征点三维恢复的最终目的是实现三维人脸识别,因而只需对人脸面部关键特征点进行三维信息恢复。根据双目立体视觉原理计算相应的三维空间坐标信息[9],其原理如图3 所示,图中b是基线距离,即摄像机光心Cl与Cr之间的距离,f是摄像机的焦距,P( X,Y,Z) 为空间点,设该空间点在左右摄像机坐标系中的坐标分别为( x1,y1,z1) 和( x2,y2,z2) ,在左右平面上对应的像素坐标为( u1,v1) 和( u2,v2) ,则视差d = u1- u2,根据三角测量原理和2 个摄像机的关系,有
空间点的三维坐标,可表示为
由张正友标定法[10]确定摄像机焦距等参数,并测出基线距离,然后根据式(2),可以计算出空间点三维坐标信息,从而得到所求的人脸面部关键特征点的三维信息。
3.2构造三维特征
通过人脸关键部位的特征点的位置,如鼻尖、眼角等的位置,提取三维人脸上的直线距离特征、角度特征、人脸比例特征、周长特征、曲线特征、体积特征以及表面积特征等几何特征,从而形成一个20 维几何特征向量,用于对三维人脸的识别。下面分别描述这些特征及其构造。
1) 距离特征
距离特征主要包括距离矩阵和局部特征点的曲线距离,选两点的欧氏距离作为其三维特征点之间的直线距离,曲线距离则使用分段计算两点之间的距离,然后求得近似模拟曲线距离。所选取的曲线距离有“鼻根点—鼻尖点—鼻下点”和“左鼻翼点—鼻尖点—右鼻翼点”的曲线距离。具体计算过程为
式中: ( xi,yi,zi) 和( xj,yj,zj) 分别表示参与计算的两个特征点的三维坐标。
2)角度特征的表示与度量
人脸上的一些部位之间的角度特征受外界的影响较小,因此可以提取这些角度特征来进行识别。该计算主要是基于余弦定理,具体计算过程为
式中: p1( x1,y1,z1) ,p2( x2,y2,z2) 和p3( x3,y3,z3) 为所选3 个人脸特征点的三维坐标。这类几何特征可以为眼睛内外、眼角与鼻尖之间的角度,鼻根到鼻尖再到鼻下点的距离等。
3) 比例特征的表示与度量
根据人脸美学得知,面部长度大概是鼻子长度的3. 5倍,面部宽度大概是左右眼角直线距离的5 倍,将面部长度和宽度之比作为人脸的长宽比例。这个几何特征可以度量不同人脸的形状,并应用于人脸的识别。
4) 周长特征的表示与度量
这类特征主要是计算鼻子XY和YZ剖面周长,这里主要是基于两点欧氏距离来计算。
5) 面积特征的表示与度量
面积特征是计算特定人脸区域的表面积,可用海伦公式表示如下
式中: p1,p2,p3分别为p1( x1,y1,z1) ,p2( x2,y2,z2) 和p3( x3,y3,z3) 的简写,表示为3 个特征点的三维坐标; s为这3 个特征点所围成的区域面积。
6) 体积特征的表示与度量
体积特征主要用于计算鼻子的体积,计算式如下
式中: S为鼻子的XY剖面面积; h为鼻子高度。而鼻子的高度的计算则如下,设鼻尖的坐标为( x1,y1,z1) ,鼻根的坐标为( x2,y2,z2) ,鼻下点的坐标为( x3,y3,z3) ,可以建立鼻根点和鼻下点所组成的直线方程
式中: A = z2- z3,B = y3- y2,C = y2( z3- z2) - z2( y3-y2) 。则鼻子的高度可以认为是鼻尖点到式( 8) 所代表的直线距离,则鼻子的高度公式为
4 基于BP神经网络的三维人脸识别
采用“误差反向传播”学习的BP网络,它可以对任意形状的观察向量集合进行正确地分类,其应用十分广泛。BP神经网络结构如图4 所示。假设输入输出对是( xk,yk) ,其中,xk= ( xk1,xk2,…,xkn)T,为第k个输入人脸特征向量; yk= ( yk1,yk2,…,ykn)T为第k个样本的期望输出。
将3. 2 节构造的20 维几何特征向量作为BP神经网络的输入,中间层采样15 个节点,输出层为判决结果。利用梯度下降法,根据已知人脸样本对神经网络中权系数进行训练,训练结果即可对人脸进行识别测试。
5 实验结果及分析
为了检测提出算法的性能,采用本文算法建立的三维人脸数据库与Bosphorus大学提供的3D人脸数据库[11]对算法进行测评。其中,Bosphorus 3D人脸数据库是采用基于结构光的三维扫描仪对人脸进行采集,里面包括表情变化的数据。该库提供了对应的三维人脸的24 个特征点位置,这些位置都是由受过专业培训的人员进行手工标记得到的。在实验中使用了除左右耳垂点两个特征点之外的22 个特征点。Bosphorus 3D人脸数据库部分人脸模型如图5 所示。本文算法自建的三维人脸数据库中包含30 个人脸信息,每个人脸拍摄15 组人脸数据,数据包括部分表情的变化。取其中10 组共300 张人脸数据作为BP神经网络训练样本集,然后取其余5 组共150 张人脸数据作为测试集。图6 描述了本文自建数据库采用的部分二维图像对。
对上面2 个三维人脸数据库,利用相同的特征,采用最近距离分类法和本文的BP神经网络分类法进行识别比较,表2 描述了2 种识别方法对2 种数据库进行识别比较的结果。由表2 可知,对同一数据库利用相同的特征,用本文的BP神经网络识别法比用最近距离识别法正确识别率高。由于Bosphorus数据库是通过结构光三维扫描仪获得的,并用人工标注特征点,三维人脸坐标相对较精确,因此采用相同的识别法对2 个数据库进行识别,Bosphorus数据库正确识别率要高于本文自建的数据库的正确识别率,但该数据库的获取代价大,且工序繁琐; 尽管采用相同的识别法,本文自建人脸数据库正确识别率略低于采用Bosphorus数据库,但其正确识别率达到了90% 左右,能满足实际的需要,且本文算法简单、经济。
6 结论
本文提出了基于双目视觉三维人脸识别算法,该算法以结构简单的双目立体视觉系统对人脸进行采集,使采集过程友好、简单、快捷; 在识别过程中,利用ASM技术对二维图像进行二维特征点自动定位,并结合摄像机的内外参数得出特征点的三维坐标,从而避免了复杂的人脸三维重建; 并利用BP神经网络进行识别,使正确识别率得到了提高。利用相同的特征,用最近距离分类法和本文的BP神经网络分类法,对本文建立的数据库和Bosphorus数据库进行识别比较,发现本文算法简单快捷,是一种经济、实用的三维人脸图像识别算法。
摘要：针对传统三维人脸识别算法的复杂性,提出了一种新的三维人脸识别算法。该算法以双目立体视觉系统为基础,通过调整左、右摄像机与人脸的相对位置,完成人脸二维图像的采集,然后利用主动形状模型(Active Shape Model,ASM)技术对采集的二维图像进行特征点自动定位,并结合摄像机的内外参数得出特征点的三维坐标,从而避免了复杂的人脸三维重建;再利用人脸关键特征点的三维信息计算特征点距离矩阵,提取三维人脸几何特征;最后利用反向传播神经网络进行识别。实验结果表明,该算法简捷、快速,且具有较高的正确识别率,是一种经济、实用的三维人脸识别算法。
三维虚拟视觉 篇3
关键词：立体视觉,摄像机标定,三维重建,特征匹配,极线校正
1、引言
视觉是人类获取外界信息最有效的手段, 人类感知外界信息的80%以上是通过视觉得到。计算机视觉就是试图用计算机模拟人眼的视觉功能, 从图像或图像序列中提取信息, 对客观世界的三维景物和物体进行形态和运动识别。计算机视觉的研究目的是使计算机具有通过二维图像认知三维环境信息的能力。
1.1 双目立体视觉
立体视觉是计算机视觉领域的一个重要分支和研究热点, 它主要是运用单个或多个摄像机对同一景物从不同位置成像并根据几何原理恢复景物的精确的三维几何描述, 定量地确定景物中物体的空间性质, 其过程是成像过程的逆过程。双目立体视觉是立体视觉最常用的实现方式, 是最接近于人类视觉的三维数据恢复方式, 也是计算机被动测距方法中最重要的距离感知技术。双目视觉系统的工作原理是基于人眼视差的原理, 在己知两摄像机之间的位置关系的基础上, 恢复出目标物体的三维空间信息, 并进一步重建目标物体的三维形状与空间位置。在逆向工程、快速成型和快速制模等领域中占有重要的地位, 是三维建模技术发展的一个重要方向。
1.2 三维重构
双目立体视觉系统中的三维重构建模, 是指用两台数字摄像机作为图像传感器, 综合运用图象处理、视觉计算等技术进行非接触三维测量, 用计算机程序自动获取物体的三维信息。在工业品零件的数字化设计与制造、医学整容、人脸识别、计算机三维动画中, 快速、实时、准确地建立物体的CAD模型是十分必要的, 这就要求重构有较高的精度、效率, 且能实现实时计算。传统的利用计算机辅助设计 (CAD) 技术进行的三维建模工作量极大、模型扩展性差、效率极低不利于生产的高度自动化和新产品的快速设计制造。高精度的三维激光扫描仪在工业产品造型领域能够实现高精度的快速建模, 但方法扫描对象尺寸有限、成本较高。基于图像的三维重构建模技术研究的热点是如何通过工业摄像头实现灵活、高效、高精度与低廉的三维重构建模[1]。已有的方法包括用单摄像机进行地图重建[2]、利用双摄像机获取物体几何模型的技术[3]、利用结构光的技术[4]等。尽管这些方法解决了三维重构建模中的一些关键问题, 但目前大多处于试验阶段, 尚未形成产业化。
国内外许多学者对此做了大量的系统研究, 基本形成了理论体系。但由于该学科是一门交叉学科, 受新技术的影响较大, 为此, 有必要对现有的理论和方法做出归纳和总结, 并提出存在的难题和发展方向。
2、三维重构建模研究内容及方法
图像的三维重建需要在同一场景的不同位置拍摄两幅或两幅以上的图像, 根据图像所提供的信息进行三维重构。
2.1 摄像机标定技术
三维重建的实质是从摄像机获取的图像信息出发计算出三维空间中物体的几何信息, 而空间物体表面某点的几何位置与其图像中对应点的相互关系是由摄像机成像的几何模型决定的, 这些几何模型就是摄像机的参数, 亦称为内外参数, 确定摄像机内外参数的过程被称为摄像机的标定。
2.1.1 摄像机模型
常用的摄像机模型有两种:线性模型和非线性模型。线性模型又称为针孔模型, 如图所示, 空间任何一点P在图像平面上的成像位置p为光心O与P的连线OP与图像平面的交点, 这种关系也称为中心射影或透视投影。
这便是针孔模型的透视投影方程, 其中:M=A[R|T], 这里, A只与摄像机内部结构有关, 称为摄像机的内参数;R, t完全由摄像机相对于世界坐标系的方位决定, 称为外部参数, M为3×4的矩阵, 称为投影矩阵, 即从世界坐标系到图像坐标系的转换矩阵。
2.1.2 摄像机标定
确定摄像机参数的过程称为摄像机标定。标定过程是根据一组已知其世界坐标系坐标和图像平面像素坐标系坐标的对应点来确定摄像机的内、外参数。
摄像机标定方法根据标定方式的不同, 主要可以归结为三种:传统标定方法、自标定方法[5]和基于主动视觉的标定方法[6]。1998年, 张正友[7]提出了一种介于传统标定方法和自标定之间的平面标定方法, 广泛应用在实际的视觉系统中。还有人不用任何摄像机模型, 利用神经网络优化摄像机内外参数[8,9,10,11]。
2.2 极线约束与立体匹配
双目视觉一般采用的方法是两个摄像机从不同角度同时获取目标物体及其周围景物的两幅数字图像, 或者用单摄像机在不同时刻从不同角度获取周围景物的两幅数字图像, 基于视差原理, 在己知两摄像机之间的位置关系的基础上, 恢复出目标物体的三维空间信息, 并进一步重建目标物体的三维形状与空间位置。
2.2.1 立体匹配
立体匹配是根据特征提取后获得的数据, 建立特征间的对应关系, 将同一个空间物理点在不同图像中的映像点对应起来, 由此得到相应的视差图像。根据匹配基元的不同, 立体匹配可分为区域匹配、特征匹配和相位匹配三大类。区域匹配和特征匹配都是建立在一定的约束条件下的匹配, 匹配的目的是为了获得像点间的视差, 并根据视差确定像点的深度, 来求解图像对中的对应点, 但是物像投影是一个畸变的过程, 因此建立了许多约束条件来减少对应点的误匹配。常用的约束有:外极线约束、一致性约束、唯一性约束和连续性约束。
实践证明, 特征匹配速度快, 对环境照明的变化和强光不敏感, 受噪声影响小, 在简单曲面重建中应用广泛。
2.2.2 极线约束
立体匹配是视觉计算中的难点, 为简化立体匹配的过程, 降低计算的复杂性, 需给匹配添加约束。外极线约束是一种常用的约束方法, 它使匹配搜索的范围由二维变为一维, 提高匹配速度。
如图2所示, 由极线几何关系可以看出, 对于图像点p1, 对应点必定在其极线p2e2上, 这就叫做极线约束, 它建立了一个摄像机成像平面中一点和另一个摄像机成像平面中一条直线的映射关系。
2.2.3 极线校正
立体图像对之间特征点的匹配一直是立体视觉中解决各种问题的关键。立体图像对中匹配点的搜索是分别沿着像点的对应外极线进行的, 校正使互相对应的外极线变成共线并且平行于图像平面的一条坐标轴, 进而将匹配点的搜索从二维降为一维, 使得搜索速度和搜索结果的精度大大提高, 因此立体视觉图像的极线校正对于提高匹配算法的性能有着极为重要的意义。
关于图像校正的算法很多, 其中Fusiello.A提出的基于QR分解的极线校正算法[12]是在对摄像机完成标定的基础上进行的, 该算法假设基线位于成像平面内 (与成像平面平行的特例) , 利用两摄像机校正前的透视投影矩阵M来计算校正后的投影矩阵Mn。采用基于QR分解的极线校正算法, 在MATLAB环境下编程实现, 图3经过校正如图4所示, 可以看出, 经过极线校正, 原来并不水平的极线变得基本水平。
2.3 基于特征点的三维重构建模技术
三维重建是在摄像机标定的基础上研究如何从得到的匹配点中计算出该点的空间三维坐标。在标定的基础上, 已知两相机参数矩阵的条件下, 根据空间任一点在两个图像中的对应坐标, 建立以该点的世界坐标为未知数的4个线性方程, 利用最小二乘法求解该点的世界坐标。
3、结束语
三维虚拟投影系统 篇4
全息投影是近期非常流行的技术, 它采用全息膜配合投影展示产品, 提供了丰富的全息影像, 可以在玻璃、亚克力等材质上成像, 将装饰性、实用性融为一体, 成为现在一种前沿的市场推广手段。2008年美国CNN电视台首次在总统大选的报道中应用了全息投影技术, 动用了35部高清摄像机, 从各角度同时对主持人进行拍摄, 拍摄的图像数据传输到20台电脑中进行合成处理, 最终通过高清投影仪实现全息人像的真实再现。全息投影技术是通过在空气或特殊镜片上形成立体影像, 是全息摄影术的逆向展示, 可以从任何角度观看全息影像的不同侧面。目前市场上可实现的全系投影从技术上分为四种: (1) 空气投影。美国麻省的一名29岁研究生发明了一种空气投影技术, 可以在气流墙上投影图像, 并且使其具备交互功能。这一技术灵感来源于海市蜃楼原理, 将图像投射在大片的水蒸气上, 由于组成水蒸气的水分子震动不均衡, 可以形成立体感很强的全息图像。 (2) 激光束投影。日本公司研制了一种利用激光束来投射实体的全息影像投射方法。这一方法主要利用了氧气和氮气在空气中散开时, 两者混合成的气体变成灼热的物质, 并在空气中通过不断的小爆炸形成全息图像。 (3) 美国南加利福尼亚大学的研究人员研制了一种360度全息显示屏, 将图像投影在高速旋转的镜子上, 从而实现全息影像。 (4) 雾幕立体成像系统。雾幕立体成像, 也被称为雾屏成像, 通过镭射光借助空气中的微粒, 在空气中成像, 使用雾化设备产生人工喷雾墙, 利用这层水雾墙代替传统的投影屏, 结合空气动力学制造出能产生平面雾气的屏幕, 再将投影仪投射喷雾墙上形成全息图像。
1 系统总体设计
全息投影技术是全息摄影技术的逆向展示, 本质上是通过在空气或者特殊的立体镜片上形成立体的影像。不同于平面银幕投影仅仅在二维表面通过透视、阴影等效果实现立体感, 全息投影技术是真正呈现3D的影像, 可以从360°的任何角度观看影像的不同侧面。产品系统是由三维显示系统、计算机多媒体系统、控制系统所组成。下图1为系统流程框图。
1.1 三维显示系统
三维立体显示系统提供了良好的沉浸式虚拟场景。在虚拟现实应用中用以显示实时的虚拟现实仿真应用程序, 该系统通常主要包括专业投影显示系统、悬挂系统、成像装置等三部分, 三维显示系统在360度全息投影技术中完成活动三维立体视频的在场景造型上的再现, 使立体影像与周围的人造景观背景有比较“真实”的结合。下图2为成像系统图。
1.2 计算机多媒体系统
多媒体计算机系统是指能把视、听和计算机交互式控制结合起来, 对音频信号、视频信号的获取、生成、存储、处理、回收和传输综合数字化所组成的一个完整的计算机系统。具有同步性, 集成性, 交互性, 综合性等特征。在360度全息投影技术中, 计算机多媒体系统利用先进的多媒体技术和计算机控制技术, 可以实现大的场景、复杂的生产流水线、大型产品等的逼真展示。
1.3 控制系统
控制系统意味着通过它可以按照所希望的方式保持和改变机器、机构或其他设备内任何感兴趣或可变的量。控制系统同时是为了使被控制对象达到预定的理想状态而实施的。控制系统使被控制对象趋于某种需要的稳定状态。在360度全息投影技术中, 控制系统完成活动模型控制、电源控制、播放控制等。
2 视频制作
本系统不可或缺的便是在视频制作上, 因此为了视频的精彩呈现, 选择基于PC系统的三维动画渲染和制作软件3D Studio Max以及视频处理软件Adobe After Effects。
3DSMax在应用范围方面, 广泛应用于广告、影视、建筑设计、三维动画、多媒体制作、游戏以及辅助教学等领域。该软件的突出特点:1) 基于PC系统的低配置要求;2) 安装插件 (plugins) 可提供3DSMax所没有的功能 (以及增强原本的功能;3) 强大的角色 (Character) 动画制作能力;4) 可堆叠的建模步骤, 使制作模型有非常大的弹性。
AE的全称是After Effects, 一个影视后期特效合成及设计软件。AE软件可以帮助您高效且精确地创建无数种引人注目的动态图形和震撼人心的视觉效果。利用与其他Adobe软件无与伦比的紧密集成和高度灵活的2D和3D合成, 以及数百种预设的效果和动画, 增添令人耳目一新的效果。
3 电路模块控制设计
3.1 单片机STC15W408AS
STC15W408AS是STC生产的一款高速、可靠、抗强干扰的新一代单片机, 内置晶振及复位电路, 减少最小系统的外围电路、PCB板面积及设计成本。另外此芯片资源丰富, 功能强大, 符合本设计要求。本设计使用三路PWM为LED驱动电路提供PWM输入信号, 通过SPI控制ESP8266无线通信模块的数据收发。
3.2 ESP8266无线WIFI模块
本设计采用ESP8266无线WIFI模块控制视频的播放、暂停、停止。
3.2.1 ESP8266简介
ESP8266是一款超低功耗的UART-Wi Fi透传模块, 拥有业内极富竞争力的封装尺寸和超低能耗技术, 专为移动设备和物联网应用设计, 可将用户的物理设备连接到Wi-Fi无线网络上, 进行互联网或局域网通信, 实现联网功能。
ESP8266封装方式多样, 天线可支持板载PCB天线, IPEX接口和邮票孔接口三种形式;
ESP8266可广泛应用于智能电网、智能交通、智能家具、手持设备、工业控制等领域。
3.2.2 ESP8266主要功能
ESP8266可以实现的主要功能包括:串口透传, PWM调控, GPIO控制。
3.2.3 ESP8266内部结构
ESP8266高度片内集成, 包括天线开关balun、电源管理转换器, 因此仅需极少的外部电路, 且包括前端模块在内的整个解决方案在设计时将所占PCB空间降到最低。下图3为ESP8266结构图。
3.3 人机界面软件程序设计
三维虚拟投影系统的控制程序设计流程图如下图4所示, 其主要包括:
3.3.1 系统初始化
在系统初始化程序中, 主要完成对各模块的启动处理, 其中包括:显示屏进入播放界面、无线模块ESP8266启动。
3.3.2 检测系统状态
系统初始化以后, 开始检测wifi模块, 并且检测视频播放状态, 一切正常后, 等待进入系统启动状态。
3.3.3 启动任务
检测系统状态正常后, 开始检测触摸屏是否有事件发生, 即用户是否对触摸屏操作, 如果有那么系统开始发送相应的指令到视频控制, 从而实现智能播放停止的功能, 如果没有系统保持待机功能。
4 结论
通过把物理学光学技术、三维动画技术、物联网技术和嵌入式技术融合, 应用于投影技术中, 不仅突破了传统声、光、电局限, 将美轮美奂的画面带到观众面前, 给人一种虚拟与现实并存的双重世界感觉, 给人们带来新的视觉享受。而且还克服以大屏幕为主的传统展示方式的缺点, 体现了融合展示及互动展示。本设计尺寸灵活、成像清晰度高、安装便捷、形式新颖、内容多样, 适用于虚拟样机、生物医学以及建筑视景与城市规划、地震及消防演练仿真、军事模拟战场、电子对抗、航空航天模拟等领域, 具有较高的推广与应用价值。
参考文献
[1]高玉芹.单片机原理与应用及C51编程技术[M].机械工业出版社, 2011.
[2]向华.三维动画制作[M].高等教育出版社, 2011.
[3][加]卡琴.科学鬼才[M].人民邮电出版社, 2012.
[4]石东海.单片机数据通信技术融入门道精通[M].西安电子科技大学出版社, 2002.
[5]余锡存.单片机原理与接口技术[M].西安电子科技大学出版社, 2002.
三维虚拟视觉 篇5
随着制造技术的快速发展和制造领域的不断扩大,使得对制造产品的质量要求也越来越高。传统意义上很多对产品的检测方法已经不能适应现代制造业的要求。计算机视觉[1,2,3]检测技术具有操作、维护简单,测量速度快,精度高,测量范围广等众多无可比拟的优点,被认为是检测技术领域中最具有发展潜力的技术。机器视觉被称为自动化的眼睛,在国民经济、科学研究及国防建设上都有着广泛的应用。机器视觉不但可以实现无接触观测,还可以长时间保持精度,因此,机器视觉系统可以广泛应用于长时间的、恶劣的环境[4,5]。
在此探讨了线性结构光三维扫描系统的特点。设计一种能够测量物体深度的结构光三维扫描系统,通过图像处理技术对激光条纹进行提取,并建立数学模型,采用三角法测量方法获取深度信息,对工件图像进行重建。最后,实验结果验证了该系统的有效性。
1 基于机器视觉的结构光三维扫描系统模型
结构光测量[6,7]是将激光器发出的光束经过光学系统形成某种形式的光包括点单线多线单圆同心多圆、网格、十字交叉、灰度编码图案、颜色编码图案和随机纹理投影等投向景物,在景物上形成特定的图案,并通过图像处理,对图案进行提取,然后根据三角法进行计算,从而得到景物表面的深度信息。根据投射光图案的种类可分为单点法、单线法和图案法。
1.1 系统的硬件结构设计
如图1所示,文中所设计的结构光三维扫描系统由3大部分组成,分别是运动平台、激光器和摄像机。系统的运动平台由导轨丝杠机构成,丝杠上的滑块带动工件左右运动,丝杠由伺服马达驱动。摄像机垂直于导轨运动平面。激光器和摄像机与摄像机呈固定角度安装。激光器所射出的线形光斑垂直于工件的运动方向。激光器与摄像机的相对角度可以调节,调节范围由20°～45°之间。运动平台行程为100 mm,图像分辨率为0.2 mm/pixel。
1.2 系统的数学模型建立
系统的数学模型如图2所示。工件放置于运动平台上,摄像机垂直安装在运动平台正上方,激光与水平面的夹角θ,激光器产生一字的线性结构光,由于物体表面与运动平台的高度差,条形光斑同时照射在物体上的A处和平台的B处。用摄像机获得光斑的图像,经图像采集卡输入至计算机,经过图像处理,可以测量出点A与点B的距离d,根据三角法公式tanθ=H/d,可以通过光斑间距计算出工件的高度因此物坐标和像坐标对应关系为:
其中:xg,yg,zg分别为物坐标;k为像素-毫米转换系数;xi,yi分别为图像坐标。
2 结构光光斑提取的相关理论与方法
从系统的数学模型可知,物体的深度信息H主要受θ和d的影响,而θ主要表现为系统误差,因此,有必要对条纹间距d进行深入研究,以提高系统的精度。其主要包括:图像增强、图像二值化以及图像细化。
2.1 图像增强
图像增强主要增加图像的对比度,突出图像中的高频部分[8]。算法描述为:设原图像的灰度级为x,其最大和最小灰度级分别为xmax和xmin;期望图像灰度级的最大和最小值分别为ymax和ymin;则与原图像灰度级x相对应的期望灰度级:
若令:
可改写为:
式(3)是一个线性函数:参数a是函数的斜率;b是函数在y轴的截距;x表示输入图像的灰度;y表示输出图像的灰度。
2.2 图像二值化
这里所采用的256色的灰度图像,通过选取阈值t,将小于t的灰度全设为0,即黑色;将大于t的灰度全部设为255,即白色。这样,目标就从背景中独立出来。采用文献[9]提出的一种基于熵的自动阈值提取方法。一幅图像的直方图可以表示为:
式中:G表示灰度值的总和;g(h)表示图像灰度等级为h的像素个数。一幅具有[0,N-1]灰度值范围图像的直方图的熵可以表示为:
式(6)中,ta表示图像分割的阈值,则不同阈值范围内的熵可以表示为:
总熵可以表示为通过求解一组优化的阈值,可以使总熵达到最大。其中:L表示阈值的个数,a=0,1,…,L-1。
2.3 图像细化
图像的细化[10]是一个通过迭代去除目标图像上不影响连通性的轮廓象素点,以得到最终宽度为一个像素的图像骨架的过程。对被处理的图像进行细化有助于突出图像的形状特点和减少冗余的信息量。
3 实验结果与分析
3.1 系统标定
实验通过基于机器视觉结构光三维扫描系统获取扳手三维图像,为获得准确的三维图像,首先采用40 mm的标准块规进行测量,测量结果与误差如表1所示。图3为三维扫描系统的测量软件界面。
3.2 实验内容与步骤
用该系统获取准确的扳手图像信息如图4、图5所示。对所获取的信息进行图像增强、腐蚀和去除小颗粒滤波处理,再根据三角法测量原理测量计算出扳手的厚度。
对所获取的图像信息进行图像处理,首先对图像进行图像增强增加图像的对比度突出图像中的高频部分,如图6、图7所示。其次采用自动阈值技术对图像进行二值化处理,如图8所示。为了得到更清晰的图
像,采用相关的滤波器将小颗粒噪声去除,处理结果如图9所示。
3.3 实验数据
图10、图11给出了扳手手柄和钳口处的高度信息提取结果。通过对多处截面进行高度信息提取,可以重构处扳手的三维图像,如图12、图13所示。
3.4 结果分析
经过分析上述的测量数据,总体误差为4.47%。从实验测量结果来看,实现系统还有待进一步提高。影响其精度的主要原因如下:
(1)由于本系统采用的激光光斑比较粗,从一定程度上影响了精度。
(2)对激光光斑的提取算法性能不足,可进一步改进。
4 结语
这里就基于机器视觉结构光三维扫描系统进行深入的探讨和实验,具体包括以下3个方面:结构光光斑提取相关的图像处理的理论和方法,对系统所获取的原始图像进行图像增强、腐蚀和去除小颗粒滤波处理;基于机器视觉结构光三维扫描系统的架构。设计实验所用设备,确定三角法测量物体深度的数学模型;在工业检测中运用该系统进行实验,误差为4.47%,验证了该系统的有效性和精度要求
参考文献
[1]Marr D.Vision[M].San Francisco:Freeman Publisher,1982.
[2]David A Forsyth,Jean Ponce.Computer Vision:A ModernApproach[M].Beijing:Publishing House of Electronics In-dustry,2004.
[3]马颂德.计算机视觉[M].北京:北京大学出版社,1998.
[4]陈海东.机器视觉的快速匹配与识别定位方法及其在自动检测中的应用研究[D].广州:华南理工大学,1999.
[5]张广军.机器视觉[M].北京:科学出版社,2005.
[6]Batlle J,Mouaddib E,Salvi J.Recent Progress in CodedStructured Light as a Technique to Solve the Correspon-dence Problem:A Survey[J].Pattern Recognition,1998,31(7):963-982.
[7]陈向荣,朱志刚,石定机.基于双外极线的结构光深度信息快速获取[J].清华大学学报,1998(Z1):99-102.
[8]章毓晋.图像处理和分析[M].北京:清华大学出版社,1999.
[9]吴冰,秦志远.自动确定图像二值化最佳阈值的新方法[J].测绘学院学报,2001,15(1):284-286.
三维虚拟视觉 篇6
在电子集成电路芯片的生产线上,芯片的外观检测是一项重要的工序[1]。目前很多生产线上仍采用传统的人工目测检测,发现缺陷后,手动剔除不合格产品,这样的检测方法存在很多问题[2],难以满足工业需求。随着机器视觉技术的发展,它们已被成功应用到工况监视、成品检测和质量控制等领域[3]。机器视觉检测作为一种高效的检测手段,与传统的检测方法相比,具有不可替代的优越性[4,5,6,7,8],它们大幅度地提高了产品的质量和可靠性,保证了生产的速度[9,10]。
1 芯片外观检测
芯片外观检测指标中一般有二维指标和三维指标,如图1所示,检测项目有管脚跨距、管脚间距、管脚对称性、管脚一致性、管脚排弯、管脚倾斜、管脚宽度、管脚弯曲度、管脚栈高和管脚共面度等。其中三维指标检测难度最大,同时也是三维外观检测的重点,如管脚栈高和管脚共面度等的检测。该问题主要有两个关键技术:硬件采图和软件算法。硬件采图装置的光路原理直接决定了软件计算芯片三维指标的方法,同时它所采集的图像质量直接影响着软件算法的复杂度和检测精度,因此硬件采图装置的光路设计显得尤为重要。在实际生产中,QFP芯片的种类繁多,外形尺寸范围跨度大(如外形尺寸从5 mm×5 mm～40 mm×40 mm),如何设计一个光路可以采集高质量图像,同时可以对各种规格芯片进行可靠成像并满足软件处理要求,也是一个技术难点。
在QFP芯片检测领域,国外起步较早,目前国内尚无成熟的相关产品,国外代表厂家为美国的KLA-Tencor、SCANNERTECH和Coherix以及马来西亚的TTVision等。KLA-Tencor采用特有的阴影检测技术,通过精确的打光倾斜照射管脚,管脚的阴影将投射到一个半透明玻璃平台,分析每个管脚不同角度打光下影子的尺寸,重构管脚的三维坐标,该方案对打光要求高,并且标定复杂,同时软件实现难度较大。
SCANNER公司和TTVision公司采用单相机加棱镜方式获取芯片五面图像,通过图像处理算法计算三维指标。该方案芯片检测时有下降动作,降低了检测效率。Coherix公司采用三相机成像的方式检测芯片的三维指标,三套图像采集系统增加了硬件成本,同时增加了标定的难度。
本文针对目前视觉检测装置的不足和工业的实际需求,提出了一种新的QFP芯片的三维外观视觉检测光路,该光路已成功应用在外观检测设备上,并较好地满足了实际生产要求。
2 光路设计方法
根据前面的分析,为了克服现有装置的不足,本文提出了一种新的光路设计方法。针对芯片三维指标求取难以及多相机成像硬件成本高的问题,本光路采用1个数字相机加4个平面反射镜的方式,在一个视场内同时对芯片的五面(芯片底面和四侧面)采图。针对芯片外形尺寸范围跨度大导致的成像困难问题,本光路采用平行光路设计。针对芯片输送过程中有下降动作的问题,本光路采用特殊的U行反光板打光方式,可使芯片在输送过程中平行移动到采图装置上方而无需下降动作。此外,本光路采用LED条行光背光照明,另加大景深镜头,从而保证了芯片成像均匀,对比度高,有利于提高整个装置的检测精度。
如图2(a)和图2(b)所示,该光路主要包括吸取机构1、U形反光板2、两个光源3、待测芯片4、四个平面反射镜5、镜头6、相机7及工作距离调节机构8。其中吸取机构1负责吸取待检测芯片4至检测位,检测完成后,吸取芯片1离开检测位。U形反光板2安装在吸取机构1上,随吸取机构一起动作,起反光作用。两个光源3安装在U形反光板2和平面反射镜5之间,起打光作用。四个平面反射镜5以一定的角度安装在四面,起改变光路的作用。镜头6为一大口径、大景深镜头,安装在相机7上。相机7安装在工作距离调节机构8上,工作时对芯片4进行采图。若要采集清晰的图像,镜头前端面离芯片之间的距离(以下称工作距离)必须合适,因此工作距离调节机构8负责对相机和镜头进行上下调节,把相机和镜头调节到一个合适的工作距离。
下面将对该光路原理进行详细的叙述。
图2(a)为主视光路示意图,表达了待检测芯片底面成像的光路原理;图2(b)为右视光路示意图(除去光源),表示了待检测芯片侧面1和侧面3成像的光路原理;图2(c)为主视光路示意图,表达了待检测芯片侧面2和侧面4成像的光路原理。
针对三维成像问题,本光路采用单个数字相机和4个平面反射镜在一个相机视场内同时对芯片底面和四侧面成像,打光原理如图2所示。采集的图像主要有两部分:芯片4底面(见图3)视图和芯片4四侧面视图(如图4所示)。芯片4底面成像原理如图2(a)所示,光源发出的光照射在U形反光板2上,把U形反光板2内部整个区域照亮,经U形反光板2反射后照射在芯片底面4,从而在相机中成像,成像光路如图2(a)中的细实线部分,一成像实例的效果如图4中的底面视图。芯片4四侧面(如图3)成像根据打光方式的不同分为两组,侧面1和侧面3为一组,记为A组,侧面2和侧面4为一组,记为B组。A组的成像原理如图2(b)所示,光源发出的光照射在U形反光板2上,把U形反光板2内部整个区域照亮,经U形反光板2侧面反射的光透射芯片侧面1和侧面3的管脚,经平面镜反射后垂直入射镜头,在相机上成像,成像光路如图2(b)中的细实线部分,一成像实例的效果如图4中的侧面视图1和侧面视图3。B组的成像原理如图2(c)所示,光源发出的光直接透射芯片侧面2和侧面4的管脚,经平面镜反射后垂直入射镜头,在相机上成像,成像光路如图2(c)中的细实线部分所示,一成像实例的效果见图4中的侧面视图2和侧面视图4。
对芯片底面视图(图4芯片的底面视图)进行数字图像处理后,可以求芯片的二维指标;对芯片四侧面视图(图4芯片的侧面视图)进行数字图像处理后,可以求出芯片的三维指标,如管脚栈高。三维指标求取原理如图5所示。
图5中SV为芯片侧面视图管脚的长度,可对芯片侧面视图进行数字图像处理后求出;θ角为一固定角度,由机械结构设计决定;fb是待测芯片的固有参数,由芯片设计厂家提供;stoff为待求三维指标,即管脚栈高。stoff的求解公式如公式1:
成像过程中,由于入射光线都是垂直镜头前端面入射(各入射光线均平行),所以只需对镜头进行平面标定即可,无需三维标定,大大降低了标定难度。同时该光路借助单个相机和4个平面反射镜,把芯片的底面视图和侧面视图同时成像在一个视场内,对图片进行数字图像处理时,无需进行多坐标系变换,从而降低了软件处理难度。此外,该光路通过单个相机即完成三维测量的任务,相对三个相机成像光路而言,大大降低了视觉检测装置的硬件成本。
针对不同规格的芯片检测问题,该光路采用平行光路设计,当芯片尺寸发生变化时,经U形反光板或平面反射镜反射后的光线平行移动,并且光线在移动的同时,芯片底面和侧面成像的入射光线始终都是垂直镜头入射,因此只需对该光路标定一次。当更换芯片规格时,无须重新标定,且不用更换任何零部件,因此一套外观检测装置可以检测各种型号的QFP芯片(可检测的芯片外形尺寸范围为5 mm×5 mm～40 mm×40 mm),从而增强了视觉检测装置的通用性。
针对检测时待测芯片有下降动作的问题,本光路采用特殊的U形反光板设计,反光板除了给芯片底面成像打光外,同时还对芯片其中的两侧面成像打光,这样使得视觉检测装置上端可以设计一缺口,如图6所示。检测时,吸取头可带动待测芯片平行移动到视觉装置上方,无需下降动作即可开始采图(见图6、图7),这缩短了芯片输送时间,提高了检测效率。
3 实验结果
图8是用该光路设计的装置采集的图片效果图。可以看出,芯片的五面同时在一个相机视场内成像,并且成像均匀、对比度高。用该装置对测试芯片进行拍照采集图片,采集的图片经过软件处理计算芯片各个管脚的各个检测项目的值,对同一测试芯片连续采集和计算100次,把这100次计算的值分别求平均值,将该平均值作为该芯片各个管脚各个检测项的测试值,然后把该测试值与芯片相应管脚相应检测项的标准值取差值并求绝对值得绝对误差,该芯片各个管脚的某一检测项的最大绝对误差即为该检测项的检测精度,依此方法求出各个检测项的检测精度。
测试中共用了10个测试芯片(芯片各个管脚各个检测项的标准值已知),芯片的型号为QFP-64(每边共16个管脚)。经测试,各个芯片的各检测项的检测精度均小于15 μm,达到视觉行业检测标准,表明了应用该光路采集的图片满足软件处理要求。表1中列出了某测试芯片1～16号管脚的管脚宽度和管脚栈高的检测结果。
mm
4 结 语
本文提出了一种新的芯片三维外观检测光路设计方法。该光路成像均匀,并且采集的图片对比度高。在满足软件处理要求的情况下,该光路可对大尺寸范围内的芯片进行可靠成像。相对目前的视觉检测装置,该光路降低了软件处理难度、标定难度及视觉装置硬件成本,减少了芯片输送时间,有利于提高整个检测系统的检测效率。该光路已成功应用在QFP外观检测设备上,应用结果表明,它能够满足工业实际生产要求。同时,该光路也存在一定的不足:U行反光板设计思路,导致了反光板尺寸较大,实际应用时,给外观检测设备机械手的设计带来不便,在以后的工作中,将对反光板进行优化设计。
摘要：半导体芯片的三维外观检测是芯片生产过程中的一个重要环节,而其中的光路设计是三维外观检测技术中的一个难点和重点。针对QFP芯片的三维外观检测,提出了一种新的光路。新的光路通过采用数字相机和平面反射镜,在一个视场内同时实现了芯片的底面和四个侧面的成像。新的光路降低了标定的难度和后续软件计算芯片三维指标的难度,同时也减少了硬件成本。新的光路采用平行光路设计,可对外形尺寸为5mm×5mm～40mm×40mm范围内的QFP芯片进行清晰成像,从而使得一套外观检测装置可以检测各种型号的QFP芯片。此外,该光路减少了芯片输送时间,提高了检测效率。该光路已成功应用在外观检测设备中,实验结果表明,它较好的克服了目前外观检测装置的不足,并且能够满足工业实际生产要求。
关键词：半导体芯片,QFP芯片,三维外观检测,光路设计
参考文献
[1]杨勇.一种集成芯片引脚外观检测系统的研究[J].仪器仪表学报,2002,23(5):74-76.
[2]许国庆.基于机器视觉的IC芯片外观检测系统[D].广州:华南理工大学,2010.
[3]牛一帆.机器视觉在印刷质量检测中的应用[J].印刷质量与标准化,2009(9):43-46.
[4]PHAM D T,ALCOCK R J.Automated grading and defectinspection:a review[J].Forest Products Journal,1998,48(4):34-42.
[5]NEWMAN T S,JAIN A K.A survey of automated visualinspection[J].Computer Vision and Image Understanding,1995,61(2):231-262.
[6]JARVIS J F.Research directions in industrial machine vi-sion:a workshop summary[J].Computer,1982,15(12):55-61.
[7]吴敏金.图像形态学[M].上海:上海科学技术文献出版社,1991.
[8]万宏辉,朱更明.D I P外观缺陷机器视觉检测系统[J].邵阳学院学报:自然科学版,2007(4):54-57.
[9]唐向阳,张勇,李江有,等.机器视觉关键技术的现状及应用展望[J].昆明理工大学学报:理工版,2004,29(2):36-39.
[10]段峰,王耀南.机器视觉技术及其应用综述[J].自动化博览,2002(3):59-61.
三维虚拟视觉 篇7
《鄱阳湖生态经济区规划》于2009年12月12日由国务院正式批复,建设鄱阳湖生态经济区上升为国家战略。这是新中国成立以来江西省第一个上升为国家战略的区域性发展规划。根据《规划》,鄱阳湖生态经济区的发展定位是:建设全国大湖流域综合开发示范区、长江中下游水生态安全保障区、加快中部崛起重要带动区、国际生态经济合作重要平台。鄱阳湖生态经济区建设规划期为2009年至2015年,远期展望到2020年。
鄱湖及周边区域富有神秘的古老文化,光辉的近代文明,悠久的饮食特色,独特的自然风光,经济区的发展离不开对这些方面的传承与传播。本文以《鄱湖生态图形文化与视觉传播设计研究》省级课题为平台,选取鄱湖自然景观风貌为切入点,研究如何使用现代虚拟技术辅助实现环鄱湖自然景观的文化传播,促进鄱阳湖生态经济区的进一步发展。
1 虚拟漫游技术与Unity 3D
虚拟漫游技术是建筑与规划设计及展示的理想工具,利用计算机生成一种模拟环境,并通过多种传感设备使用户沉浸到该环境中去,实现用户与该环境直接进行自然交互,为我们创建和体验虚拟世界提供了有力的支持[1]。
Unity 3D具有资源商店的概念,良好的素材资产管理模式,全球Unity 3D用户超过250000,设计者可以很容易的利用其他Unity 3D用户的资源到现有的项目中。当完成了一个项目,也可以发布项目资源到商店里,共享或是有偿供其他开发者使用。Unity 3D的Web浏览插件占用空间不到3.2M,大小较为适中,能较好适应当前的网络环境。
2 自然景观的制作
虚拟自然景观漫游制作较建筑漫游制作有不同之处,由于自然环境中的水、烟、树木、花草等制作较为复杂、费时,且容易产生较多的模型面数,要达到良好场景表现和虚拟漫游运行速度的平衡有一定难度。而通过Unity 3D这款游戏引擎可以很好的制作出虚拟自然景观的漫游效果。
2.1 场景大环境制作
在自然环境中,视线尽头的远景有诸如海洋、山脉、平原等效果。这种模型具有的特征是:与虚拟视点距离很远,没有细节的要求,只强调表现效果。在Unity 3D中通过在地形的边缘构造一周闭合的、由若干多边形组成的“围墙”,将主要场景围住,而在相应四边形上映射相应的纹理,实现该方向上远景的模拟;天空往往要求天空呈现出晴、多云、阴、多雾,还有清晨、黄昏等效果,对天空的模拟,采用制作一个包围场景的六面体“天空盒”,在内表面上映射相应天气效果的纹理,如图一所示。这样,当视点在这个由地形、边界立面、顶面组成的盒子内移动时,加上适当的光照效果,就可以感到强烈的纵深感。另外,在Unity 3D中表现金属、水面等材质表面的反射、折射效果也利用“天空盒”来产生材质表面反射、折射出的环境效果。
2.2 地形地貌制作
早期采用VRML等虚拟现实软件制作,要更多的考虑节省系统资源的问题,模型的面数不能太多,否则影响实时渲染的速度。现在随着软硬件性能的提高,使用Unity 3D制作漫游,可以将重点放在真实再现场景方面。
方法一:利用等高线制作地形地貌
等高线指的是地形图上高度相等的各点所连成的闭合曲线。把地面上海拔高度相同的点连成的闭合曲线,垂直投影到一个标准面上,并按比例缩小画在图纸上,就得到等高线。等高线也可以看作是不同海拔高度的水平面与实际地面的交线,所以等高线是闭合曲线。
制作有起伏的地形的时候,可以利用等高线的原理,绘制不同海拔的等高线生成自然环境中起伏多变的地形。对于少部分需要精细描绘的地形地貌可以采用该方法进行模型制作,再进行贴图制作产生真实地形的效果。
方法二:利用灰度图制作地形地貌
对于大面积的地形制作,可以在Unity 3D中使用地形笔刷工具完成,对于真实地形制作,更快捷的方式是导入真实地形地貌的灰度图(也可以在图像软件中进行绘制地形地貌的灰度图)让软件自动生成大面积的地形地貌效果。灰度图中,亮的部分最终生成的地势高的位置,暗的部分生成地势低的位置,通过黑白灰的颜色表现出地势的高低起伏。在Unity 3D中可以使用的灰度图的格式是8位多通道的RAW图像,要想使灰度图顺利转换为三维地形效果一定要将图像格式转换为RAW,一般的图像处理软件都可以完成灰度图格式转换。
2.3 植被制作
Unity 3D布置地表大面积植被时非常快捷。先在三维软件中建立树木的模型,对其制作好材质贴图,再导入Unity3D中利用地形笔刷工具,将大面积植被“画出”在地形上。另外,还可以设定场景中风对植被的吹动效果。
对于精度高的需要重点表现的植物,Unity 3D有专门的编辑工具来制作,可以自定义树干、树枝、树叶等属性,对一颗树的编辑可以精确到每根树枝和每片树叶,如图二所示。
2.4 水的制作
2.4.1 水面制作
水是流体,且有反射和折射的特性。在Unity 3D中C#程序结合材质可以制作出逼真的水面的效果。使用Unity引擎,产生水的原型,定义出水面是产生反射还是折射效果,或者没有任何效果;水面贴图纹理的尺寸设定;物体在水中的倒影显示效果;选定场景中的哪些物体产生反射和折射效果。代码如下:
再对水面添加纹理映射,使得水面看上去更真实。纹理映射技术自70年代中期Catmull首次采用以来,得到了广泛的研究和应用。根据纹理的表现形式,纹理可分为颜色纹理、几何纹理和过程纹理。颜色纹理指的是呈现在物体表面上的各种花纹、图案和文字等,如大理石墙面等。几何纹理是指基于景物表面微观几何形状的表面纹理,如岩石等表面凹凸不平的纹理细节。过程纹理则表现了各种规则或不规则的动态变化的自然景象,如水波、云彩等[2]。
在Unity 3D中,对水面设置着色器(Shader),定义出水波纹的大小;反射和折射扭曲程度;水波干涉效果;水波凹凸纹理;波速等参数,最终产生效果如图三所示。
2.4.2 瀑布制作
在制作火焰、瀑布等自然景观效果时应用粒子系统是最适合的。粒子系统是在1983年提出的迄今为止被认为模拟不规则模糊物体最为成功的一种图形生成算法[3]。其基本原理是采用大量的、具有一定属性的微小粒子图元作为基本元素来描述不规则的模糊物体。在粒子系统中,一般每一个粒子图元有:形状、大小、颜色、透明度、运动速度和运动方向、生命周期等属性,所有这些属性都是时间t的函数。随着虚拟世界时间的流逝,每个粒子都要在虚拟世界经历“产生”、“活动”和“消亡”三个阶段。
2.5 漫游效果制作
在Unity 3D中制作漫游很方便。先制作一个圆柱体替身(大概是一个成人的高度,也可以设置得高些),然后在替身上绑定摄像机,摄像机的位置设置在头部眼睛的位置,定好漫游视角。最后在替身上绑定语句:
运行程序后,用户可以使用键盘的上下左右键控制替身在场景中前后左右运动,通过“E”、“Q”键控制替身在场景上下飞行,通过鼠标控制替身视角。Unity 3D带有硬件控制接口,交互漫游也可以通过数据手套等输入设备进行控制。
3 结束语
本文通过对虚拟自然景观漫游技术进行研究,设计并实现通过使用Unity 3D制作虚拟自然景观漫游,描述了在自然景观中天空、地形地貌、树木花草、水等自然界常见事物的虚拟方法,为江西环鄱湖区域生态图形的传播开拓一个新的方向。
摘要：《鄱阳湖生态经济区规划》是新中国成立以来江西省第一个上升为国家战略的区域性发展规划。本文以《鄱湖生态图形文化与视觉传播设计研究》省级课题为平台,选取鄱湖自然景观风貌为切入点,介绍使用Unity 3D这款虚拟现实引擎制作自然景观漫游。
关键词：鄱阳湖生态,图形,虚拟漫游
参考文献
[1]周祖德,陈幼平.虚拟现实与虚拟制造[M].武汉:湖北科学技术出版社,2005.
[2]高志清.3DSMAX大型场景浏览动画制作经典范例[M].北京:中国水利水电出版社,2005.
【三维虚拟视觉】推荐阅读：
三维虚拟仿真系统06-06
三维虚拟投影系统05-21
虚拟三维空间数字技术06-27
三维视觉07-09
虚拟语气5--虚拟语气的其它表达形式08-15
三维平台05-15
三维策略05-29
三维广告05-30
三维人脸06-03
三维效果06-10