全景图像（共7篇）
全景图像 篇1
0 引言
无人机全景图像在应用中都需要对相关目标物进行标注,以达到在超大视野中快速查询目标物体的目的。无人机全景图与普通平面图不同,传统标注方法不再适用。本文采用射线拾取以及求交方法将计算机屏幕上的二维标注点精确标注在球面全景图的三维坐标上并进行标注渲染,使用球体外包装盒方法实现了无人机全景图片以球体形式展现给用户,该方法已研发成功并应用于相关领域。实践表明该方法标注精确度较高、操作简单,在相关领域发挥了重要作用。
1 无人机全景图像特征
1.1 无人机球面全景图像数据表达
球面全景图像是空间球面图像,球面上每一个位置都可表达为球坐标形式。对于球面全景图像来说,球面的半径可认为是一个常数,经常认为球面全景图像是半径为1的球体表面,所以球面像素的位置就由水平角和垂直角两个角度来表达。如果以水平角为横坐标、垂直角为纵坐标表达球面全景图像,则可将球面全景图像以平面形式重新表达,这种表达方式不会破坏像素间的相邻关系[1]。这样表达的球面全景图像水平角度为360°,垂直角度为180°,宽高比为2∶1。
全景图像由全景相机拍摄,360°的视角连续弯曲到平面图像上,x轴对应全景垂直方向角度,也可以称为全景图像的经线[2];y轴对应水平方向的角度,可以称为全景图像的纬线。
1.2 平面图像与球面图像变换
为了与球面全景图像区分,平面图像转换为球面图像后水平角度用α表示,垂直角度用β表示。
其中u0、v0表示图像的中心坐标,f为焦距。
将平面图像变换到球面如图1所示,其中球面的半径为1,是一个归一化后的单位球面[3]。根据公式可得到每个像素变换到球面后对应的角度。将平面图像进行球面变换后的结果如图1所示。
2 无人机全景图像标注算法设计
2.1 球体外包装盒的构造算法
为了图像显示更为逼真,本系统选择的外包装盒类似地球球体。OpenGL中所有的三维图像都由三角形构成[4],球体也由许多三角形构成。
对于球上任意一点P的坐标,可通过球形坐标来表示(用半径r、垂直角θ和水平角α来表示):
球的属性至少包括球心、球的半径、球体在水平方向的分块数目、球体在竖直方向的分块数目、球体网格顶点、球体网格中三角形索引。本系统通过定义索引来绘制三角形网格,在定义索引时按照先横向、后竖向原则循环。
2.2 射线拾取以及求交算法
OpenGL本身支持基于图像空间的拾取,这里指的是几何拾取,即由屏幕点击触发一条射线,然后和场景中的物体求交,进而得到交点。
OpenGL中的拾取是对OpenGL图形管线的应用[5],所以OpenGL中的拾取并不像D3D一样采用射线交叉测试来判断是否选中一个目标,而是在图形管线的投影变换(Projection Transformation)阶段利用拾取矩阵[2]来实现,如图2所示。
OpenGL利用投影变换中归一化视体操作来实现拾取操作。OpenGL会自动剪裁掉目标归一化视体之外的物体,如果把选择物体的方框转换为投影时的视体,OpenGL会自动将剩余的东西扔掉。OpenGL提供了选择模式glRenderMode(GL_SELECT),当进行拾取时,先进入这个模式,然后设定好选择框的大小,再为要选择的物体命名。接下来操作和投影变换就有异曲同工之妙:先把这个选择框归一化为边长为-1到1的正方体,然后移动到原点,最后放大到窗口大小(这时OpenGL把已选目标以外的东西剪裁掉了,如果这时要显示投影矩阵中的内容,就会只看到选择的东西,并且放大到和窗口一样大)。OpenGL会把选中的物体信息记录在一个叫做SelectBuffer的一维数组缓冲中,这个缓冲保存着名字栈中名字的个数,目标物体的最小最大深度值,也就是z的值,范围是0~1之间的值,也就是离视点最近的为0,最远的为1。SelectBuffer是个整型数组,所以保存的深度值是SelectBuffer乘以0xFFFFFFFF后的值。当然最重要的是储存了选择到的目标物体名字,这样,只要在程序中判断选择物体的名字,就可以判断是否选择到了要选择的目标物体。拾取过程如图3所示。
图3左边的正方体是已经归一化的视体,拾取时就在这个空间中进行操作。红色的小框是选择框,里面的红色就是选择到的物体一部分。要把这个小框转变为目标视体,目标物体才不会被OpenGL删除。首先,把选框移动到观察坐标系原点,接着,再进行归一化操作,这样,整个视体中就只有选中的目标物体了。图3(b)正方体展示了这个过程。目标视体外的东西已经被OpenGL删除了,选中的记录保存到SelectBuffer中。这些操作是在选择模式下完成的,因此看不到选择过程。如果非要将选择过程显示出来,就会看到图3(c)正方体的样子。在OpenGL中提供了这个设置拾取框函数:
其中x、y为鼠标点击到窗口上的横纵坐标,width和height分别是这个拾取框的长和宽,viewport是拾取框窗口大小。调用该函数后,OpenGL创建了一个拾取矩阵。
OpenGL的拾取过程就是利用图形管线中的投影变换实现拾取操作。系统中的拾取射线是球心在坐标系中的点发出的一条射线OA,OA与球会有一个交点B。因为图像附在这个球上,所以B也会在球上,由此实现三维图像的精确标注。
3 无人机全景图像标注系统设计
在设计无人机全景图像标注系统时,系统既要实现自身的特有功能,又能与其它侦察系统集成。因此,本文将系统自身的特有功能设计为可重用的功能模块,提供接口与外部系统进行连接,实现系统间信息交互。全景图像获取和显示流程为:1无人机全景图像获取;2无人机全景图像预处理;3浏览显示;4图像标记。
对该流程细化,根据各步骤设计功能模块。在无人机全景图像获取阶段,获取场景的不同造成全景图像数据描述属性值不同,为了通用性考虑,需要对全景图像数据属性值规范化描述。在全景数据应用阶段,根据不同应用功能具体划分应用模块。无人机的全景图像标注系统包括:无人机全景图像的外包装盒构建模块、无人机全景图像数据获取模块、无人机全景图像数据处理模块、无人机全景图像数据显示模块、无人机全景图像标注模块等。
4 系统运行
4.1 系统运行效果
图4为系统主界面。左上角为水平坡度仪,右上角为指南针,左下角为当前地图,中间图片为当前位置的全景图,下方为各个功能按钮,从左至右依次为:上下左右移动、缩小、放大、做标注、删标注、全屏、右自动旋转、左自动旋转、拼图以及导出flex文件。
图5是标注图,图6是标注后渲染效果。
4.2 系统优势
系统选择OpenGL进行渲染,相比于Direct3D更强大,支持更多平台,同时效率较高[6]。表1对比了当球体半径不同时,OpenGL与Direct3D渲染全景所需时间。
系统采用射线拾取及求交方法进行标注,理论交点与实际交点及误差如表2所示。
5 结语
本文在学习和借鉴国内外无人机全景图像标注技术和产品成果基础上,对全景图像标注技术作了深入研究,设计实现了无人机全景图像标注系统。具体研究内容包括以下两个方面:
(1)针对无人机全景图精确标注需求,提出射线拾取及求交方法,实验表明,该方法可以达到精度要求。利用OpenGL技术进行图形渲染,能满足效率要求。
(2)开发了无人机全景图像标注系统。介绍了系统框架结构和模块设计,展示了相关效果,验证了本文在全景标注和渲染过程中相关方法的正确性和可行性。
摘要：针对无人机全景图精确标注需求,分析了传统平面标注方法的局限性,从无人机全景图自身特点出发,提出了几点改进意见:1综合无人机全景图特征,使用球体包装盒将无人机全景图形象展现给用户;2考虑无人机全景图特征,将射线拾取及求交方法应用到标注中,达到精确标注;3使用OpenGL技术进行图形渲染,大幅度提高渲染效率。实验表明:上述改进适合对无人机全景图的标注。
关键词：无人机,全景图标注,OpenGL,图形渲染
参考文献
[1]CHEN YIGUO,PAN RIMING,SHEN SHEN.Design and realization of an image and GPS data acquisition system for UAV[J].Microcomputer&Its Applications,2012(1):40-42.
[2]邓廷起.无人机空中三角测量研究与应用[D].武汉:武汉大学,2011.
[3]邱起荣.矩阵论与数值分析[M].北京:清华大学出版社,2013.
[4]赖特.OpenGL超级宝典[M].张琪,付飞,译.北京:人民邮电出版社,2010.
[5]MARK J KILGARD.The OpenGL utility toolkit programming interface[EB/OL].Http://www.opengl.org.
[6]BRODTKORB A R,HAGEN T R,SAETRA M L.Graphics processing unit programming strategies and trends in GPU computing[J].Journal of Parallel and Distributed Computing,2013,73(1):4-13.
[7]NEHE.Blending[EB/OL].http://nehe.gamedev.net/data/lessons/lesson.aspolesson=08.
[8]SHAH R,NARAYANAN PJ.Interactive video manipulation using object trajectories and scene backgrounds[J].IEEE trans on circuits and systems for video technology,2013,23(9):1565-1576.
[9]MA CX,LIU YJ,FU QF,et al.Video sketch summarization interaction and cognition analysis[J].Science China Information Sciences,2013,43(8):1012-1023.
[10]GKATZOFLIAS D,MELLIOS G,SAMARAS Z.Development of a web GIS application for emissions inventory spatial allocation based on open source software tools[J].Computers&Geosciences,2013(52):21-33.
全景图像 篇2
1 全景漫游制作所需的设备及软件
由于鱼眼镜头可拍摄180°甚至大于180°的景物, 只要按相反方向拍摄两幅照片, 即可拼接全景, 因而节省了时间[7]。笔者此次制作全景漫游选择的硬件设备主要有单反数码相机、鱼眼镜头、全景云台 (配备水平气泡仪) 、三脚架;软件为Panorama Tools, Pano2VR, Photoshop。
2 全景漫游的制作过程
一般分为三步———用鱼眼镜头拍摄建筑图像, 然后用Panorama Tools软件拼接全景图, 最后通过Pano2VR软件制作360°全景漫游。下面以文澜阁为例详解。
2.1 图像采集
1) 设备组装。一般对拍摄点处进行图像的采集, 首先找到一点 (中心点) , 也就是摆放三脚架的中心位置, 同时调整好三脚架, 然后再安装上全景云台以及将相机固定在云台上, 最后调整三脚架的各脚架高低 (水平调试) , 直至云台上的水平气泡仪中的气泡处于气泡仪的中间, 即设备整体处于水平状态。2) 图像拍摄。前期拍摄是整个制作过程中最为关键的一步, 拍摄图像的质量会严重影响后期图像处理的工作量和漫游效果的好坏。注意, 开始拍摄时先将相机调成自动模式, 然后对各个角度 (一般以90°为一个基准) 进行试拍, 对各参数 (光圈、曝光度……) 下各角度不同的场景效果进行分析与计算, 从而得出一个相对参数, 保证此场景中不同角度的效果处于一个相对平衡协调状态, 然后将相机设置成手动模式, 固定参数不变来对同一场景的不同角度进行采集拍摄, 完成每组四张图像, 见图1。
2.2 图像拼接
1) 加载图像。安装好Panorama Tools软件, 然后双击打开, 进入软件界面, 将拍摄的四张图像进行预处理[8], 然后单击界面中“加载图像”字样, 将同一个拍摄景点的四张照片依次勾选加载到界面当中。此处注意:一般将每张照片旋转至同一方向 (一般全部正方向) , 再勾选自动 (使用来自相机的EXIF数据) 。2) 对准图像。图像加载完成后, 单击对齐图像, 先自动进行控制点的调试, 合成的全景图效果如有扭曲等问题, 再在弹出的窗口中对全景图的水平、弧度、中轴线、控制点、曝光度等进行调整设置, 找到合适的控制点而成功拼接全景图, 见图2。3) 创建全景图。完成加载图像和对准图像后, 单击创建全景图。本软件能自动生成给定视角的全景图, 并采用其内部自定的算法, 自动完成场景的实现[9]。
2.3 全景漫游的输出
安装好Pano2VR后双击打开, 在界面中点击选择输入, 将已合成好的全景图导入到界面。
由于拍摄角度错位导致合成的全景漫游可能在天空或地面存在“黑洞”, 为了使效果更加逼真需要用Photoshop来补上地面“黑洞”, 方法如下 (天洞方法相同) :点击“转换输入的图片”, 在弹出的窗口中将类型改为选择“立方体面片”类型 (默认“垂直图片条”) , 然后格式选择TIFF (.tif) 格式, 默认路径, 然后点击转换, 如图3所示。注意, 此时Pano2VR软件不需要关闭。
转换完, 去设置的路径文件夹下用Photoshop打开“文澜阁cub.5”文件, 即地面有“黑洞”的图片。在Photoshop中用污点修复画笔工具进行修补或用logo遮住。修补完成后直接保存关闭 (注:不用另存为) 。返回Pano2VR界面, 点击“打补丁”, 在跳出的界面中点击增加, 参数设置都不用变, 将Photoshop修改过的图片在文件地址打开, 然后将位置根据该图片在全景图中的视觉选择好合适的角度。最后点击确定, 在弹出的是否更新补丁图片再按“是”, 则完成黑洞的修补, 如图4所示。
接着, 在Pano2VR界面根据拥有的素材可以进行交互热点的设置和音频的输入, 使生成的全景漫游能播放音乐以及相应点的文字介绍, 提供更丰富的观赏体验。
完成以上设置后, 将新输出格式选为“Flash”, 然后点击增加, 在弹出的新窗口中根据个人的喜好, 对设定、视觉效果、高级设置、多重分辨率渐进游览、HTML参数进行修改, 然后选择输出路径点击确定, 完成全景漫游的制作。
3 制作过程中的注意事项
1) 三脚架的位置一般选择周围景观的中心, 这样有利于焦距的控制与选择, 避免景深的不同而导致焦距选择不同。2) 由于鱼眼镜头存在着桶形畸变, 景物越在镜头中心变形越小。因此, 一般在拍摄时使镜头中心对准目标景物, 防止变形过大。3) 上述设备整体水平指相机镜头随着全景云台的转动, 视角高度在同一水平高度上。4) 当拍摄的图像因为景物扭曲而无法合成全景图时, 可使拍摄点往后移, 增大拍摄距离, 减小扭曲变形。5) 一般合成一张完整的全景图以3张~6张照片为宜, 通过全景云台来控制转动的角度。并要求保证每两张相邻照片之间的重合度在15%以上。6) 同一场景中鱼眼镜头的设置参数均应相同, 视点不能移动[10]。每当换一个场景, 参数设置要重新调整。7) 拍摄时, 鱼眼镜头最好上仰5°左右, 以完全覆盖天顶部分, 避免出现天洞。8) 由于拍摄问题导致合全景图时发生扭曲或合成失败时, 可手动设置多个控制点, 提高全景图合成成功概率。9) 在软件Pano2VR中可以选择不同的输出格式, 一般默认“Flash”格式。
4 结语
重新认识现存藏书楼建筑作为不可再生的人类文化遗产的重要历史和学术价值, 运用先进技术对这些建筑遗产进行记录, 对其构成、现状以及使用情况等信息全面认真采集、分析、研究和评估。这项工作是藏书楼建筑遗产保护、研究、宣传和公众教育的基石, 对于我省乃至我国建筑遗产保护事业具有很强的现实意义。全景漫游技术能较真实地保存建筑现状信息, 也便于网络传播和跨地域展示, 为藏书楼等古建筑的保护研究提供了一种新媒介。
摘要：介绍了文澜阁全景漫游制作所需要的设备和软件, 着重对图像采集、图像拼接、全景漫游输出等制作过程进行了详细解说, 并总结了一些使用技巧, 以解决藏书楼保护问题。
关键词：全景漫游,鱼眼镜头,Panorama Tools,Pano2VR,藏书楼
参考文献
[1]李德仁.虚拟现实技术在文化遗产保护中的应用[J].云南师范大学学报 (哲学社会科学版) , 2008 (4) :1-7.
[2]黄建国, 高跃新.中国古代藏书楼研究[M].北京:中华书局, 1999:343-352.
[3]胡伟爔, 潘志庚, 刘喜作, 等.虚拟世界自然文化遗产保护关键技术概述[J].系统仿真学报, 2003 (3) :56-58.
[4]漆驰, 郑国勤, 孙家广.一个基于全景图的虚拟环境漫游系统[J].计算机工程与应用, 2001 (15) :138-141.
[5]叶萍萍, 罗宏.基于PTGui Pro、Pano2VR的三维全景图制作方法与应用[J].城市勘测, 2012 (4) :66-69.
[6]全政环.360°全景技术的应用和发展历程[J].电脑知识与技术, 2010 (3) :713-715.
[7]汪嘉业, 杨兴强, 张彩明.基于鱼眼镜头拍摄的图像生成漫游模型[J].系统仿真学报, 2001 (S2) :66-68.
[8]杨琳, 赵建民, 朱信忠, 等.虚拟校园三维全景漫游技术研究[J].计算机工程与科学, 2007 (10) :26-28.
[9]韦群, 张永明.基于图像的图形绘制技术的应用[J].计算机应用与软件, 2002 (9) :32-34.
全景图像 篇3
关键词：全景图像,缝合技术,Ptgui
一、全景图像概述
全景图像的英文panorama, 是从希腊语πᾶν和ὅραμα发展而来, 英文直译为all和sight, 是指任何大视角表现现实空间的图像, 十八世纪爱尔兰画家Robert Barker在表述他在爱丁堡和伦敦所作的全景画作时, 第一次用到了panorama这个词。事实上, 在panorama这个词出现之前, 使用全景表现空间场景的画作早就诞生了, 我国北宋画家张择端的《清明上河图》, 采用散点透视构图法, 将北宋徽宗时代首都汴京 (今河南开封) 郊区和城内汴河两岸的建筑及生活场景, 展现在长528.7cm, 宽24.8cm的平面上, 这是人类历史上利用全景展现空间场景的最早尝试之一。西方的全景绘画起源于18世纪, panorama这个词也诞生于那个时期, 到19世纪时盛极一时, 西方的全景绘画一般版面很大, 很多作品长度都在100米以上, 必须在专门的圆柱形展览馆内向人们展示。
全景图像的缝合指的是利用摄影机平移旋转或多部摄影机多角度拍摄得到的具有部分重叠信息的图像样本, 生成一个具有较大视场角的全景图像。即用摄影机对场景一定范围内进行全方位的图像采集, 然后再由缝合软件对局部图像进行拼接, 生成包含这组局部图像全部信息的新视图。最终生成的全景图像按照显示方式 (即投影方式) 的不同, 主要分为柱面、球面、立方体等几种, 其中在虚拟电影的应用方面, 通常以柱面和球面为最为普遍的投影方式。
二、全景图像缝合软件与缝合原理:
在全景图像的缝合中, 我们所依据的是图像序列中相邻两幅图像的重叠区域的相似性, 有基于特征的缝合方法和基于相位相关的缝合方法等, 两种方法的算法和原理都不相同。基于特征的缝合方法主要从两幅图像中选择一系列特征点, 然后根据相似性原则进行图像间的特征匹配。而基于相位相关的缝合方法是直接从图像重叠区域对应像素灰度值出发考虑, 利用所有可利用的数据实现精确的匹配。
从全景图像的素材拍摄完成, 到最后的全景图像的生成, 就是全景拍摄的后期工作, 即全景图像的缝合过程。全景图像的缝合工作主要目的是如何以效率更高、速度更快、质量更高的方式将拍摄的全景素材, 即同一场景不同角度的图像拼合成一张视角更广的完整的全景图像。在实际应用中有很多软件可以实现从全景素材的导入、生成、编辑到最终全景图像的输出这一完整的后期流程。比如PTGui Pro、Kolor Autopano、Pixtra Pano Stitcher、Pano2QTVR、Panorama Studio、Image Composite Editor等。其中PTGui Pro是一款开源的全景图像缝合软件, 从1996年诞生以来不断的更新升级, 现在已经可以实现对全景图像的畸变校正, 视点调整, 标记点编辑, 曝光调整, 图像优化等操作, 通过参数的调整弥补拍摄过程的操作不当对全景图质量带来的影响。
三、全景图像的缝合流程:
全景图像的缝合, 归结为两点, 归根结底需要解决两个问题, 一个是全景素材的对齐, 二是全景素材的融合。在PTGui中, 从全景图像素材的导入, 到最终全景图像的生成, 需要以此经过镜头参数的设置、投影方式的选择、特征点的寻找和标记、图像的融合、和全景图像的生成等步骤, 下面将以PTGui为例, 详细讲述全景图像的缝合流程。
1.镜头参数的设置
在图像导入PTGui后, 首先需要进行的是镜头参数的设置, 在镜头参数设置中, 包含了镜头类型、镜头焦距、焦距乘数、水平视场的参数调节, 在高级选项中, 提供了镜头校正参数、图像位移和图像修剪的参数调节。其中大多数设置由PTGui自动确定。
要创建一个无缝的全景图, 源图像需要被重新映射 (也称为扭曲) 。这可以看作是一个透视变换:源图像的透视变换成所生成的全景的角度。对于实现一个正确的变换, PTGui需要知道拍摄全景图像使用何种镜头。其中, 镜头的类型和他的视场角是两个关键参数。
2.投影方式的选择
全景图像是对场景的一种平面展示, 换言之, 是将三维的环境投射到一个二维的表面上, 称之为投影, PTGui提供了多种可选择的投影方式, 不存在一种完美的投影方式, 每种投影方式都具有其特有的优势和局限, 用户需根据自己的需求选择合适的投影方式。
3.特征点的寻找和标记
特征点的寻找和标记是图像缝合中最为关键的一步, 通过寻找图像的特征点, 我们可以大致确定相邻两幅图像的重合区域, 并通过重合区域的特征点对相邻图像进行配准。全景图像的缝合质量主要依赖于图像间配准的精确程度, 在PTGui中, 图像配准的算法是基于特征点匹配算法, 其工作流程为:1.提取所有原始全景素材图像的特征点。2.根据特征点对相邻图像进行图像匹配。3.计算图像变换关系。4.对图像进行几何变换。5.缝合两幅图像。
4.图像的融合
当对所有特征点进行标记之后, 事实上此时多个全景图像素材已经拼合成一幅完整的全景图像了, 对于无视差现象的全景图像, 标记点在没有出现明显精度误差的情况下是不会出现图像的错位的, 但是假如图像间存在曝光差异, 图像间会出现由于曝光不同产生的接缝, 图像的融合就是利用算法对图像间重合部分进行曝光过渡, 消除接缝。
5.全景图像的输出
PTGui通过创建全景图面板完成全景图像啊的输出, 在创建全景图像面板下, 分为普通和高级两种选项, 在普通选项中, 我们可以对全景图像完成基本的设置, 分别是全景图像分辨率、输出文件格式、图层和输出路径。
四、结语
在电影虚拟场景的搭建中, 我们希望尽最大可能提高虚拟场景的真实性, 真实度越高的虚拟场景, 越可以使观众获得更高的沉浸感, 而使用全景图像作为虚拟场景中的背景可以克服三维模型方法带来的缺陷, 由于全景图像具有真实度高、复杂度低等优势, 所以目前基于全景图像的缝合技术构建的虚拟场景被应用于电影工业中, 随着电影工业越来越成熟, 全景图像的在影视中的应用也会越来越广泛。
参考文献
[1]漆驰, 刘强, 孙家广.摄像机图像序列的全景图拼接[J].计算机辅助设计与图像学学报, 2001, 13 (7) :605-609.
[2]杨燕, 王雪瑞, 戴青, 等.球面全景图像生成技术的研究[J].计算机应用与软件, 2007, 24 (10) :164-165.
全景图像 篇4
1 资料与方法
1.1 实验设备及材料
Kodak 2100 (Kodak公司, 美国) , Kodak Dental Imaging Sorftware 3D module v2.4软件 (Kodak公司, 美国) , Kodak8000配备激光打印设备, 富士DV4000激光相机。
1.2 标本来源及选择标准
累积自2007年至今就诊于我院的6000例患者, 年龄5~80岁, 男3870例, 女2130例, 15岁以下3312例。
1.3 方法
了解正确的曲面断层摄取患者的体位摆放, 取得准确的图像尤为关键:
1) 患者直立面对机架, 颏部轻轻回收。
2) 使患者的正中矢状线与机架中垂直定位灯重叠。
3) 保证患者的听眶线与地面平行。
4) 嘱患者以正中咬合位咬住牙托中的相对应的凹槽部位。
5) 调整头架固定患者的头部, 叮嘱患者双手扶住机架的把手处, 颈部不要前倾。完成摄取摆放, 摄取正确的曲面断层。
正常曲面断层的影像的四个基本条件显示[2] (见图1)
a、正中矢状线
b、微笑的咬合曲线
c、两侧髁突应在同一水平
d、臼齿显示是正常的
2 结果
了解了正确的曲面断层的摄取及影像的准确显示, 以下为经常出现的错误图片大体为11种, 特殊患者 (如:重症、面部畸形、重或轻微躁动、全口无牙或缺失上下中切牙等患者) 出现的特殊影像效果不含在其中[3,4]。
2.1 过后咬合
此类出现的主要原因, 在于为患者摆放体位时, 患者的咬合位置未准确的放入牙托的凹槽内, 只是咬到牙托的边缘, 致使患者抬头, 使得拍摄胶片的颌骨影像过大或包括不全, 牙齿显示不清或放大。不符合正常曲面断层的影像的四个基本条件显示中b和d (见图2) , 造成正中咬颌区的影像密度过高, 严重影像此部位的正常诊断。
2.2 过前咬合
此类出现的主要原因, 在于为患者摆放体位时, 患者的咬合位置未准确的放入牙托的凹槽内, 患者上下颌的中切牙过深的咬住牙托, 致使患者头部前倾, 使得拍摄胶片的颌骨影像过小, 颌骨变形, 牙齿的显示不清或缩小。不符合正常曲面断层的影像的四个基本条件显示中b和d (见图3) , 造成患者的颌骨与实际颌骨大小形态不符合, 牙列形成拥挤, 切正中咬颌位显示密度过高, 影像不清。
2.3 患者低头
此类出现的主要原因, 在于为患者摆放体位时, 患者的听眶线未与地面平行, 形成向下的负角度 (仰角为正、俯角为负) , 使得拍摄的影像与过前咬合相似。不符合正常曲面断层的影像的四个基本条件显示中b和d (见图4) , 造成患者的下颌骨的严重变形, 比实际颌骨显示偏大, 对于测量使用严重失实, 不利于正常的诊断。
2.4 患者抬头
此类出现的主要原因, 在于为患者摆放体位时, 患者的听眶线未与地面平行, 形成向上的正角度, 使得拍摄的影像中咬合曲面变直或形成波浪型曲线。不符合正常曲面断层的影像的四个基本条件显示中b和d (见图5) , 造成患者上颌骨与实际颌骨情况严重不符, 牙列的排列间隙变大, 上颌骨上下宽度变窄, 对于种植、正畸的牙根部长度, 颌骨宽度的测量严重失实。
2.5 患者歪头
此类出现的主要原因, 在于为患者摆放体位时, 患者的正中矢状线未与机架中垂直定位灯的定位线形成角度, 使得拍摄的影像中两侧颌骨显示不对称, 一侧放大, 另一侧缩小, 牙齿的显示不清。不符合正常曲面断层的影像的四个基本条件显示中a、b、c和d (见图6) , 由于不对称影像的产生, 使得此次拍摄失去了临床准确诊断的意义。
2.6 患者站立不稳
此类出现的原因, 多在于患者在拍摄的过程中晃动或摆位时间过长造成患者站立不适, 使得拍摄的影像中可以清晰的看到磨牙区、臼齿区的冠侧出现影像重叠或不清晰。不符合正常曲面断层的影像的四个基本条件显示中d (见图7) , 且此影像极易对临床的诊断行程误导, 使得牙冠及牙列间难以区分清晰。
2.7 患者颈部前倾
此类出现的主要原因, 在于摆放体位时, 未注意患者的颈部是否为挺直, 由于颈部的前倾造成拍摄的影像中清晰的显示了颈椎的影像, 使得上下中、侧切牙影像与颈椎重叠, 无法清晰显示 (见图8) 。由于正中咬颌位重叠影像的产生, 对此部位的病变难以区分, 造成影像摄取失去临床应用的意义。
2.8 患者转头
此类出现的主要原因, 在于为患者摆放体位时, 患者的正中矢状线未与机架中垂直定位灯重叠, 使得拍摄的影像两侧颌骨不对称, 磨牙区牙齿显示一侧明显放大。不符合正常曲面断层的影像的四个基本条件显示中a (见图9) 。极易造成对临床医生的严重误导, 且与患者的实际情况不符。
2.9 曝光不够
此类错误尤为常见, 顾名思义在摄取时曝光条件不足所造成影像不清晰灰度值过大 (见图10) 。造成摄取的影像密度过高, 使得正常组织与病变部位难以完好体现, 故失去了临床诊断的意义。
2.1 0 曝光过度
此类错误同样尤为常见, 原因与第九条正好相反 (见图11) 。造成摄取的影像密度过低, 使得细微的病变难以得到完全的显示, 且患者将承受过度的曝光, 既不符合正确X线使用的操作, 也不符合临床诊断的需要。
2.1 1 上颌气道的产生
此类出现的只要原因, 患者在拍摄时出于习惯、紧张或条件发射, 舌尖没有顶住上鄂部, 拍摄时大型气道阴影直接出现在上颌牙的根部, 形成如图所示的低密度带状影像 (见图12) 。极易对造成临床诊断上的误导, 且由于行程的气道影像所涉及的面积过大, 会使得下颌骨的两侧 (尤其下颌角部位) 密度过低, 压盖病变部位, 造成诊断上的不确定因素。
3 讨论
综上所述, 经过我院6000例患者, 历时6年全口曲面断层的拍摄以及临床的反馈的意见, 总结出这11类经常出现的错误拍摄。由于错误的全口曲面断层的拍摄造成很多与患者实际情况不符, 如:拍摄的牙列拥挤、牙齿及颌骨的严重变形、病变部位不清晰、X线应用的不正当性等, 对临床的最终诊断造成困难, 故提出此次错误图像的解析供临床及放射技术人员参考与了解。
关键词：曲面断层,条件
参考文献
[1]宿玉成.现代口腔种植学[M].北京:人民卫生出版社, 2004, 10-13
[2]黄蓄.实用口腔颌面X线诊断学[M].上海:上海医科大学出版社, 1996, 5-7, 140-141
[3]董海斌.西门子全景曲面断层机的故障维修[J].现代医学仪器与应用, 1997, (2) :37
全景图像 篇5
关键词：全景环形透镜,坐标变换,边缘检测,三次卷积插值
传统的光学系统遵循中心投影法(central convergence perspective,CCP)，为了获得360°的全景成像，需要一个无限大的像平面，而这实际上是不可能的。为了保证360°的视场，传统方法是在成像系统中安放扫描器件，然后进行图像的拼接，得到全景360°的图像。但是这种方法的缺陷也是非常明显的，就是无法在同一时刻观察到整个视场的成像，只能按照扫描顺序逐一观察小视场成像，且图像拼接处理量十分大。为了克服CCP的缺点，人们提出了平面圆柱投影法(flat cylinder perspective,FCP)，并以此为基础设计出了PAL镜头，即全景环形透镜[1]，此光学系统可实现无扫描器件的实时360°全景成像，在内窥、机器人视觉和虚拟现实方面有着极大的应用价值。
1 PAL成像特性
全景环形透镜(PAL)是基于FCP透视法的一种光学镜头，即把围绕光学系统光轴360°范围的圆柱视场投影到二维平面的一个环形区域，如图1所示。能够成像部分是α角的两条边绕轴旋转360°后得到的区域，像面上每一个同心圆是与轴成同一角度的点的轨迹。透镜产生的环形图像的高度对应于侧向视场的范围。2β角所代表的区域为盲区。成像在PAL内部为环形虚像，再由后继透镜将像拉出，构成全景环形成像系统。
PAL的结构如图2所示，其中1和3为反射面，2和4为折射面，L为转向透镜，使PAL成像在CCD传感器上。该系统沿光轴方向的视场角范围为(-α1，α2)，α1为视场角的下限，α2为视场角的上限。
2 环形图像的处理
为了便于人们观察和测量，需要将环形图像线性化处理，也就是将环形图像展成矩形图像。由于环形图像外圆周具有最高分辨率，为了以最高分辨率为基准将全景图像展开，展开时沿其外圆周展开，内圆的分辨率和最高分辨率保持一致。环形图像的展开可以分成以下两步:
(1)切线方向线性化，即保持内外最大尺度不变，将环形图像展开为矩形图像;
(2)径向方向线性化，展开的图像需要在径向进行拉伸，满足径向无畸变的需求。
2.1 图像坐标变换
将环形图像看作是矩形图像的一种几何畸变，由于任何一种几何失真都可以描述成原始图像坐标和畸变图像坐标之间的关系，所以可采用坐标变换对目标像进行处理，以恢复原图像[2,3]。
这里用的映射方法是将环形象沿其内圆周开始展开，逐渐增加半径直到外圆周。展开后的图像长度为外圆周长，宽度为内外半径差。建立坐标系如图3所示，设P(x,y)为展开后图像的任意一点，P'(x'，y')为相对应的环形图像中的点，将P'用极坐标表示，则有
式(1)中O(xo,yo)为同心圆圆心，ρ为P'到O的距离称为径向长度，θ为OP与轴的夹角称为径向角。
设环形图像初始展开角度为0，径向长度为内径r，对应矩形图像的点A(xA,yA)，则有
将式(2)代入式(1)得到
(a)环形区域;(b)矩形区域
至此，便完成了矩形图像中的点P(x,y)和对应的环形图像中的点P(x'，y')之间的坐标变换。
2.2 插值处理
环形图像经坐标位置变换展开后，在矩形图像中各像点的亮度值应等于环形图像对应点的亮度值，但校正后的像点往往不落在坐标点上，所以经常需要在数字图像的各像素阵列中计算一个不在阵列位置上的新像素的灰度值，这就需要根据它周围原像素的灰度按一定的权函数内插得出。数字图像处理中常采用三种内插算法:最近邻点法、双线性内插法[4]、三次卷积法。最近邻点法是最简单的方法，而三次卷积法是效果最好的插值方法，同时也是数据计算量最大的插值方法。为了减少数据计算量，根据三次卷积的衰减特点提出了最优参数的三次卷积核函数。
数字图像处理中使用的三次卷积插值核函数表达式为[5]:
其中参数a控制样条函数的衰减速率。二维图像空间的三次样条插值插值可以使用未知值每边的4个点，即水平和垂直方向的全部16个网点[6]。如图4所示。
设二维光学图像所有像素点为f(x,y)，则重建信号的插值公式为:
由于PAL图像复原中存在仿射变化，必须对插值后的图像进行失真度评价，均方误差(MSE)是有效的方法。根据式(5)画出参数a与均方误差的关系曲线[7]如图5。
从图5可以看出，当a=0时，MSE达到最小值，而且式(4)第二项变为0，使得三次卷积插值的计算量大大降低。
基于以上分析，为了获取较好的图像质量，并保证处理速度，提出了基于边缘检测和最优参数的插值复原方法，在进行插值之前首先使用canny算子来判断此点是否为孤立边缘点或联通域内的点，若是则采用最优参数的三次卷积插值，其余采用双线性插值，这样既保证了图像的质量，处理速度也得到了保证。
3 实验结果
为了直观的对比不同方法的转换结果，采用了由方块、方格和同心圆组成的测试图，图6(b)为采用双线性插值复原，图6(c)为本文复原方法的测试结果。以上两种方法以及全使用三次卷积插值的时间见表1。
从测试图结果可以看出，只用双线性插值复原时，由于未考虑到邻点间灰度值变化率的影响，使得展开后的图像高频分量受到损失，图像的轮廓变得比较模糊，如图(6.b)所示。采用本文方法时，由于三次卷积插值较好保留了图像的高频成分，图像连续，轮廓比较清晰，如图(6.c)所示。从表1可以看出，本文方法在时间上比三次卷积插值复原缩减了40%左右，为数据计算量较大的高分辨率全景图像提供了一种综合效果较好的复原方法。
4 结论
全景环形透镜(PAL)独特的成像性能，使得PAL系统具有一个突出的特点即没有活动部件，能同时观察透镜周围的像。由于PAL所成的环形图像不便于人眼观察和测量且有畸变失真，本文首先利用图像坐标变换，对环形象进行线性化处理，使之转换为适合人眼视觉的矩形图像，然后结合边缘提取和最优参数的三次卷积插值函数对转换后的图像进行重构，使展开后的矩形图像保持了较高的分辨率和清晰度的同时大大减少了运算时间。
参考文献
[1]程惠全,姚炜勇,杨国光,等.全景环形成像的转像系统设计.光电工程,2002;29(2);16—19
[2]朱方明,杨国光,姚炜勇,等.全景环形透镜环形象的线性化研究.光子学报,2001;30(5):590—593
[3]姚炜勇,程惠全,朱方明,等.半球全景成像系统中的非线性映射研究.光电工程,2001;28(5):31—35
[4]Sun MicrosystemsI,nc.JDKTM 5.0 Documentation.http://Java.Sun.com/j2se/1.5.0/docs/index.html,2004
[5]Rifman S S.Digital rectification of ERTS multispectral imagery.ProcSymp Significant Results Obtained from ERTS-1,NASA SP-327,Section B:1973:1131—1142
[6]李清,侯永军,沈春林.数字地形学数据的二维三次卷积插值.南京航空航天大学学报1,997;29(4):378—283
全景图像 篇6
全景视觉系统是由一个曲面反射镜和一个摄像头组成的折反射系统,具有大视场、结构简单、光能损失低、系统设计柔性好等优点,以及接近一个球面的全景视场信息观察能力,已经在机器人导航[1,2]、视频会议[3,4]、视频监控[5,6]、虚拟现实[7]等众多领域得到广泛应用。近年来,随着机器视觉、虚拟现实等学科的飞速发展,基于全景视觉的全方位图像解算[8,9]、运动目标的检测与跟踪[10]、三维重建和超分辨力重建等技术也逐渐受到了国内外学者广泛关注,成为数字图像处理研究领域的一个新方向。
然而,全景视觉系统的成像原理造成全方位图像发生畸变,这不但严重影响了图像质量,而且不符合人眼的观察习惯,无法满足图像处理的基本要求,故在实际应用时需将全方位图像解算为无畸变的图像。全方位图像解算是对全方位图像进行几何变换,包含两个独立的算法,一个算法是定义空间变换,有前向映射和后向映射[11]两种方式;另一个算法是插值,常见的图像插值算法有最近邻插值、双线性插值、Sinc函数等[12]。目前已有的解算方法[13]在空间变换时多采用后向映射方式,然后在全方位图像中插值来估计解算图像的灰度值。然而,一个不能忽略的问题是该方法在插值之前并没有消除全方位图像的非线性畸变,导致待插值像素邻域像素空间位置关系的非线性畸变被带入到插值算法中,这显然影响了插值精度和解算图像的保真度。
本文提出了一种基于前向映射的全方位图像解算改进方法,空间变换上采用了前向映射的变换方法,在插值之前首先消除了全方位图像的非线性畸变,避免了在畸变的图像中直接插值引起的图像解算失真,保证了插值的精度。插值上采用了改进的Shepard散乱数据插值法[14],该方法可用于从大量非采样点处的散乱数据中重建采样点处近似值的插值方法,恰好适用于本文的解算方法,利用观察平面上散乱不均匀分布的像素重建完整的解算图像,同时提高了解算图像的平滑性。
论文分为六个部分,第一部分介绍折反射全景视觉成像原理与全方位图像非线性畸变的原因;第二部分指出后向映射解算方法中图像插值存在的问题;第三部分介绍改进的Shepard散乱数据插值算法;第四部分给出基于前向映射全方位图像局部透视解算算法流程;第五部分是实验结果与分析,最后是本文的结论。
1 全方位图像发生非线性畸变的原因
本论文研究的是折反射全景视觉成像系统,折反射的非线性特性是全方位图像发生畸变的根源。这部分主要阐述折反射全景视觉成像原理及其透视解算原理,说明全方位图像发生畸变机理。
1.1 折反射全景视觉成像原理
折反射全景视觉传感器曲面反射镜、摄像头及两者的支撑结构组成。入射光线经双曲面反射镜的反射后在CCD平面上成像,而像点与物点的映射关系是非线性的,因此全方位图像存在非线性畸变。摄像头透视中心置于双曲面反射镜的焦点F,则会聚于另一焦点F′的光线经双曲面反射后必会聚于摄像头透视中心。由于成像系统以光轴旋转对称,故我们取光轴和入射光线所在的平面进行成像原理分析,在该平面上建立以F′为原点的平面直角坐标系F′TZ,如图1所示,双曲面反射镜的面形公式为
通过极坐标变换,t=Rcosθ,z=Rsinθ,得双曲面反射镜的面形:
入射光线PP′的俯仰角β,由式(1)得到该光线与双曲面的交点P′的坐标。又摄像头投影中心F的坐标为(0,-2c),设反射光线P′Q与Z负方向的夹角为γ则:
在实际像平面内,光线的落点为Q,透镜的焦距为f,则Q到像平面中心的距离为:tq=ftanγ。
在空间中,入射光线和反射光线具有相同的方位角α,如图2所示,设光线落点Q的坐标为(qx,qy),则,qx=tqcosα,qy=tqsinα。
1.2 局部透视解算原理
所谓局部透视解算,即以双曲面上焦点为观察点,选定一个观察角(α,β,ϕv,ϕh),将以该视角可观察到的非失真图像切片投影到一个距观察点为d的虚拟观察平面上。如图3所示,α∈[0°,360°)为水平向方位角,β为垂直向俯仰角,ϕh,ϕv分别为水平、垂直向的视场角。
不失一般性,不妨选基坐标系oxyz原点为观察点,观察角向量vi通过虚拟观察平面o′x′y′坐标原点,且vi⊥o′x′y′。设实际像点在o′x′y′上的投影点为P,P点矢量为vi1,vs1为P点在o′x′y′上的向量,设P在坐标系o′x′y′z′下的齐次坐标为(px′,py′,0,1),在基坐标系下的坐标为(px,py,pz,1),则两者有如下的坐标变换关系:
各转换矩阵为
结合投影公式,得:
当虚拟像面为圆柱面且圆柱对称轴为成像系统的对称轴时,可得到柱面解算图像,解算方法不再赘述。
2 后向映射解算方法中图像插值存在的问题
前一部分中式(3)、(4)分别为实际像平面与虚拟观察平面的前向空间变换和后向映射空间变换。如图4所示,前向映射:从全方位图像上的像点Q出发,由式(3)计算透视图像上的像点P坐标,然后将Q的灰度值赋给P;后向映射:从P点出发,由式(4)计算Q点坐标,然后将Q的灰度值赋给P。解算包含两个算法,一个是定义空间变换,另一个是插值。若采用后向映射,经空间变换后所得的坐标为浮点型,需在全方位图像中利用图像插值算法得到待插值点的灰度值。全景成像导致全方位图像存在非线性畸变,这种做法会将待插值像素邻域像素的空间距离非线性畸变带入到插值算法中,显然影响了图像的解算精度。反之若采用前向映射,是在无畸变的透视图像中在浮点像素处插值,避免了上述问题。
以最邻近插值为例,最邻近插值是用距待插值点最近的像素的灰度值作为它的灰度。如图5所示,图5(a)为原始图像,像素1∼4为像素0邻域的四个像素,灰度值为f1∼f4,距离0点的欧式距离为d1∼d4,图5(b)为图5(a)非线性变换后的图像,像素0∼4变换到0′∼4′五个新位置,像素1∼4灰度值仍为f1∼f4,,距离0′点的欧式距离为d1′∼d4′。在原始图像中插值:min{d1,d2,d3,d4}=d4,f0=f4;然而在畸变图像中插值:min{d1,d2,d3,d4}=d2,f0=f2。
3 改进的Shepard散乱数据插值算法
正向映射到虚拟观察平面上的像素呈散乱不均匀分布,需要有一种能够从大量非采样点处的散乱数据中重建采样点处近似值的插值方法,因此本文采用改进的Shepard散乱数据插值算法,恢复完整的解算图像。算法主旨是根据给定的N个散乱数据点(采样点)(xi,yi,fi),i=1,…,N。定义一个平滑的双变量插值曲面S,曲面特性为S(xi,yi)=fi。插值算法为每一个采样点建立一个节点方程Qk(x,y),再根据节点方程计算插值曲面上栅格点处的值,如图6所示,算法步骤如下:
步骤1:计算影响半径Rq和Rw,其中Rq为用于构造节点方程的数据点影响半径,Rw是用于插值的节点方程影响半径。
其中:D=maxi,jdi(xj,yj);Nq和Nw是在以半径Rq和Rw内圆周内的数据点个数;(xi,yi,fi)(i=1,…,N)为给定的N个数据点。
步骤2:用最小二乘法确定系数ak2,ak3,ak4,ak5,ak6。其中:
步骤3:建立节点方程
其中:k=1,…,N。
步骤4:采用Shepard公式计算网格点处的值:
4 前向映射全方位图像局部透视解算算法
选定一个虚拟观察平面S,在S上建立图像栅格,解算图像的像素即为栅格中心。(x,y),(x,y)∈R为S上的浮点坐标,(X,Y),(X,Y)∈Z为解算图像像素坐标,d(x,y)该处的灰度值;(u,v),(u,v)∈R为全方位图像坐标系的浮点坐标;(U,V),(U,V)∈Z为全方位图像的像素坐标,f(u,v)为该处的灰度值;Shepard插值算法中,Nq=5,Nw=4。
1)根据观察角(α,β,ϕv,ϕh),确定全方位图像中解算区域的像素,及灰度值{(Ui,Vi),f(Ui,Vi),i=1…N};
2)根据前向映射式(3)得插值节点{(xi,yi),d(xi,yi),i=1,…,N},并建立映射表Table;
3)根据式(5)为每一个插值节点(xi,yi)建立节点方程Qi(x,y);
4)由(Xi,Yj),i=0,…,Width-1;j=0,…,Height-1。根据后向映射式(4)得(ui,vj),由其四个邻域像素{(Uk,Vk),k=1,…,4},根据映射表Table计算插值节点{(xk,yk),d(xk,yk),k=1…4};
5)将节点方程{Qk(xk,yk),k=1…4},代入式(6)插值节点的灰度值D(Uk,Vk);
6)判断如果已遍历所有解算图像的像素,则算法结束,否则转4)。
*注:步骤4)中Width,Height为解算图像的尺寸;{(xk,yk)}={([u],[v]),([u]+1,[v]),([u],[v]+1),([u]+1,[v]+1)};[·]表示取整。
5 实验结果与分析
5.1 全方位图像及全景成像的非线性畸变仿真
如图7所示,图7(a)图为实景图像,采用2048×2048高分辨力全景视觉系统采集的全方位图像。图7(b)为仿真图像,模拟全景视觉系统位于圆筒中心,圆筒的内壁附有黑白相间的均匀棋盘格纹理,依据全景视觉成像规律模拟成像,仿真的全方位图像能够更直观的说明全景成像的非线性畸变特性。
5.2 仿真实验
5.2.1 对图像7(b),分别采用后向映射和前向映射(以下简称BM和FM)的局部透视解算方法进行对比实验。
由于该实验样本为二值图像,为避免图像边缘模糊,算法采用最邻近插值法(以下简称CI)。实验结果如图8所示,(a)、(b)分别BM和FM的局部透视解算图像。
5.2.2 实验样本如图9(a)所示,假使全景视觉系统位于圆筒中心,圆筒的内壁附有竖直方向灰度一致,水平方向灰度按正弦规律分布的渐变纹理。
分别采用后向映射和前向映射的柱面解算方法进行对比实验。由于该实验样本为渐变图像,为增强图像的平滑性,算法采用改进的Shepard散乱数据插值算法(以下简称SI)。实验结果如图9(b)、9(c)所示,图9(b)、图9(c)分别BM、FM柱面解算图像。
为评价解算的准确性,将柱面解算图像中像素的灰度值与实际渐变纹理的灰度值进行比较。分别在两幅柱面图像中一个灰度变化周期内均匀选取320个采样列,统计每一列像素的灰度值均值,绘出横向灰度变化曲线和灰度误差曲线,如图10所示。图10(b)是图10(a)的局部放大显示,其中实线“—”表示实际纹理的灰度曲线,虚线“----”表示BM柱面解算的灰度曲线,点线“……”表示FM柱面解算的灰度曲线;图10(c)为BM解算灰度误差曲线;图10(d)为FM解算灰度误差曲线。
5.3 实景实验
采用实际拍摄的全方位图像(见图7(a))进行实验,实验分别采用RP、FP局部透视解算方法结合CI和SI插值算法进行对比实验,实验结果如图11所示。
5.4 实验结果分析
从5.2.1的实验结果(见图8)可见改进前的解算图像边界处有严重的锯齿现象,这显然是由于直接在畸变的图像中插值造成的,而改进后的解算方法避免了锯齿边界现象,再次证明了在无畸变的图像中插值的合理性。从实验5.2.2的结果(见图10)可见采用改进后得到的解算图像的灰度曲线与实际的灰度曲线更加接近,误差曲线(见图10(c)、10(d))更直观的反映了改进前后的解算精度,改进前的灰度误差在-1.4∼0.4之间,而改进后的灰度误差在-2∼1之间。从实验5.3的结果(见图11)可见,不论是采用何种插值方法FM解算方法对图像的高频部分的混叠现象都有较好的抑制作用,例如图11(a)、图11(c)中房檐锯齿现象严重,路灯的立杆发生明显的断裂现象,而图11(b)、图11(d)中未见明显的锯齿和断裂;采用FM+SI解算方法对图像灰度变化相对平缓处的平滑作用更好,如图11(b)、图11(c)中天空云朵呈现斑块装,而在图11(d)中此处灰度过度平顺。
6 结论
全景图像 篇7
关键词：图像,虚拟仿真,建模,全景技术
随着我国计算机硬件技术、图像处理技术、传感技术及多媒体技术的不断发展壮大, 计算机虚拟仿真现实环境的效果越来越真实、生动。而创造设计这些虚拟的现实环境最重要的是对由自然景物构成的三维场景的建模, 它是生成动态、全景、逼真的三维场景的重要决定因素, 其好坏直接决定了体验者在其中的真实感与存在感。基于图像的建模技术不同于基于三维几何建模的技术, 它主要是三维全景建模技术在虚拟现实领域的具体应用。在虚拟仿真现实系统中, 基于图像的三维全景建模技术比较适用于以大自然背景为主要构成要素的虚拟仿真现实环境的构建[1]。这主要是因为虚拟仿真现实环境中由自然背景构成场景的对象组成成分较为复杂, 如果全部采用三维几何建模的方式重现虚拟环境不仅工作量大, 而且也为虚拟仿真现实环境的运行增加了负担, 由于自然背景只是起一个陪衬的作用, 并不需要近距离游览, 所以该技术在虚拟仿真技术中被广泛应用。它与基于几何的建模技术相比, 具有其自身优势, 一是由自然背景构成的虚拟环境既可以是已经事先保存的图像, 也可以是由相机在实景中拍摄的照片, 也或者是将二者混合使用, 从而带来更高的真实感;二是体验者在虚拟仿真现实环境中的沉浸效果与自然场景的复杂度无关, 而只是与生成、显示虚拟画面所需的图像分辨率有关, 因此, 该建模技术并不要求太高的计算机资源, 这对提高视景系统的运行效率而言有一定帮助[2]。在构建虚拟仿真现实环境时虚拟环境的建模技术有很多, 在这里我们主要研究的是基于图像的三维全景建模技术, 从它的构建原理、特征、应用、分类等几个方面进行分析阐述。
1. 基于图像的虚拟仿真环境三维全景建模技术的构建原理
基于图像的虚拟仿真环境三维全景建模技术是一种通过全景图像表达虚拟环境的仿真技术, 简单成为虚拟仿真现实。该技术简通俗地说就是用专业的相机拍摄现实中自然景物的照片, 再经过计算机图像处理软件深度加工处理成为能够让用户产生三维真实感的图像;专业的表述就是通过对现实中全景图像进行逆投影至几何体表面从而仿真出原场景空间的信息。一般来说该技术在创建具有真实感的虚拟仿真环境时并不需要真正可视化的三维网格模型, 只需要在选择其投影形状的几何类型时对虚拟空间坐标或不可见网格进行形状上的编码约束, 采用这种方式可以定义出很多几何形状, 例如圆球体、柱体、立方体等[3]。
用立方体投的影方式举例分析基于图像的虚拟环境三维全景建模技术的构建原理, 首先选取6幅按照立方体的6个方位进行坐标编码定位的图片, 确定其在虚拟空间顶点坐标位置及对应索引号, 并将坐标轴设置于立方体的中心;其次, 定义立方体的12个三角形状的网格面, 由于渲染引擎只能渲染三角网格, 所以必须将所有四边形划分成三角网格, 处于同一平面的三角网格面可以组合成一个四边形的网格面, 并定义标识为前、后、左、右、上、下6面, 如图1所示。
例如定义“前面”四边形网格面的空间位置用以下语句完成。
对立方体六面采用上述方法全部定义完毕后, 最终就可以确定一个立方体的法线和材质。其具体过程如下:
2. 基于图像的虚拟仿真环境三维全景建模技术的特征
基于图像的虚拟仿真环境三维全景建模技术是使用全景图像表现虚拟环境的技术, 它能给体验者带来真实的三维立体感觉, 这种技术相较于传统的虚拟现实技术在创建虚拟仿真现实环境时更具有优势, 具体有如下几个方面的表现。
2.1 真实度高
使用先进的拍摄设备进行图像采集, 可以不受现实场景中各种对象复杂度的局限, 拍摄出的图像最接近于现实场景, 传统的几何图形建模技术产生的效果都与之无法比拟, 后期使用计算机图像处理软件对拍摄图片进行处理后, 创建的虚拟仿真的三维全景环境会使得体验者有更好的沉浸感。
2.2 全面表达场景信息, 高效的交互性
使用传统建模技术创建的虚拟仿真现实环境受设计者个人因素的影响较大, 尽管有实景实体作参照, 但是其中加入了设计者个人的创作信息, 故此产生的虚拟环境与真实场景存在违和感, 而使用基于图像的虚拟环境三维全景建模技术创建的虚拟环境则以实景现场为基础, 全面表达场景信息, 构成的虚拟环境直接表现了现实世界, 具有高效的交互性。
2.3 制作容易, 可传播性强
利用这种技术创建的三维全景虚拟环境, 主要依赖于拍摄设备对图像的全景采集, 而与生成时间和实景实体复杂度无关联, 并且在后期制作上也不需要高档的硬件设备, 因此三维全景虚拟环境的制作容易, 速度快、成本低。随着网络信息技术的高速发展, 设计者只需要在互联网下就可以进行虚拟仿真三维全景的传播, 体验者只需要配备一些基础设备, 如显示器、扬声器等, 利用一些特定的浏览插件, 进行网络下的三维虚拟现实环境的体验。
3. 基于图像的虚拟仿真环境三维全景建模技术的分类
利用三维全景建模技术虚拟产生的仿真环境最重要的是拍摄实景实物的全景平面照片, 然后按照一个包裹形球体的表面投影方式, 将环境中的所有景象以某种几何关系进行映射生成平面图片, 再经过计算机图像处理的软件以及全景播放器的后期校正、处理, 最终生成具有三维立体效果的仿真全景。在日常生活中70%左右的外部自然信息是通过人类的眼部视觉体验提供的, 因此要想获得高真实度的虚拟场景就成为了虚拟仿真现实技术的关键因素。依据场景生成过程的不同, 三维全景建模技术可以划分成两类:基于矢量建模的三维全景技术和基于实景图像绘制的三维全景建模技术[4]。前者是基于图形学的建模方法, 这一方法利用像遥感数据、CAD数据等空间矢量数据对实景实物进行建模, 再配合实景实物的照片、纹理图片和多媒体数据辅助模型的贴图来丰富场景细节, 得到虚拟仿真环境的三维场景, 最后再采用渲染的方法最终得到真实感高的三维立体虚拟仿真全景[5]。这种技术要对实景中每一实物进行矢量建模和还原, 要求配有高品质、高性能的图像处理工作站才能完成。后者是基于图像学的建模方法, 即通过对人工采集到的有序场景图像进行加工、合成, 从而达到仿真效果的建模方法。由于该方法利用的是实景实物的真实图像进行现实场景的虚拟仿真, 得到的虚拟仿真三维实景则更贴切的反映现实环境的色泽与纹理, 而且这种建模技术不需要进行大量的计算, 实时性好, 对计算机硬件要求也相对较低, 故此基于全景图像绘制的三维全景建模技术目前被广泛应用于虚拟现实技术中。
4. 基于图像的虚拟仿真环境三维全景建模技术的具体应用
基于图像的虚拟仿真环境三维全景建模技术在创建虚拟现实环境时应用越来越广泛, 在日常生活中它与网络技术相结合产生了大量的应用实例, 例如我们众所周知的街景服务就是该技术具体应用于生活的实例表现。除此之外, 三维全景建模技术在虚拟现实环境中还可以应用到更多的行业, 并有不俗的表现。其具体应用表现在如下领域。
4.1 军事领域
在军事训练中, 三维全景建模技术的应用非常突出, 它改变了传统的反复实战演习训练而带来的耗资巨大、安全保障度低的弊端, 随着未来高技术联合作战的不断演变, 利用三维全景建模技术创造的基于实景实物的虚拟仿真环境不仅可以直接为作战指挥提供相关决策信息, 而且还可以为培养士兵联合作战能力提供实践平台。
4.2 电子商务领域
随着网络技术的不断发展, 越来越多的消费者可以足不出户的利用电子商务平台在家进行购物, 为了更好地满足消费者对所购商品的感性认识, 采用三维全景技术构建出产品的虚拟仿真三维实体, 可以充分展示其外观、结构以及功能, 方便消费者与商家进行更好地沟通。
4.3 旅游休闲、艺术娱乐领域
这一技术应用在旅游休闲领域最重要的一个作用就是可以重现已经不存在的旅游景观和正在建设还未完成的旅游景点的实景, 让旅游爱好者可以进行仿真的虚拟旅游;利用三维全景建模技术在重建的虚拟仿真世界中进行游戏、娱乐, 既没有风险, 而且乐趣无穷。
4.4 医学领域
该技术可以进行人体解剖仿真, 为医学院校的学生全面了解人体解剖学的复杂性提供虚拟病人;在外科复杂手术仿真模拟时, 可以将病人图像信息资料输入进仿真系统, 建立病人三维仿真模型, 外科医生可以结合实际的外科手术经验做出相应的手术规划, 并在虚拟现实系统中进行反复手术仿真训练, 从而使医生及时发现手术过程中难以预料的某些复杂问题;在医学院校医学生在构建的虚拟实验室中, 进行虚拟解剖和各种手术的反复练习, 不仅可以降低教育成本, 而且可提高学习者的临床实践能力, 这些用于医学培训、实习和研究的虚拟现实系统, 仿真度极高, 其优越性及效果无可比拟;虚拟现实技术在治疗记忆障碍、注意力障碍、空间认知障碍、心理治疗认等方面也有突出的表现[6];在远程遥控指导外科手术、复杂手术的计划安排、手术后果预测及改善残疾人生活状况, 乃至新药物的研制及临床试验等方面, 其也具有着十分重要的意义及应用前景。
5. 结束语
随着我国计算机硬件技术、图像处理技术、传感技术及多媒体技术的不断发展壮大, 计算机虚拟仿真现实环境的效果越来越真实、生动。体验者在设计好的虚拟仿真环境中无限畅游, 犹如身临其境一般。之所以可以达到如此感受, 核心问题就是要解决在虚拟仿真现实系统中虚拟环境的建模设计。由于视觉是人类感受外界环境第一感官认识, 所以虚拟设计一个形象、逼真的仿真环境模型, 并且能够动态的、全景的显示是非常重要的[7]。随着人类对信息感知方式的不断改变, 虚拟仿真现实系统中虚拟环境的建模已经进入了一个多维时代。基于图像的三维建模全景技术就成为了虚拟现实技术中关键技术之一, 值得进一步研究。
参考文献
[1]姜燕.计算机虚拟现实中的关键技术探究[M].长春:吉林大学出版社, 2015, 3-7.
[2]赵群, 娄岩主编.医学虚拟现实技术及应用[M].北京:人民邮电出版社, 2014, 200-203.
[3]李勋祥.基于虚拟现实的驾驶模拟器视景系统关键技术与艺术研究[D].武汉:武汉理工大学博士论文, 2006.
[4]那松.3Ds Max在虚拟现实中的应用[J].电子技术与软件工程, 2014 (10) :121.
[5]Zhang Z M.3D-Based Design of Virtual Experimental Center[J].Advanced Materials Research, 2014, 846:1797-1800.
[6]李志玲.虚拟现实三维建模技术的研究与实现[D].武汉;中南民族大学, 2007