全景数字虚拟化（精选7篇）
全景数字虚拟化 篇1
摘要：介绍了虚拟现实技术和全景图的概念及其在数字博物馆中的实现方法及其应用技术,结合实例说明了文物全景图在英特网中真实展示的实现方法,阐述了虚拟现实技术应用于数字博物馆的意义及实用性。
关键词：虚拟现实技术,全景图,数字博物馆
0 引言
博物馆是一个地区甚至国家文明发展程度的重要标志,现代博物馆不再是简单的文物标本的收藏、展示、研究机构,而是应该成为面向社会、服务于公众的文化教育机构和信息资料咨询机构。这就凸显出一个重要的技术问题-数字化保护与展示。
随着国家教育信息化建设的推进,信息技术革命突破了人类活动的时空障碍,空间与时间的阻隔在互联网面前灰飞烟灭。此时数字博物馆恰好迎合了当代社会的发展要求,如何通过网络把博物馆内的文物以及相关设施更好地呈献给用户成了数字博物馆建设者必须认真思考的问题。
虚拟现实技术为文物的保护、修复以及研究提供了新的方法与技术。通过全景图的使用,使技术可行性得到了提高,既不需要昂贵的仪器以及维护费用,也不需要硬性的专业知识,就可以实现全景图的拍摄于拼接,实现了文物360°的虚拟全景展示。
1 虚拟现实技术相关理论研究
1.1 虚拟现实技术的概念
虚拟现实,英文名称是Virtual Reality,简称VR技术,这一名词是由美国VPL公司创建人拉尼尔(Jaron Lanier)在20世纪80年代初提出的,也称灵境技术或人工环境。Virtual的英文本意是表现上具有真实事物的某些属性,但本质上是虚幻的。Reality的英文本义是“真实”而不是“现实”。Virtual Reality英文本义是“真实世界的一个映像”(a image of real world)。虚拟现实是利用计算机模拟生成一个逼真的、具有三维视觉、触觉等多种感知的虚拟环境,使用户仿佛置身于一个生动、形象、具有视、听、触觉的感观世界,可以直接观察周围环境及事物的内在变化,并能与之发生“交互”,产生与真实世界相同的反馈信息,获得与真实世界同样的感受,使人和计算机很好地“融为一体”。虚拟现实技术是一门新兴的跨学科新技术,是集三维图形技术、人机交互技术、传感技术、仿真技术、显示技术、人工智能、网络并行处理等技术的最新发展成果为一体的综合集成技术,是一种由计算机技术辅助生成的高技术模拟系统,其中计算机生成的、可交互的三维环境称为虚拟环境(Virtual Environment,简称VE)。
1.2 虚拟现实技术的特征
1993年,Burdea等将虚拟现实技术的特征概括为:沉浸感(Immersion)、交互性(Interactivity)、想象性(Imagination)。该技术的特点在于计算机生成一个以视觉感受为主,也包括听觉、触觉的综合可感知的、逼真的三维虚拟环境,用户可以通过计算机进入这个环境用自然方式与虚拟环境中的对象进行交互操作,与之产生互动,进行交流,改变了过去人类除了亲身经历,就只能间接了解环境的模式,有效地扩展了认知手段和领域,从而使用户在视觉上产生一种沉浸于虚拟环境的感觉,给用户带来身临其境的感受。通过虚拟现实技术的实时三维空间表现能力、人机交互式的操作环境,用户沉浸在多维信息空间中,使以往只能借助传统沙盘的设计模式提升到数字化的即看即所得的完美境界,并依靠人本身对事物的感知和认知能力,全方位地获取环境所蕴含的各种空间信息和逻辑信息。身临其境的沉浸感和人机互动的交互性是虚拟现实的实质特征,对时空环境的现实构想(即启发思维,获取信息的过程)是虚拟现实的最终目的。
2 虚拟展示技术
2.1 VRML三维建模
VRML(Virtual Reality Modeling Language)即虚拟现实建模语言,是一种用于建立真实世界的场景模型或人们虚构的三维世界的场景建模语言,具有与平台无关性,是目前 Internet上基于WWW的三维互动网站制作的主流语言。VRML是虚拟现实造型语言(Virtual Reality Modeling Language)的简称,本质上是一种面向web,面向对象的三维造型语言,而且它是一种解释性语言。VRML的对象称为结点,子结点的集合可以构成复杂的景物。结点可以通过实例得到复用,对它们赋以名字,进行定义后,即可建立动态的VR(虚拟世界)。
2.2 虚拟全景技术
虚拟全景又称三维全景虚拟现实(也称实景虚拟),是基于全景图像的真实场景虚拟现实技术。全景(英文名称是Panorama)是把相机环360度拍摄的一组或多组照片拼接成一个全景图像,通过计算机技术实现全方位互动式观看真实场景。通过对以上两个技术进行一定的了解,考虑到技术的可行性以及再现真实的程度,我们决定选用虚拟全景技术,通过Object 2VR制作。
3 虚拟全景技术概述
3.1 全景图的概念
全景图是虚拟实景的一种表现形式,会让使用者有进入照片中的场景的感觉。360度的高质量的全景图主要有三个特点:
(1) 全:全方位,全面的展示了360度球型范围内的所有景致,可在例子中用鼠标左键按住拖动,观看场景的各个方向。
(2) 景:实景,真实的场景,三维全景大多是在照片基础之上拼合得到的图像,最大限度地保留了场景的真实性。
(3) 三维:三维立体的效果,虽然照片都是平面的,但是通过软件处理之后得到的三维全景,却能给人以三维立体的空间感觉,使观者犹如身在其中。
在浏览器端,基于播放插件(通常是Java、QuickTime、ActiveX、Flash等)的支持下,使用鼠标控制环视的方向,可左、可右、可近、可远,实现全景图的浏览。
3.2 全景摄影的介绍
全景摄影就是把相机环绕360度拍摄的一组照片拼接成一个经过变换的平面全景图像,用一个专用的播放软件在互联网上显示,从而使用户能用鼠标控制环视的方向,可左,可右,可上,可下,可近,可远。使用户感到就在环境当中,好像在一个窗口中浏览外面的大好风光。拍下的原始照片必须用相应软件变换和拼接,从而建立一个变了形的平面图像,在播放时把该图像放在正确的空间位置上,仿真实际的3D环境,使用户观看全景照片时的位置就是仿真拍摄时相机所在的位置。
3.3 虚拟全景技术的分类
柱形全景:柱形全景是最简单的全景摄影。您可以环水平360度观看四周的景色,但是如果用鼠标上下拖动时,上下的视野将受到限制,您看不到天顶,也看不到地底。这是因为用普通相机拍摄照片的视角小于180度,显然这种照片的真实感不理想。
球形全景:球形全景视角是水平360度,垂直180度,全视角。可以说您已经融入了虚拟环境之中。球形全景照片的制作比较专业,首先必须用专业鱼眼镜头拍摄两张照片,然后再用专用的软件把它们拼接起来,做成球面展开的全景图像,最后把全景照片嵌入您的网页中。在国外也不是所有的制作软件都支持球形全景,有的专业公司提供球形全景制作的全套软硬件设备,但价格昂贵。
立方体全景:是另外一种实现全景视角的拼合技术,它打破了原有单一球型全景的拼合技术,使您能拼合出更高精度和更高储存效率的全景。立方体全景照片的制作比较复杂。首先,拍摄照片时,要把上下前后左右全部拍下来,但是可以使用普通数码相机拍摄,只不过普通相机要拍摄很多张照片(最后拼合成六张照片),然后再用专用的软件(如3Dvista商业版)把它们拼接起来,做成立方体展开的全景图像,最后把全景照片嵌入您的网页中。
对象全景:对象全景是瞄准互联网上电子商务的。它与风景全景的主要区别是:拍摄时瞄准对象(如你要拍摄汽车,汽车就是对象),转动对象,每转动一个角度,拍摄一张,顺序完成,然后选用对象全景的播放软件,并把它们嵌入你的网页中,发布到您的网站上。
4 基于全景图的虚拟现实技术在数字博物馆中的应用
下面以花瓶为例,说明全景技术在互联网络上展示文物作品的全景信息,给出设计图示,如图1所示。
具体的开发流程是:
4.1 拍摄一组图片
由于我们使用的是对象全景技术,所以我们要固定相机,转动花瓶,每次转动一个角度以便拍摄一张照片,顺序完成。至于转动的角度由展示物品要求的效果决定,效果越好,每次转动的角度越大。当然也可以细化到很小的角度,如5度。实验用的花瓶图片序列,如图2所示。
4.2 图片处理
逐个把图片导入Photoshop,并且消去除花瓶之外的背景,然后把处理好的图片选择一个背景,可以是纯色背景,也可以是图片背景,最后保存。例如花瓶展示用的就是白色背景。
4.3 导出Flash文件
将处理完毕的图片导入Object 2VR软件,接着做进一步的处理,并且选择相应的交互界面,把导出的格式设计成Flash 9格式,设置相应的参数,点击文件导出即可生成相应Flash,此时可在图片所在的目录下发现导出的文件。
4.4 嵌入网页
把导出的Flash文件嵌入到所需网页中即可。
本文就基于全景图的虚拟现实技术做了比较深入的研究,并且对基于全景图的虚拟现实技术在数字博物馆中的应用意义进行了阐述。综上所述,建设数字博物馆是信息社会发展趋势,为了能够使数字博物馆的展示效果满足大众的需求,如何能够更好的展示成了一大课题,而基于全景图的虚拟现实技术很好地解决了这一问题,使得数字博物馆的展示能够更加真实地反映文物所传播出的文化底蕴以及名族色彩。
参考文献
[1]杨晓东.东莞建立数字博物馆探讨[EB/OL].http://www.dgmuseum.cn/Ch/newsview_xsyj.asp?ID=1785&sortid=15,2009.09.25.
[2]王引童.虚拟现实技术与增强现实技术[J].机械制造,2003,41(6):7-9.
[3]余建荣,曹锋,邹继艺.陶瓷产品三维展示技术在网站建设中的运用FOSHAN CERAM ICS[J].No.12(SerialNo.133).
[4]张男,崔恺.殷墟博物馆[J].建筑学报,2007,551(1).
[5]隋忠祥.基于静态图像的虚拟全景制作技术及其应用[EB/OL].http://www.etc.edu.cn/show/tougao/2003/quan jing-yingyong.htm.
[6]陈雪林,陈凤良.虚拟商品三维展示的核心实现[J].商场现代化,2008(552).
[7]朱春华,叶建华,詹友基,等.产品三维展示网络平台的研究[J].重庆科技学院学报(自然科学版),2009,11(6).
[8]罗晓翔.网络虚拟商品三维展示系统的研究与设计[J].成宁学院学报,2007,27(4).
[9]陈雪林,邢跃.虚拟商品三维展示系统的设计[J].商场现代化,2008.
全景数字虚拟化 篇2
“世界这么大,我想去看看”还记得这句史上最具情怀的辞职宣言吗?随着人们生活水平的提高和观念的改变,越来越多的人希望走出家门,来一场说走就走的旅行。旅游已经成为我们生活的一部分,绝大多数人在旅行前都会先上网对旅游目的地景致及交通住宿等作相关了解及规划,旅游网站蓬勃兴起,虚拟旅游概念和技术也应运而生。
虚拟旅游是通过互联网或其他载体,将旅游景观动态地呈现在人们面前,让旅游爱好者根据自己的意愿,来选择游览路线、速度及视点,足不出户就可以遍览遥在万里之外的风光美景。[1]纵观国内外著名的旅游网站,绝大部分网站都是提供订房、购票或团游等商务信息,景观信息往往只是以文字配静态图片的攻略形式呈现。当然街景地图的出现方便了人们的出行,但是很多旅游景点是街拍车覆盖不到的。现阶段虚拟旅游平台主要以三维为主,三维版本的虚拟旅游平台制作难度大,耗时长,成本费用高,本文介绍一种基于静态照片的3600全景漫游动画效果的实现,为众多景点快速打造虚拟旅游平台助力,其用途还可延伸到室内外漫游展示如房地产、酒店等其他行业。
2 实现方法
目前的虚拟旅游系统基本上围绕着如何构建虚拟旅游场景来进行。当前国内外采用的设计与实现方法有四种:基于编程、基于模型导入、基于图像绘制(image-based rendering,IBR)和基于Web Gl S的方法。[2]基于静态全景图像的360°漫游动画采用实景照片,能很好地展示场景的真实环境,实现方法相对简单,制作基于静态图像的漫游动画的过程主要有两大步骤,第一步是拍摄照片素材合成全景图像;第二步是制作拥有交互功能的360°漫游动画。漫游动画效果与全景图像的品质有关,动画制作的难点主要是交互控制“皮肤”的设计与制作。国内有许多优秀的国产软件可以很好地实现全景漫游效果,如上海八倍公司出品的全景漫游者,北京中视典公司的VRP软件等,这里我们采用Garden Gnome Software公司的Pano2VR软件。百度搜索软件名称可轻松获取到多个版本的软件,你也可以到官网(http://ggnome.com/pano2vr)去下载最新的免费试用版进行测试,目前最新版本是5.0.2。软件的安装也非常简单。该款软件只需要导入全景图片,就可以完成Flash、HTML5和Quicktime VR格式的拥有交互功能的全景漫游动画,并且支持网站、移动设备上进行播放。下面我们开始行动吧!
2.1 拍摄素材照片
首先,我们需要拍摄好合成全景图所需的照片素材。一般每个场景拍摄8至12张较为合适,如果你有专业摄影器材当然更能保证全景图质量。拍摄全景照片一般要用到三脚架、云台和相机,云台按照设定的角度间隔水平旋转一周拍摄一组照片。如果没有云台等设备,那么在环形拍摄时要尽量注意相机要平稳及间隔角度要均匀,相邻相片间要有重叠部分。另外现在手机拍摄功能也越来越强劲,多款手机都有全景拍摄功能,能为后期图片合成省不少力。图1所示的是拍摄的照片素材及合成的全景图。
2.2 Photo Shop合成全景图及后期处理
其次是合成全景图,我们使用经典的Photo Shop来实现全景拼接。启动PS软件,执行菜单命令:文件→自动→Pho⁃tomerge命令,在弹出的对话框中单击右侧“浏览”按钮,选择素材路径并全选照片素材,“确定”后PS就会自动将多张部分重叠区域的照片拼接起来。自动拼接效果与前期拍摄的素材照片关系很大,图1所示照片是手持相机拍摄的,自动拼接后还要进行二次处理。在PS中先执行:图层→合并图层,然后再使用仿制图章、修补等工具,另外还要注意最终全景照片的左右两端要求无缝对齐,最后输出时还要执行:图像→图像大小,将图像宽度控制在3000px之内。PS照片处理过程我们简略以图2标识说明:
2.3 利用Pano2VR制作全景漫游动画
接着就可以开始制作3600全景漫游动画。启动Pano2VR4.1.0(其他版本操作方法基本一致),可以直接将准备好的全景图像直接从目录窗口中拖到Pano2VR工作界面左侧“输入”区十字格框中,当然单击“选择输入”按钮功能一样。如图3所示:
单击图3“显示参数”区中的“修改”按钮,在单击的对话框右侧是预览区,用鼠标拖曳就可以看到全景图在随鼠标上下左右移动,我们将预览区中的图案调整到希望初始出现的画面,单击左侧“显示参数/限制”中的“设定”按钮,其余参数应用默认值,如图4所示:
其实至此我们这个景点的全景漫游效果就基本完成了,观察Pano2VR工作界面中部的“输出”区,我们应用默认的Flash格式,单击“增加”按钮激活“Flash输出”对话框。此对话框有5个选项卡,在“设定”选项卡中左侧参数一般选择默认,右侧选中“开启自动旋转”,将平移速度改小到0.1左右,单击“皮肤”列表可以选择一款系统内置的模板,单击下方的“输出”区中的“打开”按钮可以设置输出文件的路径及文件名。“视觉效果”选项卡的“开启穿越过场效果”主要是针对于多个景点跳转切换时的过渡效果,单个景点不需要开启。“高级设置”选项卡中的“控制”区中的“灵敏度”参数值一般设置为1~4,鼠标操控全景动画时更好控制,“运动”可选择“惯性”,增强操控动画体验,“右键菜单”区可选中“全屏”和隐藏程序信息,并输入个人信息及链接,热点文本框默认开启。“多重分辨率渐进浏览”和“HT⁃ML”主要针对网络浏览效果,此处略过,所有参数设定好后单击“确定”生成第一个全景漫游动画。主要输出参数设置及动画效果如图5所示:
2.4 全景漫游动画交互功能的实现
“交互热点”和“皮肤”负责全景漫游动画的交互功能的实现。图5全景动画效果的最下方就是系统提供的“皮肤”按钮,“皮肤”和图3中的“交互热点”二者担负着全景漫游动画的交互工作。假设有多个景点,需要从一个景点的漫游动画跳转到另一个景点的漫游动画,执行菜单命令:漫游→添加全景,可新增另一个景点,在Pano2VR工作界面最右侧的漫游浏览器中可以很直观地看到新增的各个景点,如果最右侧的漫游浏览器不可见,只要执行菜单命令:漫游→显示漫游浏览器即可。另外,“Flash输出”的“视觉效果”选项卡中要选中“开启穿越过场效果”复选框,不勾选“开始时放大画面”和“收尾时缩小画面”其过渡效果与街景地图的切换效果更接近。然后单击Pano2VR工作区中“交互热点”栏中的“修改”按钮,激活“交互热点”对话框,选中“交互热点”按钮然后在预览区中的适当位置双击新增一个热点并在对话框上方的文本框中填写相关参数,另一个景点的漫游动画和交互热点的制作方法基本相同。新增交互热点的操作要点如图6所示:
添加交互热点后输出全景动画就可以在两个景点中自由切换,不过添加的热点显示一个红色的圆圈不太美观,通常我们会将这两个红圈用相关箭头图案替代,这就需要用到“皮肤”。单击图3所示“输出”区中的蓝色扳手“参数”按钮激活“Flash输出”对话框,单击图5所示的“设定”选项卡右侧“皮肤”栏中的“编辑”按钮,打开“皮肤编辑器”,单击“编辑器”中的“热点”工具,在编辑区中单击新增一个热点,同时可以观察到右侧“树”目录中新增一个交互热点名称,然后将事先准备好的箭头图片从目录中拖进编辑区,在弹出的对话框中选择“按钮”将箭头作为按钮导入,将箭头尖指向热点中心,然后在右侧“树”中将箭头按钮拖曳到交互热点上附着到该热点上,然后双击“树”目录中的交互热点激活“交互热点模板属性”对话框,设定交互热点的ID值与图6所示的皮肤ID值相对应,并且勾选3D变形,然后在“动作/修改器”设置交互动作,具本操作要点如图7所示:
“皮肤”和“交互热点”的配合完成漫游操控操控有一定的复杂度,另外Pano2VR还有添加音视频并加以控制的功能,以及输出HTML5格式文档的功能,如果你在制作过程中遇到困难,那么你可以百度到马良中国(http://www.mlabc.com)网站去看小志老师的Pano2VR详细的视频教程。
4 总结
目前虚拟漫游动画主要有两种类型,一种是二维的基于静态全景图像的360°漫游动画,另一种是三维的基于3D模型的虚拟漫游动画。[3]基于3D模型的虚拟漫游动画是模拟真实的三维环境,建模复杂难度系数高,工作量大并且耗时长,制作成本和技术门槛高。而基于静态景观照片的3600全景漫游技术具有快速便捷的优势,技术相对简单,而且因为采用真实的照片来模拟景观现场环境,因而现实感更强,也能使客户获取较好的沉浸感和用户体验,完全可以胜任快速开发景区虚拟旅游平台的工作,适合大面积推广应用,使得众多的地方景观名胜地点也能快速创建虚拟旅游平台,改变目前虚拟旅游平台建设中,仅仅是那几个屈指可数的如故宫等著名景点才能拥有虚拟旅游平台的现状,同时对振兴地方经济,宣传推广地方景观和城市特色有较大的帮助。
摘要：虚拟旅游是建立在现实旅游的景观基础上,利用网络技术和虚拟现实技术,构建一个虚拟环境,使人们可以通过网络在虚拟环境中浏览千里之外的美景风光。虚拟旅游技术实现主要有三维和二维两种,其中三维虚拟旅游平台开发难度大耗时费力,不适合全面普及,而二维模拟实现技术简单,快捷,效果也较好,适合推广到众多地方景点的虚拟旅游开发。本文介绍基于静态图像的3600全景漫游动画的制作技术。
关键词：全景漫游,虚拟旅游,PhotoShop,全景图,Pona2VR
参考文献
[1]徐素宁,韦中亚,杨景春.虚拟现实技术在虚拟旅游中的应用[J].地理学与国土研究,2001(3).
[2]刘思凤,贾金原.基于Web的虚拟旅游环境的开发及其关键技术[J].计算机应用研究,2008(9).
全景虚拟校园的情感化设计研究 篇3
近年来, 教育信息化的程度不断提高, 高校在数字校园的建设上已形成你追我赶的良好发展态势[1]。随着计算机软硬件和网络技术的飞速发展, 虚拟现实技术在数字校园建设方面的应用为实现数字化校园提供了更多可能, 虚拟校园便是虚拟现实技术在校园数字化方面的具体应用。虚拟校园是指在计算机环境中再现真实校园景观, 用户可以进入虚拟的校园中进行一定自由度地游览, 进行一定的人机交互[2]。全景虚拟校园是基于全景技术形成的可交互式漫游虚拟校园系统, 其对校容校貌的展示、扩大宣传、招生等具有非常重要的作用[3]。老师、学生、家长等仅需通过电脑和网络, 就能身临其境的感受优美的校园风光, 良好的教学环境[4]。
近年来, 全景虚拟校园的研究集中在技术方面, 对设计理论的应用较为欠缺, 往往造成技术和设计脱节。随着情感因素在设计中越来越受到重视, 本文应用情感化设计理论对全景虚拟校园进行设计分析, 力求通过情感化设计理论的指导让全景虚拟校园兼具功能与体验。
1 情感化设计概述
美国认知心理学家Norman于2002 年提出了产品“情感化”设计的三个层次, 即本能层、行为层和反思层。
在本能水平上, 物理特征-视觉、触觉和听觉-处于支配地位[5]。本能层的设计目的是为用户带来本能上最初的、直接的和迅速的反应, 即在用户还来不及深入思考时的即刻的印象和情感。优秀行为水平设计有四个方面:功能、易懂性、可用性和物理感觉[5]。行为层的设计应能够让用户快速认知系统功能, 自如完成特定任务, 并获得及时反馈。反思层为最高层次的设计, 它注重的是信息、文化以及产品或者产品效用的意义[5]。反思层的设计与本能层和行为层的设计是相互关联, 互相影响的, 例如, 视觉上各类界面元素风格和配色的统一让用户反思他们之间的关联, 从而对系统产生一个整体的印象。
2 全景虚拟校园情感化设计
2.1 全景虚拟校园情感化设计层次模型
本能层对全景虚拟校园的设计指导在于视觉、听觉和触觉等感官通道的设计上。基于鼠标键盘的传统设备无法为用户带来真实的物理触觉反馈, 主要是通过视觉和听觉两个感官通道为用户带来本能的刺激。全景虚拟校园的本能层设计同样也存在视听觉两个方面, 目的是吸引用户注意力, 产生良好的第一印象, 刺激用户进一步使用系统。行为层对全景虚拟校园设计的指导在于功能的设计。设计关注操作的便捷性、交互性和友好性。便捷性是指操作符合用户的习惯和心理模型[6], 交互性是指操作过程中用户的参与和控制程度, 友好性往往表现在操作的反馈和提示上。反思层对全景虚拟校园感官和功能的设计起着关键的指导作用, 可以让用户产生回想记忆、关联推理、重新评估、整体欣赏和带入对比等反思和感悟。
总结情感化设计对全景虚拟校园设计的指导, 得出如下图1 所示的全景虚拟校园情感化设计层次模型。模型描述了情感化设计理论应用于全景虚拟校园设计的三个方面, 即本能层设计、行为层设计和反思层设计。本能层指导全景虚拟校园的视听觉感官设计, 行为层指导全景虚拟校园的功能设计, 反思层指导全景虚拟校园感官和功能的设计。模型从下到上的设计由具体不断上升到抽象。
2.2 全景虚拟校园情感化层次设计分析
经总结, 将全景虚拟校园的设计要素分为场景本身和场景中的元素, 场景本身是指以全景技术为基础形成的可以单视点漫游的三维场景;场景中的元素一方面包括例如图标、导航、对话框以及文字、图片、动画、视频、音频和对象全景等二维界面元素;另一方面包括三维建模生成的虚拟模型元素。
2.2.1 全景虚拟校园本能层感官设计
全景虚拟校园本能层感官设计的核心为视觉信息和听觉信息, 其带给用户的第一反应很大程度上决定了用户继续浏览和探索全景虚拟校园的兴趣。全景虚拟校园的感官设计是基于设计要素展开的, 具体设计如下图2 所示。
(1) 全景虚拟校园场景本身感官设计
全景场景是用户直接观察到的视觉信息, 其视觉效果主要包括风格和色彩两方面。除技术的影响外, 全景场景设计与校园中建筑物、环境、其他物品以及全景拍摄的季节、天气和时刻等因素相关。校园本身充斥着不同风格的建筑、人群和环境, 传达着不同的氛围、文化和内涵。季节是奠定整个场景风格和色彩的关键, 例如春天的绿和秋季的黄就是季节呈现的场景色彩, 他们的生机盎然和清冷雅致就是季节呈现的场景风格。天气会影响全景虚拟校园的视觉表现和听觉表现, 例如晴天云白天蓝的视觉表现和雨水滴落在石阶上的滴答声效。同样, 拍摄时刻也会产生色彩和风格方面的影响。全景虚拟场景本身的听觉设计一般以设计音乐为主, 例如场景的背景音乐, 场景介绍等。而自然音乐主要指场景中动态视觉效果所产生的声音, 例如动画表现呼啸的风时搭配声音效果。因此, 场景的自然音乐需辅助和配合场景元素一起设计。
(2) 全景虚拟校园场景元素感官设计
二维界面元素视觉设计的维度包括色彩、风格、样式、布局排列等;三维模型视觉设计除上述设计维度外还有特有处理手法, 例如利用粒子系统实现虚拟场景的雨、雪、雾效果[7]等, 使得设计更加真实和形象。场景元素视觉元素的作用有两方面, 一是完成特定的功能, 例如导航的引导功能, 图标热点的跳转功能等;二是充当场景环境要素, 例如飞翔的鸟儿、摆动的柳枝, 可以使全景场景变得更加生动、自然、真实和沉浸。场景元素听觉元素主要为自然音乐, 例如关门的自然声效、流动的水声等, 也包括设计音乐, 例如学习内容讲解音频等。
2.2.2 全景虚拟校园行为层功能设计
(1) 全景虚拟校园行为层用户分析
优秀的行为水平的设计应该是以人为中心的, 把重点放在理解和满足真实使用产品的人的需要上[5]。本文对大学校园的全景虚拟校园相关文献进行了调研, 主要用户为学生、家长和教师。用户的关注点涉及校园风景、生活与娱乐、学院与专业、教学与学习、健康保障、入学流程、学校竞争力、就业情况以及校园管理等方面, 根据这些关注点可将场景分为生活休闲场所、教学与学习场所以及其他场所三种类型, 其中包括的细分场景如图3 所示。
(2) 景虚拟校园行为层功能设计
基于上述 (图3) 分析以及对基础功能的分析与设计, 现对全景虚拟校园详细功能及其操作和反馈描述如下:
1.校园风景欣赏和校园信息浏览。校园风景欣赏依赖于场景漫游和跳转, 场景是单视点漫游方式, 可以通过鼠标拖动场景任意点进行上下左右旋转来浏览场景任意角度的风景;同时还可以通过鼠标滚轮控制放大缩小视角, 以观看场景细节;还允许通过键盘进行控制视角的变换, 例如上下左右键。常见反馈为鼠标指针形状改变。场景间的跳转可以通过场景中特定点的热点完成, 常见的操作方式为点击场景中或地图导航中的图标热点。鼠标移上有信息提示, 跳转时设计加载动画, 并通过百分数显示加载进度。校园信息浏览是在场景漫游和跳转中通过交互式操作查看多种信息实现的, 例如鼠标单击打开视频或移上图标查看详情等。
2.场景交流与学习。包括室外活动课程和室内教学课程, 例如操场等室外场景, 学习体育技能课程;教学楼内的教室室内场景, 学习文化课程等。可以通过多媒体技术将课程内容组织成多种媒体结合的学习资源;或者借助虚拟现实技术, 制作虚拟的模型或动画, 用可视化手段把知识点生动形象的表述出来[8]。通过点击、拖动、双击、滚动滚轮等操作进行信息的获取、资料的查看和交流意见, 完成学习体验。
3.场景引导。不熟悉校园的用户可以利用场景的地图导航功能, 确定当前位置, 不至于迷失。入学新生可以在陌生的校园环境中快速定位地理位置, 并获取前往入学手续办理地点的全景指引与入学相关的温馨提示[9]。
2.2.3 全景虚拟校园反思层指导设计
(1) 全景虚拟校园反思层对感官设计的指导
感官刺激引起的本能反应的好坏是最初的、暂时的和表面的, 但用户的文化、经历和经验等的作用可能令本能上获得的散乱信息形成统一的联系, 例如用户对全景虚拟校园整体印象的形成。经总结, 反思层指导全景虚拟校园感官设计的原则主要在以下两个方面:
1.场景本身感官设计指导
全景场景在拍摄之前应该根据用户特点以及校园文化、历史和环境等的因素确定风格和基调。应还原最高真实度的场景, 注重拍摄技巧, 选择合适的季节、天气和时刻等进行拍摄。意在用真实性和沉浸性引导用户将注意力集中到场景内容中, 触景生情并对场景形成整体的评价和印象。
2.场景元素感官设计指导
场景中对象的设计色彩、风格样式应与全景场景的色彩和风格相一致, 例如根据场景匹配合适风格、色彩的图标。意在让用户对不同元素形成统一的印象和联系。导航、图标和信息布局合理、排列整齐;这是界面设计的原则, 能够让用户在熟悉的界面设计规范下快速认知系统。
(2) 全景虚拟校园反思层对功能设计的指导
反思层对功能设计的指导一方面在于场景中信息的呈现;另一方面在于功能的操作和反馈, 下面就部分场景类型介绍其对场景中信息呈现设计的指导, 通过举例介绍其对功能的操作和反馈的指导。
1.场景中信息的呈现
校园生活的场景涉及饮食、出行、住宿、娱乐活动和健康保障等多方面, 应注重多种媒体信息多样化呈现对用户的意义和影响。例如, 在食堂内部全景场景中, 可以用文字、图片等展示菜品相关信息信息, 以动画、视频等介绍食堂意见栏的中学生与食堂人员的互动, 引起用户的共鸣和想象。校园教学与管理的场景涉及学校教学楼、实验楼和管理楼等, 包括对学院组织、专业详情、学习安排等的特色介绍。引起用户对学院、专业和学科课程等的重新认知和评价。学校就业相关场景应涉及学校就业率、就业去向和职业发展等方面, 并增加激励机制, 例如优秀毕业生或校友等的寄语和建议等等。让用户重新思考和规划未来发展的方向。学校历史和文化相关场景应涉及校园历史、演变、发展、文化和内涵等方面, 例如校史、校徽、校训等的揭示。使得用户通过学校前后的发展变化和校园文化的相得益彰对学校的认识上升到整体层面。
2.功能的操作和反馈
传统计算机、鼠标和键盘的设备下的操作主要有鼠标单击、双击、移上、拖动, 滚轮滚动和文字输入等。功能的操作设计应符合用户的操作习惯和心理模型, 还应与用户要完成的任务相匹配。操作应给与及时的反馈, 常见的反馈包括界面元素样式变化 (例如加阴影、缩放、加光效等) 、文字提示、缩略图提示、动画演示、音效播放、鼠标指针变化等。反馈不宜过多、强加或全无, 应与操作方式相符, 并且应与被操作对象距离较近。例如在场景地图导航中标注出当前用户所在场景和面向方向, 当鼠标移上标注时有文字提示或样式变化等。目的是让用户认知当前所在位置和了解整个场景结构, 以重新定位和选择浏览路径。
3 结束语
全景虚拟校园有助于宣传学校形象, 指导学生入学, 为学生和家长择校提供全面的信息以及为教师和学生提供一个交流、教学和学习的平台。在这个注重情感需求的时代, 全景虚拟校园的设计也应该以此为目标, 为用户带来更深层次的意义和收获。本文利用情感化设计理论的分层次论述了详细的设计内容并提出了部分设计原则, 对今后的全景虚拟校园设计提供了依据。在未来技术发展更加完善时, 更多设计理论的应用将会使全景虚拟校园的设计越来越完善, 在实现校园数字化的进程中发挥重要的作用。
摘要：全景虚拟校园的研究主要集中在关键技术方面, 对于设计理论的应用较为缺乏, 往往使得系统吸引力不足。为改善上述情况, 本研究将情感化设计理念应用于全景虚拟校园的设计中, 提出了传统设备下全景虚拟校园的情感化设计层次模型, 并对全景虚拟校园本能层感官设计、行为层功能设计和反思层指导设计的内容和原则进行了详尽描述。本文对相关的虚拟校园的设计提供了依据和指导。
关键词：虚拟校园,全景,情感化设计,场景
参考文献
[1]何进, 张洪冲.大力发展数字校园推进高职教育发展[J].软件, 2012, 33 (9) :127.
[2]钱芬.虚拟现实技术在数字化校园中的应用研究[D].四川:电子科技大学, 2007.
[3]张德义.基于web的三维虚拟校园系统的设计与实现[J].中国高新技术企业, 2008, (04) .
[4]陈丁山.三维全景虚拟校园的应用[J].福建电脑, 2008, (05) :96.
[5]诺曼.情感化设计[M].付秋芳, 程进三, 译.北京:电子工业出版社, 2005.
[6]诺曼.设计心理学[M].梅琼, 译.北京:中信出版社, 2003.
[7]黄汉亲.基于OSG的漫游系统的设计与实现[J].软件, 2013, 34 (10) :63.
[8]张菊.虚拟现实技术辅助教学研究[J].软件, 2014, 35 (2) :161.
全景数字虚拟化 篇4
大规模、复杂虚拟场景的建模和绘制是计算机图形学最为重要的研究问题之一[1]。随着三维扫描和几何建模技术的快速发展,构建高度复杂的三维场景已经变得相对容易,可以包含几亿甚至几十亿个三角形和高分辨率纹理。若不采用合适的处理技术,即使利用最新的图形处理器也无法在普通PC上实现上述数据集的交互式绘制。虽然可利用模型简化和可见性剔除技术来加速虚拟场景绘制,但采用这类技术的实时绘制系统主要侧重于速度,它们通过牺牲画面质量来实现快速绘制[1]。
由于图形硬件本身的固有限制,对于大数据集仍无法实现复杂的光线跟踪、辐射度、光子跟踪等全局光照明绘制算法。为此,可采用基于图像的绘制IBR技术[2]来解决高质量实时图形绘制问题。基于图像的绘制技术以给定图像/视频序列作为输入,利用采样数据来重建全光函数的连续表示,然后通过重采样得到目标视点的图像[3]。由于可使用三维造型和绘制软件来离线绘制高质量的输入图像,IBR系统可取得比传统实时绘制系统更好的视觉效果。
现有IBR技术,如全光建模[3]、全光拼接[4]、同心拼图[2,5]等,主要面向真实场景。这些IBR技术采用的场景表示、绘制算法和结果图像质量都取决于获取的几何信息的精确性。它们采用计算机视觉算法来计算相机参数和图像之间的对应关系或者场景几何模型,视觉算法的不稳定性限制了它们的应用场合。另外,它们使用的绘制算法也没有利用图形处理器(GPU)的可编程性来提高系统性能[6]。
虚拟场景与真实场景相比具有自身的特点。对于给定的虚拟场景,通过交互设定虚拟相机的运动路径,可以非常方便地获取全光函数的多个样本。另外,利用三维造型和动画软件,如3DS Max、Maya等,不仅可以得到绘制图像的颜色信息,还可以得到Z-Buffer中保存的深度值,这些深度值给出了虚拟场景在相机位置的局部精确几何信息[7]。利用获取的全光函数样本和Z-Buffer中的深度值,可以设计多幅深度图像混合绘制技术来生成目标画面[8]。虽然可将面向真实场景的IBR技术直接应用于虚拟场景,但由于它们的场景表示和绘制算法没有充分利用虚拟场景自身的特点,因此,它们并不是虚拟场景IBR的最合适方法。
本文研究面向虚拟场景的IBR技术来克服现有方法的不足,提出以深度全景视频DPV(Depth Panoramic Video)作为场景表示的基本单元,通过多段深度全景视频组成的深度全景视频网络来表示虚拟场景的漫游区域,它允许视点在漫游平面的封闭区域内连续运动。绘制算法根据目标视点参数来计算深度全景视频环中对目标图像有贡献的候选区域,综合利用GPU的强大处理能力和浮点格式的绘制目标[6],以及多幅深度图像混合绘制技术对候选区域进行绘制来生成目标图像。
1 深度全景视频
1.1 基本表示
深度全景视频是深度全景图的动画序列。深度全景图是全景图的一种扩展,它由全景图、相机参数和全景深度图三部分组成。全景深度图记录了全景图的像素所对应的场景深度值,深度值可通过三维软件或者三维重建算法获得。相机参数和全景深度图给出了场景在相机位置的局部精确几何信息。全光函数的原始描述并不涉及几何信息[3],包含几何信息的描述方法可看作它的一种扩展。几何信息用于绘制过程中全光函数的重建,它并不改变全光函数的维数。
深度全景图包含了相机位置沿空间所有方向的可见信息,可看作全光函数的一个样本,需两个参数来描述它所包含的光线,即:
其中(θ,ϕ)描述了光线方向。深度全景视频可看作一种三维全光函数,需三个参数来描述它所包含的光线。即:
其中t表示光线所在的深度全景图在图像序列中的编号。
选择立方体的外表面作为投影面来记录全光函数的样本。使用该投影表面,深度全景图可分解为具有公共投影中心的六幅深度图像,其中每幅图像对应于立方体的一个面。相应地,深度全景视频可分解为六段深度图像序列。
1.2 复合表示
对于大部分虚拟场景漫游应用,人眼一般局限于某个平面/高度场上[2,4,5],我们称该平面/高度场为漫游平面。某一时刻,漫游平面发出的光线需四个参数来表示,即:
其中(u,v)表示光线在漫游平面上的参数坐标,(θ,ϕ)描述了光线方向。
由于深度全景视频只是一种三维全光函数,为采集漫游平面发出的光线,必须使用多段深度全景视频。这些深度全景视频在漫游平面上相互交错,形成网状结构,我们称它为深度全景视频网络。图1给出了一个深度全景视频网络。图1(a)为某个虚拟场景的俯视图,我们对方框内的区域进行光线采集。图1(b)中粗线条表示深度全景视频的相机路径。
由图1可以看出,多条深度全景视频可围成具有一定面积的封闭区域,我们将构成区域边界的所有深度全景视频称为深度全景视频环。深度全景视频环是深度全景视频复合结构中最简单的一种,深度全景视频网络由多个深度全景视频环彼此连接构成。
理想的漫游系统允许用户在三维空间中自由移动,描述三维空间中的光线需五个参数[3],即:
其中(Vx,Vy,Vz)表示光线在三维空间中的位置,(θ,ϕ)描述了光线方向。
我们采用空间分层方法来描述自由空间中的光线。该方法以某个坐标分量(比如说Vz)为基准对空间进行分层,然后在每一层以另外两个坐标分量(Vx,Vy)作为光线在漫游平面上的参数坐标。该方法实质是将光线的空间位置(Vx,Vy,Vz)转化为(n,u,v)三元组,其中n表示光线所在层的编号,(u,v)为光线在漫游平面上的参数坐标。采用空间分层方法,可以在每一层采集深度全景视频网络,从而表示整个虚拟场景。
2 虚拟场景绘制
深度全景视频环是虚拟场景绘制的基本单元。深度全景视频环采集了从漫游平面某个封闭区域边界出发的所有光线。对于给定深度全景视频环内的任意视点,首先根据目标视点参数(位置、朝向和视域范围)来确定深度全景视频环中哪些深度全景图在目标视点可见,以及这些可见的深度全景图中对目标图像有贡献的区域(简为候选区域)。然后,计算候选区域内每一像素的混合权。混合权描述了像素对目标图像的贡献比例[9,10],通过权函数来计算。权函数的选择可根据具体应用场合而定,通过设计不同的权函数可以控制目标图像的绘制质量。最后,利用深度图像三维变换技术把所有对目标图像有贡献的候选区域warping到目标视点,并使用多幅深度图像混合绘制技术来绘制目标画面[8]。
对于深度全景视频网络,首先确定视点所在的深度全景视频环,然后利用上述绘制技术来生成目标视点画面。由于绘制算法使用的三维变换方程描述了视点之间的透视变换关系,视点可自然地从一个深度全景视频环过渡到另一个深度全景视频环。利用这种分而治之的策略,可实现视点在深度全景视频网络内自由运动。
综上所述,虚拟场景绘制的基本过程如下:
Step1.在深度全景视频网络中,根据视点所在虚拟场景中的位置(u, v)和高度h确定其所在的深度全景视频环。
Step2.利用深度全景视频环绘制技术生成目标视点画面。
2.1 深度全景视频环绘制
深度全景视频环采集了从漫游平面某个封闭区域边界出发的所有光线,可以利用这些采集的光线来生成视频环内任意视点位置的目标图像。绘制算法将候选区域重建为三角形网格,然后利用三维变换将它们warping到目标视点[8],并将绘制的结果通过视点空间Z偏移和浮点混合技术来生成目标图像。深度全景视频环绘制的基本过程如下:
2.2 候选区域计算
对于给定的深度全景视频环,绘制算法的目标是利用视频环中采集的光线来生成它内部区域任意视点的目标图像。将目标图像的每一个像素看作一根光线(称为目标光线),计算目标光线的颜色等价于对采集的若干光线的颜色进行插值。几何代理是场景几何信息的一种近似表示[10],大部分IBR技术都使用几何代理计算插值光线,从而提高系统的绘制质量。
深度全景图中的全景深度图包含了全景图中每一像素的深度信息,利用相机参数和全景深度图,可以重建虚拟场景在相机位置的局部精确几何。因此,本文将全景深度图作为场景的几何代理。利用全景深度图作为场景的局部几何代理,与传统方法不同,本文绘制算法不需显式地查找每根目标光线所需的插值光线,而是根据视点参数来确定每个全光样本对目标图像有贡献的区域,然后将这些候选区域warping到目标视点,并利用多幅深度图像混合绘制技术来生成目标图像。
对于给定深度全景视频环,绘制算法需根据视点参数来确定深度全景视频环中哪些深度全景图在目标视点可见以及这些可见的深度全景图中对目标图像有贡献的区域。图2说明如何完成这一任务,其中矩形表示深度全景视频环的相机路径,三角形表示目标相机,圆和圆心发出的一簇光线表示一幅深度全景图。不失一般性,使用相机路径上相邻的三幅深度全景图{Si}i=1,2,3来说明问题。
令{Li}i=1,2,3表示从目标相机D的投影中心O出发,通过深度全景图{Si}i=1,2,3的相机投影中心{Oi}i=1,2,3的射线集合,{Pi}i=1,2,3为{Li}i=1,2,3与目标相机成像平面I的交点集合。若Li在目标相机D的视域范围内,则认为深度全景图Si在目标视点可见,它会对目标画面有所贡献。下面讨论如何确定深度全景图Si中对目标图像有贡献的区域。
如图2(a)(b)所示,以深度全景图S1的投影中心O1为始点作平行于L2的射线L′2;以深度全景图S2投影中心O2为始点作分别平行于L1和L3的射线L′1和L′3。
对于成像平面I上{Pi}i=1,2,3三点,它们对应的目标光线{Li}i=1,2,3通过深度全景图{Si}i=1,2,3的相机中心{Oi}i=1,2,3,可用{Si}i=1,2,3中与{Li}i=1,2,3方向相同的光线颜色作为{Pi}i=1,2,3的颜色。对于P1与P2之间的像素所对应的目标光线L,需对S1和S2中与L方向相同的两根光线进行插值来计算L的颜色值。利用上述插值策略,参考图2(a)不难看出,绘制P1与P2之间的像素只需S1中位于射线L1与L′2夹角范围内的光线和S2中位于射线L′1与L2夹角范围内的光线。同理,可得到P2与P3之间的像素绘制时,S2和S3中对目标光线有贡献的区域。对于深度全景图S2来说,它对目标图像有贡献的区域由两部分组成,可将它们合并为一个更大的区域(图2(b)中L′1与L′3的夹角范围)。
上述搜索策略假设场景在无穷远处,基于该假设得到的区域是候选区域的最乐观的估计。实际应用中,若场景中物体距离虚拟相机较近,上述区域估算方法将出现重建盲区。通过扩大候选区域面积来减小重建盲区面积,一个简单方法是使用相机路径上与它编号距离为r(r≥2)的全光样本信息。
综上所述,若使用与深度全景图编号距离为r(r≥2)的全光样本作为搜索策略,估算目标图像候选区域基本过程如下:
2.3 混合权计算
根据光线插值策略,候选区域中每一像素对目标图像的贡献均不相同,用混合权来描述像素对目标图像的贡献比例。图3以深度全景图S2为例(参看图2),说明如何计算候选区域中像素的混合权。
图3中,L2表示从目标相机投影中心O出发,通过S2的相机投影中心O2的射线(参看图2),空心圆表示候选区域的像素。根据极点一致性准则[10],L2所对应的候选区域像素的混合权应最大,候选区域边界所对应像素的混合权最小,它们之间像素的混合权应从最大值连续变化到最小值。混合权的计算以图像列为基本单元,候选区域中位于同一列的所有像素具有相同的混合权。
下面以一次函数作为权函数 (图3中w3)来说明如何计算像素的混合权。设L2右侧区域中像素qi所对应的光线与L2的夹角为angle(i),区域右侧边界与L2的夹角为angleright,则像素点qi的混合权为:
L2左侧区域的像素混合权可同理计算。
权函数的选择可根据具体应用场合而定,通过设计不同的权函数可以控制目标图像的绘制质量[9,10]。GPU支持的浮点混合技术[6],允许使用更一般的权函数,如截断的sinc函数(图3中w1)、高斯函数(图3中w2)来控制重建结果。
综上所述,若以一次函数作为权函数,则混合权算法的实现方法如下:
3 实验结果
3.1 数据说明
利用3DS Max软件,依照1.1节介绍的方法从浙江大学新校区规划场景中采集深度全景视频环。该场景包含了大量三维几何和精细纹理,在硬盘上占用超过1GB的存储空间。数据采集时,每台虚拟相机生成深度图像的分辨率为512×512。以矩形的每条边作为相机路径,均匀采集50幅深度全景图,深度全景视频环一共包含200幅深度全景图,整个采集过程大约需要8小时。使用脚本程序从3DS Max软件的绘制结果中提取颜色信息、深度信息和相机参数。整个数据获取阶段需要12小时左右。
3.2 实验结果
我们在一台配备NVIDIA GeForce GTX260图形卡、Intel i7-920四核CPU的PC上实现了一个浙江大学新校区的漫游系统。该系统根据当前视点信息,使用2.1节介绍的绘制流程来生成目标图像,它允许视点在深度全景视频环的内部区域作连续运动。用一张表面格式为D3DFMT_A16B16G16R16F的浮点纹理作为绘制目标来保存混合绘制结果。将该纹理映射到一个四边形上,通过绘制带纹理的四边形来显示最终画面(分辨率为512×512)。绘制过程中目标相机的视域(FOV)保持不变,始终为70度。
系统绘制一帧所需的时间随目标相机视域内候选区域的变化而变化。若相机运动过快,候选区域缓存命中率会急剧降低,这时系统性能最差,平均速度为每秒25帧左右,如图4(a)。在大多数运动模式下,缓存的使用会极大地提高系统的响应速度,系统最大绘制速度为每秒160帧左右,如图4(b)。
图5给出场景的几个典型绘制结果。图5(a)给出视点在两个不同位置得到的绘制图像。由于三维warping可以描述视点之间的透视变换关系,建筑物本身的直线特征得到了保持。图5(b)左图中临水建筑具有四根柱子,由于视点位置改变会引起物体之间遮挡关系发生变化,在右图中只能观察到三根,其中一根被遮挡。本文提出的绘制技术不仅可处理遮挡变化,还可生成与视点相关的光照效果。比较图5(b)中左右两幅图可发现视点变化引起的水面高光区域的改变,浮点纹理混合技术使重建的高光区域非常平滑。
4 总结与展望
本文提出了一种面向虚拟场景的深度全景视频绘制技术,以深度全景视频作为场景表示的基本单元,以深度全景视频环作为场景绘制的基本单元。通过多段深度全景视频组成的深度全景视频网络来表示虚拟场景的漫游区域,它允许视点在漫游平面的封闭区域内连续运动。该技术综合利用GPU的强大处理能力和浮点格式的绘制目标,以及多幅深度图像混合绘制技术对候选区域进行绘制来生成目标图像。实验结果表明,本文提出的深度全景视频绘制技术可实现大规模虚拟场景高质量实时绘制。在未来,我们将研发出一套完整软件工具,支持面向虚拟场景的深度全景视频获取、压缩和网络传输的完整流程,将深度全景视频绘制技术应用于互联网,在自由视点视频、三维立体电视等应用领域获得应用。
摘要：高度复杂的三维场景通常包含几千万甚至上亿个三角形和丰富的纹理,大大超过了目前图形硬件的处理能力。传统基于几何的绘制系统通过牺牲画面质量来实现场景的快速绘制。与此不同,基于图像的绘制技术利用逼真的图像序列来生成高质量的目标画面。研究面向虚拟场景的IBR(Image-Based Rendering)技术来克服现有方法的不足,提出以深度全景视频DPV作为场景表示的基本单元,通过多段深度全景视频组成的深度全景视频网络来表示虚拟场景的漫游区域,它允许视点在漫游平面的封闭区域内连续运动。绘制算法根据目标视点参数计算深度全景视频环中对目标图像有贡献的候选区域,综合利用GPU的强大处理能力和浮点格式的绘制目标,以及多幅深度图像混合绘制技术对候选区域进行绘制来生成目标图像。实验结果表明,深度全景视频绘制技术可实现大规模虚拟场景高质量实时绘制。
关键词：虚拟场景,基于图像的绘制,深度全景视频
参考文献
[1] Moller T A,Haines E,Hoffman N.Real-Time Rendering[M].3rd ed.AK Peters,2008.
[2]Shum H Y,Chan S C,Kang S B.Image-Based Rendering[R].Spring-er,1 edition,September 28,2006.
[3] McMillan L,Bishop G.Plenoptic modeling: An image-based rendering system[C]//Computer Graphics (SIGGRAPH95),1995:39-46.
[4]Aliaga D,Carlbom I.Plenoptic stitching:a scalable method for recon-structing 3D interactive walkthroughs[C]//SIGGRAPH 2001:443450.
[5]Shum H Y,He L W.Rendering with concentric mosaics[C]//SIG-GRAPH 1999:299-306.
[6] http://www.microsoft.com/games/en-US/aboutGFW/pages/directx.aspx.
[7]http://usa.autodesk.com/adsk/servlet/pc/indexid=14898170&siteID=123112.
[8]Jiang Z,Wong T T,Bao H.Three-Dimensional Image Warping on Pro-grammable Graphics Hardware[R].Technical Report,CAD&CG Lab,Zhejiang University,TR-03-01,2003.
[9] Isaksen A,McMillan L,Gortler S.Dynamically reparameterized light fields[C]//SIGGRAPH 2000:297-306.
基于全景视图的虚拟现实系统研究 篇5
近年来, 随着虚拟现实技术的发展, 其应用内容也日趋复杂化。特别是网络图形技术的发展, 对具有真实感强的实时虚拟场景绘制方法提出了更高的要求。因而急需在现有计算机平台下研究一种有效的图形绘制算法以进一步加速对复杂场景模型的绘制, 然而算法的绘制速度、对象的生成质量及场景复杂度之间的矛盾, 己成为计算机图形学领域一个重要的课题。
虚拟场景的绘制是虚拟漫游系统的关键, 依据不同的场景建模方法, 目前主要分为基于图形绘制 (GBR) 和基于图像绘制 (IBR) 两种方法。IBR方法与GBR相比具有以下特点: (1) 以图片代替3D建模, 虚拟场景生成速度快, 开发周期短。 (2) 场景逼真, 给人以身临其境的视觉满足感, 可达到照片级的真实感。 (3) 数据量小, 适合网络传输, 且视图生成算法计算量小, 能够在一般PC机上实时绘制完成。
2、全景图技术
全景 (Panorama) 技术是目前迅速发展的一门视觉新技术, 它可以拓展图片的分辨率和实现信息压缩, 目前已广泛应用于宇宙空间探测、医学图像处理、海底勘探等社会领域。全景图可通过多种途径获取, 目前多采用图像拼接的方法得到。虚拟现实 (Virtual Reality, 简称VR) 系统又可称为灵境技术, 它可提供一种模拟仿真的互动环境。对于任何一个虚拟现实系统, 主要有以下三大特性。 (1) 沉浸性。 (2) 交互性。 (3) 多感知性。
2.1 基于图像的图形绘制技术 (IBR技术)
它采用真实的场景图片作为输入, 并通过图像处理技术对全景图像进行反投影、插值等运算来绘制虚拟场景。其与传统的基于图形绘制的方法思路完全不同, 不再需要繁琐的几何建模, 直接由己知场景图像合成新视图。
基于IBR的方法较传统的基于图形绘制的方法, 有着以下优势: (1) 场景真实, 沉浸感强。 (2) 建模简单快速。 (3) 数据量小, 实时性好。
2.2 立方体全景图技术
立方体全景图可实现360度无视觉死角漫游。视平面与立方体全景图的几何关系如图1所示。
通常可以由两种方法来生成立方体全景图:第一种是用拼接软件的方法对采集的图像进行无缝拼接, 并采用立方体投影模型来生成具有6个面的立方体全景。第二种方法是用数码相机严格标定相机的位置, 使用90度的广角镜头在上下, 前后, 左右6个方向依次各拍摄一张照片, 并将获取的照片无缝拼接成立方体全景图。
2.3 全景图的生成
基于图像的绘制 (IBR) 是通过宽视角图像、360°全角度具有三维立体图像对现实中的景象进行建模展示, 根据多个静态的图像进行合理的组合来展现实际场地的一种连续查看。随着计算机技术水平的快速发展, 为图像的计算机处理提供了更为先进的数字处理方法, 我们利用多个现场图像的拼接, 通过数字技术实现对其各个拼接点和接触点进行编辑;也可以对每个节点进行不用角度的和远近距离的查看等操作。这种根据多个图像拼接来实现整个场景的展示过程如2图所示:
3、虚拟实景空间系统分析设计
虚拟实景即将现实中的场景通过现有虚拟技术进行表现, 由于技术实现复杂度高等条件限制, 提出了基于实时序列普通图像采集数据, 运用IBR全景技术, 将图像数据生成可靠性高, 真实度高的虚拟环境的全景图。
虚拟实景空间的数据采集来自于真实的场景照片、围绕人机交互操作这个核心, 比传统的虚拟技术在真实性、人机交互等方面有很大的优势, 其主要特点体现在以下几点:
(1) 原始数据真实性。基于建模的虚拟空间是实景是通过3D几何模型实现, 而虚拟实景空间构造使用的是实景图像。 (2) 空间。虚拟空间是虚拟场景和视点之间的关系, 虚拟实景空间系统是以图片采集点W (X, Y, Z) 为唯一视点, 在该视点观察者可以进行360°×180°查看空间场景的基本元素, 在场景的所表达出的所有时空信息则是真实有效的。 (3) 虚拟。虚拟是指在图片采集技术的基础上, 通过计算机技术, 将原始数据转换成直观、易于操作和管理的真实、有效、完整的虚拟数据, 可以真切模拟现实场景的信息。 (4) 交互。虚拟实景技术是基于易于交互和操作的基础发展起来的, 交互性是关键所在, 由于现有全景技术的技术所限, 交互的可控自由度十分有限, 但理论上空间操纵的自由度仍有很大的空间可以提升。
4、全景图自动拼接系统实现
全景图的实现是经过对图片一系列的处理, 如拍摄、拼接、融合等一些关键步骤, 从而形成一副从视觉上观察是一副完整并且连续的一系列图像的有机、有序的组合。
将拍摄得到的图片分组拼接时, 每组图像都没有一个固定合理的排列顺序, 这些图片中包含了构成全景图的部分子集图像和不属于全景图像子集的噪声图像。而漫游系统中全景图是自动生成的。
系统实现。下图为对某景点全景图的虚拟漫游的实现, 图3, 图4为对景点的拼接后的全景图。
上图中, 左上角是系统的导航系统, 用户可以根据自己的需要选择其他景点。根据选择景点的不同, 系统所呈现的景点信息也会随之发生不同变化。用户通过鼠标可以直接定位感兴趣的范围, 然后通过键盘上的上、下、左、右键选择去向, 也可以选择全屏观看, 对全景图像进行旋转等功能, 大大提高了系统的灵活度。
5、结语
本论文运用图像拼接、图像融合理论, 编程实现全景图的拼接及融合过程, 结合虚拟漫游技术实现了虚拟场景漫游及导航、半视点360×360度无视觉死角浏览、全方位地漫游整个景点区域场景的功能;也方便地实现全景图的漫游、实景展示的功能, 使用户体验更加真实有效。
实验结果表明, 该系统在全景图的漫游及导航功能在效率和精确度方面都有良好的可用性。系统的实现, 为旅游业的发展提供了有力支持。
参考文献
[1]王娟, 师军, 吴宪祥.图像拼接技术综述.计算机应用研究.2008, 26 (07) :1940-1943.
[2]Jungpil Shin, Yu Tang.Deghosting for Image Stitching withAutomatic Content-Awareness.Pattern Recognition.2010, 23 (26) :26-27.
[3]赵亮.柱面全景图全自动拼接系统研究与实现: (硕士学位论文) .北京:北京化工大学, 2009.
[4]刘雪香.基于图像的虚拟漫游系统关键技术研究: (硕士学位论文) .淄博:山东理工大学, 2009.
全景数字虚拟化 篇6
关键词：全景图像,缝合技术,Ptgui
一、全景图像概述
全景图像的英文panorama, 是从希腊语πᾶν和ὅραμα发展而来, 英文直译为all和sight, 是指任何大视角表现现实空间的图像, 十八世纪爱尔兰画家Robert Barker在表述他在爱丁堡和伦敦所作的全景画作时, 第一次用到了panorama这个词。事实上, 在panorama这个词出现之前, 使用全景表现空间场景的画作早就诞生了, 我国北宋画家张择端的《清明上河图》, 采用散点透视构图法, 将北宋徽宗时代首都汴京 (今河南开封) 郊区和城内汴河两岸的建筑及生活场景, 展现在长528.7cm, 宽24.8cm的平面上, 这是人类历史上利用全景展现空间场景的最早尝试之一。西方的全景绘画起源于18世纪, panorama这个词也诞生于那个时期, 到19世纪时盛极一时, 西方的全景绘画一般版面很大, 很多作品长度都在100米以上, 必须在专门的圆柱形展览馆内向人们展示。
全景图像的缝合指的是利用摄影机平移旋转或多部摄影机多角度拍摄得到的具有部分重叠信息的图像样本, 生成一个具有较大视场角的全景图像。即用摄影机对场景一定范围内进行全方位的图像采集, 然后再由缝合软件对局部图像进行拼接, 生成包含这组局部图像全部信息的新视图。最终生成的全景图像按照显示方式 (即投影方式) 的不同, 主要分为柱面、球面、立方体等几种, 其中在虚拟电影的应用方面, 通常以柱面和球面为最为普遍的投影方式。
二、全景图像缝合软件与缝合原理:
在全景图像的缝合中, 我们所依据的是图像序列中相邻两幅图像的重叠区域的相似性, 有基于特征的缝合方法和基于相位相关的缝合方法等, 两种方法的算法和原理都不相同。基于特征的缝合方法主要从两幅图像中选择一系列特征点, 然后根据相似性原则进行图像间的特征匹配。而基于相位相关的缝合方法是直接从图像重叠区域对应像素灰度值出发考虑, 利用所有可利用的数据实现精确的匹配。
从全景图像的素材拍摄完成, 到最后的全景图像的生成, 就是全景拍摄的后期工作, 即全景图像的缝合过程。全景图像的缝合工作主要目的是如何以效率更高、速度更快、质量更高的方式将拍摄的全景素材, 即同一场景不同角度的图像拼合成一张视角更广的完整的全景图像。在实际应用中有很多软件可以实现从全景素材的导入、生成、编辑到最终全景图像的输出这一完整的后期流程。比如PTGui Pro、Kolor Autopano、Pixtra Pano Stitcher、Pano2QTVR、Panorama Studio、Image Composite Editor等。其中PTGui Pro是一款开源的全景图像缝合软件, 从1996年诞生以来不断的更新升级, 现在已经可以实现对全景图像的畸变校正, 视点调整, 标记点编辑, 曝光调整, 图像优化等操作, 通过参数的调整弥补拍摄过程的操作不当对全景图质量带来的影响。
三、全景图像的缝合流程:
全景图像的缝合, 归结为两点, 归根结底需要解决两个问题, 一个是全景素材的对齐, 二是全景素材的融合。在PTGui中, 从全景图像素材的导入, 到最终全景图像的生成, 需要以此经过镜头参数的设置、投影方式的选择、特征点的寻找和标记、图像的融合、和全景图像的生成等步骤, 下面将以PTGui为例, 详细讲述全景图像的缝合流程。
1.镜头参数的设置
在图像导入PTGui后, 首先需要进行的是镜头参数的设置, 在镜头参数设置中, 包含了镜头类型、镜头焦距、焦距乘数、水平视场的参数调节, 在高级选项中, 提供了镜头校正参数、图像位移和图像修剪的参数调节。其中大多数设置由PTGui自动确定。
要创建一个无缝的全景图, 源图像需要被重新映射 (也称为扭曲) 。这可以看作是一个透视变换:源图像的透视变换成所生成的全景的角度。对于实现一个正确的变换, PTGui需要知道拍摄全景图像使用何种镜头。其中, 镜头的类型和他的视场角是两个关键参数。
2.投影方式的选择
全景图像是对场景的一种平面展示, 换言之, 是将三维的环境投射到一个二维的表面上, 称之为投影, PTGui提供了多种可选择的投影方式, 不存在一种完美的投影方式, 每种投影方式都具有其特有的优势和局限, 用户需根据自己的需求选择合适的投影方式。
3.特征点的寻找和标记
特征点的寻找和标记是图像缝合中最为关键的一步, 通过寻找图像的特征点, 我们可以大致确定相邻两幅图像的重合区域, 并通过重合区域的特征点对相邻图像进行配准。全景图像的缝合质量主要依赖于图像间配准的精确程度, 在PTGui中, 图像配准的算法是基于特征点匹配算法, 其工作流程为:1.提取所有原始全景素材图像的特征点。2.根据特征点对相邻图像进行图像匹配。3.计算图像变换关系。4.对图像进行几何变换。5.缝合两幅图像。
4.图像的融合
当对所有特征点进行标记之后, 事实上此时多个全景图像素材已经拼合成一幅完整的全景图像了, 对于无视差现象的全景图像, 标记点在没有出现明显精度误差的情况下是不会出现图像的错位的, 但是假如图像间存在曝光差异, 图像间会出现由于曝光不同产生的接缝, 图像的融合就是利用算法对图像间重合部分进行曝光过渡, 消除接缝。
5.全景图像的输出
PTGui通过创建全景图面板完成全景图像啊的输出, 在创建全景图像面板下, 分为普通和高级两种选项, 在普通选项中, 我们可以对全景图像完成基本的设置, 分别是全景图像分辨率、输出文件格式、图层和输出路径。
四、结语
在电影虚拟场景的搭建中, 我们希望尽最大可能提高虚拟场景的真实性, 真实度越高的虚拟场景, 越可以使观众获得更高的沉浸感, 而使用全景图像作为虚拟场景中的背景可以克服三维模型方法带来的缺陷, 由于全景图像具有真实度高、复杂度低等优势, 所以目前基于全景图像的缝合技术构建的虚拟场景被应用于电影工业中, 随着电影工业越来越成熟, 全景图像的在影视中的应用也会越来越广泛。
参考文献
[1]漆驰, 刘强, 孙家广.摄像机图像序列的全景图拼接[J].计算机辅助设计与图像学学报, 2001, 13 (7) :605-609.
[2]杨燕, 王雪瑞, 戴青, 等.球面全景图像生成技术的研究[J].计算机应用与软件, 2007, 24 (10) :164-165.
全景数字虚拟化 篇7
关键词：虚拟现实,全景,3D校园
虚拟现实(Virtual Reality,简称VR)是一种借助计算机对复杂数据进行可视化操作的全新方式。其在技术思想上有了质的飞跃。虚拟校园则是GIS、VR和Web等技术的集成,以虚拟现实场景实现校园信息的浏览查询。全景图的生成与制作是构建虚拟校园的重要手段之一。
1虚拟校园的建模方法
一般来说,有两种方法可实现虚拟场景的建模。一种是基于图形的建模与绘制(Geometry Based Modeling and Rendering,简称GBR),一种是基于图像的建模与绘制(Image Based Modeling and Rendering,简称IBR)。GBR是先借助于软件构建现实的三维几何模型,再以固定观察点和方位,实现模型的描绘、光照处理、纹理映射以及变换投影等操作,最后生成虚拟现实;而IBR则借助计算机图像学直接建造场景,在视觉技术的帮助下,让新的虚拟图像从传统手段获取的已知图像中生成。与GBR相比,IBR的优越性有:一是无需繁琐的场景建模;二是不需要特殊设备;三是可不考虑景物的复杂程度。
在众多IBR实现方法中,借助于海量的全景图所形成的全景图集合来构成VR是一种常见的方法。
2全景图
2.1全景图概念
全景图(Panorama)是虚拟实景的一种表现形式,它基于鱼眼技术,外部人员可在一个固定观察点上从多个角度察看实际场景,立体感直观。同时,海量的全景图集合可不断变换观察点,更有利实际场景的表达,也不局限于场景的复杂程度。
2.2全景图的特点
对于高质量360°的全景图,至少应具备三个方面的基本特征:
(1)全方位:全面的展示了360度范围内的所有景象;并可用从各个方向来观看场景。
(2)实景:可通过普通照片拼合获得,几乎是现实的最直观反映。
(3)三维:借助于专业软件,可最大程度的感知立体空间。
根据全景图模型建立的基础投影不同,可分为立方体、圆柱体和球体三种。其中,柱状建模是指将获取到的图像重新投影到一个以相机焦距为半径的柱面上,是目前最为成熟的方法。
3全景图生成制作技术
3.1虚拟全景空间生成流程
一般来说,要生成一个区域内的全景空间,大致可按下面流程处理:先选择合适的模型,然后通过相机获取图像数据,经过投影变形和图像拼接后形成全景图像,再通过空间图像编辑器,就可以将不同地点和阶段、且数量巨大的静态全景图组织为动态全景场景。基本流程详见图1。
3.2全景空间的生成
3.2.1图像的获取和投影变换
校园内的图像数据可采用普通照相机或摄像机等来获取。为保证相邻照片位于同一个水平面内且有一定的重叠,可将机器固定在可水平旋转的支架上,使得镜头位于支架的中心点,每间隔一定的角度拍一张照片。普通方式所得到的图像数据属于中心投影,还需进行柱状投影变换。
3.2.2图像拼接
图像拼接过程分成图像匹配和平滑连接两个步骤。图像匹配是确定相邻图像的重叠范围;平滑连接主要是为了提高图像的质量。
(1)自动拼接:一些相机直接提供了360相片的拼接软件,或者在Photoshop软件中,采用“合并到HDR”功能及其编辑功能,更可以在一定程度上降低图像的扭曲与变形。
(2)手动裁剪拼接:手动裁剪拼接可以制作出更完美的图片,特别是当采集的图像出现偏差或扭曲时,可实时对局部细节进行调整。手动拼接建议用卡片机带广角镜头采集图像更好。
3.2.3动态全景图的生成
制作成动态全景图就需要借助Flash脚本来实现,或者使用其它一些软件工具也可以实现。下面分别介绍两种方法。
(1)Flash脚本实现
(1)参数设置:打开Flash的“首选参数”,进行actionscript3.0设置,添加类包路径。依次新建pv3d类包的五个基本要素:container,scene,camera,material和object,并添加object到scene中,最后架好摄像机。
(2)元件按钮的制作:启动Flash,导入静态全景图,并插入控制脚本、控制按钮、显示区、全景图等新层;插入放大、缩小、响应等元件按钮;插入“影片剪辑”元件,打开图片完成拼接。
(3)舞台按钮的制作:打开库,将按钮拖放到“控制按钮”层第1帧的舞台上,要保证“响应”按钮在全景图显示区域内,然后进行透明度、宽度、高度等参数设置;再在显示区域层第1帧的舞台上绘制一个与“响应按钮”等大的矩形;最后将库中的“拼接全景图”影片拖放到“全景图”层,并激活。见图2所示。
(4)脚本输入:选中“拼接全景图”影片,单击“属性”修改实例名;在“控制脚本”层的第1帧插入关键帧,打开脚本输入面板,依次输入脚本,实现停止、放大缩小,以及全景显示功能。最后,可按照.swf格式进行发布。
(2)Pano2QTVR全景图实现
尽管借助于Flash软件制作的动态全景图应用范围较广泛,但是由于涉及到不少的代码,对使用者会造成很多的不便。实际上,完全可以借助某些开发好的类,来实现利用AS脚本来控制照片的呈现效果。基于苹果核心的虚拟现实软件Pano2QTVR就是其中之一。
该软件提供了矩形球面投影、立方体型、圆柱形三个建模实体对象,实际上就是将Flash软件中的三维建模包集成实现,制作中可直接选择。在软件的“Flash”选项中,可设置图像是否开启自动旋转以及旋转延迟的时间,另外,可根据需要是否添加外部控制器按钮,并可简单调节按钮位置。
参数设置完成以后,选择了输出位置和输出格式后,就可直接创建动态全景图。Pano2QTVR虽然实现了动态全景图的输出,但相对来说其灵活性不足,主要是其范围、帧频、以及观察视角的选择都已经被固化。
4结论
基于IBR构建的虚拟校园中,动态全景图的生产和制作是其关键部分,而采用Flash脚本和其它应用软件均可以实现动态全景图,两者可相互兼容。实际当中,可根据动态全景空间的要求进行方法的取舍。
参考文献
[1]彭勃.基于Open GL的地形与单株林木的三维可视化研究[D].东北林业大学,2013.
[2]马萍.三维虚拟校园立体场景的设计与实现[D].山东师范大学,2013.
[3]谭同德,乔木,丁安国.基于Open GL的虚拟环境建模技术[J].河南科技大学学报(自然科学版),2006(02):37-39+6.
[4]王桐,王亮,马楠.基于全景图的虚拟现实技术在数字博物馆中的研究与应用[J].山西电子技术,2011(01):75-76+81.
[5]郭蕊,杨立新,侯阳,赵伟韬.虚拟现实技术在园林设计中的应用研究[J].沈阳农业大学学报(社会科学版),2009(06):738-741.