虚拟交互技术（精选11篇）
虚拟交互技术 篇1
摘要：实现虚拟场景的交互更具人性化, 设计了基于Via Voice的语音识别模块, 通过此模块, 利用XML技术将语音信息生成XML文档。通过XML解析器和可面向对象编程的Java语言, 将XML文档中的信息映射到虚拟场景中, 从而实现了语音控制虚拟场景变化的目的。将此技术应用到锯片生产车间虚拟规划系统中, 大大提高了工艺规划的效率。此技术的实现对丰富虚拟交互的手段、增强虚拟现实交互的真实性具有重要意义。
关键词：虚拟交互,语音识别模块,XML技术,语音控制,虚拟现实
0 引言
随着计算机技术的不断发展, 网页上一些文本、图片等二维展示途径已经满足不了人们的需要, 三维建模语言的出现则满足了人们的这一要求。VRML是基于Web的虚拟现实建模语言, 是第二代Web的标准语言, 它是一种用文本信息描述三维场景的描述性语言, 是Internet上3D文件描述、交换的标准。其基本原理是利用文本信息描述三维场景, 在Internet网上传输, 在本地机上通过支持VRML浏览器解释执行并显示创建的三维场景。在交互方面, VRML可以通过两种技术实现交互功能。一种是传感器交互技术, 另一种技术是脚本编程交互技术[1,2]。
现阶段对虚拟场景的交互还都停留在鼠标交互的阶段, 并不能完全满足人们的使用习惯。而随着语音识别技术的快速发展, 将语言这种人类最直接、最有效、最常用和最方便的通信方式用于虚拟场景的交互成为了现实。语音识别技术是以语言为研究对象, 让机器通过识别和理解过程把语音信号转变为相应的文本或命令, 使人机能自然地进行语音交流的技术。随着时代进步, 语音识别技术已经发展成一门综合人类智能各项研究的独立学科, 逐步成为信息技术中人机接口的关键技术[3]。
1 技术架构
本文所提出的语音控制虚拟场景的方法涉及到语音识别技术, XML技术, 对象编程技术, 计算机辅助设计技术、虚拟现实技术和网络技术等, 其技术架构如图1所示。
硬件层包括PC机和麦克风, 麦克风用于声音信号的采集, PC机作为计算逻辑层、数据库层、用户界面的载体。计算逻辑层是整个系统的核心, 其中语音识别模块对通过麦克风获取的声音信号进行处理, 生成定义好存储结构的XML文档, XML文档就存储在数据层。逻辑运算模块主要包括XML数据管理和一些虚拟算法功能。虚拟算法如平移算法、旋转算法、综合 (平移、旋转) 算法, 力学模型的变形算法, 交互映射, 实时仿真管理等算法通过VRML或JSP/ASP, Java等编程语言来调用XML数据文档, 把多个XML数据文档作为数据与存储层, 通过DOM解析被调用, 从而生成新的VRML程序[4]。用户界面层可采用HTML的样式或VRML浏览器的方式显示实时变化的虚拟现实的场景。
在架构图中的数据层、计算逻辑层和用户界面层是分开的, 使不同类型用户可访问同一计算层, 但可根据每一类用户的特定需要定制不同的界面;硬件层、数据层、计算逻辑层可位于主机端, 而用户界面层位于客户端;由于数据层和计算逻辑层是在计算机后台执行的, 所以整个系统的直观概念就是语音直接改变了用户界面的虚拟场景。
2 关键技术与实施过程
2.1 基于Via Voice的语音识别模块设计
2.1.1 识别模块的识别流程
语音识别技术从20世纪50年代开始提出, 到现在已经有近60年的发展历史, 许多公司都相继推出了语音应用软件, IBM公司推出的Via Voice语音应用软件已经日趋成熟, 并且支持汉语识别。IBM Via Voice提供了与其它应用软件接口的API函数。可以在PC机上编写具有可视化界面的语音识别软件, 通过API函数将IBM Via Voice作为语音引擎[5]。通过语音识别软件, 我们语音将信息判断, 提取有用的语音信息存储到XML文件中。图2为此软件的语音信息识别流程。
2.1.2 识别模块设计时拟解决的关键问题
(1) 在实际运用中, 每个用户的发音各不相同, 识别的效率会有所影响, 所以进行自适应的学习是十分必要的。即让用户先朗读一段特定训练文件, 系统采集用户的发音特征, 形成相应的配置文件, 从而在以后使用中根据此配置文件有效地完成识别, 这样可以显著地提高识别的准确率。针对多用户的情况, 系统可以同时使用多个配置文件, 当特定人员使用时, 只需要选择相应的配置文件, 识别引擎就可以准确地依据此文件来进行语音识别, 从而满足多用户系统的要求。
(2) 在语音消息循环中, 对语音进行连续识别, 将识别结果与交互文件中用户根据自己需要定义的内容进行匹配, 最后由语音输入引擎将符合匹配的信息存储到XML文件中。
(3) 对于数字语音, 需要进行汉语文字信息向数学数字之间的转化, 如通过识别引擎得到的是类似于“一千三百二十一点零六”的语言文字信息, 用来驱动的消息参数必须转化为1321.06。这一部分的实现需要在程序中对数字信号进行拾取与规整。
(1) 定义对应标记: ({“q”, “千”}, {“h”, “百”}, {“t”, “十”}, {“p”, “点”}, 和{“0”, “零”}, …, {“9”, “九”}) 。
(2) 把文字信息转为用定义的标记进行表示, 为了进行统一处理, 需要把文字信息转化为标准的定义格式:_h_t_p__对于一些特殊的汉语语法, 如“十八”, 直接转化结果为“t8”, 所以需要进行规则化处理, 把其变成系统可以进一步处理的“1t8”格式。
(3) 对于数字的处理, 小数点前面部分的处理和小数点后面的处理是不一样的, 所以在处理之前, 程序把规则化后的字串以“p”标记为中心分为前后两部分, 记为str Before Point和str After Point。
(4) 遍历str Before Point和str After Point的字符串, 找出所有的数字, 将他们进行差位补零和公式相加运算即可得到实际的数字信号。
整个数字信号拾取与规整流程如图3所示。
2.2 用XML作为语音交互中信息数据的存储方式
2.2.1 采用XML文件作为参数的存储方式的优势
由W3C (World Wide Web Consortium) 根据SGML (Standard Generalized Markup Language) 推出的XML语言与HTML一样都是标记语言, 而XML强大的功能, 描述数据和交换数据的平台无关性深得业界的关注。XML包含三要素, DTD (Document Type Definition) 或XML Schema (XML大纲) , XSL (可扩展样式语言) 和XLink (可扩展链接语句) 。DTD或Schema规定了XML文件的逻辑结构, 包括XML文件的元素、元素的属性、元素与元素属性见得关系;XSL用于规定XML文档呈现的样式, 使数据与其表现形式相互独立;而XLink将进一步扩展目前Web上已有的简单链接[6]。
语音识别模块, 将语音信号转为数据信息后, 可以采用数据库来存储数据, 也可以采用XML文件存储数据。相比较, 采用XML文件存储数据具有更大的优势: (1) XML具有跨平台姓、自描述性和可扩充性, 是Internet上分布式应用程序相互交互数据的标准格式。 (2) XML比数据库更轻巧和灵活, 访问效率更高, 非常适合实时要求高的三维程序, 把XML以文件形式存放在服务器端可以作为Java Applet的参数下载到客户端, 直接在客户端执行, 速度快, 而数据库必须在服务器端, 访问速度慢, 而且Java Applet访问数据库有复杂的安全限制。
2.2.2 XML文件设计
语音识别系统的目标是生成中间转换的XML文档。每个XML文档的结构类型是各不相同的, 这是有语音的命令类型决定的。如移动、旋转、缩放、闪烁、透明变化等各种命令, 他们对应了XML文档的各个根元素move, rotate, scale, flash, transparent。例如语音命令“叉车四秒内沿X轴正方向行走五米”, 生成的XML文档内容为:
<?xml version=”1.0”?>
<!DOCTYPE move SYSTEM“move.dtd”>
<move>
<partname>forklift</partname>
<time>4</time>
<axis>x</axis>
<plus_minus>plus</plus_minus>
<distance>5</distance>
</move>
上面生成的XML文档表征了各元素的参数内容, 是一个结构良好的XML文档, 但要作为一个有效的XML文档, 还要符合规定文档约束的DXD或XML Schema文件。对于移动命令的包含DTD的”move.dtd”文件如下:
<ELEMENT move (partname, axis, plus_minus, distance) >
<!ELEMENT partname (#PCDATA) >
<!ELEMENT time (#PCDATA) >
<!ELEMENT axis (#PCDATA) >
<!ELEMENT plus_minus (#PCDATA) >
<!ELEMENT distance (#PCDATA) >
2.3 XML映射到虚拟场景的虚拟算法
2.3.1 虚拟算法的实现步骤
要实现虚拟场景的变化, 需要将存储在XML文件中命令信息映射到虚拟场景中。在XML文档中, 数据是以层次化树状结构组织的, 虚拟算法就是将树状结构的元素映射到虚拟场景中的各个节点和Java Script脚本中。实现XML到VRML的映射有以下两个步骤。
XML文档要通过XML解析器和XSL样式单, 得到VRML所需的信息。解析是首先检验XML文档是否Validate, 然后将XML文件转换为可以通过程序语言处理的对象。如DOM (文档对象模型) 。DOM解析是基于树型的解析技术。当XML文档被加载后, 在内存中就构建起一棵完整的解析树, 解析树是一组对象的集合, 通过操作这些对象, 可以实现XML文档的全面、动态的访问。最后通过DOM树来访问树中任何一个对象, 从文档中获取所需的信息[7]。
对所获取的信息, Java语言进行转化和整合。在Java语言中, 支持VRML的Script节点的API提供了类的集合和方法, 程序脚本可以通过调用它们来访问借口field和event Out, 例如get Field和get Event Out方法就分别获得接口field和event Out的句柄 (handle) , 拥有句柄就可以对对象 (物体) 进行多方面的操作, 提供类扩展实现数据类型的转换。用户可创建initialize方法和shutdown方法控制脚本程序, 创建与event In事件同名的方法对事件做成响应, 用get Browser访问访问浏览器。通过编写Java程序进行有关运算并调用相应API, 可实现宿主节点、Script节点和程序脚本的交互, 完成所希望的功能。
2.3.2 虚拟算法的具体实现过程
以上面提到的语音命令“叉车四秒内沿X轴正方向行走五米”为例, 其具体实现过程是:先在VRML文件中定义各个动画的通用节点, 下面的代码为平移动画的通用节点。
语音命令“叉车四秒内沿X轴正方向行走五米”经语音识别模块和XML模块生成XML文档, 此处先经过XML解析器解析, 然后由Java程序传给VRML内部文件。XML文档的根元素是”move”, 确定将平移动画的节点实例化, 节点中的各域值也可以得出作用体Transform Node为forklift, EnduringTime 4, start_position 0 0 0, end_position 5 0 0。在域值确定和实例化后, 在浏览器中就会出现“叉车沿X轴正方向行走五米”的动作。
3 应用实例
上述方法已应用到锯片生产车间虚拟规划系统中, 实现了语音与生产车间虚拟场景的交互, 快速地改变不同的工艺操作在车间里的规划。直到在有限的生产车间内各个操作工艺都能实施, 并满足生产要求。图4为在语音规划的不同时刻, 车间里各操作工艺的实际情况 (绞孔机和绞平机在规划车间中的位置不同) 。
4 结束语
利用语音来驱动虚拟场景变化是一种新型的虚拟场景交互方式, 具有交互操作方便, 信息响应速度快的优点。在虚拟规划、虚拟装配和虚拟设计等领域有着重要的实践意义。因为整个技术环节的效率主要是由语音识别的效率决定的, 随着语音识别技术的提高, 这一技术会得到更广泛的应用。
参考文献
[1]杜宝江.虚拟制造[M].上海:上海科学技术出版社, 2012:310-367.
[2]杨琳.基于VRML和Java Script的动画控制机制[J].系统仿真技术, 2012, 8 (3) :205-208.
[3]刘幺和.语音识别与控制应用技术[M].北京:科学出版社, 2008:15-34.
[4]张倩茜, 陈家新.基于XML-VRML的三维模型可视化系统[J].河南科技大学学报, 2005, 26 (6) :52-58.
[5]基于语音识别技术的交互绘图系统的设计与实现[D].大连:大连理工大学, 2006.
[6]李玉忠, 贾达贵.基于XML的虚拟现实研究[J].计算机仿真, 2006, 21 (4) :87-90.
[7]基于XML的界面自动生成技术研究与应用[D].西安:西安石油大学, 2010.
虚拟交互技术 篇2
一、交互电视概念
1、基本形式
对于交互电视而言，完全交互方式是交互的极致，具有按需获取的全部优点，但是其服务成本也非常高。除了在前端需要大量的设备之外，还需要占用大量的频谱资源。以典型的安全交互式业务-视频点播为例，每一个点播用户将占用一个独立的流。因此，前端必须具有足够的流播放能力。其次，每一个流会占用相应的频谱，即占用一个传输通道。如果按IP方式运行，同样会占用相应的数据带宽。在有线网络中，可以拿出来用的频谱大概能够支持数百个独立通道，仅仅能够满足相当与小规模用户数量的水平，甚至无法实现对城市一级的服务，更谈不到面向全省、全国。
广播方式交互电视的实质是在广播端发出更多的内容，由用户根据需要通过机顶盒进行选择。
例如，典型的交互体育节目形态之一是多角度节目。在这
类型的节目中，电视台将提供多个不同角度的摄像机图像信号，用户可以利用遥控器选择。
其特点是：
（1） 服务成本低。
无线广播方式下的服务成本与用户数量无关，有线电视的基础建设费用虽然与用户数量有一定关系，但广播方式运营成本仍然较低，例如有线电视的月收视费用只有十余元。完全交互方式将占用大量资源，同时服务成本与用户数量成正比。
（2） 适用于当前的单向网络
广播方式只需要单向传输通道，因此，目前未改造的单向有线电视网络可直接使用，不需要投入大量资金进行双向改造。
（3） 继承传统电视
这种方式下的制作和播出系统，与传统的电视制作播出系统相同，原有的软硬件资源均可以直接迁移到广播方式的交互电视相同中使用。
基于广播方式的交互电视可以视作由若干个视频通道和一个图文/数据通道的组合。如上图1所示。
将若干个视频通道与图文捆绑，组成一个传输流，并在用户机顶盒上实行交互操作。这一捆绑并不意味着简单的叠加，而是要根据内容和交互操作的要求进行细致的安排。
3、体系结构
交互电视的体系结构可以仿照网络的开放系统互连（OSI）七层参考模型，分为以下几个层次来描述，如下图2。
节目层所涉及的是节目的软体。在交互电视系统内，节目
可以简要地分为影音节目和图文节目两大类。
影音节目与传统的电视节目一样，以图像和声音作为表现手段。原有的大量资料、素材以及制作好的节目均可以使用。
图文节目以静止图像和文字为表现形式，适用于新闻、广告、天气预报等，这部分的制作大致与网页制作类似最终形成数据文件。
（2） 编码层
编码层是将节目层的内容通过编码形成符合DVB标准的MPEG/TS流。
其中，影音层内容经过MPEG-2编码器，压缩成指定带宽的传输流。图文内容或数据则通过多协议封装程序形成符合MPEG/TS流的数据包。一般采用私用数据协议或DSM-CC。为了控制图文、数据内容的传输速度，必须采用特定的数据打包程序。
编码器的输出一般为ASI接口，直接连接到复用器。
接收端则处理相应的解码功能，分别重新形成视频、音频和图文数据。
（4） 复用层
复用层很简单，只是将编码层的结果，包括影音和图文，复用成为一个传输流。
由于交互节目中实际使用的影音内容会有多个信道，例如适用于多角度竞赛节目的情况中可能有3个以上的附加信道，所以复用器将具有多个输入端。
在接收端，这一层负责解复用，将一个MPEG/TS流恢复为若干个MPEG-2影音和图文、数据流，是发送端的逆过程。
（5） 传输层
传输层处理将MPEG/TS流传输到户。这一层抽象地定义了传输的功能，这些功能包括信道编码和调制等。对于光缆，这部分可以是G . 703接口或QAM 调制器；对于卫星传输则是QPSK调制器；对于地面广播则是COFDM或8VSB，取决于采用哪种类型的传输方式。
对应于接收端，传输层负责相应的解调和信道纠错等。
在整体上看，发端的内容是从上至下逐层处理，直至到达传输层后经由物理通道传送到接收端，接收端则按照相反的次序，从下至上逐层逆处理，最终还原为影音和图文节目内容。从图中可以看出，在发端最先处理的功能在接收端必定是最后处理的功能。
4、交互方式与实现方法
采用何种交互方式主要是由提供何种类型的服务决定的。对于视频点播之类的服务，必须采用实时交互方式，而对于根据用户选择决定剧情发展的应用而言，就不一定采用实时方式。
（1） 实时方式
用户信息可以直接地、立即地影响信息或节目选择和传送，例如：节目选择、速进、速退、静止等控制，也可以是电视邮件或即时的电视购物。采用实时交互方式具有较好的响应速度，观众的要求可以立即得到满足，但是也需要具有相应的通信线路和足够的处理能力。例如，对于少量的请求是可以做出实时回应的，而对于数万或数十万用户的同时请求，几乎没有任何一种实时系统具有足够的能力和资源做出实时响应。一个简单的例子是现在经常提到的视频点播。这是一个典型的实时交互应用，由于每个用户要占用一个独立的视频流，所以无论是频谱资源或带宽资源和服务器处理能力都无法有效地满足大量用户。
在实时交互系统中，返回通道可以采用双向有线电视网络、电话以及互联网。
（2） 非实时方式
系统采用非实时的方式对用户的选择做出响应。如根据观众的意见决定剧情发展、节目内容的选择等。在这种方式中，不要求有非常高的响应速度，所以处理能力也没有很高的要求。由于用户请求不必立即影响信息或节目传送，所以可以在稍晚的时间中，根据统计数据决定传送内容。
非实时交互系统可以选择电话或互联网作为返回通道。
二、交互电视技术的标准
在交互电视技术中，数据广播是下行信道协议中对传统电视广播的重要扩展，这个数据广播包括传输数据的低层协议和标准，也包括上层的应用。分别称其为数据广播标准和数据广播应用。目前，在国内没有指定统一的交互电视系统的标准，现在分别对国外的交互电视技术的标准作以介绍。
DVB关于数据广播协议方面的标准主要围绕着物理层和传输层，主要包括：
（1） ISO/IEC 13818-1：Systems-International Standard（IS）
（2） ISO/IEC 13818-6：Digital Storage Media Command and Control（DSM-CC）
（3） ETS 300 800 ：DVB interaction channel through CATV Networks
（4） ETS 300 801 ：DVB interaction channel through PSTN/ISDN
（5） ETS 300 803 ：DVB interaction channel for Satellite Master Antenna TV distribution system （SMATV）
（6） ETS 300 802 ：DVB Network-independent protocols for DVB interactive services
（7） TR 101 194 ：DVB Guidelines for the use of the DVB network-independent protocols for interactive services
（8） EN 301 192：DVB；Specification for Data Broadcasting Services in DVB
（9） DVB SI-DAT：Implementation Guidelines for Data broadcasting
（10） EN 300 468：DVB；Specification for Service Information （SI）in DVB streams
其中，（2）是整个数据广播标准的基础；（3）（4）（5）是与低层网络相关的协议；（6）是与低层网络无关的协议，规定了参考模型中各信道实现数据传输所使用的协议栈；（8）是如何在广播信道中封装数据的标准。以上标准都应归属于传输层，为上层应用提供数据通道。
对于广播电视系统，（2）（8）是最为重要的标准，（2）是DCM-CC标准，（8）是DVB的数据广播标准，其中在DSM-CC的基础上规定了DVB Object Carousel和DVB Data Carousel，并且定义了DVB Multiprotocol Encapsulation 协议。
2、交互通道协议
交互通道的采用是交互电视区别于传统电视系统的重要特点，通过交互通道，接收机可以主动地和服务器进行通信，从而实现用户完全主动地获得服务的目的。关于这部分协议DVB组织进行了详细的规定，主要分为与具体网络接口相关的协议和与具体网络无关的协议。
针对CATV，PSTN/ISDN，DECT，GSM,LMDS和SMATV的网络接口，分别在ETS300 800,ETS300 801,EN 301 193,EN 301 195,EN301 199和TR 101 201中进行了规范。
与具体网络无关的协议基于主要包括TCP/IP协议簇，图2中的空白部分做扩展之用。UNO-RPC指的是Internet Inter-ORB协议。
3、应用层标准（MHP）
多媒体家庭平台（Multimedia Home Platform, MHP）定义了交互数字应用与其所运行的终端之间的通用接口，这一接口解除了不同的应用提供商与不同的MHP终端实现中特定的硬件和软件细节间的耦合关系。它使数字内容提供商可以使用各种各样的终端，从低端到高端机顶盒、数字电视机，从而实现了内容只需创作一次就可在”任何"地方运行。MHP的第一个版本多媒体家庭平台规范提供了基于Java，在广播网络上为应用提供交互能力的应用程序接口（API）。MHP系统由用户终端、中间件和一组开放的支持广泛业务的标准API集合组成。符合MHP规范的交互应用应该能够在不同的广播网络和软硬件环境下正常运行，MHP机顶盒使得交互应用能够在一个相对于应用的提供商、创作者和广播网络完全中立的环境中接收和呈现。MHP规范的核心是基于DVB-Java平台的，该平台包括一个符合Sun公司定义的虚拟机。
MHP作为一个开放的中间件标准，它使得机顶盒的开发者不需要任何的移植工作就可以为所有符合MHP标准的机顶盒开发应用。同时MHP也为不同的广播网络如电缆、卫星和地面广播上的应用开发提供了一个通用平台。
MHP标准采用了层次（Profiles）结构，使得它可以不断的增加新的功能和要求。根据不同的功能需求和所支持应用的`类型，MHP被划分为增强广播、交互广播和因特网访问3个主要的层次。
（1） 增强广播
该层次描述了提供或者仅需要本地接收机内完成交互的接收机和应用，在这一层次中所使用的网络接口为单向的网络广播。
（2） 交互广播
该层次描述了提供或者需要使用（双向）回传信道提供交互服务的接收机和应用。
（3） 因特网访问
该层次描述了需要提供或者访问因特网内容和服务的接收机和应用。
从MHP规范的作用范围来看可将MHP模型分为3层：
（1） 资源
包括硬件资源和软件资源，如机顶盒、操作系统和驱动程序等。
（2） 系统软件和API
包括MHP中间件API，应用导航（或者称为应用管理器）等部分。
（3） 应用
是相互作用共同运行于同一环境下的Java类的集合。
三、交互电视技术的现实应用和展望
目前，交互电视的应用集中在以下几个方面：
用户控制功能：屏幕指南（EPG） 视频点播（VOD）
个人录像机（PVR）
信息功能：新闻点播、天气预报、体育、教育、电影预告
通讯功能：电子邮件、分类广告、商品零售、聊天
游戏功能：互动游戏、电视猜谜
客户服务：帐单、电视银行以及其它各种帮助
交互电视最早在欧洲产生并实际使用。在法国，将近20%的数字用户在电视上登录银行。这种定期的使用模式产生了可预测的财源。世界上最大的互动电视游戏频道PlayJam是最热门的游戏场所，每年美国、英国和法国的玩家在上面玩的游戏超过14亿次。一天中每次游戏的时间平均为25分钟。在西班牙，有关ITV的统计表明，典型的互动广告每六个用户中有一个用户回应。直接营销得到的回应率也不过如此。
Forrester研究院将把iTV称为新型电视商务模式，到预测产值将达200亿美元。（Strstegy Analytics）公司估计，到，84%的数字电视用户将用上交互式服务。Datamonitor公司预测，到，iTV将成为世界上最大的交互式平台，甚至超过因特网。
交互电视的潜力在近期最有力的证明，是英国数字卫星电视营运商BskyB在推出的交互电视系列剧《Big Brother》。交互方式是信号输入采用机顶盒调制解调器，以英国电信的电话线路回传。该节目让12个年轻人同处一室，面对实况摄像机生活两个月；而电视观众则观察他们的一举一动，通过电话投票选择让谁留下来，谁离开。最后留下的人，获得巨奖。该节目一经播出，引起轰动,高峰收视人数仍上升到高达50%。在万人次的电话投票中，大约25%是通过交互式服务进行的，它还提供了不同的机位选择、时延录制、来自《Big Brother》房子的新闻及所有参赛者信息的定期更新。《Big Brother》每到一处放映，就会产生大量的模仿者。其中最主要的是于20年底用DTT平台在ITV2频道播出的《百万富翁》的交互版本。观众被英国最大的商业地面电视频道ITV1上的独立的地面电视版本吸引过来。起初，参与采用交互式答问形式的比赛是免费的。但一旦事实证明它受人喜爱的程度足以将它转换成一个有偿播放节目，真正的创收能力随之而来。
在英国，年兴起的另一个ITV领域就是新闻。Sky News Active频道是6月开播的，现在已成为BskyB订户最多的频道之一。通过固定的Sky News频道接入的Active频道，对标题新闻、体育、娱乐和气象进行24小时的随时更新。对新闻事件进行交互式投票是每天进行的。多达9万人回答了9月份的一个关于英国是否应该参加美国反恐怖主义活动的问题。以一个通常最大收视人数为10万人的频道来说，这是一个引人注目的数字，它证实了刺激性内容的重要性。
以上说明交互电视提供商必须提供用户方适当的交互形式，特别是返回的意向性信息的形式（比如大数判决），以适应交互电视提供和应用的不对称性，使提供商的投入得到回报。否则，过度的用户交互性，按需所取的完全交互方式，即每用户都实现点对点独立设计交互内容，将使整个交互系统复杂庞大，系统投入资金过大，从而限制提供商的积极性，超出提供商的能力，使得交互电视的发展进入误区。
交互式3D虚拟电子宠物 篇3
该产品的设计师为四个华裔年轻人，他们的设计灵感来源于儿时的电子宠物玩具。电子宠物是由电子元件构成的电子玩具，现在也指使用电脑 或因特网服务器上运行的特定程序。电子宠物具有和真实宠物同样的生命特性。由于具有喂养简单、便携、干净等特性，受到人们的欢迎。
但是他们认为旧式的电子宠物只能从片面的模仿宠物的部分特征，因此无法取代真实宠物，所以设计师们利用罐式的交互3D虚拟概念来制作了 这款神奇的产品Jarpet，力求让电子宠物变得更加真实。这款产品实际上由内部的3D投影机装置来工作，能够在罐式设备中建造一个虚拟的动 物王国供儿童探索、学习。
使用时需要先将它连接到用户的计算机，下载官方提供的动物资料和应用程序。然后开启该设备就可以为用户营造出一片野外动物王国的氛围 ，是孩子们的理想玩乐选择。官方可以为家长和孩子提供各种动物的图像数据，让孩子自己选择喜欢的动物，在其中学习动物的习性、了解动 物的生命周期、甚至是学习动物的精神枢纽构造。孩子们可以尽情地通过多感官技术在Jarpet中享受生动的互动感受。
此款交互式3D虚拟电子宠物，是2012年红点设计奖（Red dot Award）的获奖作品。
浅谈虚拟现实技术中的交互 篇4
虚拟现实技术 (Virtual Reality) , 又称灵境技术, 它集计算机技术、传感与测量技术、仿真技术、微电子技术于一体。虚拟现实技术有3个基本特征:沉浸感, 交互性, 构想。其中沉浸感是指用户完全沉浸在通过计算机所创建的虚拟环境中;交互性是指用户使用交互输入设备来操纵虚拟物体, 以改变虚拟世界;构想是指用户利用VR系统可以从定性和定量综合集成的环境中得到感性和理性的认识, 从而深化概念和萌发新意。他们之间的关系如图1所示
本文将以可以自由调节方向的台灯作为实例, 对碰撞检测器进行详尽的分析。
2. 虚拟现实中交互功能的触动检测器
2.1 虚拟场景实例介绍
现实生活中, 人在完成某一操作前, 总是先确定对象存在的位置, 然后再施加作用。因此, 虚拟对象给用户的“物理存在感”是虚拟环境真实效果重要体现, 在进行交互操作时, 这种效果往往比虚拟物体外观的真实性给用户的感受更强烈。
在VRML中的虚拟世界和用户之间的交互是通过一系列检测器来实现, 通过这些检测器节点, 使浏览器感知用户的各种操作, 这样用户就可以和VRML虚拟世界中的三维对象进行直接交互。触动检测器是用来检测用户的触动动作的, 其中包括Touch Sensor节点, Plane Sensor节点, Cylinder Sensor节点和Sphere Sensor节点。
在下面展示的场景中, 用户对台灯的操作 (平移、旋转、材质等的实时修改) 是交互性最充分的体现。当用户在场景中用鼠标点击灯泡时, 发现灯泡会变明亮, 照亮场景一定的区域, 并且灯罩部分也会变得透明。当对着灯柱部分按住鼠标左键进行旋转时, 发现灯罩部分以及连接其的灯杆都随之沿任意方向旋转, 而使用鼠标点击台灯底座旋转时, 整个台灯都跟随鼠标移动方向围绕Y轴进行旋转, 这些交互行为都是使用了触动传感器来检测用户的触动动作的。其中每当我们接触这些可交互的部位并触发它动作时, 都会有相应的声音发出, 给人以真实的听觉感受。
2.2 各检测器的使用实现
2.2.1 球面检测器
场景中, 灯泡的转轴部分是用球体造型创建的实体, 对该实体设置了Sphere Sensor节点, 当鼠标点击该实体的兄弟部分时, 能将用户动作转换为绕该实体旋转。球面检测器将二维的拖动解释为三维空间中绕局部原点的旋转。若在该节点的兄弟几何体处按下鼠标, 浏览器会以点击鼠标的点到原点的距离为半径作一个想象中的球, 随后拖动将解释为旋转球体。
2.2.2 圆柱检测器
在该场景中, 对灯座设定了Cylinder Sensor节点, 使得整个造型都跟随着鼠标的移动而围绕Y轴旋转。该节点是把二维的拖曳输入 (如拖曳鼠标) 转变为三维空间中沿Y轴的旋转。根据用户点击的位置 (相当于传感器的Y轴) , Cylinder Sensor节点可以有两种相关行为, 即像一个圆柱或像磁碟绕Y轴旋转。
当用户移动鼠标至可感知几何体并按下键时, 浏览器产生一个绕监控器局部坐标系统Y轴的虚拟圆柱, 这个圆柱的底和侧面大小比例有disk Angle确定。可以把disk Angle看作是一个在虚拟圆柱内部的圆锥的顶角, 圆锥的底面圆盘即为圆柱的顶面。
如果用户点击圆柱的顶或底面, 拖曳动作就会被解释为和旋转一个平面圆盘一样。如果用户点击圆柱的侧面部分, 拖曳动作就会被解释为旋转这个圆柱。如果想设定旋转范围, 可以通过设置min Angle和max Angle的值把旋转限制在某一特定范围内即可。当圆柱体检测器处于激活状态时, 其他定点设备传感器不会作任何事件。
2.2.3 接触传感器与时间传感器
在该场景中, 灯泡部分是由Sphere节点创建的球体几何造型, 并设定了其表面材质域的域值, 使其表面对环境具有反射的性质。在灯泡部分的交互是使用了接触传感器, 当点击灯泡部位时会有两种材质效果的变化, 即明暗变化。这是通过Touch Sensor节点将两种材质效果绑定在一起, 前一效果是浏览器默认的, 要将它改变到另一效果则要通过Touch Sensor将它激活, 这样当鼠标点击灯泡时就会产生我们所看到的场景效果了。而代码中的Time Sensor节点是向标量插补器 (Scalar Interpolator) 节点输出时间, 根据该插补器指定的一系列透明度关键值, 控制材质节点中的特定域值, 使灯罩的透明度在不同时刻发生改变, 这样就显得更加真实。
2.2.4 声音节点的使用
在该场景中我们通过交互动作, 发现每进行一步行为都会有声音的发出, 这是运用了Sound节点, 在场景中生成了一个声音发射器, 以球面或椭圆的模式播放出声音, 从而达到听觉的效果。在节点中设定声音可听的最大最小范围, 即在不同的范围内移动, 声音在音量上发生变化并且声音的传播范围也有改变。
3. 总结
虚拟现实场景的碰撞检测是虚拟现实系统的关键问题, 在虚拟场景中实现有效的碰撞检测也是当今虚拟现实研究的一个重点和热点。碰撞检测应用范围相当广泛, 特别是在各种仿真模拟试验中, 起十分重要的作用。而精确的结果往往需要引入碰撞检测算法, 加速连续碰撞检测, 实现快速准确的碰撞, 同时在解决交互问题时可以将JAVA语言的应用与VRML相结合, 以实现更好的交互控制。
摘要：随着计算机技术和图像技术的发展, 虚拟现实技术在很多领域得到了广泛的应用, 在虚拟环境中的交互是虚拟环境具有真实效果的关键。文章从碰撞的检测以及虚拟环境中对象的交互几个方面阐述了虚拟环境中的交互问题, 并利用VRML成功地解决了上述问题。
关键词：虚拟技术,交换
参考文献
[1]赛博科技工作室编著VRML与Java编程技术人民邮电出版社
虚拟交互技术 篇5
今天的青岛市市南区政务网欢迎页给网站受众提供了两个入口选择:其一是传统布局的政务网页面;另一个则是以网上审批办事为主要内容的完全三维场景化并辅有虚拟动画人物导航的界面,操作更加直观便利和人性化,令人耳目一新,倍感亲切,网站交互的友好性获得了明显的提升,受到了公众的欢迎和认可。
需求的产生
近年来,越来越多的地方政府建立了政务网站,这些政务网站逐渐成为公众获取政府信息的重要载体。然而,随着政务网站栏目的不断丰富和政府信息的成倍增长,相当多的网民望着洋洋洒洒的页面却不知该如何下手,鼠标点个三下五下也未必能找到所需政府信息,公众从政务网站获取政府信息的难度反而有加大的趋势。尽管当前的政务网站一般也提供站内搜索功能,然而对于一个普通网民而言,如果没有专业的检索技巧,面对多级菜单和不够智能的站内搜索引擎,往往会花费较多时间,可获取的导向和信息却往往不够准确。一般的站内搜索引擎通常是采用关键词匹配技术,缺少对用户输入的语意分析功能,这也就势必要求公众具备相当程度的关键词提炼能力,否则搜索引擎难以提供准确的信息。比如咨询“生育第二个子女许可申请材料有哪些?”,如果输入“二胎”,对于传统的搜索引擎而言就找不到对应的服务事项,必须使用与事项库问题完全一致的关键词“第二个子女”。由于搜索关键词需与事项问题库完全匹配,而公众并不见得完全知悉,就可能造成搜索结果为空,降低了搜索的命中率,无形中拔高了公众使用政府网站获取政府信息的门槛。
在政府网站的网上办事功能向公众日益推广的大趋势下,公众通过简单直觀的交互就能获取办事信息的诉求就显得愈发强烈了。
按照软件工程的理论,最友好的交互界面是不需用户学习,仅凭基本的日常生活经验就可以迅速掌握的。本着这一原则,青岛市市南区尝试打造了一个围绕网上审批办事内容完全三维场景化并辅有虚拟动画人物导航的站点——网上虚拟审批大厅。
网上虚拟审批大厅应运用先进的多媒体技术、智能人机交互技术以及数据库技术,与网上审批办事平台系统建立数据交换,通过简洁明了的引导式问答,以生动的虚拟卡通形象配以礼貌大方得体的语言、动作和表情,实现与网民的智能互动交流,在一定程度上取代传统客服人员,为网站访问者提供导航指引或是咨询解惑。
设计与实现
总体框架:网上虚拟审批大厅引用审批办事服务平台的数据,与审批外网服务平台的数据保持同步更新。由数据管理平台来完成数据的交换,虚拟导航员后台和网上虚拟审批大厅管理平台实现对网上虚拟审批大厅的管理和维护。
技术选型:系统采用.NET技术架构,分层设计,基于Web+应用程序方式,采用.NET、COM+、WebService、XML等编程技术,实现个性化的信息和应用服务,支持Oracle、DB2、SQL Server、Sybase等主流数据库,前端采用Flash技术实现矢量图形化的动态界面和丰富的交互功能。
功能规划:
◎作为审批办事平台网站的一套子系统对互联网发布,用户无需安装特殊浏览器插件,人机交互流畅友好;
◎虚拟导航员可实现一定人工智能的问答,利用生动亲切的虚拟动画形象以问答形式引领用户进行事项办理,并可对办事要素和相近办事事项逐一呈现,24小时无需人工职守;
◎实现语音朗读功能,一部分语音通过Flash混入音轨实现,另一部分通过客户端安装可选的TTS(Text to Speech) 插件来实现,满足有文本阅读障碍人群的需求;
◎完备的后台管理功能可对服务事项问题库、事项链接等进行编辑维护;提供可定制化的服务,虚拟人物的语言、动作、场景等提供可选的方案,可根据场景需要定义虚拟人物的各种行为;
◎服务事项数据可从审批办事平台批量导入或逐条事项自定义;
◎提供审批办事大厅建筑内部场景及周边地形地貌的三维建模和渲染,便利公众上门办事前明晰地理位置和周边环境。动态显示周边公交线路查询、公交车站位置指示等便民信息;
◎提供审批大厅简介和简讯公告发布功能;
◎公众可在虚拟大厅中操作鼠标自行三维参观漫游。
虚拟审批大厅操作流程:
公众通过位于政务网欢迎页的链接入口进入网上虚拟审批大厅,在与虚拟导航员的问答对话导引中获取所需办事信息,进入相关办事事项的页面。
网站管理用户通过管理入口进入网上政务审批大厅管理后台,选择对应项进行编辑设置。
与审批办事平台的数据交换:虚拟审批大厅系统具有数据导入功能,通过行政审批办事平台提供的数据交换接口,可将审批系统接收到的事项数据导入到虚拟审批大厅系统中,从而实现在虚拟审批大厅系统接收、更新服务事项,服务流程。
同样,虚拟政审批大厅系统也提供数据导出接口,可以导出一定结构的数据文件,审批办事平台可以自动读取这些文件并修改数据库中事项的各种相关属性和状态,以实现多系统联合处理的数据同步。
虚拟导航人物:虚拟导航人物在虚拟审批大厅中处于关联始终的重要地位,主要包括人机智能问答和虚拟导航人物的行为表情匹配。虚拟导航人物应用先进的人机交互技术,具有统一接口,支持多种数据库类型的数据的导入、导出。提供智能化的问答模块,用户在提问框中提交问题后,虚拟导航人物经过判断、识别,经模糊查询后将最佳答案反馈给公众。
系统通过词库进行维护管理事项数据,词库包括自导入问题库、事项问题库、常规问题库、问题历史记录库、随机答案库、文明用语提示库、关键词库、屏蔽词库、近义词库、语气词库等,整个问答库的搜索机制基于这些词库进行搜索,通过这些词库可以尽可能准确地搜索出用户所要查询的信息。虚拟动画形象的导航人物需要针对欢迎、提问、回答等不同语境做出相应的不同肢体动作和表情,并且可以通过后台对这些动作进行选择自定义。
网上虚拟审批大厅通过人性化的操作界面,生动的互动功能,快捷直观的操作将审批办事平台众多服务事项元素有效地组织起来,运用动画形象实现了具有一定智能程度的问答和导引,显著提高了政务网站为公众服务的水平。
虚拟交互技术 篇6
从目前可获得的研究文献看, 有研究者提出基于MAX/VT的物理实验室架构, 如图1所示。有人介绍了应用MAXs MAX和VT技术进行大学物理陀螺仪网络三维虚拟实验, 以及医学、化学4等虚拟实验的设计过程。众多开发者虽然无一不强调虚拟实验的交互性能, 但是这些实验的交互功能仍然有进一步的拓展空间。
交互性是虚拟实验的生命力所在, 是虚拟实验成为学生探究性学习的必要条件, 技术的发展, 使得在MAX创建的场景中建立复杂的交互系统变得可能。结合学习的需要和技术的可能, 笔者认为基于MAX/VT的虚拟实验具有四个层级的人机交互:1.视角交互, 即以鼠标或键盘控制场景摄像机的位置和角度以及场景的切换, 从不同距离和视角观察虚拟实验场景, 从而帮助学生建立对物体的认识;2.动作交互, 即通过鼠标或键盘操作控制虚拟实验器件的动作, 例如位移、大小、旋转、显示、隐藏、发光等, 使学习者能自主控制实验的进行;3.数据交互, 指学习者通过指定虚拟实验各个器材的属性参数, 来获得不同实验的数据结果, 从而能够对数据间关系进行分析来自主发现虚拟实验所蕴藏的规律;4.架构交互, 学习者能够在虚拟场景中创建不同的实验器材并对其属性参数进行设定, 来架构自己的实验方案, 它以实现数据交互为前提。
虚拟实验交互性设计的目的是为了满足学生主体性学习的要求。在这四个层级的交互中, 视角交互和动作交互赋予了学生一定的学习自主性, 避免了对实验的被动观察, 技术优势使得当前开发的VT虚拟实验在视角交互和动作交互方面都得到很好实现, 但是仅仅依靠视角交互和动作交互, 虚拟实验只能帮助学生对学习对象进行定性分析。若要促使学生通过实验数据的定量分析来深入探究, 就必须容许学生对虚拟实验的各个参数进行设定, 研究一定条件下输入数据和输出数据之间的关系, 也即必须在虚拟实验中进行数据交互的设计, 这是技术支撑下的“以学习者为主线”虚拟实验设计要求的体现, 是创建满足学习者自主探究性学习的虚拟学习情境必须考虑的要素。
关于VT虚拟实验的数据分析, 四川师范大学的杨春教授曾指出其主要功能是提交实验报告, 提取实验标准, 比较分析, 绘制图表和返回分析结果, 但他未能涉及数据交互的真正设计。目前来看, MAX/VT虚拟实验的数据交互研究仍然是有待开发的空白领域, 具有一定的理论和现实意义。本文针对MAX/VT开发的虚拟实验, 提出两种数据交互的实现方法, 即程序内部实现和程序外部实现。数据交互的程序内部实现是利用VT提供的BBs (行为模块) 进行编程实现程序内实验参数的输入、通过指定、类型转换以及运算等处理来控制实验的输出。数据交互的程序外部实现是借助于外部数据库的访问实现实验参数在用户于程序之间的传递, 以达到对实验进行控制的目的。实践表明, 两种方法各有所长, 可以根据实际条件选择使用。
一、MAX/VT虚拟实验的程序内数据交互
MAX/VT虚拟实验的程序内数据交互, 使学习者在MAX场景的界面上输入的实验参数直接传递到程序内部进行处理, 通过控制实验的条件获得不同的数据输出, 从而支持学习者对虚拟实验反映的各个变量之间关系的理解。一般程序内部数据交互的设计流程如图2所示。
1. 输入界面设计
输入界面主要是为学习者提供一个参数输入的接口, 并且能够实时显示输入参数, 便于学习者对输入的数据进行实时监控和调整。VT提供2D frame和MAX frame两种方式在程序上呈现文本, 本文采用前者进行的界面设计如图3所示:
2. 参数输入脚本的实现
这是实现MAX/VT虚拟实验的程序内数据交互的关键环节, 主要有以下几个子环节: (1) 设置输入的激活条件。可为接受输入的2 D f r a m e添加一个w a i t message BB, 利用鼠标单击事件驱动程序进入特定参数的输入状态; (2) 添加input string BB到script中, 设置好输入结束的条件, 同时input string BB可以将输入的字符作为输出参数传递给其它行为模块, 使程序可接受键盘输入的字符; (3) 数据类型的转换。程序从键盘接受的字符串要控制实验组件的动作, 必须转化成程序要求的特定数据类型例如实数、角度等, 这种转换可以通过在script中将不同行为模块的输出参数与输入参数端的连接自动实现, 也可以应用OP BB来实现; (4) 编制输入数据的运算序列。通过一系列Calculator类BB的连接, 应用它们所提供的丰富运算类型对数据进行特定运算, 以达到精准控制组件动作的目的。
3. 控制实验组件动作
这个环节主要是通过建立参数快捷方式使数据在不同的VT script中传递, 使运算序列的处理结果作为组件动作模块的输入参数来控制它的运行结果, 另外, 在必要的情况下, 要为组件动作模块建立目标参数, 使它的运行作用在指定的实验组件上。
4. 实验结果输出设计
将MAX/VT虚拟实验的运行结果反馈给学习者, 可以采用将实验结果数据以文本方式呈现在程序界面上或让学习者观察测量仪器的读数这两种方法。前者可以通过将实验结果参数作为2D frame的输入参数Text值来实现, 原理与数据交互输入界面设计类似, 后者可以通过创建按钮并通过鼠标事件来激活相关测量仪器的特写视图来实现。
本文以中学物理欧姆定律实验为例, 来阐明MAX/VT虚拟实验的程序内数据交互的编程脚本, 实验界面如图4所示。
本虚拟实验的设计思路是, 在实验系统其它工作 (用户管理、网络发布等) 已经实现的情况下, 学习者输入不同的电源电压值和电阻值, 通过单击开关使电路闭合, 再观察伏特表与安培表的读数, 来探究电压、电流与电阻三者之间的关系, 最终达成本实验学习目的。
为了使学习者能够输入电源电压和电阻值并能在界面实时显示, 为电压输入框添加脚本如图5所示, 电阻输入脚本原理相同。
单击电路开关时, 开关应该被按下, 此时开始对输入参数进行系列运算, 并最终控制安培表和伏特表指针的旋转至正确角度, 使之符合欧姆定律。为此, 编程脚本如图6所示。
为了能让学习者观察电表读数, 可为实验设计文本按钮并通过单击来切换到相应电表视图, 为此编辑脚本程序如图7所示。
通过以上脚本程序编制, 学习者可以通过参数的输入来控制实验组件的动作, 也可以方便地观察实验结果。通过为程序添加一个“重新实验”按钮, 并为之添加Wait Message BB和Broadcast Message BB, 利用VORTOOLS消息传递机制使得其在被单击时广播一个特定消息, 将等待这个消息的参数输入框清空, 同时利用三个Rotate BB将开关、电表指针复位, 从而重新开始实验, 实现反复数据交互。
二、基于数据库访问的程序外部数据交互
在虚拟实验的程序外部数据交互中, 学习者并不将实验参数直接输入进虚拟实验程序内, 而是首先将相关参数输入到数据库中, 然后由程序访问数据库来获取这些参数从而控制实验的运行, 并且借助数据库功能对实验数据进行处理。
1. 数据库的实现
数据库是虚拟实验程序外数据交互的基础, 在基于B/C模式的虚拟实验室架构中, 可以通过页面表单将实验控制参数提交到数据库中, 然后由虚拟实验进行访问。在本文的VT虚拟实验案例中, 数据库采用MYSQL建立, 包括三个表单, 一个存储用户信息, 一个存储实验相关信息, 一个存储实验数据, 其中存储实验数据的表单建立用户名、实验名称、电源电压、电阻值、电压表读数和电流表读数这几个字段, 保证虚拟实验数据得以存储、便于教师查询以及其它处理。
2. 数据库的访问
数据库的访问可以通过两种方式来实现, 一种是运用VT的Server网络服务器模块功能, 一种是运用VT外带数据库访问插件来进行。
运用VT Server网络服务器访问数据库必须首先安装server组件并做好设置。其数据库访问的实现步骤为: (1) 在VT中新建一个Array, 其第一列字段类型设置为string, 之中值的格式是“服务器地址:端口号”, 这个A r r a y将作为连接服务器的行为模块“connect to server BB”的输入参数。 (2) 将“connect to server BB”添加到schematic, 将其Host参数设置 (1) 中创建的包含服务器地址的Array, 并输入访问帐号和密码, 行为模块执行时将试图与数据库服务器连接, 连接若成功将输出一个连接ID号。 (3) 将Data Base行为组中各相关模块拖入到Schematic中, 将“connect to server BB”的输出参数“connection ID” (即连接ID号) 连接到DataBase各行为模块的“connection ID”参数输入端, 并设定好其它相关参数, 实现对数据库的读写访问, 其脚本基本结构如图8所示。
VT Server模块功能强大, 能够用于架构基于B/S模式的桌面虚拟现实系统, 但是其昂贵的价格使得众多开发者望而却步。单就数据库访问而言, 使用VT数据库访问插件组MYSQL BBs是更为经济且简便易行的方法。MYSQL BBs所包含三个主要行为模块功能如表1所示:
3. 控制虚拟实验组件动作
通过数据库访问, 将获取的数据进行系列处理后作为实验组件的动作模块输入参数, 直接控制虚拟实验的运行。本文运用MYSQL BBs实现欧姆定律实验程序外部数据交互的脚本编程如图9所示:
在这个脚本编程中, My SQLpp Select BB是数据库访问的关键模块, 只需要确定此模块的输入参数导出阵列、主机名、数据库名、表名、端口号、数据库用户名与密码以及Select语句, 虚拟实验就通过它访问数据库来获取实验控制参数 (如电源电压、电阻值等) 。
本脚本控制实验运行的原理是: (1) Wait Message BB控制单击开关时, 后续模块开始依次执行, 实验开始; (2) MySQLpp Select BB执行连接数据库, 并将数据暂存在VT里的一个空白阵列里; (3) 第一个Rotate BB控制开关旋转, 使电路进入闭合状态, 并且启动后继模块执行; (4) 由Get Cell BB从阵列中获取暂存的实验控制参数电源电压和电阻值; (5) 提取的实验控制参数经过系列OP BB的运算转换成伏特表和安培表指针的偏转角度, 最后由两个Rotate BB分别控制伏特表和安培表指针的偏转。
4. 实验结果的存储
实验结果数据可以由学习者通过视图切换阅读伏特表和安培表的读数, 通过页面表单提交到数据库中存储, 也可以在虚拟实验内部编制运算脚本将结果写入数据库中, 以备进一步处理。
三、两种数据交互技术的比较
对于基于3D/VT虚拟实验的数据交互, 以上提出了两种实现的途径, 即基于VT BB编程的内部数据交互和基于数据库访问的外部数据交互。内部数据交互没有借助外在平台, 将实验参数直接输入到程序内部进行处理以控制实验的运行, 外部数据交互主要通过页面表单将数据输入到数据库中, 然后由VT虚拟实验进行访问获取实验参数来控制实验的运行。
两者相比较, 内部数据交互只需运用VT内部提供的BB即可实现, 因为限制条件少从而易于实现。但是这种方式下, 实验数据不能在实验运行结束后得以保存, 不利于对其进行进一步的处理。而数据交互的外部实现方式借助与数据库强大的数据存储功能和弹性动态管理功能, 便于实验结果的进一步处理, 例如方便教师查询学生实验情况以便给予指导, 或以图表的方式表示不同条件下实验数据之间的关系, 以便于学生进一步进行分析, 从而提高学习效果。从这个角度来说, 外部数据交互要优于内部交互。虽然Virtools Server高达几十万的售价使得一般开发者难以承受实现虚拟实验数据库访问功能的经济压力, 但是运用VSL (Virtools自带的脚本开发语言) 开发的数据库访问插件, 可以解决这个问题。
四、结束语
随着虚拟现实技术的发展, 人们对虚拟实验的性能包括真实性、交互性的要求也越来越高。交互性是虚拟实验区别于纯三维实验演示的核心特征, 而数据交互是架构更为尊重学习者主体性, 便于自主探究的学习情境的重要技术手段, 也是在虚拟实验里实现更高级交互系统的基础。在实际运行的检验下, 本文提出的基于VT内部BB编程与基于数据库访问的两种方式, 能够简便、稳定、有效地实现数据交互, 提高了虚拟实验的交互性能。
参考文献
[1]胡珊, 于光.基于max和VIRTOOLS技术的物理虚拟实验室架构设计[J].计算机工程与设计, 2008, 29 (1) :206-209
[2]刘英杰, 杨雪.基于maxs Max和Virtools的大学物理虚拟实验的设计与开发[J].现代教育技术, 2008, 18 (6) :88-92
[3]王清华, 宗小明.用Virtools Dev实现化学三维世界[J].化学教育, 2006, (9) :45-47
虚拟交互技术 篇7
关键词：体感交互,Kinect镜头,实验教学,教学改革
近年来, 体感交互技术的研究和应用在教育领域逐渐成为热点, 如在课堂教学[1]、教学游戏项目[2]和仿真实验[3,4]等方面都有一定的成果。本文以浙江师范大学数理与信息工程学院开设的研究生课程《虚拟现实技术》为例, 研究了基于微软公司的体感捕捉设备——Kinect镜头的体感交互实验系统开发方法, 并给出了应用于教学中的实验项目实例。
虚拟现实技术课程的特点
依托浙江师范大学计算机软件与理论重中之重学科的虚拟现实与动作捕捉实验室, 面向计算机和软件工程专业研究生开设的《虚拟现实技术》课程侧重学生实验技能和职业素养的培养。课程以项目化教学的方式 进行, 在介绍虚拟现实技术理论知识的基础上, 重点讲授虚拟现实系统硬件环境的搭建及使用、三维模型构建及优化、交互技术和开发平台Quest3D等方面的知识, 最终通过实际横向项目开发的方式巩固学生的理论知识, 并使学生掌握虚拟现实技术项目开发的流程和业界规范。
通过几年的课程建设和教学实践, 总结出课程的特点如下:
(1) 知识的综合性:课程的教学内容包括了计算机图形学、数字图像处理、模式识别和多媒体技术等计算机专业的相关知识, 也涉及信号处理与传输、网络通信等网络工程专业的内容, 同时又要求学生有较好的程序开发基础, 课程具有非常强的综合性。
(2) 教学的创新性:虚拟现实技术的应用日益增多, 从最初的简单展示三维模型, 发展到对展示对象或环境进行交互控制, 到现在的体感交互和沉浸式环境, 技术的进步和应用的需求互相促进, 不断创新。这就需要教师在教学过程中能引入较新的技术或成果, 引起学生学习兴趣, 调动学生学习热情, 启发学生创新思维。同时, 学生在学的时候也需注意对发现新问题、找到新方法的创新性思想的培养。
(3) 实验的应用性:虚拟现实技术具有很强的工程应用性, 对课程的理论知识和相关算法进行实验验证并不是实验教学的主要目的, 使学生通过真实项目的开发, 掌握到虚拟现实技术项目开发需要的技术、开发的流程和开发的规范才是教学的重点。
随着体感交互技术应用的流行, 根据课程的上述特点, 将体感交互作为教学的重点内容是适合的。在教学计划中, 安排了16学时的体感交互技术内容, 具体如下页表所示。
教学内容以Kinect镜头作为体感捕捉设备, 以Kinect SDK开发技术为理论重点, 设计了两个实验项目。实验项目1为三维建筑漫游, 要求学生实现手臂动作的捕捉, 并完成手臂控制虚拟摄像机进行场景漫游的交互设计, 通过实验使学生掌握简单体感交互项目的开发方法。实验项目2为机械拆装, 要求学生实现抓取、吸附移动、碰撞检测和作用域控制等较深入的交互控制方式, 此项目在项目1的基础上增加了难度, 使学生通过实验能掌握较高级的体感交互系统开发技术, 为以后工作中的项目开发打下基础。同时, 由于实验项目2的内容较为综合, 覆盖到课程的内容比例较大, 因此将其作为整个课程考核的组成部分, 在最终的总评成绩中占40%。
体感交互技术教学实验环境的搭建
《虚拟现实技术》课程的体感交互技术实验统一安排在浙江师范大学计算机软件与理论学科的虚拟 现实与动作捕捉实验室, 选用的体感采集设备为微软公司的Kinect镜头 (如图1) , 镜头采用USB口与计算机相连, 即插即用, 硬件设置简单易行。基于Kinect镜头和计算机平台的体感交互实验开发环境可以用如图2所示。
图2中①为硬件基础层, 核心部件是Kinect的传感器, 包括有镜头角度驱动马达、摄像头和麦克风阵列。实验中主要用到的是镜头组, Kinect的镜头共有两个, 一个用于RGB彩色图像采集, 一个用于深度信息采集, 还有一个红外发射器, 具体的原理可以参阅微软公司的Kinect产品网页。
层②为镜头设备的驱动层。实验室选用DELL公司的INSPRIRON通用计算机, Windows 7操作系统作为开发平台, 设备通用性较高, 开发的系统具有良好的平台移植能力。Kinect镜头的驱动安装非常简单, 需要调用的部分主要是设备访问、视频流控制和镜头组堆栈。
层③是自然人机接口NUI的API部分, 也包括有音频识别等功能的API。
软件方面为基于微软发布的Kinect SDK, 主要提供了软件类库和开发工具, 通过它可以捕获体感交互中需要的自然数据, 如人体的骨骼信息 (动作信息) 、深度信息 (距离信息) 和图像信息等。Kinect镜头采集的体感数据交换流程如图3所示。
体感交互技术教学实验项目的设计
下面以课程的实验项目1建筑漫游为例, 说明体感交互技术教学实验项目的设计。
1.项目概述
传统的三维建筑漫游一般采用鼠标或键盘来控制摄像机, 实现前后左右移动、旋转、上下视角改变和镜头缩放 (变焦) 等功能, 使用户最大程度地接近真实世界中人在建筑群或室内等建筑环境中的游览方式, 也能实现真实世界中不能提供的方式, 如透视、鸟瞰和变焦等。
鼠标或键盘操作远不如手势操作简单自然, 实验项目基于Kinect镜头, 通过捕捉用户的手臂姿态动作实现上述建筑漫游时需要的交互控制功能, 其体感交互情境如图4所示。
2.系统的逻辑结构
系统分为三层, 由下到上分别是Kinect设备层、手臂姿态识别层和应用层, 如图5所示。
Kinect设备层基于Kinect SDK进行人体骨骼、深度图像和RGB彩色图像的实时采集, 帧速率为30FPS, 图像大小可达640×480像素。系统可以实现两人的骨骼动作跟踪, 并设定主要操作人员 (距离镜头较近者) 。深度图像和彩色图像提取出轮廓信息, 融合骨骼信息后基于DTW算法进行手臂姿态跟踪和识别。识别并标签后的手臂动作作为驱动信息提供给应用层。应用层中采用交互设计软件Quest 3D读取用户的手臂动作, 并命令系统作出反馈, 如左右转向、前进和后退等。
3.实验设计
本实验需4学时, 分两次课进行, 中间间隔1周, 使得学生有较充分的课下准备时间。第1次课要求学生实现Kinect数据采集及基本处理。使用到的硬件为计算机和Kinect镜头, 软件为Visual Studio 2010和Kinect SDK V1.7, 语言为C#。为了使学生的精力主要集中在数据处理和手臂姿态识别算法上, 数据采集部分在Kinect Toolkits提供的算法基础上做了滤波优化。
第2次课要求学生基于DTW算法完成手臂动作的训练和整个识别算法, 并借助课程前面实验中开发的Quest 3D建筑场景验证算法的有效性。
通过本次实验项目的开发, 学生将完整地掌握基于Kinect镜头的体感数据捕捉和处理、常用的人体动作识别算法和体感交互开发方法, 熟悉体感交互系统逻辑结构和数据交换流程, 为将来进行体感交互设计系统研发打下牢固的基础。
实验项目同时培养了学生的创新性思维, 使学生学习的内容紧跟科技进步的最新成果, 把握应用市场流行的脉搏。
结论
体感交互技术相关的系统开发涉及知识多, 对学生的理论知识和实验能力都有较高要求, 但也能扎实地培养学生在此领域的专业技能, 在2个专业、共计4轮的《虚拟现实技术》教学实验中, 师生反响热烈。课程将自然人机交互的新成果Kinect体感交互技术融入到教学中, 结合实际项目, 构造虚拟教学情境, 提高学生学习的主动性和参与度, 实现了科技化教学。
参考文献
[1]陈静.基于Kinect的手势识别技术及其在教学中的应用[D].上海:上海交通大学, 2013.
[2]马建荣, 章苏静, 李凤.基于体感技术的亲子互动游戏设计与实现[J].中国电化教育, 2012, (308) :85-88.
[3]廖宏建, 曲哲.基于Kinect体感交互技术的虚拟装配实验系统开发[J].实验技术与管理, 2013, 30 (7) :98-102.
虚拟交互技术 篇8
1 虚拟现实技术概述
虚拟现实技术是仿真技术下的一个重要方向,集合了计算机图形学、仿真技术、多媒体技术、传感技术等,是一种交叉技术前沿学科研究领域。主要包括了自然技能、模拟环境、感知以及传感设备几个方面。模拟环境主要是通过计算机生成的三维立体图像;感知就是理想的虚拟现实技术所具备人所有的感知。除了能够利用计算机图形技术生成人体的视觉感知外,逐渐实现了对力觉、触觉、听觉以及运动的感知,甚至能够包括人体的味觉和嗅觉,属于多感知领域。而自然技能就是人体手势、头部转动或其他的动作,可以通过计算机系统进行处理,得到动作相关的数据,并对用户输入进行及时的响应,并反馈给用户五官。传感设备主要是三维交互设备。
虚拟现实的确令游戏和讲故事变得更加身临其境,更有说服力。但是那种深入的沉浸感也可用于改变教育、医疗、设计、通信等行业。虚拟现实可提供真正的模拟体验,这对于某些特定任务非常重要。
2 数字媒体特征介绍
数字媒体是一种新兴的媒体形式,主要是通过二进制数方式获取信息的载体,同时具有记录以及传播的功能。在信息化技术快速发展的过程中,传媒业大力发展,电视、广播、报纸等传统媒体收到了一定的冲击,彼此之间的形式差异更大,在新时期,交互式传媒方式出现,收到了广大受众的欢迎,改变了传播者与受众之间的关系,数字技术已经进入了传媒行业,也标志着数字媒体的形成。
数字媒体具有以下几个方面的特征:第一,交互性特征。数字媒体通过比特的形式,利用计算机处理数据信息以及存储功能等,实现传播性,与传统媒体模拟方式具有较大的区别。在数字领域中,媒体的交互性更容易体现。因为数字媒体中的信息是动态的,能够及时的更新与反馈,保证了信息传播者以及受众之间的实时交互,能够促进信息的双向交流。数字媒体用户通过相关的设备获取信息,或进行检索等,可以说交互方式以及人机界面能否吸引受众,是数字媒体发展中最为关键的因素。第二,主动性特征。传统的媒体来说,数字媒体信息生产群体增加,信息的生产和消费更广,传播的渠道更多,逐渐淡化了信息生产者和消费者之间的界限,提高了媒体互动性,提高了公众参与信息发布的能力。信息的发布者变广,改变了信息消费者的被动局面,体现了数字媒体的主动性特点。第三,融合性特征。数字媒体融合了计算机技术、多媒体技术、网络技术等,为数字化提供了信息传播的工具和基础,运用先进的数字媒体技术,对文字、图形、视频文件进行处理与整合,实现了多种媒体的整合,提升了信息传播的整体性效果。
在表现形式方面,数字媒体已经远远超过了传统媒体,形成了交互式传播的方式,提高了技术和创意的协调性,对新兴传媒业的发展做出了巨大的贡献。
3 虚拟现实技术的运用对数字媒体交互方式改善分析
数字媒体交互式依赖于数字媒体技术,主要是体现了用户操作中对数字媒体产品的使用。在信息化技术快速发展,交互方式革新速度加快,逐渐向着空间、界面以及对象3个方面发展,交互方式通过数字媒体的创造性而发生改变,逐渐体现出来创意性,给用户一种全新的体验。
虚拟现实技术的发展与运用,为数字媒体创造全新的虚拟空间提供了可能,在数字媒体创造的虚拟空间中,人们可以进行交流、漫游等交互性操作,让虚拟的事物得到了真实的改变。虚拟现实技术在数字媒体中的运用,人们不仅可以在虚拟中进行交流,将传统的空间界限打破,同时逐渐形成了一个以联网为基础的多用户虚拟现实场景(环境)。在数字媒体以及虚拟现实技术发展中,参与其中的每个人都能够具有真实自我、虚拟现实世界自我以及虚拟自我三重身份,同时现实中人体的动作、行为会影响虚拟世界中的人体,而虚拟世界中的一切感官,也会对人体的感知进行刺激。真实世界与虚拟世界中的交互,让数字媒体交互变大方式更加丰富、更加形象,为人们现实工作和生活提供了更多的可操作性。
我国科学技术发展过程中,键盘、鼠标、显示器等基础设备提供了最为简单的交互方式,而在实际操作过程中,人们利用这些基础设备,利用其输出功能等展示数字媒体的创意,现已被广泛的运用与开发。但这种模式下,数字媒体活动范围具有一定的限定性,如果操作者离开电脑桌钱,就会失去交互体验,就无法利用这种交互方式,实现对数字媒体技术的运用。但虚拟现实技术的发展与运用,人们可以通过人机界面系统,采用触摸、肢体操控、脑波控制等方式,同时也改变了数字媒体创意展示方式,让数字媒体创意展示的范围更大,打破了在PC对数字媒体创意的局限性,而向着更加广泛的数字移动终端设备上。数字媒体可以通过更多的交互方式进行展示,将关注身体的感知力、感受力表现出来,实现在交互作用下的信息获取和传播,打破了传统传播媒介的约束,能够让用户更加贴近自然的感受,获得更加真实的体验。
虚拟现实技术在数字媒体中的运用,改变了传统人机交互的模式,实现了人人交互,侧重于表现人与人之间的情感交流,为人与人情感交流提供了更为动态化的多媒体界面,通过交互行为动态调解,提高交互的效果,实现多个参与者之间的群体交互,体现了人的情感体验以及人文关怀理念。
虚拟现实技术改变了数字媒体的交互性,将以往传统媒体主客之间的单向线性关系,改变为双向,甚至是多想的交互传播模式。经过虚拟现实技术的创新,让数字媒体创意表现更加自然,实现了以人知觉为界面的转化,更加注重人性化、情感化,加强了人与人之间的沟通。
4 结论
通过上述分析可知,虚拟现实技术的发展,是多种媒体形式的融合,是科技的前沿学科。其在数字媒体中的运用,改变了传统媒体传播方式,让数字媒体创意表现更加自然、和谐,为数字媒体交互方式提供了多种可能性,提高了人与人之间的情感交流,体现了人性化理念。相信随着我国信息技术的发展,虚拟现实技术会更加完善,为数字媒体交互方式发展提供更多的可能,也为我国数字传媒行业发展做出更大的贡献。
参考文献
[1]王岩.虚拟现实技术在数字媒体交互方式改善中的成功应用[J].数字技术与应用,2014,15(8):124-125.
[2]徐兴标.数字媒体技术交互性对电影叙事机制影响及观众身份转变研究[D].重庆:重庆大学,2014,17(2):52-53.
[3]杨晓亮.虚拟现实技术在新媒体展示设计中的应用研究[J].艺术教育,2015,14(1):95-96.
[4]高立群,杨波.虚拟现实技术在河北省非物质文化遗产保护中的应用研究[J].大舞台,2015,17(2):200-203.
[5]李莹,吴芬芬.云服务下数字媒体技术在高职教育中的应用优势[J].中国教育技术装备,2015,24(9):163-165.
虚拟交互技术 篇9
网络化测试技术是将测试系统中地域分散的基本功能单元( 计算机、测试仪器、测试模块或智能传感器) ,通过网络互连起来,构成一个分布式的测试系统[1],最大的优点是易于远距离诊断和智能维护保障,提高测试效率。传统的网络化测试技术/系统主要面向装备的实际维修作业。
为了加快新装备保障能力的形成,需要对大量的装备保障人员进行专业技能培养。除了利用实装进行现场教学之外,也可以开展基于网络化测试系统的远程教学训练。传统的网络化测试技术在应用到保障人员维修技能培养方面时,则暴露了一些问题。
( 1) 传统的网络化测试系统,往往在测试现场基于各种总线设备和专用测试仪器对是实际装备展开测试[2,3,4],两者都造价昂贵,并受到场地的限制,不能大规模部署、应用。
( 2) 传统的网络化测试系统,针对实际装备展开测试,装备故障不能按需设置,难以满足教学需求。
本文基于云计算理念,研究构建虚拟式网络化测试系统,应用于装备的实际维修技能教学培训中。
虚拟式网络化测试系统是将基于建模与仿真技术研制的各类测试仪器和被测装备的仿真模型资源集中部署于某测试中心,并进行管理。教学施训时,可按需调度这些资源,并通过网络集成到某虚拟场景下。受训人员通过网络终端进入虚拟场景,利用场景内提供的虚拟式测试仪器对虚拟的装备进行测试。通过对测试数据、装备现象的分析,进行故障排查,最终定位故障并实施虚拟维修。训练过程及关键数据由虚拟式网络化测试系统实时记录,如图1所示。
虚拟式网络化测试系统的特点为: 成本费用低,可大规模部署; 训练内容可控,装备故障任意设置;实现“有网就能训的”普适化维修技能教学培训。
1 虚拟式网络化测试系统应用模式
虚拟式网络化测试系统可以两种模式向用户发布,分别为Saa S( Software as a Service,软件即服务)模式和Iaa S( Infrastructure as a Service,基础设施即服务) 模式。
Saa S模式: 用户通过浏览器直接访问虚拟装备测试系统的功能界面。与Web QQ,Google在线Doc类似。
Iaa S模式: 用户通过浏览器远程访问部署了虚拟装备测试系统的服务器桌面,并操作该虚拟装备测试系统。与Amazon的EC2 类似。
两种系统模式的区别包括: ( 1) 服务发布不同,Saa S是将虚拟测试系统作为服务进行发布; 后者是将部署虚拟测试系统的服务器桌面发布; ( 2) 资源运行位置不同,Saa S模式下,大多数虚拟测试资源加载到客户端本地; 而Iaa S模式下,服务资源主要运行在服务器上。
上述两点不同,决定了各自的资源构建、发布、管理机制存在很大差别,本文重点介绍Saa S模式。与传统单机集中式测试系统不同,Saa S模式的网络化测试系统的各类模型是一种完全分布式的结构,部署在网络环境的不同位置,如图2 所示: 测试系统的界面程序采用AJAX技术开发为Web2. 0 形式,部署在Web服务器( 图2 中①) ; 机理模型和评估模型部署在应用服务器( 图2 中③) ,运行时动态下载到训练终端计算机内存并运行; 装备外观模型部署在视景模型库服务器中( 图2 中④) ; 人机交互设备和模型则驻留在训练终端。在运行时这些模型跨网络进行实时交互,彼此协同完成训练。
2 虚拟式网络化测试系统基本结构
基于云计算理念构建虚拟式网络化测试系统,主要工作是建立测试中心,具体包括研制网络化测试相关资源,部署到资源池中,并以服务形式发布等。测试中心基本架构如图3 所示,为六层体系结构。
物理架构层指硬件设施,由服务器、工作站等组成一定规模的集群,为测试资源提供充分的计算和存储能力。
设施管理层对物理架构提供的计算能力进行动态切割和分配,并将分配的资源进行有效管理。
虚拟架构层指一系列作为测试资源载体的虚拟服务器。
训练支撑层部署网络化测试支撑环境,提供测试资源共享与访问基础服务。
资源服务层提供用于构建Iaa S、Saa S两类测试系统的资源。
门户应用层部署向终端用户开放的具体装备训练内容,并提供测试系统的访问入口。
其中,物理架构层、虚拟架构层和设施管理层共同构成了基础设施,动态地以虚拟机( Virtual Machine,VM) 的形式为各类训练资源提供计算和存储能力。而网络化测试支撑环境是测试中心的关键组成。
3 网络化测试支撑环境
网络化测试支撑环境为“三横一竖”结构: 应用中间件层、服务中间件层、服务管理层和基本工具集,如图4 所示。
3. 1 应用中间件层
应用中间件层主要是针对装备网络化测试系统开发的专用应用中间件模块,提供运行支撑、运行管理等功能:
分布交互服务。针对各相关节点的分布交互问题提供基于高层体系结构( High Level Architecture,HLA) 的服务解决方案。虚拟式网络化测试系统运行在广域网上,所以运行支撑服务必须支持跨广域网的分布互联。
联邦运行管理与监控。针对基于HLA/RTI构建的网上测试训练系统提供管理与监控服务,包括指定RTI服务器上运行的联邦数目、每个联邦内成员的数目、时间管理模式等信息。
3. 2 服务中间件层
服务中间件层提供Saa S /Iaa S两类资源的服务化支持和访问接口。关于服务化支持,Iaa S按照用户需求定制基础环境,使用户可远程访问; Saa S则由网络化训练软件架构决定,涉及模型服务器、视景服务器、Web服务器等软件配属。关于服务访问接口,Iaa S是对基础环境VM的远程访问与状态查询;Saa S则发布装备虚拟操作界面。
3. 3 服务管理层
服务管理层对服务进行监控和调度。服务的监控包括服务自身的状态信息和宿主计算机信息的监控,如服务当前的实例数、Saa S应用软件当前在线访问的客户端数量,宿主机器的CPU、内存、网络等当前占用情况等。Iaa S管理实现VM高质量部署。
4 交互中间件关键技术
传统网络化测试系统利用标准总线( 如GPIB、VXI和LXI等) 将分散的功能单元通过网络互联。这些总线一般都需要专用的硬件设备支撑,而针对虚拟式网络化测试系统,大部分组成功能单元为虚拟式,不能直接支持上述总线,且系统中存在分散于广域网上不同位置的多种平台环境。
基于此,虚拟式网络化测试系统需建立一种新的中间件,摆脱专用硬件限制,实现广域网的上的分布交互。
同时,基于该中间件传输内容包括测试时间、测试动作、测试部件等多项内容,最重要的是测试中的关键信号,如电压、电流值等。中间件应提供对这些信号的标准化描述,以利于资源的共享和重用。
IEEE1516 - 2010 和IEEE1641 - 2010 标准为解决问题提供了参考。
4. 1 IEEE1641 - 2010[5]
IEEE1641 - 2010 对测试中各种信号进行了标准化定义,并支持将标准信号进行组合以描述新的信号。该标准提供了四层Std模型,对Source、Conditioner、Event Function、Sensor、Control、Digital、Connection等七类测试中的常用信号和事件进行了定义。每类信号按照特点进行二次、三次划分,并对各具体信号的描述参数进行了明确。
这种规范化、标准化的描述为测试系统中相关资源的共享与重用奠定了基础。
4. 2 IEEE1516 - 2010[6,7,8]
IEEE1516 - 2010 即HLA Evolved,是分布交互仿真领域中最新的标准,相对于IEEE1516 - 2000,在模块化FOMs和SOMs、WSDL API、容错机制、智能更新频率、DLC五方面进行了改进。
特别的,IEEE1516 - 2010 通过WSPRC组件( Web Services Provider RTI Component) 提供基于WSDL的API,使成员可利用Web服务构建跨广域网的联邦; 而且模块化FOM机制支持将多个已有的FOM的按需组合成新的FOM。
4. 3 技术路线
将云计算技术中的“通过网络提供服务”的理念引入虚拟式网络化测试系统中,利用Web服务进行分布交互,并建立测试信号的标准描述FOM模块。
4. 3. 1 信号描述FOM模块
根据IEEE1641 - 2010 定义的信号形式,建立系列测试信号( 包括Source、Sensor、Control等七类)的仿真描述模型,开发相应的信号描述FOM模块。
以Source类型信号为例,如表1 所示: 按照信号特征分为周期信号和非周期信号,周期信号包括正弦波、三角波、方波等,非周期信号包括直流常量、阶梯等信号。该标准对每个具体信号需描述的属性均进行了规定,如常量用amplitude和offset两个属性描述,正弦波用amplitude、frequency、phase、offset四个属性描述。
基于此,开发每类信号对应的FOM模块。一类信号为一个对象类或交互类,IEEE1641 - 2010 定义的信号属性即对应对象类属性或交互类的参数。以直流常量信号为例,其FOM模块核心代码如下所列。
……
< interaction Class >
HLAinteger16BE
HLAinteger16BE
……
4. 3. 2 基于HLA Evolved的接口
利用IEEE1516 - 2010 的WSDL接口实现跨广域网的分布交互,并通过模块化FOM机制,按需组合信号描述FOM模块,构建虚拟式网络化测试系统的系统FOM,如图5 所示。
分散在广域网上的相关节点,作为HLA联邦成员( Federate) 通过WSDL API连接WSPRC,访问HLA / RTI提供的各类服务,完成跨广域网的分布交互: 利用联邦管理服务,完成系统组织管理; 利用时间管理服务,解决相关节点间时间一致性问题; 利用对象管理服务,完成数据( 测试信号、测试动作) 的发送接收等。与一般的HLA联邦成员程序开发相比,调用并处理WSDL API时,需注意以下两点:
通过调用Evoke Multiple Callbacks处理RTI回调给联邦成员的消息。
联邦成员等待响应的时间若超过设置的等时,需重新连接WSPRC。
系统中各节点之间的静态交互关系及具体交互内容由系统FOM约束。该系统FOM利用HLA Evolved的模块化FOM机制,根据具体应用从FOM模块库中,选择本次应用所需的标准信号FOM模块,组成信号FOM,继而与应用FOM模块组合,形成系统FOM文件。
5 实例
按照本文提出的技术路线,构建了指控装备的网络化测试教学训练系统,用于某型号指控装备的装备保障教学。
系统部署在军事训练信息网,面向相关部队、院校与修理单位提供网上远程教学,系统门户界面如图6 所示。
分布交互中间件采用pRTI与Pitch Web Services Adapter相结合的方式,实现对HLA WSDL接口的调用。联邦成员采用Java语言开发,与pRTI运行环境关键程序jar包一起,在用户加载虚拟资源时动态下载到本地并执行,使用户本地无需安装配置相关软件。
虚拟交互技术 篇10
【关键词】虚拟学习社区 交互 归属感
【基金项目】湖南省教育科学规划项目《网络教育中师生角色与关系的研究》（XJK08CJB005）
【中图分类号】G52【文献标识码】A 【文章编号】2095-3089（2014）08-0036-02
1.引言
远程学习状态下教与学相对分离的特征，使得学习者的情感体验一度匮乏，学习者只是机械、被动地参与社区交互与学习。不少国内外学者都将教与学的再度整合看作是解决远程学习中学习者情感体验匮乏这一问题的关键。基更在《远程教育基础中》提出通过人际交流的方式整合教与学。人际交流的关键要素即交互。虚拟学习社区作为现代远程教育的产物，实现了变单向交互为双向交互、被动交互为主动交互的跨越式发展。一旦交互持续有效的发生，学习者能在长时间的虚拟沉浸中实现情感整合，产生基于社区的归属感。
2.概念界定
2.1虚拟学习社区中的交互
张立国通过对交互概念的理解和界定，认为“虚拟学习社区中的交互是学习者和其所处虚拟学习环境之间发生的活动，其目的是使学习者行为、反应和心理倾向逐渐符合教育目标”[1]。从这个层次上来看，交互的实质被理解为一种活动，涉及活动频率、活动范围、活动深度等多个概念。借助这个定义，笔者将从频度、宽度以及深度对交互进行逐一界定。
1）频度：描述学习者在虚拟学习社区中交互活动、行为次数发生的多少。
2）宽度：描述学习者交互内容和交互情境的范围。例如学习者的学习涉及多个情境的切换，如参与式学习、自主式学习。
3）深度：描述学习者的交互层次和学习层次。包含两个方面的含义，一方面可以描述为学习深度，体现为触及知识本质的程度。另一方面则用来划分交互发生的心理层次，从低到高依次为：适应性交互、理解性交互、操作性交互、反思性交互[2]。
2.2归属感
所谓归属感，就是归于、属于某种事物的情感。虚拟学习社区归属感是社区成员把自己归入这一虚拟社区共同体的心理状态，这种心理状态既有对自己身份的认同，也有对社区环境的认同，还带有个体的主观情感[3]。从归属感的维度来看，包括态度、行为以及价值观。
1）态度：稳定的个体情绪状态，如肯定、否定、喜欢、憎恶等。
2）行为：在特定环境下受思想支配而表现出来的外部活动，具有适应性、稳定性和持续性，其本质是心理机制参与下的行为强化。如学习、讨论、发帖等。
3）价值观：个体基于自己的价值观在面对或处理各种矛盾、冲突、关系时所持的基本价值立场、价值态度以及所表现出来的基本价值倾向，可描述为稳定的、内化的行为与态度，属于文化心理层面。
3.交互指标对归属感的影响分析
个体一旦与虚拟学习社区发生交互，归属感就在无形之中孕育而出，影响和支配个体的后续行为、态度以及价值观。频度、宽度、深度作为交互的三个指标，其中任何一个对归属感都有一定的影响。具体体现为：
（一）学习者以学习新手的身份进入虚拟学习社区，首先引起的是交互频度的变化，表现为个体行为次数的增加。学习者需要通过多次交互，系统地认识虚拟学习社区的要素及构成，并对其功能进行了解，以确定是否连续参与该社区的交互。学习者每完成一次交互，都将产生一定的情感输出，促进或抑制学习者的后续行为。由于交互频度直接引起学习者行为的变化，因此在对虚拟学习社区内容以及交互结构的设计上，应尽量提供内容连贯、信息含量小的单元式教学资源，一方面保证教学呈递进式发生，另一方面又持续激发学习者的学习行为发生。
对于学习新手而言，虛拟学习社区的界面体验成为制约交互频率的关键因素。一旦学习者无法快速、有效地找到学习资源，便会失去学习兴趣，甚至终止学习。因此，从学习新手的角度来看，虚拟学习社区应尽可能提供便捷的知识获取渠道，压缩系统响应与交互时间，从而最大化学习者的学习效率，帮助学习者建立积极、肯定的学习情绪。一旦学习者建立基于虚拟学习社区的积极情感，新的交互行为将随之发生，体现为交互频度的增加、交互宽度的拓展，以及交互深度的延伸。
当学习者以符号人的角色进入虚拟学习社区，学习者的情感将处于完全隐蔽的状态。为了延续现实世界的情感，学习者只能依托虚拟的交互行为创造主体情感体验。这也是对虚拟交互产生并影响归属感的本质解读。
（二）虚拟学习社区中存在多学科、甚至跨学科的学习，即学习内容的宽度。学习内容的跨度要求学习者投入更多的注意力和精力，保证每一次交互必须指向明确，并高效率地进行信息、知识的获取。学习内容的宽度为学习者打开了虚拟学习世界的大门，为学习者呈现了一个结构立体、资源丰富的虚拟资源世界，进一步充实情感体验。由于学习者的学习是呈分散式发展的，即某个内容的学习可能引发临近内容的学习。因此，虚拟学习社区应该为学习者提供多个关联内容，以信息推送或站内邮件的方式推荐个性化学习，主动构建学习跳转节点，实现交互内容宽度的拓展。
不同的学习情境、交互情景为学习者创造更多的认知环境，进一步丰富了交互发生的心理层面，拓展学习者的心境体验，提高学习者对虚拟学习社区适应力。情境与内容的宽度构建了一个近乎真实的虚拟世界，行为与情感的复杂交织涵盖真实生活的一切要素，学习者在虚拟世界中进一步完成价值延伸，实现价值观的再度加工。
（三）从交互的心理深度来看，适应性交互通过学习者与媒体、情境的交互，逐步适应交互过程，消除心理距离和负面情绪，产生行为输入，形成特定的动作，即价值观的行为载体，进入更高层次的交互；理解性交互在信息交换的基础上完成人际互动，并要求学习者与学习内容发生信息交换，其实质为感知过程。学习者需对呈现的内容与知识进行价值识别，判断能否进行整合、同化；操作性交互则是对知识进行具体的精加工与结构重组，包含理解、记忆、抽象、概括等过程，最后内化为稳定的心理结构；反思性交互是对以上三个交互层次的综合反馈，能有效激发学习者的思维活动，对新旧交互进行内容对比和知识辨别，完善学习过程和交互行为，形成正确的、积极的主观评价。从交互的内容深度来看，深度的增加意味学习难度的增加，这就要求学习者建立一套完整的思维和认知结构，灵活面对学习材料，在不断深入的学习中保持情感的集中与行为的主动。交互深度扩大了学习者与真实世界的心理距离，使得学习者具有更强的主体隐蔽性和现实消减性。学习者挣脱现实身份的限制，以高度自由的方式选择性进行虚拟感知，获取虚拟认同。
4.结论
交互是虚拟学习社区的核心要素，影响着学习者归属感的形成和发展。从虚拟学习社区自身的建设和发展来看，加强交互与提升学习者归属感可以促进虚拟学习社区进一步完善自身结构，实现教育教学、学生社会化的终极目标。因此设计良好的交互情境与提升学习者归属感将成为开展虚拟教学、人际交流的关键。笔者从交互和归属感两个角度分别阐述有助于虚拟学习社区发展的手段和策略。
（一）交互的角度：积极建构真实的交互情境，根据学习者的学习能力和知识水平设计多元内容。例如学习内容按照学习难度进行呈现，激发学习者的兴趣，提高交互频度。或者设计多个相关内容的板块，主动引导学习者进行交互宽度的跨越，掌握不同领域知识的同化与顺应，完善自我认知。同时，灵活编排专题学习材料，逐步引导和培养学习者学习兴趣，对提升主体虚拟体验，拓展交互发生的深度有积极的作用。
（二）归属感的角度：创建真实的人际交互体验和学习体验，依靠专家或者经验丰富的学习者构建人际通道，主动发起学习和交流，消除学习者的心理距离和陌生感，并以活动为核心设计交互内容，建立与强化基于网络的行为系统。最后，提供持续的人文关怀，注重对虚拟学习社区文化的塑造，以积极健康的方式促进学习者价值观形成。
参考文献：
[1]张立国.《虚拟学习社区交互结构研究》[M].北京：教育科学出版社. 2009
[2]胡志金.《论远程学习者的交互学习策略》[B].中国远程教育. 2010， （5）
虚拟手机交互系统的研究 篇11
虚拟现实很久以前就有人提出这一构想,但由于当时各方面的条件制约,如缺乏相应的技术支持、没有合适的传播载体、硬件处理设备缺乏等原因,虚拟现实技术并没有得到很大的发展,直到20世纪80年代末,随着计算机技术的高速发展及互联网技术的普及,才使得虚拟现实技术得到飞速的发展[1]。
目前,在手机领域中,虚拟现实也已经得到了广泛的应用[2]。利用VR-Platform三维平台软件结合3DSMAX软件设计并实现了一个虚拟手机交互系统,并发布至网上,使用户能在一个虚拟的三维手机上进行各种模拟操作、体验,对该款手机有一个真实的体会,也更能进一步了解其具体功能。这样,在购物平台上,既可以展示商品的魅力,也能使客户在足不出户的情况下就能对产品有一个详细的了解,为顾客提供了一个客观判断商品价值的平台。
2 VR-Platform
VR-Platform三维平台软件是一套虚拟现实平台软件,它融合了数字图像处理、计算机图形学、多媒体技术、传感器技术等多个信息技术分支。与国内外常见的几种虚拟现实制作软件如VRML建模语言、Cult3D、EON Studio、Java3D、WebMax等相比,VR-Platform的特点是适用性强、操作简单、功能强大、高度可视化、所见即所得,可广泛的应用于城市规划、室内设计、环境艺术、产品设计、工业仿真、古迹复原、桥梁道路设计、军事模拟等行业。从测试来看,无论是场景的导入导出、实时编辑,还是独立运行,VR-Platform速度明显快于某些同类软件,而且用该软件制作的演示可广泛的运行于各种档次的硬件平台,尤其适用于Geforce和Radeon系列民用显卡,也可在大量具有独立显存的普通笔记本上运行[3]。因此本设计选用VR-Platform来实现手机的交互功能。
3 虚拟手机交互系统流程
本系统设计开发的工作流程如图1。
(1)利用3DSMAX建模,然后用VR-Platform所提供的、已经嵌入到3DMAX软件中的插件VRP-FOR-MAX将该模型文件转换为后缀名.vrp的格式文件。
(2)把得到的vrp文件导入VR-Platform三维平台软件中进行界面设计。
(3)加入交互模块,在脚本编辑器中加入事件代码,进行交互设计。
(4)利用VR-Platform三维平台软件将设计导出为Web页支持的格式,即vrpie文件,以便于在互联网发布。
(5)利用Microsoft Visual Studio 2005平台设计一个模拟手机导购网站,并把所设计的虚拟手机放入网站中,顾客就可以与之交互。
4 虚拟手机交互系统的实现
4.1 模型制作
虚拟现实系统要求实时动态地模拟环境,由于受到PC硬件的限制,虚拟现实系统的建模与以形体塑造为主的影视动画的建模有着显著的不同,目前虚拟现实中的虚拟场景的构造主要有以下两种途径:基于模型的方法[4]和基于图像的绘制(IBR)方法[5]。本文中的模型采用基于模型的构造方法。3DSMAX的建模方法主要有:多边形(Polygon)建模、非均匀有理B样条曲线建模(NURBS)、细分曲面建模(Subdivision Surface)[6]。
手机的制作主要是通过3DSMAX使用多边形(Polygon)建模。也就是直接创建基本的模型几何体,然后再通过修改器中的可编辑网格调整物体形状,或通过使用放样、曲面片造型、组合物体来制作模型,最后赋予模型关键桢动画。
利用3DS MAX制作出的手机模型最终效果如图2所示。
这里暂不对这些模型块进行色彩渲染,等导入到VR-Platform平台上再对其修饰。VR-Platform软件提供一个可以嵌入3DSMAX软件的转换插件,用这个插件可以成功将模型导出为VR-Platform平台所支持的格式以对模型作进一步的设计。
4.2 界面
模型设计出来之后,就进入后期制作阶段。首先是将场景文件导入到VR-Platform设计平台,然后进行界面设计,依照构想设计将一些背景图、模型色彩、功能按钮等做好。如图3所示界面。
4.3 交互
做好了界面,那么下一步就是做交互功能了,简单来说就是使该设计能“活”起来。在交互设计时,首先把按钮上的功能逐个实现,然后在其中插入脚本代码。图4是“功能介绍”按钮实现后的截图。
手机按钮中“选歌功能”实现的效果为:当点击“音乐上翻键”时,手机屏幕中所示的音乐菜单会向上移动选择歌曲,并播放出来,点击“音乐下翻键”则刚好相反。图5为该功能实现的原理示意图。
根据原理图,设置音乐上翻键的部分脚本伪代码为:
其余各种功能的交互设计就不在此一一讲述了。最后,设计完成后,将该设计导出为Web页支持的格式,即vrpie文件,以便于在互联网发布。该文件在本地浏览时需下载VRP-player插件支持其播放。
4.4 网站
手机展示网站主要是使用Microsoft Visual Studio 2005设计平台,用.NET技术和Dreamweaver网页制作工具进行设计开发[1,2,3,4]数据库方面,采用Access数据库,代码用C#实现[1,2,3,4,5]。在网站中嵌入前面制作好的虚拟手机,最终效果如图6所示。
5 结语
本系统利用VR-Platform三维平台软件结合3DSMAX软件设计并实现了一个虚拟手机交互系统,并使之发布至网站,实现了一个商业手机的虚拟展示系统,使用户在足不出户的情况下能完整了解功能并操作手机,实现了真实情境下的“虚拟购买”。
摘要：虚拟现实是近年来出现的高新技术,在许多商业领域中得到广泛的应用。利用VR-Platform三维平台软件结合3DSMAX软件设计并实现了一个虚拟手机交互系统,并发布至网站上,使用户在足不出户的情况下能操作虚拟手机,实现“虚拟购买”。
关键词：虚拟现实,VR-Platform,交互,手机
参考文献
[1]黄心渊.虚拟现实技术与应用.北京:科学出版社,1999.
[2]汪成为,高文,王行仁.灵境(虚拟现实)技术的理论实现及应用.北京:清华大学出版社,1996.
[3]中视典数字科技有限公司.
[4]吴起著.3ds max4三维艺术与技术.北京:希望电子出版社,2002:95-118.
[5]徐丹,潘志庚.虚拟现实中基于图象的绘制技术.中国图象图形学报A辑.1998,3(12):1005-1010.