远程人机交互

远程人机交互（精选8篇）

远程人机交互 篇1

本论文通过毛里求斯大学工程系的一个“新型机器人网络接口”项目,介绍了一种机器人基础学习的简单方法。

机器人技术是集机械学、电子学、电脑智能控制技术以及网络通讯技术等多项技术于一身的前沿科技。该技术广泛应用于工业、勘探、公共服务和医学领域。通过采用某种管理控制模式,人们可以远程控制机器人系统,从而避免使用者直接接触危险环境和去到从前难以到达的地方。随着计算机网络和Internet的发展,利用远程设备,人们在世界上任何地方都能够实现与机器人的连接。此项目立项的初衷是想利用毛里求斯大学工程系的现有设备,用较少的花费,让学生学习机器人技术,对机器人进行远程编程,进而远程操作机器人。

如今,一旦人们需要信息时,万维网则是获取信息、并且能方便显示在电脑屏幕上的有效工具。随着互联网使用者的增加,加上那些实用、易用且相对廉价的技术,万维网已经成为用于通讯交流的强大媒体。

远程教育已经成为教授多种学科而广泛使用的教学方法。在本项目中,WWW的主要特征———如通讯,已经被广泛使用。该项目的问题之一是如何通过万维网把初学者引入机器人技术领域,还有如何选择呈现模式以及交互模式。另外,不要忘记计算机和Gryphon机械设备要通过网络相连,实现控制。

1 新型远程培训方法介绍

1.1 Gryphon精密机器人

Gryphon机器人网络接口的界面部分由意大利的Italtec公司的Walli机器人小组设计。Gryphon是主要模仿人类上肢运动的传统机器人,并且具有让处于前部平台的肩、手肘、手腕旋转的轴,其中腕部具有两个有效轴,分别用于旋转和升降。机器人身上总共有五个轴和一个爪子(钳子)。两指钳为真空装置,更换容易。其内部需要约5~8巴的空气压力支持。钳子由0和1表示开与关。

机器人有一个控制箱支持其工作。任何其他兼容设备都可以经由控制箱的连接协同工作。每个轴由一个步进马达提供动力,这种步进马达具有光学解码反馈器,可以对轴进行闭路控制。机械臂由四个微处理器控制,如果程序处理得当,机械臂确实能在工作单元(workcell)中和各部分精确配合工作。子处理器经由串行接口和主处理器进行通信,主机通过RJ45和控制板相连。控制板主要用于主机和控制盒的通讯,也用于所有的数控系统通讯。当然在Gryphon机器人中,控制板主要用于主机和机器人之间的通讯。RJ45接口是为串行通讯的专利设计,由一条专用线和RJ45头构成。

我们可以多种方式完成编程。每个轴的数据都可以用名为WALLI3的软件通过屏幕直接编辑输入。Gryphon机器人可以用教学式悬架操纵,也可以人工直接操纵。

1.2 键盘控制的WALLI3系统

WALLI3(Workcell Amalgamated Logical Linguistic Instructions第三版)是专为Windows环境设计的WALLI软件的升级版。正如该软件名称显示的那样,该软件是有关在自动或机械工作单元中的协同工作的(workcell)。该软件能够支持独立的(stand alone)机器人设备,或者是工作单元中设备与零部件的组合,工作单元起到自动产品的组织示范作用。工作单元的内容非常灵活,它可以包括任何数量设备的组合,并根据用户意愿指定和更改这些组合,以满足不同的教学需求。

1.3 基于网络的系统

以下几个部分简要描述了为远程用户使用Gryphon机器人而开发的基于网络的接口系统:

1.3.1 Mircosoft IE6.0作为前台浏览器

该机器人控制端网站是用HTML、DHTML和ASP等技术开发的,当然本系统也有一些自己独有的特性,如可根据浏览器性能自动选择不同的浏览器。当前较流行的浏览超文本文档的浏览器有微软的IE和Netscape的Communicator。微软的IE浏览器是一款功能强大的浏览器,在Windows操作系统的所有版本中都带有IE浏览器。它支持多媒体、图形和Active X组件,非常适合ASP的需求。Netscape运行于基于Windows的操作平台,也支持多媒体和图形。但Netscape缺乏对ASP的某些支持,如它不能识别VB-Script的所有语法,但能识别Java Script的所有语法。解决方法当然是选择IE6.0,因为他能有效支持ASP技术和VBScript。何况,既然它是网上最流行、使用最广泛的浏览器,这种选择显然也合乎逻辑。

1.3.2 IIS 6.0作为网络服务器

像处理HTML请求和按请求给客户端浏览器发送静态网页这种关键任务都是由网络服务器实现的。除此以外,网络服务器还能执行能明显加强网站内容的软件。选择某个网络服务器的因素有:执行网络应用程序的速度、安全性、是否支持虚拟目录、是否有能力限制访问一些IP地址。微软Internet Information Server(IIS)就是一个安全的服务器,它的安全系统和Windows NT相连。IIS和windows NT一同提供了一定数量的安全层,在用户到达网站时必须经过这些安全层。参照最苛求的网站所要求的安全特征,它的安全性也是具有一定深度和广度的。Personal Web Server(PWS)是为Windows95/98设计的服务器。它不具有IIS的所有特征,它更便于开发离线程序而非作为提供健壮、灵活、安全功能的网络服务器。PWS支持虚拟目录,能允许并发访问的用户数量有限。此外,它缺乏安全性。当然PWS无法也无意同IIS竞争,因此,很明显,IIS是健壮、灵活、安全的服务器的首选。

1.3.3 VBScript作为服务器端的脚本语言、客户端的确认

VBScript是一个允许把函数嵌入HTML文档中的脚本语言。VBScript使创造丰富的、动态的、交互的网页内容成为可能。VB-Script拥有丰富的特征集,为开发客户端和服务端应用程序提供了非常好的环境。很多过去要求在服务器端处理的任务现在也能在客户器端处理。这样既减少了客户访问服务器的请求,也减少了服务器上需要为这些请求开辟的空间。但是,由于VBScript是解释型的,服务器上必须要有能正确执行代码的软件。在客户端,网页浏览器必须支持VBScript。IE有这项内建功能,但是很多其它浏览器则需要安装插件才能支持VBScript。

1.3.4 Java Script和HTML作为客户端的编程语言

Java Script是由网景公司开发的面向对象程序设计语言。在语法上,Java Script与Java相当像,但它并非Java的子集。Java Scrip非常适合开发相对规模较小的程序,这样也易于维护。Java Script是内嵌于HTML文档的脚本语言,也能用来编写程序。所以服务器或者网页浏览器必须要有能执行这些代码的Java Script引擎。IE和网景的Navigator都支持Java Script。

1.3.5 作为编程技术的Microsoft ASP3.0(Active Server Pages)

到目前为止,因为有客户端程序的帮助,一些发布的页面也有某种程度的交互,这都该归功于客户端脚本。但是,一些应用程序则需要访问数据库进行查询。ASP可以描述为服务器端的脚本环境,它可以用于创建和运行动态的、交互的、高性能的网络服务应用程序。ASP综合了HTML、脚本、ASP代码,这样能比只结合HTML有更高程度的交互。ASP可以在HTML文件里直接包含可执行脚本。微软ASP是一个服务器端的脚本环境,允许程序员创建和运行动态的、交互的、高性能的网络服务应用程序。ASP脚本在服务器上运行,而非客户机,而后网页服务器再给客户机送出HTML页。ASP是一个独立浏览器,并且只浏览服务器端处理HTML页之后的结果。ASP应用程序的特点是,完全整合了HTML文件;不需要手工汇编和链接,易于创建;既然脚本和服务器组件在服务器端执行,对用户而言不可见,因而ASP应用程序是灵活和安全的。ASP可以使程序员使用任何提供ASP支持的脚本语言。ASP为微软Visual Basic Scripting Edition(VBScript)和Java Script提供脚本引擎,这个项目我们使用的脚本语言是VBScript。

1.3.6 作为后台数据存储器的Microsoft Access

系统的表现很大程度上依赖系统后台。SQL server的首要目标是允许数据以多种格式存在,并且能用不同的方式获取。微软不仅想用SQL server提供更强大的关系数据库管理系统,还想要提供一种机制,来收集存储对比性信息,和用一致的有用的方式呈现数据。数据库进行复制时是顺向进行的。SQL server复制技术包括拷贝数据、把拷贝的数据移动到不同的位置、同步数据使拷贝具有相同的数值。相对于其他桌面数据包,ACCESS可以创建更好的后台数据包。ACCESS的巨大优势是用户很可能使用WINDOWS作为操作系统,Microsoft Office作为其基本的应用程序。由于Access是Microsoft Office的一部分,因而Access能很好的整合这些数据包,数据在Access和其他Office组件之间传递也相对容易。除此之外,Access对于各个层次的用户而言都是比较容易使用的。ASP也支持Access,作为其有效数据源。Access一个相当大的益处可能是它提供的移植性,这表示在不改变功能和设置的情况下,它可以从一个服务系统移动到另一个服务系统。Microsoft Access是一个合适的解决方法,因为它包括了系统要求的所有特征,何况,该项目的设计也没有要求使用大型、复杂的数据设备。

1.3.7 作为与机器人连接的VNC

由ATM Network Computers开发的虚拟网络计算(The Virtual Network Computing)技术是一个远程显示系统,它不仅允许人们在运行着的本地计算机上,还可以在网上任何地方运行着的、各种不同体系结构的计算机上对一个运算的“桌面”环境进行观察。因此VNC非常理想被称作WALLI3软件,用于给远程机器人编程,对其进行控制。

2 结论

我国的远程教育在经历了函授教育、广播电视教育后,已经进入网络教育,即现代远程教育阶段。

近年来,我国远程教育在硬件、软件、潜件三件建设方面发展迅速,已经取得了显著成绩。但不足也是明显的,如建设资金不足、网上资源不足、技术支持不足、理论指导不足等,都是制约我国远程教育发展的因素。以上提到的国外这种远程教育形式当然是值得充分肯定的,这种教学形式形象生动,以几乎接近真实的方式,极大的锻炼了学生动手能力和实际操作能力。它比较类似民航训练飞行员的模拟座舱,座舱里的仪器设备是和真实飞机中一一对应的,这种模拟训练能在某种程度上代替真实飞行,而且相对真实飞行训练,模拟培训费相对低廉,安全系数也高。对我国现阶段的远程教育而言,笔者认为,实现这种方式的主要障碍是一个是资金问题,另一个是教育机构和产业界深度合作的问题。

虽然我国国民经济的飞速发展为教育事业的进步起到了巨大的推动作用,但基础设施建设资金不足依然是我们面临的现实问题。特别是一些西部高校、非重点培训机构,即使是和国内一些重点高校相比,差距都相当大。所以要想搭建本文所述的学习平台,筹集足够的资金难度很大。另外,要想有效采用这种培训方式,产业界的支持是必不可少的,培训的学生要面向职场,他们最好在培训阶段就接触当前他们所学专业的前沿,知道这个专业具体都在做什么,怎么做?培训机构和企业的合作笔者认为是最有效的途径。但产学研一体化或者和企业合作办学正是很多高校的劣势所在。这也是阻碍我们采用这种先进教学模式的另一因素。

另外,这种方法善于用在操作性较强的工科课程培训上,文理科是否也有借鉴价值,值得思考。

参考文献

[1]Saravanen M,King Robert T F Ah,Rughooputh,Harry C S.A web-based interface for the Gryphon robot[D].University of Mauritius,2003.

[2]王丽萍,杨鼎,张伟.高校招生信息化研究[J].湖南株洲工学院学报,2006(3).

[3]徐祥生.基于计算机网络的自适应式远程教育模式的研究[J].科技资讯,2006(7).

[4]周倩.现代巨型大学的历史演变与发展趋势[J].郑州大学学报,2006(3).

[5]What happened to NetMeeting?[EB/OL].http://www.microsoft.com/windows/netmeeting/default.asp.

人机交互才刚刚开始 篇2

中国正在成为智能终端的消费大国。根据研究机构Counterpoint Research的数据，作为全球最大智能手机市场的中国，目前仍在以每年19%的增速快速发展。伴随智能手机的普及，帮助人机实现高效交互的触控技术已经融入人们的日常生活，而可穿戴设备、物联网、车联网等概念的逐渐落地，让市场对人机交互技术的发展前景有了更多期待。Synaptics公司高级副总裁Bret Sewell认为，人机交互有很多全新领域需要探索，那些能够帮助消费者建立优质体验的技术最终将脱颖而出。

C：可穿戴设备、物联网、车联网等概念的逐渐落地对于触控技术意味着什么？触控技术的发展又面临了哪些挑战？

S：触控技术是目前最为成功的人机交互技术，可穿戴设备、物联网和车联网等概念的落地，可以让触控技术拥有更广泛的应用领域。这些设备都涉及到人对设备的控制以及人和设备之间的交互，这就给触控技术提供了很大的发挥空间。但是巨大且增长迅猛的市场只是一个方面，触控技术还面临着不小的挑战，这个市场的竞争非常激烈。另外，移动设备主要的增长潜力目前集中在中低端市场，这部分市场显然对成本更加敏感，因此触控技术公司也面临着较大的成本压力，我们的客户、合作伙伴会不断要求用更具性价比的方式来实施触控技术。从这个方面来讲，触控技术虽然取得巨大成功，但是人机交互新技术的研发也势在必行。

C：在触控技术被人们广泛接受之后，还有哪些人机交互技术值得期待？

S：在人机交互技术方面，目前业界仍在进行多方面的探索和尝试，但生物识别技术和手势控制技术是目前最值得期待的技术。生物识别是以人的生命体征作为识别依据，包括指纹、虹膜、面部，乃至眼睛当中的血管，它们都有可能帮助智能终端设备验证用户本人的身份。当云服务被人们更加广泛地采用时，生物识别技术将帮助我们更方便和安全地登录到云端账号。在不久的将来，生物识别技术将使我们不需要再随身携带信用卡、钱包或者现金这些东西，所有的信息都将与我们自身的生命体征绑定。除此之外，结合高保真影像技术的使用，手势控制技术同样具有非常好的应用前景。

C：为什么手势控制技术拥有很好的应用前景？

S：手势控制技术是近年来我们非常感兴趣的一个人机交互技术，它的应用场景非常多。例如，目前汽车影音系统的控制通常是由操作几个机械式按钮完成，开车时这样的控制系统不是非常安全，如果可以通过手指往上或者往下来选择要播放的CD，就可以让驾驶员更加方便和安全地进行控制。在公共场所中，一些为公众提供公共内容服务的显示屏同样可以采用这项技术，如果所有人都需要用手去触摸显示屏，就会带来人体卫生和显示屏清洁的问题，通过手势去控制能避免这些问题的发生。

C：随着小米等品牌的崛起，中国正在成为智能终端的品牌大国。如何看待中国市场？怎么应对这个市场正在发生的变化？

S：我们确实注意到有越来越多的中国公司加入这个市场，这意味着更多的创新，消费者也由此能够获得更多的选择。中国有着非常强的工程能力、制造能力以及产品开发设计的能力，这对于我们来说是非常重要的。针对这个变化，类似Synaptics这样的公司就需要做出一些积极的调整：首先要对这个市场更加重视，加大对于中国市场的人员投入；其次需要跟合作伙伴更加紧密地合作，我们拥有一些最新的理念和技术，通过与中国伙伴共同创新，帮助它们在产品中实现更多的功能和更优的性能；另外中国市场还有一个特点，那就是除了OEM厂商，一些国外设计公司以及增值服务商在这个行业中还发挥着非常重要的作用，所以我们还需要跟这两类公司进行更多的沟通，开展密切的合作。（采访：王水）

浅论人机交互背后的人人交互 篇3

关键词：产品设计,行为方式,人机交互,人人交互

人机交互理论在产品设计的发展进程中发挥了重要作用,科技高度发展的今天,产品人机交互过程中可用性和易用性的问题,可以通过技术手段一一解决。对产品的设计、定位已逐渐从使用层面深入到情感层面,探讨人与人之间的交流互动形式,成为设计的新需求。

1 产品所扮演的角色的转变

工业产品是工业革命的产物,它是时代经济、技术和文化的物化成果。同时作为经济社会的物质基石,产品所扮演的角色也随着社会经济形态的变化而变化。一直以来,产品是为了满足人的各种需要而存在的,产品所扮演的角色长期处于人类生活的附属品。而今天,随着工业设计学科的发展,在综合了心理学、社会学、美学等诸多学科对设计的探索与指导后,越来越多的设计师意识到成功的产品设计已不再只是高科技内容的附庸,而是更多关注产品强大功能对于使用者的实际有效性,产品更应体现出它的社会价值与人文关怀。

2 设计的目的的转变

设计要解决的是“人—机—环境—社会”(图1)系统中出现的问题。设计通过采用各种技术手段,发现并解决人们生活中的问题,最大程度地实现该系统的和谐。以往以实用功能为出发点的设计主要解决的是“人—机”系统的问题,即设计的产品能够更好的被人使用。这个更好的被人使用则更多指的是操作的简便性、快捷性,产品的意义也仅停留在“工具”这个层面。而当今,在“以人为本”的设计思想的影响下,在产品设计中融入人文理念,设计如何更好地体现对人的关怀,如何更容易获得人们内心的认可和接受,是设计师应认真思考的深刻问题,也是科技高度发展的今天用户情感和心理需求的体现。正如美国著名经济学家、社会学家托夫勒所说:“人类需要高技术,更需要高情感,人们的购物过程不仅满足的是物质需要,还有文化上的需要。产品一旦被赋予某种美好的情感,就会缩短人与产品在情感上的距离,出现购买行为上的文化认同。”正是人们精神层面的追求和自身价值观念的需求不断造就了产品的崭新面貌,反过来,产品也通过传达某种诉求而影响着人们的生活文化,并导致新的文化形态的形成。这样,设计才能将“人—机—环境—社会”这个大系统中的各个环节都体现出来。

3 人的行为方式的探讨

人的行为不是孤立存在的,人的行为在支配自身的同时也对周围的环境产生着影响。人的行为方式既是人与产品之间交互方式的关键因素,也是研究产品的前提和基础,是设计师进行创新的思维过程。同时,人的行为也是自身思想的外在表现形式。探讨人的行为方式,寻求人与物之间的独特并且合理的相处模式,会给产品与人类之间带来崭新的景象,甚至是可以颠覆传统的新思维、新模式。因此,产品本身所具有的改变和影响人的行为的能力,使得它必然承担起引导人们合理使用产品,并向人们传达正确的思想观念,鼓励人们追求积极的自身价值,寻求和谐的使用环境的职责。强调人、产品、环境、社会之间相互依存、互促共生的关系,已是未来社会发展的必然趋势,也是人们内心的共同诉求。更为重要的是,我们设计产品不单纯是设计了产品本身,同时也设计了人与人之间、人与产品之间的关系,也设计了人的行为方式。

4 人人交互系统概念的提出

通过上述分析,我们可以看到,时代经济、技术和文化的变革使得产品的角色由单纯的“工具”转变成富有多重意义的物质载体。设计越来越注重使用者在使用产品时的心理感受。设计的目的也由单纯的满足用户的使用功能上升到获得良好的情感体验和文化认同。更为重要的是,我们希望产品还能够引导人的行为方式,使人与人之间,人与产品之间能够形成良好的关系。这些转变和期望带给我们一条新的产品设计思路,即设计师制造并控制用户期望,把对产品的设计仅仅作为设计的中间环节,使产品的使用过程变成设计师与用户的交流或用户与用户的交流,实现人与人的互动,即人人交互(图2)。

4.1 人人交互系统的要素

1) 系统终端

从系统模型中,我们可以清楚的看到,位于模型终端的均是“人”。一端是系统的主动端——设计师,另一端是系统的从动端——用户。处于产品后台的设计师可以藉由产品向用户传达某种情感、信息、理念,用产品“说话”,与用户沟通。用户是产品或平台的使用者,是人人交互系统中参与交互的另一方。用户通过使用产品或是平台实现设计师的设计构想,对产品的功能、语义作出反馈,“倾听”、认同设计师的设计意图,从而完成人人交互。

2) 系统状态

该系统最终实现的是设计师与用户之间的对话。处在系统主动端的设计师通过对产品、信息或服务的设计,向处在系统联动端的用户传达某种信息,实现设计师与用户的交流互动。世界著名未来学家约翰?奈斯比特认为:“无论何处都需要有补偿性的高情感。我们的社会里高技术越多,就越希望创造高情感的环境。用技术的软件一面来平衡硬性的一面。”设计师通过设计,对产品进行编码,赋予产品特定的内涵。用户的使用过程既是获得产品功能的过程,也是进行解码,接受设计师所传达的语义的过程。人人交互系统关注的是技术背后使用者的接受状态。

向全世界提供了第一台个人计算机的IBM公司,希望个人计算机的设计远远超出用户和机器的共同“工作”,而是致力于在用户和个人计算机之间建立起深刻的关系,赋予个人计算机更多的生命和乐趣,建立人机之间的友谊。因而IBM的设计师在设计中常常要考虑一件产品或者一个网站所能唤起用户的生理或心理感觉,寻求各种方式进行内心的感受和沟通。这些方式通过硬件技术和软件设计进行“编码”,用户在对个人计算机的使用过程中与机器互动,进行“解码”,实现人人交互系统的状态———相互拥有、相互游戏,不仅仅是工作,而且是生活。

3) 交互媒介

人人交互系统中的媒介可以是实体的产品,也可以是软件平台,甚至可以是服务理念,只要这种媒介可以准确、翔实的向使用者传达设计师的设计意图。设计师通过交互媒介向用户传达出积极的、美好的产品理念,鼓励人们做出积极的行为;规范并引导用户合理的操作,从而保护自身和公共的利益;及时给予用户明确的反馈,肯定用户在使用产品过程中心理产生的譬如成就感、正义感、富有爱心的感觉,从而使得用户获得满足,并反过来促进以后继续实现这样的行为。

在荷兰的史基浦机场,垃圾桶的开口处被设计制作成类似于篮球场上篮筐的形状,下方套着一只塑料袋,人们处理垃圾时只要将垃圾像投掷篮球一样就可“投”进去。事实上,许多人常常都不是将垃圾小心“塞”进去,而是随意地“投”进去的,这种垃圾桶正好迎合了人们“投篮”的欲望。在这里,设计师以一种不经意的、温和的,并且是非常生动的方式,通过“篮筐垃圾桶”这个媒介与使用者交流,引导了人们的行为习惯,实现了人人交互。

4) 交互方式

从人人交互系统模型中,我们可以清楚地看到,人人交互的实现通过设计师与产品、用户与产品两次人机交互,它的交互方式仍然依赖人机交互系统。人机交互系统中,人与产品之间信息的输入和输出形式多种多样,进而形成各种不相同的交互方式。现实生活中人的情感交流过眼神、声音、气味、味道、肢体语言、面部表情、语气语调等各种方式实现。在人人交互系统中,设计师应思考人的情感交流方式,选择更易用户解读的交互方式进行编码,如,数据交互、图像交互、语音交互、行为交互(图3)等。

5 人人交互系统应用举例

以研究购物而闻名的V·帕卡特在《隐藏的说服者》一书中说道:“如果你卖的不是油而是希望,如果卖的不是橘子而是新鲜的活力,那将会怎样?”产品设计发展的新思路也正是如此,设计师所设计的,不仅是一个代替人完成工作的工具,更应该是一种精神、品质、信念、态度的传达。

图4是利用废弃包装做的灯具设计,在这个产品中,设计师通过废物利用的设计手法,使废旧产品循环利用,润物无声的传达给使用者环保、绿色的设计理念,实现了设计师与使用者之间的精神交流。

图5是个有跳字显示的水龙头,它的设计者Reamon Yu表示:“水龙头如显示出开了水龙头的时间,洗手者知道自己一直在用水,会自自然然地早点关水龙头,从而达到节省用水的目标。”这个设计以数据交互的方式从信息的反馈上使得本来无形的用水量变得直观起来,并对使用者产生有效的提示作用。

图6是名为IM的网络附件设计,将IM小人用USB接到电脑中,指定一位好友,好友上线,小人站起,好友下线,小人则倒下。用小人的形象直观的反应好友的状态,利用图像和行为交互使用户自然地将“小人站起”和“好友上线”之间建立起对应关系,通过IM小人,实现用户对网络另一端的好友状态的了解。

6 结束语

人人交互系统的建立使用户对产品的使用体验呈现出一种新的状态和面貌。通过对人的行为方式和使用体验的观察、记录和总结,我们希望设计师通过对人人交互方式的巧妙设计,能够跨越人机交互的技术层面,实现人与人之间更好的沟通。

参考文献

[1]李乐山.工业设计心理学[M].北京:高等教育出版社,2004.

[2]唐纳德.A.诺曼.情感化设计[M].北京:电子工业出版社,2005.

[3]王效杰.工业设计-解析优秀个案[M].北京:中国轻工业出版社,2009.

[4]刘永翔.基于产品可用性的人机界面交互设计研究[J].包装工程,2008(4).

关于人机交互设计界面问题探究 篇4

1 人机交互界面设计特点

近年来互联网对社会带来了极大的影响, 不仅为信息沟通提供了便利渠道, 同时对人类生活的方方面面都产生了影响。最初人们只能利用互联网进行数据传输, 现在互联网已经可以为多媒体提供全面的支持, 在多种平台中运行巨大的信息系统。在互联网快速发展的今天, 其应用范围也逐渐扩大。目前互联网已经在业务管理、商业办公等多方面得到了广泛的应用。互联网界面就是以互联网技术为基础的一种人机界面, 人机交互界面设计的方法在互联网用户界面设计中同样适用。以互联网界面为例, 在界面设计过程中需要对以下几方面因素展开分析:第一, 用户定义与使用环境。互利网用户可能是来自世界不同角落的, 因此这些用户的语言和文化背景都各不相同, 他们利用的技术平台也存在明显差别;第二, 市场与竞争者分析。互联网站竞争者可以通过网络查询和发现信息, 因为竞争对手的网站设计都是透明的, 所以在分析市场与竞争者时, 可以快速得到很多可用的信息;第三需求、任务分析与目标定义。网站拥有者可以充分利用科学技术将信息发表在网站上, 只要提供超级链接, 就能将其他网站的连接放在自己的网站上。

2 人机交互界面设计的约束条件

互联网运行的技术平台是用户界面设计的重要约束性条件, 这些条件可以反映到界面设计准则上, 下面主要针对互联网用户界面设计的相关约束条件展开分析。

2.1 屏幕可用空间

不同用户在浏览网站时所用的显示器, 其分辨率、尺寸都是不同的, 网页设计人员应结合不同显示器的情况来设计网页尺寸, 这样才能保证用户的正常使用。如果网页不能在显示器上完全显示出来, 那么用户将利用移动浏览器上方和边缘的滚动条来完成网页内容的观看。这不仅使用户在使用过程中面临很多不便, 同时一旦用户忽略了滚动条, 可能会使用户不能完全看到网页上的重点内容, 因而导致可用性问题的出现。

2.2 浏览器的不一致性

随着互联网的发展浏览器也在不断更新和发展, 因为产品开发周期以及竞争等多方面因素的影响, 不同浏览器在功能支持上存在一定的差别。某个浏览器的版本可能在其他浏览器中不能正常显示, 通常情况下同种浏览器的功能都是向下兼容的, 因此, 在较低版本支持下的网页在较高版本网页中可以正常运行, 但是相反的条件下就不能正常运行。不同流量器之间的差异就显得更大, 特别是在一些复杂功能支持上, 这种情况就更加明显。

2.3 网络速度

网页显示速度过慢, 用户可能会面临可用性的问题, 网页中使用最多的元素是文字和图像, 其中, 文字对网页大小的影响是非常小的, 一个正常大小的图像相当于很多页的文字, 因此, 在网页设计时, 对图像大小进行控制显得非常关键。

3 产品设计下人机交互应用分析

3.1 手机的交互设计

手机键盘在设计上主要利用了人机交互设计的理念, 利用设计界面用户可以随便输入自己想要联系的人, 并与其展开对话交流。还可以利用界面设计编辑短信, 用户与联系人之间实现文字上的交流。近年来设计界面操作系统得到了广泛应用, 与iava系统相比, 现在广泛使用的ios系统和安卓系统的优势非常明显, 例如可以实现触屏操作。随着交互设计越来越完善, 现在用户可以在手机操作界面上轻松的进行软件操作, 人机交互得到了很好的实现。现在以电子书阅读为例来说, 在其设计上充分考虑到了增强用户在阅读上的真实感, 在页面设计中应用了实体书页面的形式, 为读者带来一种真实的感受, 在阅读的同时还能对颜色、亮度等方面进行调节, 只要用户用手指轻触屏幕, 就能将其调整到用户想要的颜色和亮度, 大大增加了电子书阅读的舒适感。

3.2 平板电脑的交互设计

与手机相比平板电脑的交互设计优势更加明显, 从屏幕上来看, 平板电脑要比手机大很多, 不管是听音乐、看电影, 还是工作、学习, 都可以体现出巨大的实用性特点。例如, ipd平板电脑存储空间非常大, 可以存储很多书籍、音乐、电影等, 充分满足了用户在休闲和学习上的需要。从设计方面来看, ipd采用触控式按键转盘, 采用流动形式的菜单, 并具有自定义的功能。交互设计界面的优化性能非常明显, 同时在操作上还具有非常明显的便捷性特点, 用户可以利用日常生活中的习惯性动作电机界面, 这样就可以实现对ipd的操作, 可见人机交互设计完全符合了用户的日常行为与习惯。

4 结语

人机交互设计是系统发展的一个阶段, 在人机交互设计过程中, 还要对很多问题进行分析, 例如人机交互设计怎样能设计出最优化的系统, 来满足用户在舒适性、方便性等方面的需求。总之, 在产品创新及技术革新的前提下, 人机交互设计也会不断创新和发展, 这样才能使其与市场需求相契合。所以人机交互设计的优化不仅可以有效增强用户的满足感, 同时还是科技创新的一种主体, 这还需要设计师进行不断完善。

参考文献

[1]杨叶, 陈琳, 董启标.基于Phone Gap的跨平台移动学习资源设计与开发探究[J].现代教育技术, 2014, (2) :100-107.

[2]周毅, 张衍.以信息构建与信息交互为定位的信息管理专业教育——以美国i School联盟院校为样本的分析[J].中国图书馆学报, 2014, (6) :67-82.

浅析多媒体人机交互技术 篇5

一、人机交互技术

人机交互技术 (Human-Computer Interaction Techniques简称HCI) 是指通过计算机输入、输出设备，以有效的方式实现人与计算机对话的技术。它包括机器通过输出或显示设备给人提供大量有关信息及提示请示等，及其人通过输入设备给机器输入有关信息及提示请示，回答问题等。简单地说，“交互”，就是指人与设备、系统、网站等的直接或间接的通信过程。人机交互涉及到计算机科学技术、心理学、社会学、人机工程学、工业设计以及语言学等多门学科。

其前景可通过Dan R.Olsen (CMC) 得到体现：“HCI是未来的计算机科学。我们已经花费了至少50年的时间来学习如何制造计算机以及如何编写计算机程序。下一个新领域自然是让计算机服务并适应于人类的需要，而不是强近人类去适应计算机。”也就是说人机交互技术能真正实现人机融合，体现出以人为本的理念。

二、多媒体人机交互技术

1. 多媒体人机交互技术的涵义

多媒体人机交互技术是多媒体技术和人机交互技术的结合，是基于视线跟踪、语音识别、手势输入、感觉反馈等新的交互技术。

2. 多媒体人机交互方式

(1) 输入

键盘输入：传统方式

鼠标输入：图形用户界面的重要输入方式

手写输入：手写汉字识别，“平板电脑”

语音输入

触摸屏输入

数字化仪输入：适用于CAD/CAM系统

扫描输入：条形码、扫描仪、光电阅读器

三维输入：数据手套、三维鼠标、力矩球等

视觉输入：摄像设备、机器人的视觉

(2) 输出

显示终端输出：重要工具

声响输出：声波

打印输出：标准输出设备之一

三维输出：产生三维输出的设备有投影显示器、头盔显示器、电视眼境等

3. 多媒体人机交互技术的优势

人机交互技术在教学上的应用，最重要的贡献就在于它能实现交互功能，有了交互，就可以在程序的允许过程中通过鼠标，键盘或触摸屏等来控制程序的流向。教师就能够充分发挥课堂教学中教师的主导作用与学生的主体作用，控制课堂节奏，及时获得学生信息的反馈，调整教学策略，这样，既能面向全体学生，重视学生思考与参与，激发学生学习的主动性和积极性，又能使教师实现个别化的教学，使学生能有选择性、探究性的进行学习，同时也能使师生之间的情感交流得以表达。其次，多媒体与网络的结合充分发挥网络的优势。可以说网络传播为我们构建一个学习化的社会提供了便利的条件，在网络时代，利用多媒体进行信息传递也是最普遍最常见的方法。

三、多媒体人机交互技术对教育教学的挑战

多媒体人机交互技术的运用，不仅对传统的教育模式和学习能力培养提出了挑战，更对教师的教学与教师的角色转变提出了挑战。主要体现在：

1. 学习方式的转变

建构主义者认为，学习不是一个被动地记录外界信息的过程，而是一个主动建构的过程，学习是按自己的需要、自己喜欢的方式来进行。而人机交互学习方式将使学生通过多种媒体进行自己的学习。因为在教学过程中学生才是学习的主体，因此教学必须发挥学生的主动性、积极性、才能获得有效的认知，多媒体人机交互所提供多种的主动参与活动就是为学生的主动性、积极性的发挥创造了良好条件，从而使学生能真正体现出学习主体作用。

2. 学习环境的转变

多媒体人机交互教学不仅充分体现了民主性，也体现了建构主义思想，能够以学习者为中心。而且，人机交互为个别化学习提供了更好的环境。

3. 教学模式的转变

在传统的课堂学习下，教师讲，学生听，很少有交流的机会，而人机交互教学则为合作学习创造了更大的可能性，通过师生之间、学生之间的交互可以使理解更加丰富和全面，协商式、讨论式教学和学习模式是人机交互应用于教学的一大优势。因为不同的人看到的是事物的不同方面，不存在对惟一的标准的理解。

4. 教师和学生角色的转变

在传统的课堂教学中，一切以教师为中心，教师的作用在于传授知识、监督和管理学生的学习活动，学生只是被动的接受者，而人机交互技术的运用，则使教师的角色转变为学生的学习伙伴、研究者、学习者。在这里已经没有了学生和老师的区分。每个学习者都具有多重的身份，他既是知识和信息的求学者，又可以是知识与信息的提供者和分享者。

总之，多媒体人机交互技术的应用，必将使多媒体教学的发展得到最大程度的完善，不仅如此，人机交互技术在教育教学领域的应用，必将导致教学内容、教学手段、教学方法和教学模式的改革，以致会引起教育思想、教学观念、教学理论的重大变革。

摘要：多媒体人机交互技术实现了人机融合, 体现以人为本的教学理念, 使多媒体技术得到最大程度的完善, 但同时也对教育教学提出了挑战, 使学生的学习方式、教学方式、教学模式及师生之间角色的转换等都产生了重大影响。

关键词：多媒体,人机交互,互动

参考文献

[1]郭亚军, 金先级.人机交互[M].湖北:华中科技大学出版社, 2005

[2]孟祥旭, 李学庆.人机交互技术—原理与应用[M].北京:清华大学出版社, 2004

[3]袁振国主编.当代教育学[M].北京:教育科学出版社, 2000

虚拟现实引领人机交互的革新 篇6

虚拟现实技术是一种全新的人机交互方式, 其实质是基于自然的人机交互接口。虚拟现实技术采用虚拟现实方式对特定的环境模拟再现, 再让用户通过相应的硬件设备用自然的方式接受来自模拟环境的多种体感信息刺激。这整个流程都需要用到虚拟现实技术, 其中涉及到的相关技术有计算机图形技术、多媒体技术、并行实时计算技术、人工智能、仿真技术等。更进一步的虚拟现实技术还可以实现虚拟环境对来着用户的信息刺激做出相应更新, 实现更真实的交互体验。

二、虚拟现实的种类

1. 桌面级虚拟现实系统 (Desktop VR)

桌面级虚拟现实系统顾名思义就是在低级工作站中完成的虚拟现实仿真技术。这种技术的交互体验主要来源于计算机的屏幕或者虚拟环境的窗口带来的视觉体验, 其他体感信息很少传达, 一般可通过外部设备 (常见为鼠标, 键盘, 手柄等) 对虚拟场景的对象进行控制来实现交互感的体验。这种系统是最小型的虚拟现实系统, 也是至今应用最广的虚拟现实技术, 有成本低, 功能单一, 易于实现等特点。一些桌面游戏, 计算机辅助设计软件CAD, 建筑设计, 计算机辅助制造CAM等都是典型的应用。

2. 沉浸式虚拟现实系统 (Immers iON VR)

沉浸式的虚拟现实系统就是桌面式虚拟现实系统的全面升级, 在沉浸式的虚拟现实系统中, 硬件要求更加复杂, 它采用头盔显示, 通过数据手套以及头部跟踪器来获取用户做出的信息反馈。这些设备把用户与现实世界隔离开来, 将用户的视觉, 听觉, 触觉等体感封闭到虚拟现实环境中。不同于桌面式虚拟现实系统的对象进行简单控制, 沉浸式的虚拟现实系统让用户更像一个虚拟环境内部的一个参与者, 这种交互体验不仅来自视觉还有其他体感, 通过多种交互设备的共同作用, 让用户对虚拟世界的驾驭感更强, 有身临其境的高级交互体验。由于这种系统的硬件要求更高, 所以有着价格昂贵, 运用的体系结构复杂等特点。典型应用在各种高端仿真游戏, 军事培训, 企业展示等领域。

3. 分布式虚拟现实系统 (Distributed VR)

分布式的虚拟现实系统是前一种沉浸式虚拟现实系统的延伸。当多个沉浸式的虚拟现实系统通过网络相互连接起来, 共同完成同样的任务时就可以称之为分布式虚拟现实系统。这种在网络环境下多个用户在同一虚拟空间共同进行体感交互, 协同合作, 共享资源的方式能充分利用分布于各个用户的资源, 将虚拟现实的实现提升到更高的层次, 同时也让用户间的虚拟交互成为可能。这种分布式的虚拟现实系统目前一般是基于两种平台, 一种是专用网络的内网虚拟现实, 另一种就是基于整个互联网的虚拟现实。

4. 增强现实性虚拟现实系统 (Augment Reality VR)

增强现实性虚拟现实系统其实有一个很好的中文词语来体现——亦真亦幻。该系统也可以称为混合虚拟现实系统。增强现实就是在现实世界的基础上整合虚拟的模拟环境, 部分真实的场景由模拟环境代替。这样的结合不是简单的替换, 而是将现实与模拟合理地融合。一方面能把现实世界危险复杂的对象通过虚拟现实技术模拟, 减少了搭建环境的难度和开销, 另一方面在虚拟世界中加入真实场景, 有助于用户交互体验感的大幅提升。其中最典型的一个例子就是最近很火爆的Google增强现实眼镜, 它具有和智能手机一样的功能, 可以通过声音控制拍照, 视频通话和辨明方向以及上网冲浪、处理文字信息和电子邮件等。但是区别于普通智能手机的是它可以将这些功能与你身处的现实环境紧密结合, 交互体验无与伦比。

三、虚拟现实技术在人机交互中的优势

1. 体验感更逼真

我们一直说眼睛是心灵的窗户, 这是有一定依据的。从认知心理学上来说, 视觉在人类的认证方式中占得比例最重 (约有80%) , 也是人类运用得最多的。传统的人机交互中的视觉体验一直是建立在二维以下的平面显示上的, 然而对于可以感知物体大小、深度和相对距离的人类视觉系统来说, 并没有好好利用人类自身强大的视觉认知。虚拟现实技术最引人注目的就是视觉上的三维化。通过头戴式显示器等一系列的输出设备, 虚拟现实技术能带给人类视觉认知最原始的交互感。

2. 操作方式更人性

鼠标和键盘已经统治人机交互的大片江山很长视觉了, 这种输入命令, 点击图标的模式是一种信息的桥梁, 连接用户和计算机, 同时也是一道沟壑, 阻隔着人与机器的信息交互。虚拟现实技术从思想上开始把人机交互提升到一个新的高度。机器是人类的延伸, 用户对机器的驾驭要能向驾驭自己的身体一样, 这就将用户从使用者提升到体验者的新层次。语言输入设备, 三维鼠标, 数据手套……谁能预料键盘鼠标会不会被它们取代?

3. 交互距离更远程

正如前文提到的分布式虚拟现实技术所体现的那样, 距离再远的人机交互, 通过网络的力量也能轻易实现。人类对空间上的突破追求永不停歇, 从20世纪发明电视遥控器到如今互联网的远程浏览, 远程控制的便捷不断激励人们完善各个领域的远距离操控。虚拟现实技术中的交互距离也越来越远, 通过分布式虚拟现实系统, 可以实现远在万里也能身临其境的交互体验。

四、结语

自从计算机发明以来, 人机交互一直是人们长期研究的领域。而虚拟现实技术也已经不是新鲜的技术名词。很显然, 设备上的高要求, 性能上的高标准让虚拟现实技术直到现在依然是人类科技发展前方一个朦胧的影子。但是这会更加激励人们在探索的路上越走越远, 如今, 虚拟现实已经不再那么“虚拟”。与传统的人机交互相比, 虚拟现实在技术思想上已经有了质的改变, 它让用户从一个使用者转变成一个环境的主宰。相信各种领域的技术发展也会推动虚拟现实技术的发展, 从而为人机交互领域带来一场革新。

参考文献

[1]宫文飞, 丁满, 蒋燕, 虞慧岚:基于虚拟现实技术的人机交互的研究[J].机电工程技术, 2006 (5) .

人机交互地图系统的设计与实现 篇7

关键词：手势识别,手势跟踪,轨迹判定,地图控制,OpenCV

计算机技术水平发展的过程, 也是一个探讨如何更好地与计算机沟通的过程。如果技术构建的生活领先人们目前的生活太多, 就需要设计足够好的用户体验来驱动人们向新技术转变, 这也是人机交互发展的意义所在。更加随意和自然的人机交互方式一直是用户体验研究的主要方向。本文所设计的单摄像头下的单手手势识别地图控制系统, 从肤色检测入手, 并且选择了Camshift算法对人手进行定位跟踪, 选择HSV颜色空间进行自然背景下的肤色提取, 整个系统基于Open CV开发, 包括图像编辑、窗口操作、手势跟踪判定以及图像处理控制等各个模块都采用了Open CV的功能函数, 使用简单, 操作便捷, 具有一定的研究价值和市场前景。

一系统需求分析

本文系统以实现主要的人机交互地图功能为主, 所以一些可供扩展开发的功能没有列入主要的系统需求之内。基于这一前提, 系统需求包括:

显示视频, 在视频中跟踪显示肤色区域;

载入地图图片, 并可以无需更改代码, 更换地图图片;

识别手势指令, 并且根据指令控制图片移动;

在各个程序进程上, 留有扩展开发入口。

根据系统需求, 按照人机交互的顺序, 结合Open CV函数的特点, 设计出系统框架如图1。

二Open CV简介

Open CV的全称是Open Source Computer Vision Library, 开源计算机视觉库。Open CV于1999年由Intel建立, 现在由Willow Garage提供支持。Open CV是一个基于BSD许可证授权 (开源) 发行的跨平台计算机视觉库, 可以运行在Linux、Windows和Mac OS操作系统上。

Open CV量级轻而效率高, 由一系列C函数和少量C++类构成, 同时提供了Python, Ruby, MATLAB等语言的接口, 实现了图像处理和计算机视觉方面的很多通用算法。加上其开源的特性, 处理得当, 不需要添加新的外部支持也可以完整地编译链接生成执行程序, 其代码经过适当改写可以正常地运行在DSP系统和单片机系统中。

Open CV大量应用于人机互动、物体识别、图像分割、人脸识别、动作识别、运动跟踪以及机器人开发等各个领域, 应用非常广泛。通过优化的C代码的编写对其执行速度带来了可观的提升, 并且可以通过购买Intel的IPP高性能多媒体函数库 (Integrated Performance Primitives) 得到更快的处理速度。

三手势识别

手势的表达能力介乎语言与表情、身体姿态之间, 但是在环境的适应性、交互的便捷性方面有突出优势, 所以成为人们研究下一代交互方式的首选媒介。但是手势的复杂性也非常突出, 这一面说明手势识别的难度很大, 另一面说明手势交互能够带来的信息量很大。

本文研究的手势识别是对手势做静态化的大致定位, 对具体细节可以不精确计算, 得到连续稳定变化的目标区域, 具体表现在获得目标区域的稳定性质点 (比如重心) , 在视频流的每一帧连续变化中, 稳定性质点不会发生跳变。本文对手势识别提出的流程方案是:前景提取、肤色提取、手部提取、手势跟踪。

1. 前景提取

在连续变化的视频帧中, 除人体的操作变化之外, 实际上背景通常是静态不变的, 所以将前景提取放在手势识别的第一步进行, 目的在于排除静态背景的干扰。前景提取中的“前景”指在连续图像中变化的图像部分, 前景提取是一个从所有图像数据里面提取动态数据的过程。经过前景提取得出的动态区域, 然后针对动态区域做进一步的肤色识别等流程, 这一步骤提高了识别系统整体的效率。

视频捕捉的视频流之中, 如果假定背景保持不变。通过分析其中移动的前景图像建立模型, 将背景模型和当前帧进行比对可以检测出前景物体, 通过调用Open CV中的absdiff函数即可计算得到。但是对于大多数情况来说, 获取背景图片都不容易。

具体的实现过程主要分为两部分:一部分是调用absdiff函数找出当前图片和背景图片的区别, 使用了threshold函数除去前景。如果当前图片像素与背景图片像素变化超过一定阈值就认定其为前景像素;另一部分工作是更新背景图片, 调用函数Accumulateweighted, 根据权重参数可以调整背景更新的速度, 将当前图片更新到背景中, 将得到的前景提取结果作为mask, 在更新背景图片时避免了前景的干扰。Open CV封装了Background Subtractor MOG类, 为我们做好了相关工作。

此法可以得到的结果是二值化的结果。所以需要采用迭代的过程, 将得出的二值化结果的区域坐标输出, 反馈到肤色提取模块, 再在动态提取后的区域中做分析检测。

2. 皮肤检测

皮肤检测的任务是在视频流中找到皮肤区域, 并且把检测出的目标区域标定。皮肤检测通常作为从视频中提取人体部位过程的预处理步骤。

因为皮肤的特征具有差异性, 根据人们不同的种族、健康或者年龄等不同因素, 都会产生差异, 所以皮肤检测可以是两个维度的工作, 既可以基于肤色检测也可以基于皮肤肌理检测。两种检测方法的原理不同, 目前主要的研究都集中在肤色检测这一方面。因为皮肤的肌理相对肤色来说, 更加细微, 所以检测的难度以及对环境的敏感度都比肤色要高。本文也基于肤色检测进行。

由于皮肤在视频流中的颜色取决于摄像头拍摄时的光照条件, 包括光照的角度以及光照的强度。本文具体讨论在光照不变或者皮肤颜色对光照变化不敏感的条件下进行的情况。

皮肤检测包括如下步骤:颜色空间转换、设定皮肤边界、标定皮肤区域。

颜色空间的值与很多变量有关, 对光照条件等主要的干扰因素的敏感程度不同, 且与肉眼所见颜色并未必有明显的线性关系。因此, 作为皮肤检测的重要环节, 选择颜色空间对皮肤检测模块的性能有很大影响。

因为本系统需要直接定制肤色边界, 所以采用了感性颜色空间中的HSV空间, 包括三个部分:色相 (H) , 饱和度 (S) 以及亮度 (L、V) 。他们从RGB空间非线性转换而来。优势在于允许用户直观制定色调、饱和度的肤色边界。通过设定HSV值, 可以直接看到系统检测的效果, 并可根据效果及时调整。HSV值设定以后的, 满足HSV设定边界的像素点被标记成为皮肤区域。

人体的皮肤是由红色的血液或者褐色以及黄色的黑色素组合而成的, 所以皮肤的颜色是在一个有限的皮肤范围之内。因此, 皮肤检测在将图像转换到颜色空间后, 可以确定一个肤色边界来划定肤色区域。肤色边界是指在颜色空间中, 根据颜色的各个值设定区分条件, 满足条件像素点才能被标定为皮肤像素。

对图片的操作本质上针对一个矩阵进行操作, 每个矩阵上的点具有位置和颜色值。针对图片数据矩阵上所有的点做一个遍历检测, 对每个点按照肤色边界条件作对比检测, 然后把满足边界条件的点保持原有数据, 不满足条件的点设为白色。针对点的对比检测完成之后, 对图像做形态学处理, 将大块的颜色区域划为连续的区域。同时将满足条件的区域中的一些不满足条件的区域标识出来。这样整个皮肤检测流程就完成了。

3. 手部提取

输入手部提取模块的图像, 已经经过前景提取和皮肤检测, 意味着理想情况下, 摄像头采集到的静态元素已经排除, 运动着的目标非皮肤区域也已排除。但是用户被摄像头采集到皮肤区域, 不止是包括手势部位, 也包括了脸和手臂。

脸部和手臂虽然互相干扰, 但是脸部包含了眼睛、鼻子和嘴唇等非肤色区域, 所以在连续的区域之间会有一些小的非肤色区间。可以基于区域的连续性来将脸部排除。

手掌和手臂都是连续的肤色区域, 需要进一步确定手掌的位置。首先取得两个最大的手指指尖坐标, 然后根据两个坐标之间的差值, 确定一个起点, 再根据设定的手掌比例算出手掌的横向面积, 满足横向长度的范围之内, 就属于手掌区域, 剩余的就是手臂区域。

该方法受到摄像头面对手势的方向以及距离的影响。极端情况下, 当整个手臂被判定为手掌时, 整个手势的跟踪轨迹也会有一个稳定的输出值, 但是因为面积变大, 以及遮挡面积等各种影响都变大, 所以输出值相对真实值会变得缓慢。

4. 实现方案

本系统主要负责手势识别以及跟踪的函数:

该函数的主要作用是, 输入视频帧转换成的图像, 识别并输出肤色区域中心坐标。这一模块的主要任务有:将肤色区域跟踪框显示到视频中, 方便及时查看识别跟踪效果, 以修正肤色阈值;输出肤色区域中心坐标数据到轨迹判定模块。

实现的过程如下:

将图像转换到HSV空间, 设定皮肤过滤阈值成对应的HSV值条件, 然后通过设定的HSV值对图像进行检测;

通过Cam Shift算法跟踪肤色区域, 并且将跟踪框显示到视频流图像中, 输出显示;

将肤色区域的跟踪数据存入track_box变量地址中, 以供系统下一进程调用。

四手势跟踪与判定

手势跟踪通过不同帧之间稳定性质点的变化来推断整个运动的轨迹。所以, 手势跟踪和手势运动的速度、对象是否被遮挡等都有关系。

目标从进入摄像头采集范围开始, 移动过程的每帧之间需要一定的时间, 所以相邻视频帧之间必然有一定的相关性, 基于这种相邻帧之间的相关性可以对肤色检测的对象进行跟踪, 持续输出目标坐标以完成手势识别系统的任务。对人机交互地图系统的手势识别模块来说, 手势跟踪的目的是持续输出坐标, 并且设置跟踪框, 此外, 还可以反馈信息给手部提取模块以减少计算量。

目前, 对目标跟踪算法展开很多研究, 这些算法各有优缺点。在不同的系统里, 根据需求的不同, 选择对应的目标跟踪算法, 对整个系统的性能以及识别率都至关重要。本文的手势识别是基于肤色的, 所以选择使用Cam Shift算法。

1. Cam Shift跟踪算法

Cam Shift的一大特点就是其搜索窗口在初始化之后会在每一次搜索完毕之后自适应调整其大小, 使得跟踪窗口能适应目标大小的变化。Camshift是基于肤色的, 由于基于肤色识别的算法对光照比较敏感, 所以需要选择对光照亮度变化不太敏感的颜色空间如HSV, YCg Cr等。在HSV空间中, 只需要计算H通道的颜色直方图;在YCg Cr空间里, 需要计算Cg Cr通道的颜色直方图, 为了减少计算, 选择前者。以下是Camshift跟踪的基本步骤;

第一步, 初始化搜索窗口, 将RGB颜色空间转换为HSV颜色空间。根据用户手动选择的搜索窗口, 获取待跟踪目标的颜色直方图;

第二步, 根据获得的颜色直方图将原始图像映射为对应颜色的概率分布图像;

第三步, 计算当前搜索窗口内概率分布图像的重心, 把搜索窗口的中心移到计算得到的重心处, 更新搜索窗口的中心及大小, 返回第二步, 重复操作直至窗口的中心不再发生变化或与重心的距离在预定阈值之内。

因为Camshift跟踪需要用户手动设置, 并不能实现自动跟踪。但是可以对步骤一进行以下流程优化, 以实现Cam Shift跟踪的自动化。

加载待跟踪目标的颜色图像, 计算待跟踪目标的颜色直方图;

设置搜索窗口为整个视频窗口或略小于整个视频窗口。

Camshift跟踪会根据目标的尺度更新窗口大小, 所以最初的最大化设置会在搜索开始后立即变成适应目标的窗口大小。在本系统中, Cam Shift持续将搜索窗口的中心坐标输出, 即可完成从手势图像到具体目标坐标的转化。

2. 手势轨迹判定

手势跟踪持续输出了手势的位置坐标, 由此, 我们需要设计一个轨迹判定算法来从轨迹之中识别出手势传达的指令。

本文采用一种基于坐标系加判定圆的交互判定方式:构建一个以视频采集中心为原点的坐标系, 再以原点为圆心, R为半径构成一个判定圆。这种轨迹判定方式可以满足平移和缩放两种操作的判定需求。

(1) 平移判定

当轨迹落在判定圆之内时, 系统即处于触发状态, 当手势坐标离开判定圆, 系统立刻脱离触发状态, 同时记录这一时刻点的坐标, 将其与触发点的坐标相对比, 则可得出一个由坐标差形成的向量, 反映了这一手势的方向以及移动量。

这样得出平移向量可以包含各个方向, 如果基于该向量再加上一些判定算法, 则可以得出一些仅包含几个方向 (比如上下左右) 的平移值。

(2) 缩放判定

因为缩放操作比移动操作的频次要低, 所以缩放操作可以比移动操作稍微复杂。

本文的缩放操作定义为:在坐标系中对整段输入轨迹做匹配处理, 当一段坐标轨迹连续顺时针或者逆时针经过了四个坐标象限的时候, 根据顺时针或者逆时针判定为放大或者缩小。至于缩放的倍数, 需要事先确定。

这样做的好处是:当用户知道触发圆的存在时, 会有目的地发出指令手势。同时在无指令意向时, 会注意避开触发圆。通过调节触发圆半径R的大小, 对触发敏感地区进行设置, 使得系统可以灵活适应不同场景, 降低用户误操作的概率。此外, 通过采用相对坐标的差值, 保留了手势的方向, 使得图像具有多维的方向感。

3. 实现方案

手势判定模块的任务是:当用户做出符合规则的手势时, 模块从前流程模块中实时获得肤色区域坐标, 经过判定, 输出对应的指令。因为仅需实现图片移动, 所以本模块的实现函数为:

void Judge (float x, float y, int&dx, int&dy) ;

调用跟踪模块的track_box变量的中心x、y坐标, 经过算法判定以后输出移动的坐标。如果实时输入的坐标没有满足坐标条件, 则输出dx、dy均为零。

实现过程为:

对dx、dy变量清零。因为x、y变量为偏移量, 如果之后的流程中输入的坐标不满足判定条件, 则输出为0的偏移量, 不发生影响;

对输入的坐标x、y做偏移处理, 因为视频采集的区域中心坐标并非是 (0, 0) , 所以需要针对圆心做调整。采集区域的坐标值形成以采集区域中心为圆心的坐标系;

判定触发状态:如果系统已触发, 当前坐标在触发圆内, 则把状态设置为已触发, 保存坐标值;如果系统已触发, 当前坐标不在触发圆内, 则用目前的坐标值减去触发状态保存的坐标值, 设置 (dx, dy) 输出。

五地图交互

人机交互地图系统的难度以及核心模块集中在手势识别方面, 但是用户在使用时真正看见的是地图交互模块。虽然地图的载体是图片, 但是操作地图和操作图片有一定区别。放大缩小所操作的地图, 不简单是一张图片, 而是切换了不同精细度的数张图片。地图模块的几个功能是:管理地图图像数据源、获取手势指令、对数据进行相应操作。

1. 地图数据管理

常用的地图显示方式的最佳实现方案为联网时自动更新数据以及离线时使用可用的离线数据。数据源采用图片作为主要的呈现载体, 系统直接根据需求把对应的地图图片显示出来。

地图数据管理的关键是, 用户不用直接修改代码, 可以通过文件夹操作等方式增加地图数据, 可以在程序中输入数据检索文件夹中的图片, 当用户需要使用当前地图时, 只要把图片放入文件夹即可。

2. 地图操作

当选定地图之后, 地图的操作主要是移动和缩放。至于多维信息的查询, 需要结合地图匹配的数据库和相应信息交互的功能方能实现。仅仅针对地图本身而言, 并不需要如此多的功能设置。我们具体研究地图的移动和缩放功能。

针对地图的缩放功能, 有些地图本身的信息非常密集, 所以需要做到对地图本身的缩放处理。而另外一些地图, 实际上并非“看不清”, 而是给出一些宏观图像, 放大功能则是针对其中一个密集区域调用相应的详细地图图片。

针对地图的移动功能, 如果本地数据源是静态图片, 那么移动是有边界的。同时, 移动的尺寸也非常重要, 针对显示框的不同形状, 要给地图移动设定一定颗粒度的移动距离。如果颗粒度太大, 用户在需要同时看移动后地点和移动前地点之间的路线时容易操作过度;如果颗粒度太小, 用户则需要连续操作, 这样既浪费用户精力, 又可能造成误差。

无论是移动还是缩放, 在边界问题上, 都需要给用户反馈, 以提醒用户是否可以操作, 是否需要更新数据源。对于特定硬件而言, 图像显示的窗口大小要作对应的设置以满足最佳的查看体验。

(1) 图像的平移

图像的平移是将图像中所有的点都按照指定的平移量水平、垂直移动。设 (x0, y0) 为原图像上的一点, 图像水平平移量为tx, 垂直平移量为ty, 则平移后点 (x0, y0) 坐标将变为 (x1, y1) 。

显然 (x0, y0) 和 (x1, y1) 的关系如下:

用矩阵表示如下:

对该矩阵求逆, 可以得到逆变换:

平移后图像上的每一点都可以在原图像中找到对应的点。例如, 对于新图中的 (0, 0) 像素, 代入上面的方程组, 可以求出对应原图中的像素 (-tx, -ty) 。如果tx或ty大于0, 则 (-tx, -ty) 不在原图中。对于不在原图中的点, 可以直接将它的像素值统一设置为0或255 (对于灰度图就是黑色或白色) 。

(2) 图像的缩放

图像移动变换是1:1的变换, 而图像的缩放操作会改变图像的大小, 产生的图像中的像素可能在原图中找不到相应的像素点, 这样就必须进行近似处理。本文的方法是直接赋值为和它最相近的像素值。

假设图像x轴方向缩放比率为fx, y轴方向缩放比率为fy, 那么原图中点 (x0, y0) 对应与新图中的点 (x1, y1) 的转换矩阵为:

其逆运算如下:

例如, 当fx=fy=0.5时, 图像被缩放到一半大小, 此时缩小后图像中的 (0, 0) 像素对应于原图中的 (0, 0) 像素; (0, 1) 像素对应于原图中的 (0, 2) 像素; (1, 0) 像素对应于原图中的 (2, 0) 像素, 以此类推。在原图基础上, 每行隔一个像素取一点, 每隔一行进行操作。其实是将原图每行中的像素重复取值一遍, 然后每行重复一次。

3. 实现方案

地图交互系统分为几个模块设计, 分别为:载入模块、移动模块和显示模块。

(1) 载入模块

地图载入模块需要让系统具备动态的图片接受能力。允许用户直接修改地图存放文件夹中的图片, 只要满足命名规则, 不需要修改代码可以直接更改操作的地图。本文设定在E盘map文件夹下, 存放需要显示的图片, 命名为map.jpg即可。基于Open CV的cv Load Image函数, 使得系统支持大多数图片格式, 不仅限于jpg格式。

实现函数为:

Ipl Image*map=cv Load Image ("E://map/map.jpg") ;

(2) 移动模块

地图移动模块需要实现地图的上下左右移动, 能够调用判定模块输出的图片, 移动坐标对应移动图片。当图片移动超出尺寸时, 显示黑色背景。

实现函数为:

Ipl Image*dst=Move (Ipl Image*map, int dy, int dx) ;

移动模块的流程是:

判断 (dx, dy) 是否为零, 如果为零则跳过移动执行, 直接进入下一循环, 节省计算量:

按照dx、dy值移动图片, 并且返回移动处理后的图片。以供显示模块显示。

(3) 显示模块

地图显示模块需要在屏幕中心显示一个固定尺寸、固定位置的窗口。在窗口中显示各种移动操作后的地图图片。因为基于Open CV的cv Named Window以及cv Show Image函数有较大局限, 创建的窗口只能和图片一样大小或者固定大小, 无法全屏显示部分图片:当窗口尺寸大于图片时, 图片从左上角开始显示, 未铺满的地方为黑色;当窗口尺寸小于图片时, 图片按照窗口的比例默认显示。这不能满足我们既要能够查看图片中的一部分, 同时保持窗口大小不变的需求。

为了满足函数调用条件又满足系统需求, 采取了一下办法:

图像显示确认首先采取固定窗口位置以及固定窗口大小的处理方式;

采用类似图像移动函数的方式对图像进行处理:针对要显示的目标以及显示框架, 制定一个框架空图像, 其尺寸大小和需显示的图像一致, 但内容为空;

按照要显示目标的区域, 把地图图片目标区域的数据复制到frame图片中。然后返回frame, 就完成了部分显示图片的任务。

实现函数为:

dst=Fill (dst) , cv Show Image ("Map", dst)

因为复制目标图片值需要大量的计算, 所以将填充函数和显示函数分离, 按需调用, 可以有效提高系统性能。

六实验结果

整个人机交互地图系统的程序设计循环流程为:

先将摄像头视频流中的帧转换为图片导入;

调用识别跟踪函数, 实时获取采集图片中肤色区域的坐标数据;

显示视频数据;

调用判定函数, 从坐标数据中判定对应的手势指令;

如果发出指令 (移动坐标不为零) , 则移动地图;

显示地图。

代码如下:

编程实现后, 用单手操作, 进行不同方向移动地图的效果如下。

1. 向左移动图片

手坐标在触发圆内, 系统触发, 见图6 (左上) ;

手坐标在触发圆左侧 (图片中右侧) , 触发移动图6 (右上) ;

图片处于原位, 见图6 (左下) ;

图片左移, 显示更多地图右侧区域, 见图6 (左下) 。

2. 向右移动图片

手坐标在触发圆内, 系统触发, 见图7 (左上) ;

手坐标在触发圆右侧 (图片中左侧) , 触发移动图7 (右上) ;

图片处于原位, 见图7 (左下) ;

图片右移, 显示更多地图左侧区域, 见图7 (左下) 。

3. 向上移动图片

手坐标在触发圆内, 系统触发, 见图8 (左上) ;

手坐标在触发圆上方, 触发移动图8 (右上) ;

图片处于原位, 见图8 (左下) ;

图片上移, 显示更多地图下方区域, 见图8 (左下) 。

4. 向下移动图片

手坐标在触发圆内, 系统触发, 见图9 (左上) ;

手坐标在触发圆下方, 触发移动图9 (右上) ;

图片处于原位, 见图9 (左下) ;

图片下移, 显示更多地图上方区域, 见图9 (左下) 。

七小结与展望

本文从系统需求入手, 设计实现了一个基于手势识别技术的人机交互地图系统。并针对系统的各个功能模块, 从理论角度进行分析和思考, 在传统算法的基础上, 设计出肤色识别系统、符合手势交互规则的轨迹判定算法以及基于判决圆的交互判定方法, 使得系统能够分析用户的真实命令意图, 降低用户无意识手势造成的错误判定, 减少误操作。在手势判定之后, 针对输出的指令, 设计适用于地图操作的控制系统, 最后利用Open CV编程实现。

本文的研究虽然取得预期的效果, 但功能还不完善, 可以进一步研究开发:

加入前景提取模块。这是排除静态背景影响的基础, 目前的系统没有此模块, 较容易受到背景颜色的干扰。前景提取模块以输出前景区域为主, 并加入形态学处理, 通过计算, 使得整个前景提取的结果是有原始图像数据的前景区域图像;

校园导向指示系统的人机交互设计 篇8

一、人机交互的定义

人机交互 (Human Computer Interaction.HCI) 主要是指人与计算机的交互, 交互的对象是特指计算机。人机交互作为一门学科, 是关于设计、评估和实现供人们使用的计算机系统, 研究的目的是解决系统的可用性和易用性问题。从人机交互的层面上来看, 则侧重于人与计算机交互方式的设计过程与方法。而交互设计涉及的交互对象具有更广泛的范畴, 可以是无形的游戏和软件或游戏产品, 也可以是有形的家用电器、消费类电子产品和交通通信工具等各类实体产品。另外, 还可以是互联网、空间和服务等。而且, 交互设计是指设计应该注重人和产品间的互动, 首要考虑用户的背景、使用经验以及在操作过程中的感受, 从而设计出符合最终用户的产品。显然, 它所关注的不仅仅只是人与机器的交互, 而是人与系统 (由产品和整个环境构成) 之间的交互。

二、大学标识导向系统设计原则

现代大学校园标识导向系统设计要根据总体规划进行功能区划分, 采用分级检索、图文的有机结合和实效美观的立体造型进行标识导向设计, 以求达到指示清晰、直观、连续的使用效果和统一、融合、人性化的艺术效果。真正达到使一个从来没有来过该校园的人, 依靠布点合理、信息完整、指示明确的标识导向系统, 不要询问任何人就能轻松找到目的地。其设计原则主要有以下几方面:

1、与大学形象系统的统一。

2、与校园整体形象设计原则相符。3、延续校园规划设计理念, 与校园景观设计的风格相统一。4、分级检索。标识导向系统应由全局到局部, 由局部到具体的分级指示, 指示清晰、直观、连续。5、标识的内容要遵循以人为本, 为人服务的原则。6、使用的材料要与当地的气候与人文环境相适应。7、交通标识牌布点要合理。8、符合人机工程学原理。标识牌的尺寸、色彩及文字大小要从人机工程学的角度详尽表述, 并给出国家的标准为参照。9、车行导向系统标志形状、规格、颜色符合现行的国家规范。10、符号文字要符合国际通行的标准, 配以英文等外文, 适应国际化教育发展需要。

三、大学标识导向指示系统设计的内容

在进行标识导向系统设计前, 应该深入分析了解大学校园建筑环境条件、分区布局以及车行交通流线;分析行政办公楼、各学院教学楼、公共教学楼、学生公寓楼、公共活动场所、对外交流场所等建筑内部部门结构、人行交通流线。

与一般环境标识导向分级设计方法类似, 要依照从外到内, 从大到小的顺序。通过对校园环境的分析调研, 对标识导向系统先进行分类设计, 再进行分级设计, 便于设计工作有条不紊地开展。按环境来分:室内和户外标识导向系统;按对象来分:车行和人行标识导向系统。

1、车行标识导向系统

校园车行标识导向系统的设计应符合国家交通标识规范, 尽量采用国家或国际通用标识符号和色彩, 主要分三级。

一级:在大学校园外交通道路两旁设置的大学形象标识, 明确指示学校的方向和距离, 一般由市政管理统一制作安装。

二级:主干道以及南北东西主要入口。一级车行导向牌主要指示校园道路, 主要分区及方向。

三级:各分区内道路等;二级车行导向牌指示分区内主要建筑及单位及方向。停车场标牌采用国际通用标志, 并显示车位情况。系统标志形状、规格、颜色符合现行《道路交通标志和标线》 (GB5768) , 并结合VI系统, 展现校园统一、明确、个性化的形象。警告、禁令等标志牌放置于显著无遮挡位置。

2、人行标识导向系统

校园人行和车行要完全分开, 人行系统和车行系统并行并延伸到建筑内部, 并最终到达构成场所的基本单位——房间。人行标识导向系统是学校对外传达信息的主要途径, 其功能不仅仅是标识学校各建筑物的存在, 而且具有公众引导和广告宣传的功能, 主要分为五级。

一级:主入口。一级导向牌信息密集, 上面应有校园地图、分区图、校园建设大事记、导向信息, 放于人流密集区域和校园主入口处。

二级:规划路与分区内道路等。二级双面导向牌有地图和信息导向信息, 指示清晰、明了、连续, 安置于各分区十字路口。并标注消防等特殊设施的方位。

三级:建筑物前指示标牌, 标识建筑内部单位及建筑物介绍。

四级:建筑物内部标识。一般包括建筑物总索引或平面图、各楼层索引或平面图、楼内公共服务设施 (洗手间、开水间、教师休息室等) 标识、出入口标识、公告栏等。

五级:包括建筑物内各个具体功能房间的标识牌和户外的一些具体标识牌, 是最后一级导向, 如门牌、窗口牌、设施牌、树名牌、草地牌。其中窗口牌则主要针对学生食堂、校内银行、公共浴室等空间内部的功能性指示牌, 设施牌主要指的是公共服务设施中的标牌, 如报亭、书店、超市、洗手间等。

四、结语

界面是连接用户与产品之间的纽带, 人机交互界面的设计本身就是要以科学技术和艺术的结合为基础, 以外观表现形式为主要手段, 谋求产品的功能美与形式美的共存, 以优良的设计来力求满足用户的生理和心理需求, 简洁、易用、美观的人机交互界面是设计师和用户的共同目标。

无论大学的标识导向系统的艺术性设计多么高, 但其还是为其功能性设计服务的。大学标识导向系统设计既要具有浓重的科学和文化氛围, 还要体现现代大学信息化、现代化、园林化、生态化的校园特点, 更要适应现代大学教学、科研、生活等方面的功能需要。人机交互技术从产生开始就在许多领域发挥着巨大的作用, 例如:航空航天, 医药工程, 机械工程, 计算机仿真, 导向标识——在越来越复杂的现代校园中, 随着现代科技的发展, 利用人机交互技术对校园进行导向标识是非常必要而且有研究价值的。通过导向指示系统可以比较直观地了解校园的各个区域, 使浏览者对校园环境产生身临其境的感觉, 为校园规划、考生网上了解学校和对外交流提供一个平台, 对校园导向标识系统人机交互的研究具有非常重要的意义。

2012ZD14;论文作者:游世广。指导老师:龙舟君

摘要：随着我国改革的不断深化和科学技术的迅猛发展, 时代强烈地呼唤崭新形象的现代化大学。大学校园导向指示是学校形象的标志, 是学校视觉识别系统的重要内容, 是将大学的办学理念和精神文化通过视觉设计与行为的展现。通过人机交互操作, 来获得相应的信息或者体验。

关键词：校园导向系统,界面设计,人机交互

参考文献

[1]鲁小波.信息社会设计学科发展的新方向——信息设计[J].装饰, 1999.

[2]陈志良, 黄明哲.数字化潮:数字化与人类未来[M].北京:科学普及出版社, 2004.

[3]杜瑞泽.生活型态设计[M].亚太图书出版社, 2004.

[4]方裕民.人与物的对话——互动界面设计与实务[J].2003.