基于互联网遥操作研究

基于互联网遥操作研究（精选3篇）

基于互联网遥操作研究 篇1

摘要：遥操作机器人在核工业、电力、医疗、航天工业有着大量应用, 伴随着网络和机器人控制技术的飞速发展, 基于互联网遥操作研究成为当前机器人学科的一个前沿课题。互联网的开放性、低成本、灵活性为机器人技术的发展与应用提供了广阔空间。针对基于互联网遥操作的稳定性、时变时延和数据包丢失的缺点, 研究人员给出了不同的解决改善方案, 其中包括控制理论与策略、人工智能、虚拟现实和协议分析与改进等技术方法, 取得了一定成果, 同时仍有很大改进空间。

关键词：互联网,遥操作,稳定性,透明性,时延

1 背景

1994年美国南加州大学的Mercury项目是基于互联网遥操作的首个实例, 机器人Raiders被连接到互联网上, 用户可以通过互联网控制界面通过鼠标控制机器人在盛满沙子的容器中挖掘物品, 在每一个动作结束后系统会反馈给用户一张当前状态的图片[1]。同年, 西澳大利亚大学的Kenneth Taylor发布了一个可以通过互联网访问的六自由度遥操作机械手臂机器人, 用户可以通过网页发出控制请求来控制机械手臂堆砌放置在桌子上的小木块[2]。随后的Telegarden[3]、Xavier[4]等项目相继接入互联网, 用户可以基于互联网完成不同的任务操作。NASA的“WITS”项目“火星探测者”任务[5], 该项目开发了一个Web界面, 用来控制在遥远的星球上遥控车辆, 使得科学家可以通过浏览器完成行星探测器的控制任务。2001年法国医生雅克马雷斯科带领的医疗小组的“Zeus”机器人将遥操作技术应用于医疗实践[6], 在纽约对躺在法国斯特拉斯病床上68岁的病人进行了远程手术, 在此之后的更多实践展示了基于互联网遥操作机器人的广阔应用前景。

评价一个遥操作系统性能的指标包括稳定性, 透明性等。对系统的稳定性, 研究人员提出多种控制理论策略, 文献[7]阐述了系统稳定性分析的几种主要方法, 包括Lyapunov稳定性、输入输出稳定性、无源稳定性和基于事件的稳定性。决定系统透明性的关键因素是网络时延, 基于互联网遥操作系统的通信环境—互联网—决定了时延测量及其预测的复杂性, 网络时延具有随机性、不确定性。稳定和降低时延的方法包括控制理论策略、协议分析与改进、时延预测补偿、人工智能等技术方法。

在现有互联网资源环境下, 无论何种技术方法都无法突破通信带宽时延的极限, 而在机器人控制的主从端解决问题, 采用人工智能的方法, 给予遥操作机器人可调的自主性[7], 使用虚拟现实技术[8], 优化改进图像处理技术[9], 为增强系统稳定性和透明性开拓了新的方向。

由于基于互联网遥操作系统工作在开放的互联网上, 信息安全问题同样是一个不容忽略的问题, 尽管绝对的安全无法实现, 一定程度的安全性可以通过密码学和防火墙技术等来实现[10]。

2 系统性能分析

2.1 系统稳定性

力反馈被引入在临场感实现中解决时延问题, 系统的稳定性问题凸显出来[11]。而时变时延更成为系统稳定性的灾难[12], 由于机器人的非线性和强耦合, 加上网络时延的不确定变化, 解决网络遥操作系统的稳定性问题仍然是困难重重[7]。

研究人员在研究和增强系统稳定性中提出了以下解决方法和实践:

Lyapunov稳定性:文献[19]提出了Lyapunov函数应用于控制器设计, 采用定号到定号模式的稳定性分析方法。文献[20]对Lyapunov函数做了进一步扩展系统的稳定性判据不依赖于时变时滞的变化率, 提出了一种定号到不定号模式的稳定性分析方法。

输入输出稳定性:在有限输入-输出反馈连接的框架下, 将动力学系统的稳定性概念引入, 在时延变化范围较小, 即控制器增益大小可以确定的情况下, 可以有效保障系统的稳定性。然而, 由于通讯通道快变时延的存在, 输入-输出稳定性难以具体给出控制器增益大小的上下界, 这对控制器的设计来说相当保守[7]。

无源稳定性:文献[15]、[16]将散射理论应用到力觉临场感遥操作系统中, 指出, 导致系统不稳定的环节在于通讯环节的时延造成了系统的有源性。从而构造无源性的系统成为构造稳定系统的基础。但是当时延变大时, 系统性能下降。文献[17]提出了基于有源阻抗匹配的无源控制算法, 同时保证力觉临场感和系统的稳定性。文献[18]从能量传递角度出发, 提出了波变量的概念, 并通过波变换的方法道出了一种无源控制算法。

基于事件的稳定性[13,14]:时延、丢包和连接中断集中缺陷都将导致系统的不稳定, 尤其是在闭环系统中。在基于事件的遥操作系统中, 如果系统是渐进稳定的, 时间不作为系统的参考变量, 选择非时间参考变量, 从而通信时延对系统不产生影响, 从而保证系统的稳定性。但是, 基于网络的遥操作系统难以满足渐进稳定性, 参考变量的存在也影响了系统控制的实时性[7]。

2.2 透明性

透明性是指在遥操作系统中, 主端的操作者具有身临其境的感受, 如同直接操作从端设备。同时保证系统的稳定性和透明性很难实现。

在实践中, 完全透明的遥操作系统是无法实现的, 所以一下三个问题显得有必要[21]:什么程度的透明性是完成一系列遥操作任务所必需的、什么程度的透明性是可能实现的、什么样的架构和控制规则是实现最优透明性所必需的。

解决系统透明性最早实现方法是采取“走一步, 等一步”的策略, 这种方法损害了系统的性能。其改进方案包括:位置-力规划使得主端和从端力和位置信息一致, 在保证系统稳定性和性能的前提下提高系统透明性[11], 该方案适用于时延较小的系统;采用虚拟现实技术提供实时视觉和力觉反馈[22], 适用于时延较大的系统;文献[23]提出了四通道方法系统在时延条件下的透明性, 但是系统稳定性较差;文献[24]提出了利用前向神经网络建立环境模型, 通过神经网络模型模拟从机械手, 并用时间前向观测器预测从机械手状态, 使得系统在位置环境模型位置的条件下稳定, 并获得良好的透明性;文献[25]将波变量方法与预测技术及四通道遥操作系统结构相结合, 在保证时延系统稳定性的基础上提高了系统的透明性。

2.3 系统时延

遥操作系统通过网络交换数据时, 多个节点共享同一网络通道而引起的时延, 称为网络时延。基于互联网遥操作机器人由于一般使用互联网, 由于网络带宽、传输协议等因素的限制, 其传输数据的时延大小呈现出不确定性和随机性, 严重影响系统的稳定性, 从而网络时延时成为影响遥操作系统稳定性的关键因素之一。

在基于互联网遥操作系统中时延构成如以下公式所示:

式中Tp表示计算机处理请求时间, Tc表示连接初始化时间, Ds表示发送的数据量, Dr表示接收的数据量, v表示连接的传输速度。

1988年Raju指出时延造成了通信环境的有源性, 从而导致系统不稳定[26]。在基于互联网遥操作系统中, 系统时延具有不确定性、随机性, 分析和应对这些因素将有助于优化系统时延, 增强系统的稳定性和透明性。

前面提到研究人员从稳定性和透明性角度使用不同的控制方法来降低时延对系统的影响。另外, 部分研究人员从时延预测补偿的角度对时延进行研究。

2.4 数据包丢失

由于基于互联网遥操作基于TCP/IP协议进行数据包传输, 在数据传输过程中拥塞控制机制会丢弃数据包, 从而导致数据包的丢失。

首先可以从改进传输协议和改变数据包的结构来应对数据包的丢失问题。TCP协议具有自动重传、数据包顺序重排的特点, 但是这种特性不适合遥操作系统的数据传输;而UDP协议不能保证数据的可靠传输, 如何在TCP/IP协议簇基础上完成数据包的高效可靠传输是保证系统稳定性和透明性的重要基础。

另外, 在提高机器人局部自主性方面入手来解决数据包丢失问题[27], 即提高机器人局部自治能力, 也是一种不错的选择。

3 关键问题研究

3.1 控制理论策略

遥操作系统的控制方式可分为直接控制、监督控制、预测显示控制、基于事件控制和无源性理论[28,29]。直接控制适用于时延小且稳定的系统, 当遥操作系统的主从端存在明显的通讯时延时, 最简单的方法是直接控制, 即“走一步, 等一步”的方式, 从而保证操作过程的稳定性, 但是这延长了遥操作任务的执行时间, 一定程度上降低了遥操作任务的执行效率。

监督控制的基本思想是将主端操作人员置于控制结构闭环之外, 从而使得系统无源性的到保障, 主端发动指令, 并随时从端执行进行监督从而做出下一步决策, 这对主端操作人员具有丰富的经验和知识基础提出了较高要求, 同时要求从端机器人具有人工智能。目前监督控制仍是解决时延问题的主要手段, 特别是在空间和深海作业中存在长达几秒或者几十秒时延的情况下, 仍然是最好的方法[28]。若结合虚拟现实技术预测显示的方法, 监督控制可以取得更好的效果。随着人工智能的发展, 可以不断加强机器人作业系统的自主决策能力, 监督控制所需有人的参与将越来越少[27]。

预测显示控制是将控制指令发给远端之前, 现在本地进行模拟预演指令执行效果, 并且远端也将实际执行结果反馈回来, 与预测结果进行比对校正, 从而动作执行的可靠性和正确性, 同时维护了系统的稳定性和透明性。预测显示以及虚拟现实等技术方法在解决时延问题上起到重要作用, 但对于复杂的未知作业环境, 就不能够精确地建立其动力学模型, 往往需要结合其他方法。

基于事件控制[13,14,30]:上述两种方法都是采用闭环回路来回避时延环节达到减小通讯时延的影响。传统的控制系统使用时间作为控制输入、输出信号的参考变量, 基于互联网的遥操作系统存在的时变时延使得系统的稳定性和透明性难以保证, 因此以时间作为参考就很难保证系统的稳定性。使用系统中发生的事件来规划控制, 选取与时间无关的参考变量的方法可以有效地回避时延问题, 该方法因此称为基于事件的控制方法。

3.2 协议分析与改进

为了解决时变时延问题, 计算机网络领域研究人员给出了协议分析与改进的方法来预测时延、降低时延, 维持系统的稳定性。

在应用层, 文献[31]提出了在UDP协议上传输TCP服务的TCP OVER UDP技术, 在应用层实现了该技术, 并将其应用到遥操作机器人系统的视频传输中, 在降低视频数据传输丢包率和传输时延两个方面具有良好的性能。

在网络层, 文献[32]提出了一种基于时延的自适应多Qo S路由算法, 它在满足带宽和时延波动约束条件下, 直接利用前一周期的时延信息来更新路由表, 以作为当前寻找路径的依据。文献[52]提出一种基于候选路由库的遗传算法, 讨论了带时延及时延抖动的组播路由优化问题, 给出了该问题的数学模型。

在传输层, 研究人员提出了较多改进方案, 有代表性的文献[33]提出的有选择交替使用TCP和UDP传输协议的方法, 文献[34,35]提出的基于多连接的时延控制方案, 文献[36]提出的多链路共享令牌缓冲池流量调度模型等, 不同的运输层协议改进方案被提出[37,38]。

3.3 时延预测

由于在控制机器人时, 主端传输控制操作命令给从端, 操作命令到达时, 由系统进行编译、解释和命令分解, 并将执行结果反馈给主端。在这个过程中, 可以考虑利用预测补偿技术, 在某种程度上, 弥补由于延时带来的运动失控或作业质量达不到要求等方面的问题。

文献[39]提出了用Smith预估器预测从手状态的思想, 在精确知道从手和环境模型的前提下, 主手端用PD控制器进行调节, 可显著提高系统性能。文献[40]对Smith预估器进行了修正, 并结合波变量方法对系统的状态进行预测, 使得时变时延系统鲁棒稳定。

文献[41]提出了虚拟时延的概念, 其核心思想史将主手端的信息加上时间戳, 以固定周期发送到从手端, 在从手端加上一个时延缓冲器, 使得系统时延为定值, 从而可以用定常时延的方法来对系统进行分析和设计。

文献[30]提出了通过在主端对给定信息加入时间标签获得过去的系统回路时延, 采用多元线性回归算法, 预测下一时刻系统回路时延;后又提出了一种新的基于事件的预测控制策略。

文献[42]人提出了通信扰动观测器时延补偿的方法, 该方法将由时延导致的错误称为干扰扭矩, 通过观测器来观测并进行补偿, 在应对时变时延时比Smith预估补偿器具有更有的性能。

同时部分研究人员针对神经网络技术应用于遥操作系统进行了研究, 分别提出了AR、RBF、Elman、BP神经网络模型及其改进方法的应用[43,44,45,46,47,48,49,50]。

3.4 人工智能

随着机器人智能技术的发展, 从机器人局部自主性方面入手来解决数据包丢失的问题。即提高远地机器人的自治能力, 并在远地建立缓冲器, 将时延参数和数据信号以文件形式存储起来。当出现异常情况导致数据包丢失时, 智能机器人可以自动读取上一次接收的数据, 或在上一次的设置点进行幅度很小的安全的运动。文献[27]提出了机器人的可调整自主性 (Ad⁃justable autonomy, AA) , 通过改善人机交互来补偿网络通讯存在的不确定延时对系统性能的影响。机器人的自主性根据当前形势和环境动态调整, 操作者和机器人以适合网络状况和任务需要的模式进行交互和合作, 使得整个系统的效率大大提高。

采用虚拟现实技术构造临场感的人机交互界面, 虚拟现实的作用主要体现在实现预测显示和实现临场感监视两个方面。将虚拟现实技术用于遥操作机器人系统克服通信时延以确保系统的稳定性和可操作性得以同时实现。文献[51]提出了具有虚拟力觉导引功能的机器人遥操作系统的控制方法。文献[52]提出在时延较大时, 采用基于虚拟预测环境的机器人遥操作技术, 在本地端建立遥环境和机器人的模型, 形成控制回路来抵消大时延对系统稳定性和操作特性的影响。

3.5 图像处理

由于基于互联网遥操作系统中, 从端反馈给主端的数据大部分为图像视频数据, 如何在保证反馈效果的条件下降低图像视屏数据量是一个值得研究的问题。文献[9]提出一种分层码率控制的带宽自适应策略, 通过将视频编码、网络传输、后端解码等有机结合起来, 构建了一种容易控制和管理的视觉传输模型。

3.6 信息安全

由于基于互联网遥操作系统工作在开放的互联网上, 信息安全问题同样是一个不容忽略的问题, 尽管绝对的安全不可能实现, 一定程度的安全性可以通过密码学和防火墙技术等来实现。如何建立完善的遥操作安全体系结构的研究还没有能够得到研究人员的重视。在更多的遥操作系统应用于实践情况下, 基于互联网遥操作的网络信息安全问题值得思考。

4 结束语

本文从系统性能分析, 当前面临的关键问题两个方面对基于互联网遥操作系统的研究进行了分析总结。基于互联网遥操作系统的研究是一个极具挑战性的领域, 具有重要的研究价值和广阔的应用前景。

在今后的研究中进一步改进和优化基于互联网遥操作系统的稳定性和透明性仍然具有很大潜力。通过改进网络通讯协议, 采用多连接并加入优先级约束, 建立虚拟现实环境, 为机器人赋予人工智能并建立专家系统将会进一步促进基于互联网遥操作系统的性能。

同时进一步改进神经网络技术在基于互联网遥操作系统中的应用模型, 建立稳定透明的系统模型, 并采用预估控制方法, 进一步改进Smith预估模型, 也会使得系统的性能提高。而如何将基于互联网遥操作系统应用到我国信息化建设中, 比如在智能电网的建设中, 使得该领域研究更具应用实践价值, 值得研究人员的思考与实践。

基于增强现实的机器人遥操作系统 篇2

机器人技术作为20世纪人类最伟大的发明之一, 自问世以来, 经历40多年的发展已取得长足的进步。作为一种新型的生产工具, 机器人在减轻劳动强度, 提高劳动生产率, 把人从危险、恶劣的环境中解放出来等方面显示出了极大的优越性。由于人工智能技术发展的限制, 现在机器人的智能水平还很底, 还不能独立的完成一些复杂的任务, 仍然需要操作者给它发出控制指令。但随着网络技术的发展, 操作者利用远程控制实现对机器人的遥控成为现实, 这将是机器人技术发展的一个里程碑。

虚拟现实技术是20世纪末发展起来的, 是集人工智能、传感技术、仿真技术、人机接口技术等为一体的综合集成技术。近年来, 虚拟现实技术与机器人技术的有机结合成为很有发展潜力和应用前景的研究方向之一。基于虚拟现实技术的远程控制, 操作者可以通过操作仿真环境中的虚拟机器人来实现对远端真实机器人的控制, 克服了大时延的影响, 可以有效的帮助操作者完成任务。但是这种技术会使操作者缺乏沉浸感, 而且预测仿真中存在的误差和运动累计误差严重影响遥操作的安全性、精度和效率。增强现实技术是传统的虚拟现实技术的拓展, 是一种将真实场景同虚拟场景融合的技术。它的目的就是通过计算机图形、图像处理技术实现实景与虚景的合成。在这种情况下, 将增强现实技术与遥操作机器人相结合, 使虚拟环境与实际环境融为一体, 通过融合技术, 会提高遥操作的精度。

1、系统总体架构

本系统利用现有的广域网结构, 在广域网上建立多个Jabber服务器, 让各个Jabber服务器保持邻居关系, 然后操作者和机器人端可以通过广域网中的任何接入点登陆Jabber服务器。

在操作者和机器人端分别运行了一个Jabber客户端程序, 在登陆服务器时, 服务器按照用户登陆时的不同类型将客户分为操作者和机器人, 并做出相应的标识存储在服务器的数据库中, 而服务器本身还提供查询功能, 操作者可以向服务器发出查询在线机器人的命令, 服务器根据自己存储的机器人信息以及和邻居定时握手所得到的信息, 可以把在线的机器人列表发送到操作者端, 此时服务器也记录下了这些在线机器人的路由, 然后操作者可以向机器人发出遥操作请求, 如果机器人接受控制请求则向操作者发出可以连接答复, 操作者收到肯定的答复后就可以建立起遥操作连接, 从而开始机器人遥操作。在操作的过程中, 实时的现场数据会发送到操作端, 通过增强现实技术使真实场景于虚拟场景达到融合, 从而提高操作者的沉浸感和整个操作的精度。操作者或机器人任一方可在遥操作进行任一时刻取消遥操作。具体实现如图1所示:

2、系统的图形渲染机制

OpenGL作为一个性能优越的图形应用程序界面, 具有广泛的可移植性, 适用于广泛的计算机环境, 用户可以完全不用理会具体的硬件系统、窗口和操作系统的结构和指令形式, 只要按照OpenGL规定的格式书写应用程序, 就可以在任何支持该语言的硬件平台上执行, 创建出漂亮的三维图像。

OpenGL中的所有几何图元 (点、线、多边形) 最终都是用顶点描述的, 顶点数据除了包含顶点坐标之外, 还包含法向量、RGBA颜色值、纹理坐标和其它的数据, 求值器将这些数据转换为顶点并对每一个顶点执行相应的顶点运算, 随后光栅化为片元, 并在执行完每个片元的操作后将光栅化后的数据送入帧缓存。

对于像素数据, 是从内存中读出的像素数据经过像素操作后, 将结果数据限制在一定的范围内, 然后送入纹理内存中进行组装, 供纹理映射使用, 或者把这些结果数据光栅化为片元后, 执行每个片元的操作, 最后送入帧缓存, 而从帧缓存中读出的数据经过像素操作后被送入到处理器内存中。

虽然几何顶点数据和像素数据的处理方式不同, 但它们最终都要经过光栅化并执行每个片元的操作, 最后把光栅化后的数据写入帧缓存。OpenGL中的所有数据, 都可以存储在显示列表中或者被立即处理, 合理使用显示列表可以大大提高程序的执行效率。

3、网络传输模块的设计

网络传输模块是本系统中一个非常重要的模块, 其功能包括用户的注册和登陆, 在线用户的实时查找, 文件的传输, 操作者和在线机器人的控制连接, 音视频的传输等。在这个模块的实现中, 本系统用到是XMPP协议。

XMPP的前身是Jabber, 一个开源的、基于XML的数据模型和协议, 主要用于网络即时通信。XMPP定义的三个关键顶级XML元素为<message/>、<presence/>和<iq/> (info/query) , 每个元素都可以通过属性和名字空间包含大量数据, 其属性和名字空间都是XMPP的组成部分。<message/>元素用来包含两个XMPP实体间互相发送的消息内容;<presence/>元素表示实体可用性信息, 可用性信息有"可用"和"不可用"两种;<iq/>元素用来构建两个实体间的会话, 并且允许实体间来回传送XML格式的请求和响应以便取得或设置公共的用户信息, 如名字等。即时通信中名字冲突问题使用XML的命名空间特性来解决。XML命名空间定义了一种将XML中使用的元素和属性与统一资源定位符引用联系起来对元素和属性进行定义的方法。

XMPP中定义了三个角色:客户端、服务器、传输器。通信能够在这三者的任意两个之间双向发生。服务器同时承担了客户端信息记录, 连接管理和信息的路由功能。在以XMPP为基础的通讯系统中, 当用户登陆Jabber服务器时, 服务器按照用户登陆时的类型做出相应的记录。在系统中规定, 以操作者身份登陆的用户拥有操作其他在线机器人的权力, 以机器人身份登陆的用户没有操作其他机器人的权力, 但是有拒绝其他操作者操作的权力。当用户想要操作其他在线机器人的时候, 需要向自己所注册的服务器发出查询请求, 可以是精确查询, 也可以是模糊查询。服务器收到请求后, 根据请求的格式发出一份自己知道的机器人名单, 当然服务器也知道这些机器人的完整的路由信息, 然后操作者通过服务器转发控制请求, 如果机器人端同意被控制, 那么他们之间就建立了一个安全的可信的通道。操作者通过这个通道可以远程控制机器人, 而且这个通道是基于TCP建立的, 所以可以保证操作命令的准确传输。

在本系统中, 首先操作者和机器人登陆到Jabber服务器, 然后通过服务器建立控制连接, 操作者就可以通过服务器发送遥操作命令。机器人收到命令后进行相应的操作, 现场的视频采集器将机器人实时工作画面通过网络传输到操作者端, 然后使用视频融合技术, 将机器人的仿真模型与机器人的视频图像在同一显示窗口中进行精确的叠加和融合, 并利用融合结果实现对仿真模型和环境模型的在线修正, 也可以对远程的机器人进行校正, 从而提高遥操作的安全性、精度和效率。

4、视频融合模块的设计和实现

增强现实最重要的一个特点是虚与实的有机融合。在视频融合的实现过程中, 需要把真实场景的视频图像和虚拟的仿真图形在同一窗口中叠加显示。视频融合从技术实现的角度可分为三部分:真实摄像机和虚拟摄像机的绑定、视频图像与仿真图形的叠加以及仿真环境的修正。

在增强现实系统中, 要想把真实环境与虚拟环境实时的融合, 系统需要实时地检测出摄像机相对于真实场景的位置和方向角, 这样就能够根据这些信息实时确定所需要添加的虚拟三维模型在真实世界中的正确位置, 然后将这些参数和虚拟摄像机的参数实时的绑定, 就可以完成虚拟场景和现实场景的实时的融合。

双摄像头定位可以确定空间任意点相对给定坐标系的位置, 而单摄像头只能确定已知形状物体间的关系。从某种意义上说, 单摄像头定位从属于双摄像头定位。但是目前的很多遥操作任务物体的形状都是己知的, 而且运用单摄像头定位的有效视野很开阔, 它能确定视野内所有已知物体的位姿, 而双摄像头的有效视野局限在双摄像头的公共区域内, 因而双摄像头定位对物体所在的空间位置有一定的限制。本系统是采用单摄像头对真实场景进行定位的。

视频融合的目的是将视频图像和仿真图形在同一个二维平面中进行显示。在计算机图形学中, 三维物体需要经过视点变换、模型变换、投影变换、视口变换等一系列的变换才能投影到二维的显示平面上, 这个过程和实际摄像机的工作过程是一样的。因此, 可以假设在虚拟仿真环境中也存在着一个"虚拟的"摄像机模型, 我们只要保证虚拟摄像机的模型参数和真实摄像机的参数保持一致, 就可以实现虚拟图形和视频图像在同一个二维空间中同时显示。这就要求我们首先必须通过摄像机标定来确定真实摄像机的参数。

通常采用的三维图形透视变换是基于理想的小孔成像原理, 因而在进行视频融合时, 摄像机也可以按照理想的小孔成像模型进行标定, 而不考虑摄像机引起的图像畸变。假设摄像机坐标系 (oxyz) 可以这样建立:z轴沿光轴向外, 坐标系原点在光心。世界坐标系 (OXYZ) 中任一点P (x, y, z) 依次经过摄像机坐标系、像坐标系、屏幕坐标系变换到像点 (u, v) , 对应的变换过程为公式1所示:

在公式1中, w为齐次坐标的尺度缩放因子, 矩阵M=CT称为摄像机标定矩阵。上式中矩阵C对应了从摄像机坐标系到屏幕坐标系的变换, 其中u0, v0为像坐标系原点相对计算机图像坐标系的偏移量, k1=f*Sx, k2=f*Sy, f为摄像机焦距, Sx, Sy为摄像机尺度因子, k1, k2, u0, v0为摄像机的内部参数, 决定了摄像机坐标系到屏幕坐标系的变换矩阵;而矩阵T实际是从世界坐标系到摄像机坐标系的变换矩阵, 其中tx, ty, tz是平移分量, 旋转矩阵由三个欧拉角 (α, β, γ) 决定, 这6个参数 (α, β, γ, tx, ty, tz是摄像机的外部参数。

摄像机标定的目的就是要确定这四个内部参数和六个外部参数。可以利用标准的线性最小二乘法来确定这些参数, 这样只需要知道世界坐标系中n (n≥6) 个空间点的坐标 (xi, yi, zi) 及与它们对应的像坐标 (ui, vi) 就可以计算出标定矩阵M, 然后通过对矩阵M进行分解就可以确定摄像机的全部参数。

在本系统中, 机器人的运动是通过自身的模型变换来实现的。这样做的目的一方面是使编程简单化、统一化;另一方面是方便真实摄像机和虚拟摄像机的绑定。在场景初始化的时候, 将真实摄像机的参数记录下来, 并将虚拟摄像机的参数进行相应的设置, 这样达到了初始化的绑定。当然也可以初始化虚拟摄像机的默认参数, 等到现场的视频信息到达虚拟场景中后, 通过系统中对摄像机的拉伸、旋转、移动等功能, 对摄像机的参数做出调整以达到和现场摄像机参数的吻合, 实现初始化绑定。

当机器人开始运动时, 现场的摄像机的参数并没有发生变化, 此时, 虚拟场景中的机器人通过自身的模型变换来实现运动, 其虚拟摄像机的参数也没有发生变化, 也就是说真实摄像机和虚拟摄像机进行了实时的绑定。如果虚拟场景中机器人的运动是通过虚拟摄像机的视点变换来实现的话, 那么此时, 真实摄像机和虚拟摄像机各自的参数就发生了变化, 也就没有达到真实摄像机和虚拟摄像机实时绑定。

本系统中, 对现场摄像机的设置是:单个摄像机, 镜头正对机器人上方, 摄像机位于垂直机器人中轴线向上方向的平面上, 摄像机距离机器人中心三米。按照现场摄像机的这个参数, 可以对虚拟摄像机进行如下的设置: (0.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 00, -1.0) 。在仿真系统中, 以机器人的中心为世界坐标系的中心点, 机器人的正面方向是Z轴的正方向, 机器人向上的方向是Y轴的正方向。建模比例是1∶1。通过这样的初始化设置就可以使真实场景和虚拟场景完全融合。

真实摄像机和虚拟摄像机绑定后, 我们就可以实现仿真图形和视频图像的融合。实现图像的叠加可以直接将仿真图形叠加在视频图像上, 也可以将视频图像作为背景调入仿真环境中。本系统采用的是将视频图像作为纹理背景调入到仿真环境中的方法实现仿真图形和视频图像的融合的。系统从视频流中得到图片, 然后调用OpenGL中纹理贴图的相关函数, 将现场的图像以背景的方式贴到场景中, 由于虚拟摄像机的控制, 背景图片会与虚拟图形在同一视区中叠加显示, 即实现了仿真图形和视频图像的融合。

在增强现实系统中, 无论使用何种跟踪定位技术, 摄像机的标定总会出现一定的误差, 因此现实场景坐标系和虚拟场景坐标系之间的变换总是存在一定的误差, 甚至会出现虚拟场景的坐标系发生"漂移"的现象。因此在完成视频融合之后, 操作者可以根据需要对虚拟环境的视点进行微调, 以进一步提高视频融合的精度。在本系统中, 当误差出现时, 操作者可以利用鼠标对虚拟场景中的摄像机进行旋转和移动, 从而使场景中的虚拟机器人与视频图像重新融合。通过对仿真环境的修正, 可以消除机器人遥操作过程中因种种误差所产生的影响, 提高整个遥操作系统的精度和性能。图2就是本系统的遥操作界面。

5、总结

为了解决预测图形仿真系统存在的精度和误差问题, 我们将增强现实技术应用到遥操作系统中, 通过视频融合技术, 将机器人的仿真模型与机器人的视频图像在同一显示窗口中进行精确的叠加和融合, 并利用融合结果实现对对仿真模型和环境模型的在线修正, 判断真实机器人复现虚拟机器人的运动情况, 从而提高遥操作的安全性、精度和效率。此外, 通过单摄像机定位技术实现了对已知形状物体的精确定位, 提高了系统适应环境变化的能力。实验结果表明, 我们实现的基于增强现实的遥操作系统, 不但可以有效地克服时延的影响, 而且可以方便地对虚拟机器人和真实机器人的运动情况进行对比、分析, 并可以对仿真误差进行及时修正, 从而增强了仿真系统的逼真性, 提高了遥操作的精度和效率。

摘要：在遥操作系统中, 预测仿真中存在的误差和运动累计误差严重影响遥操作的安全性、精度和效率。本文介绍了一种基于增强现实技术的机器人遥操作系统, 该系统采用视频融合和物体定位技术, 操作者可以方便地对比仿真规划结果和实际机器人执行结果之间的差异, 并可以通过修正和更新仿真模型来补偿建模误差和运动累积误差。

关键词：增强现实,遥操作,虚拟现实

参考文献

[1]Sun Zengqi.Robot simulation system and its application[J].Journal ofSystem Simulation, 7 (3) :23-29, 1995.

[2]STEVENS W R.TCP/IP Illustrated, Volume 2:The Implementa2tion[M].Addision Vesley Professional, 1993:74-90.

[3]邓郑祥, OpenGL编程指南[M].北京:人民邮电出版社, 2005:2-10.

[4]徐坤, 言勇华.机器人运动控制仿真系统研究与实现[J].机器人技术与应用, (2) :28-30.2001.

[5]李刚俊, 陈永.机器人的三维运动仿真[J].西安交通大学学报, 37 (3) :243-246, 2002.

[6]杨斌.XMPP协议分析与应用探讨[J].微型机与应用, 第8期2005.明德烈, 柳健, 田金文.增强现实技术及其应用[J].无线电工程2001, 31 (11) :51-54, 60.

[7]蒋宾, 李利军, 管涛.基于增强现实的网络视频会议系统研究[J].计算机与数字工程, 第34卷, 第11期, 2006.

农业车辆的遥操作研究 篇3

机器人遥操作是以通讯网络为媒介, 实现了操作者与远程机器人的交互。利用无线网络, 农业机器人去掉了随身很多复杂繁多的载体与线路, 能更加方便、自由地进入更多复杂危险的工作环境中, 可供操作者遥操控的范围扩展到无线网络覆盖的所有领域, 给农业机器人的遥操控的实现提供了强大的技术支持。

1 基于无线网络的遥操作系统

基于无线网络的遥操作系统通常是由本地控制端、远程被控端以及连接两者的通讯网络组成的。本文搭建的遥操作系统其结构分为三个部分:控制中心、通讯网络和农业机器人。将无线摄像头与农业机器人组合在一起作为远程被控端, 无线摄像头提供视频图像农业机器人作为执行机构来完成各种各样的工作任务。利用搭建的远距离无线传输系统作为通讯网络, 增强了远距离的信号强度和信号的覆盖范围, 同时以搭建的GUI界面和机器人的操纵器作为本地控制端, GUI界面提供远端环境, 操作者根据界面显示的图像来做出决策, 对农业机器人做出控制[1]。本文所研究的农业机器人遥操作系统的整体结构框图如图1所示。

2 基于MATLAB的GUI界面搭建人机交互界面

本文选择使用MATLAB 2012a的GUI界面来搭建人机交互界面, 一是MATLAB自带的函数功能十分强大, 可以调用无线摄像头的图像, 二是在调用摄像头图像的基础上可以对GUI界面进行增强现实处理。因为在基于无线网络的遥操作系统中, 时延总是不可避免的, 为了使操作者更好地掌握工作现场的信息, 同时也可以尽量的避免时延为工作带来的妨碍和误差, 我们对界面运用了增强现实技术。

首先通过MATLAB自带的函数功能调用IP摄像头, 搭建一个GUI界面 (如图2) , 在URL输入需要调用的摄像头的URL连接, 即可得到摄像头的图像。接着在视频输入的callback函数中编写MATLAB代码, 利用vision.Shape Inserter函数标示出图像的中心线, 同时标示出最大警示线和最大容许线[2]。得到的界面如图3。

其中我们采用绿植模拟庄稼行, 在界面的中心, 标示出来调用图像的中心线, 作为农业机器人运动的参考, 同时也可以给予操作者一个参考, 以实现对农业机器人在庄稼行上行走时的准确控制。另外在中心线周围又标示出四条线, 其中中心线两边的线为最大警示线, 意味着当庄稼行与这两条警示线要重合或者偏向警示线时, 控制中心可以相应的隐形调整, 将中心线调整到庄稼行上。最外侧的两条线为最大容许线, 因为时延的关系, 从工作场所到控制中心, 再由控制中心发出控制指令到农业机器人, 这之间存在时间延迟, 为此, 在当庄稼行偏向最大警示线时, 需要操作者进行控制, 这样的话, 从发出指令到农业机器人运作, 农业机器人不会偏出最大容许线, 也就可以避免时延对遥操作造成的影响。

3 远距离无线传输系统的搭建

远距离无线传输系统由计算机、无线接入器、栅格天线以及无线摄像头组成。由于考虑到农村的无线通信信号弱、传输距离短, 为了实现增强信号强度和扩大传输距离, 我们采用无线接入器及栅格天线的组合。无线摄像头负责采集图像信息, 经过天线的远程增益, 通过无线接入器将视频数据传输至计算机, 使计算机能够看清摄像头所拍摄的画面。根据界面的显示再使用操纵装置控制农业机器人的动作, 以保持对小车的准确控制。

在实验过程中, 发现天线的传输距离并没有达到预期效果, 经过查阅得知无线接入器的发射功率不能满足天线正常运行的工作功率, 于是DIY无线接入器通过刷入第三方固件解除功率限制使其的发射功率与栅格天线匹配。同时使用的天线馈线过长, 经过查询馈线每米的信号衰减是2dbi, 信号衰减较严重, 经过缩短馈线长度减少了信号损失。搭建的系统如图4所示。

4 时延的测试分析

因为选用计算机网络作为通讯手段, 网络时延会随着网络的拥堵情况、网关路由策略等因素的影响而发生波动, 所以我们研究的时延是变时延。遥控远端环境复杂多变而且不可预知, 而且又要利用人的智能处理不可预知的情况, 进行决策和操作。然而时延的存在, 会使操作者对远端环境的感知滞后于当前的时刻, 即显示器显示的远端环境与当前的远端环境是不同的, 在时延的影响下, 在当前时刻远端环境已经发生了变化, 有可能使操作者的决策有误, 造成遥操作失败和设备损坏[4]。

我们通过摄像头拍摄、手机计时器与界面显示的时间对比得出时延的数值。具体方法是:将打开秒表计数器的手机屏幕置于摄像头前方, 确保远端操控计算机者能够看清手机上显示的时间。手机开始计数后, 每隔一段时间远端计算机与手机同时暂停计数并记录此时手机上与计算机上的时间。根据此方法, 测得多组数据, 最后计算出测得的时间差, 可以得到遥操作系统的时延, 测得20组数据 (表1) 。

由得到的测试数据分析可知, 实际时延与网络在该时刻的拥塞程度、网络带宽及路由等多种因素有关。为了得到较精确的时延, 剔除掉明显异常的测试数据, 剔除第1、5、14、15、18组数据。将最后的数据取平均值, 得到设计的遥操作系统的时延是:80.67ms。

本文采用的实验测试的方法不能够十分精确的测出遥操作系统的时延, 但是也能大致的测出时延的大小。该方法主要是简单, 方便, 具有很强的适用性。决策者可以参考得到的时延, 根据GUI界面, 对远端的执行器做出正确地决策。

5 结论

本文主要针对农业车辆的遥操作的人机交互界面和无线摄像头的远距离调用进行了研究, 在GUI界面上运用增强现实技术, 标示出了图像的中心线、最大警示线和最大容许线, 在帮助操作者更好地掌握工作现场的信息的同时, 也极大地消除了时延给遥操作带来的影响, 同时搭建的远距离无线传输系统也很好的解决了远距离遥操作的问题, 增强了无线信号的强度和覆盖范围, 使得农业机器人在远距离也能将摄像头的图像传输到电脑上。同时给出了一种更简单测试时延的方法, 具有很强的实用性和简便性。

参考文献

[1]李成, 梁斌.空间机器人的遥操作[J].宇航学报, 2001, 22 (1) :95-98.

[2]丑武胜, 孟纆, 王田苗.基于多通道增强现实的机器人遥操作技术研究[J].高技术通讯, 2004, (10) :49-52.