果树采摘机器人

果树采摘机器人（共7篇）

果树采摘机器人 篇1

0 引言

目前,我国的果树种植面积高达800～900万hm2,约占世界果树总面积的1/4,水果总产量居世界第一位。果园收获作业机械化、自动化越来越成为广大果农们最为关注的热点问题。开展果树采摘机器人研究,不仅对于适应市场需求、降低劳动强度、提高经济效率有着一定的现实意义,而且对于跟踪世界农业新技术、促进我国农业科技进步和加速农业现代化进程有着重大的历史意义。对采摘目标的定位技术是果树采摘机器人研究的关键技术之一,只有果实位置确定,机器人才能控制机械手臂完成准确的采摘动作。由于果实的生产是一个非结构的开放系统,果树采摘机器人工作在自然环境中,地面的不平整、风吹果实的晃动和光照的变化等不确定因素都会给定位工作带来干扰,枝叶的遮挡、果实的相互重叠也会给目标定位带来很大的困难。因此,定位技术也是果蔬采摘机器人研究的难点之一。

1 双目立体视觉

双目立体视觉,简称体视,是通过两个摄像机从不同的位置观察同一物体并用三角计算测量摄像机到该物体相对位置的方法。体视直接模拟了人类视觉处理景物的方式,可以在多种条件下灵活地测量景物的立体信息。其作用是其它计算机视觉方法所不能取代的。图1为两摄像机的光轴平行,并且摄像机的水平扫描线位于同一平面时的配置情形。

假设世界坐标系与左摄像机坐标系重合,P点在左、右图像平面中成像点相对于主点的距离分别为xl和xr。 利用XZ平面中的相似三角形可以得到

undefined

同理,在YZ平面中也有同样的几何关系,有

undefined

由以上各式可以得到点P的位置坐标

undefined

其中,f是透镜的焦距;B是两透镜之间的距离,即双目视觉系统的基线;P点在左右两幅图像平面中成像点位置差xl-xr称为视差。当摄像机几何位置固定时,视差大小只与P点的法向深度Z有关,而与P点离摄像机光轴的距离无关。视差越大说明物体离透镜的距离越近;反之,则越远。

利用双目图像对空间目标进行定位(如图2所示)的基本过程可以归纳为:

1) 建立双目立体视觉测量系统,并标定所有参数(包括双目系统的摄像机内部参数和两摄像机之间的结构参数);

2) 左右摄像机同时采集目标图像;

3) 利用摄像机的后投影模型,分别对两幅图像进行畸变校正;

4) 对畸变校正后的图像,利用目标检测方法,分别求出左右图像中特征点的“亚像素”精度级图像坐标,由极线约束和顺序一致性原则,建立对应点的匹配关系;

5) 根据建立的对应匹配点,由双目立体视觉模型,求出空间目标特征点的3D坐标。

2 摄像机标定

在定焦距双目系统中,经过摄像机标定后,双目配置的外参数和摄像机内参数是固定不变的,利用基于视差的双目定位几何模型计算出立体图像对所代表的目标点在空间的位置是容易的,主要要解决的是左右图像中对应点的匹配问题以及测量精度问题。目前的摄像机标定方法很多,基于标定靶的摄像机标定是利用一个标准参照物与其对应图像的对应关系来确定摄像机模型的参数。这种方法尽管可以获得较高的精度,但标定过程费时费力,不适合在野外工作,无法经常使用标定参照物的果树采摘机器人。摄像机的自标定技术不需要已知参照物,仅利用摄像机在运动过程中周围环境的图像与图像之间的对应关系对摄像机进行标定。这种标定方法灵活性强,潜在的应用范围广;但计算量大,实时性和鲁棒性差。新兴的基于神经网络技术的摄像机标定,是用神经网络来模拟物、像对应关系,而畸变、环境因素所带来的非线性误差都将通过网络的学习被分散到各神经元之间的连接权值上;把训练好的网络得到的映射关系与针孔模型相结合,也可以求得摄像机的内参数。该方法不必建立复杂求解模型,具有误差补偿功能。

对于边行走边作业的果树采摘机器人而言,当机器人视觉系统与工作对象之间的相对空间位置发生较大的变化时,为获得利于目标检测的清晰高质量的图像,视觉系统应自动调节光圈和焦距,此时摄像机参数发生了变化,如果不能确定这些参数,传统的定位模型就无法对目标进行空间定位。现有的研究没有涉及到变焦距双目视觉定位果实的研究。 将式(3)进行如下变化

undefined

当两摄像机基线距离B固定,存在图像畸变的视差Δx可以求出,则在不知道深度距离和焦距的情况下,可以计算物点的X和Y坐标,即

undefined

由于图像存在畸变,图像坐标和视差存在一定误差,利用上式计算所得结果与实际坐标存在较大误差。而图像畸变分布是与摄像机内参数以及像素位置有关的,所以计算误差大小随着物点在图像中的位置变化。变焦距摄像机的镜片组位置的改变是和对焦方式或变焦指令有关的,内置的聚焦控制没有输出合成焦距和聚焦距离的信息,这给变焦距摄像机在图像测量的应用带来困难。可在双目摄像机中间加装测距传感器来辅助探测聚焦距离,如果不同深度距离下的摄像机内参数预先标定好,建立深度距离和摄像机内参数之间的数据查找表,便可以在测距传感器测得的距离信息辅助下从查找表中内插摄像机内参数,进行图像校正,修正形心点位置和视差,从而提高测量精度。

3 匹配问题

匹配就是从不同视点获取的两幅图像中正确地找出对应空间同一点的两个投影点;而果实与果实之间,果实与枝叶、光斑之间存在大量相似的纹理和特征,使得匹配问题相当困难。对于图3左图中的一个特征点,它在图3右图中可能有多个候选匹配点,而实际的匹配点只有一个。所以,匹配过程中要根据物体的实际信息和以下一些约束条件来剔除误匹配。

1) 唯一性:

物体表面任意一点到观察点的距离是唯一的,因此视差是唯一的。从而,给定图3左图中的一点,其在图3右图的对应匹配点至多只有一个,反之亦然。

2) 相似性:

在某种度量下,同一物理特征在左右两幅图像中表现出相似的性质。因此,给定作图的一个点,匹配时总是在图3右图搜索性质上与之相近的点作为匹配点。

3) 连续性:

与到观察点的距离相比,物体表面因凹凸不平引起的深度变化是缓慢的,因而视差变化也是缓慢的,或者说视差具有连续性。

4) 顺序一致性:

两幅图像中同一极线上的对应匹配点的顺序是一致的,不能出现图像特征序列和空间坐标序列交叉的现象。

5) 外极线约束:

由双目视觉的工作原理可知,在两摄像机对方位已知的情况下,左右图像的对应点必在图像对的外极线上。图3为摄像机平行配置时图像对的外极线几何。

已知物点P在图像I1中的像点P1=(x1,y1),则在图像I2中的对应点P2=(x2,y2)与P1位于相同的水平扫描线上,即y1= y2。这个摄像机配置结构使得匹配处理变得简单,但由于实际特征点抽取存在误差的影响,实际匹配时采取|y1-y2|﹤1～2 pixel,并结合顺序约束来进行处理。

4 结束语

果树采摘机器人的研究在我国尚处于起步阶段,将双目立体视觉应用于其目标定位系统,可以有效地实现对果实的定位。果树采摘机器人作业环境的复杂性和作业目标的特殊性给定位过程带来了很大的困难。尤其是变焦距双目视觉定位中摄像机内参数实时获取的问题以及双目图像的准确匹配问题都需要进一步的深入研究。

参考文献

[1]Linda G.Shapiro,George C.Stockman.计算机视觉[M].赵清杰,译.北京:机械工业出版社,2005.

[2]尹建军.基于颜色差异采收果实的自动识别方法与双目定位技术研究[D].镇江:江苏大学,2006.

[3]Yong-Sheng Chena,Sheng-Wen Shih,Yi-Ping Hung,etal.Simple and efficient method of calibrating a motorizedzoom lens[J].Image and Vision Computing,2001,19:1099-1110.

[4]Moumen Ahmed,Aly Farag.A neural approach to zoom-lens camera calibration from data with outliers[J].Image andVision Computing,2002,20:619-630.

西红柿采摘机器人 篇2

采摘是水果和蔬菜生产中最重要的环节之一, 直接影响到果蔬的市场价值。自1983年第一台西红柿采摘机器人在美国诞生以来, 采摘机器人的研究和开发历经20多年, 日本和欧美等国家相继立项研究采摘苹果、柑桔、西红柿、西瓜和葡萄等智能机器人。

西红柿每棵可长4～6个果实, 而每个果实并不是同时成熟的。成熟的果实为红色, 而不成熟的果实为绿色, 因此通过彩色摄像机作为视觉传感器寻找和识别果实, 同时利用终端握持器中的吸引器, 把果实吸住, 再用机械手的腕关节把果实拧下。为了降低西红柿的收获成本, 目前已研制了用于收获樱桃西红柿的机器人, 它采用双目立体成像技术来确定果实的位置, 成功率约为70%。

原理图如图1所示。该机器人具有上下移动、左右旋转、水平伸缩上下俯仰4个自由度。采用100W, 3000r/min的交流伺服电机和1:125的减速机构驱动4个关节轴。左右旋转、上下移动、上下俯仰和水平伸缩4个自由度的关节速度分别为2.51rad/s、0.3m/s、3.14 rad/s和1.8m/s。关节速度高, 影响末端执行器的定位精度, 但能够提高采摘的效率。采摘机器人采用交流伺服电机, 对于野外作业, 电源的提供并不方便。对于移动机器人而言, 最好使用蓄电池提供的直流电源。

果树采摘机器人 篇3

新型系统包括采摘机器人和16个草莓种植平台, 种植平台会定期移动至采摘机器人面前, 机器人通过CCD摄像头捕获草莓是否变红的信息, 一旦发现红色果实, 平台就会暂时停止移动, 而机器人就会根据颜色辨别出已成熟的草莓, 并用带有刀刃的手指将其采摘下来。该系统每小时就可以完成16个平台的草莓采摘任务, 成功率达到70%以上。

由于草莓采摘费时费力, 是农业生产的难点之一。此项技术的研制成功对提高草莓生产效率、降低劳动强度, 及实现草莓生产的标准化都具有积极作用。

果树采摘机器人 篇4

未知环境中移动机器人在崎岖路面的行走稳定性问题因其动力学方程的高度非线性,一直是机器人学中非常具有挑战性的课题之一[1]。现有的理论对基于精确数学模型的控制方法已有较完善的系统性的成果。但是,对基于系统行为模型的机器人智能控制方法(如模糊控制方法、蚁群控制算法等)虽然得到人们持续关注,但到目前为止,这些方法仍有待于进一步完善。特别是模糊控制,或者只讨论纯粹的行为模型而忽略了原有数学模型,或者只讨论离线的用于建模阶段的模糊逻辑系统[2]。为使采摘机器人能够精确地感知复杂的路况、控制自身的速度大小并平稳到达目标位置,本文提出获取油门相对于驱动轮速的适时油门开度位置的行走模糊控制器,使采摘机器人在多变的路况条件下维持采摘与移动的协调能力,维持特定的驱动速度,增强其在启动和加速条件下的行走稳定性以满足当前窄范围、长距离的覆盖整个果园的采摘要求的特点[3]。

1 模糊油门行走控制系统结构

采摘机器人油门行走控制系统如图1所示。其主要由主机、微控制器龙板12、油门伺服马达、油门阀、驱动轮及其传感器构成。主机和龙板12通过RS232串口实现通信,龙板12输出控制命令到油门伺服马达。其基本原理是模糊控制器发出控制信号Tg并通过油门马达驱动油门阀;传感器识别到相应的驱动轮速并产生反馈信号Vf,该信号按固定传输比率适时反映油门开度Tf的大小;模糊油门检测驱动轮速并比较油门开度变化,油门马达调整油门阀以减少实际和理想的油门开度的误差信号Tf–Tg。

2 采摘机器人模糊控制策略

鉴于采摘机器人崎岖路面动力特性的高度非线性、行驶速度宽范围3～30km/h、时域特性以及油门系统的分布参数复杂的关系,很难建立一个完全的数学模型来描述机器人的驱动行走状况[3]。同时,模糊逻辑系统避免使用复杂和低效的近似数学模型。在不多使用数学表达条件下,增加使用者行为经验仿效人类驱动行为的预判和反应,作出模糊决策执行稳定驱动的判别。模糊油门控制器的流程如图2所示。从图2可知,其主要有精确模糊化、模糊控制规则、模糊策略和模糊量的精确化。本文基于系统的可控性,设计一个二维油门行走模糊控制器。通常条件下,输入语言变量分别是油门误差(TORE)和油门开度误差变化率(TOREC)。该结构能够保证系统降低超调量和削弱采摘机器人在启动和加速时的振动影响[4]。

2.1 驱动轮和油门开度之间的非模糊关系

获取实验数据方法如图3所示。在确保主机和龙板12的通信成功条件下,在超级终端窗口输入相关的控制命令,如GD设置齿轮驱动,ST返回初始的油门状态,Txx 设置油门开度量。

图4所示的驱动轮控制特性是在实际的机器人动力传输状况下的驱动轮和油门开度之间非模糊关系曲线。为了更好地获取驱动轮速,油门开度仅在20%～43%之间变化。实验数据用离散的圆圈显示。理想的目标曲线用MATLAB线性拟合方法获得。非模糊关系曲线是根据采摘机器人机械传输结构而固有存在。因此,控制的目标是平滑而稳定的改变机器人在复杂多变的果园条件下的驱动轮速度。

2.2 精确模糊化

鉴于在油门位置和驱动轮速之间不存在简单的数学关系,故类似于人类驾驶的模糊理论是驾驶行为的直观选择[5,6,7]。 假定油门开度的基本论域为[-a +a],如果视误差变化的论域X=[-3,-2.5,-2,-1.5,-1,-0.5,0,0.5,1,1.5, 2,2.5,3],误差量化因子ke=6/a。误差变化的8个语言变量即正大(PL),正中(PM),正小(PS), 正零(PZ), 负零(NZ),负小(NL),负中 (NM),负大(NL)。模糊子集反应误差的等级。模糊控制的实践指出模糊控制对模糊语言变量的隶属函数的形状并不敏感,但仅对隶属函数的范围部分灵敏。根据判断三角形形状模糊隶属函数实践判据,可以确定三角形的隶属度函数u(x) PL,PM,PM,…,NL,因此油门误差模糊语言变量的评价如表1所示。同样道理,语言变量TOREC andU 在各自的相应论域的模糊子集隶属度u(x) PL PM…NL及其评价也可确定。

2.3 采摘机器人模糊油门行走控制器

采摘机器人模糊油门控制器有2个输入变量误差TORE,误差变化率TOREC,一个输出变量u和56个规则。

1) 油门开度误差TORE:设既定误差为Tg 和反馈误差Tf均代表语言变量TORE,其隶属度形状如图5所示。三角形形状的中心点相应在[-0.03∶0.01∶0.03]之间变化为

TORE= Tg-Tf (1)

2)油门开度误差变化率TOREC:为油门开度误差在离散时间内的微分,微分时间t=kT,其中k=0,1,2,…,n,T是采样和控制刷新时间。其代表的语言变量表示为

TOREC=(TOREtT -TORE (t-1)T)/Δt (2)

7个三角形隶属函数定义如图6所示,其中心变量在[-0.5∶0.2∶0.5]之间变化。

3)油门控制输出变量u。三角形形状中心分别为 -0.2,-0.12,-0.05,0,0.05,0.13,0.2。其变量的形状由实验和传感器的物理约束决定。伺服马达的输入命令在 1～2ms完成。零隶属度函数中心稍稍高于发动机怠速速度。由于输出变量不稳定, 需做稳定化处理。因此,该控制系统的核心是模糊策略。

2.4 采摘机器人模糊油门行走策略

模糊油门行走控制算法即模糊策略由模糊实验总结而来,一旦模糊关系R在应用中通过大量的操作实验确定,根据文献[6,7,8,9]叙述,遵循“If TOREand TORECthen U”的56个推理的语言规则提出如下:

根据上述56个规则,反映人类规则以语句的形式存在的模糊策略的控制器即可获得。语言变量以语句形式定义在模糊集内。其主要优势在于依据经验快速提取规则从而获得模糊算法,模糊油门规则如表2所示,相关的采摘机器人油门开度也可得到,总的油门模糊规则关系R=TORE·TOREC·U根据上述规则获得。

获得模糊规则关系R,即已知油门开度误差TORE1及其变化率TOREC1,模糊油门控制器输出将可求得U1= TORE1·OREC1,图8为56个模糊规则的表面视图。

2.5 模糊量的精确化

模糊规则变量U由误差TORE及其变化量TOREC共同决定的模糊控制算法获得,体现了三角形形状的模糊隶属度的变化范围。其模糊函数U的判据结果由求和—平均法求得[8]。 鉴于输出隶属函数是单一变量, 计算输出变量u表示为

$u=\frac{{\displaystyle \sum \mu }(x{}_i)x{}_i}{{\displaystyle \sum \mu }(x{}_i)}$ (3)

其中,μ(xi)是第i条规则的权重, xi是输出变量的值由规则推导而出。权重的值表示该规则的全局控制贡献大小。

2.6 控制量的获取

在模糊控制的过程中,微控制器获得采样结果和转化的误差TORE及其变化率TOREC,然后分别乘以各自的量化因子kTORE=6/a和kTOREC=6/b, 从而最终获得适时的控制量[10,11,12]。 通用列阵控制量被保存在龙板12的RAM中。相关的3个语言变量TORE,TOREC和U以3维视图的形式显示。图9是采摘机器人油门行走模糊控制输入、输出量的三维视图。模糊油门行走系统控制输出“PM”“PS” “PL” “PO” “NZ” “NS” “NM” and “NL”限定在[-0.2-0.2]范围内, 从每条规则中推断出语言值,在从模糊精确化程序中归纳并产生出扼要值,因而输出模拟信号到油门马达,该马达的工作电压在4.8～6V 范围。

3 实验

实验初始化条件如下,采摘机器人自动低载行驶在低洼不平草坪,如图10所示。机器人沿S线由静止开始启动。实验表明:模糊油门行走控制器根据变化的驱动轮速适时的调整油门开度,能够自动在低载条件下自动适应变化的行走工况。

图11描述了通过模糊油门控制算法使采摘机器人的油门开度与驱动轮速度之间关系曲线得到了进一步改善,通过对比图4,该算法通过调整输入变量的隶属函数中心适应变化率,在采摘机器人启动或转向时,模糊响应有过调量,当油门开度升至32%时,驱动轮速有轻微的增加。但采摘机器人油门开度及时作出轻微调整而不是大的控制响应。同时在没有大的超调量条件能够平滑回复到理想的速度(油门开度以43%为限),而且模糊油门控制曲线接近理想曲线,在不平路面下的振动也很小。

4 结论

本文将模糊油门用于改善采摘机器人行走动力特性,实验证明其油门开度控制的模糊调控策略类似于人类驾驶行为,显示了系统的优良的行走执行力。同时,该模糊逻辑算法提供了一个稳定的油门调整行为并保证了机器人行走和加速的稳定性。本算法显示了机器人在无大的振动的前提下通过弯道的良好速度响应性能,为其在多变的果园行驶工况下后续的采摘作业夯实了基础,同时也为下一步采摘机械手稳定性的研究提供了有益借鉴。

摘要：针对采摘机器人在复杂果园条件下,行走稳定性差的特点,着眼于研究平滑的油门运动并维持特定的驱动速度,依据油门开度和驱动轮速度之间的特定实验曲线,设计了一个模糊油门行走控制器。该控制器通过安装在驱动轮上的速度传感器反馈获得驱动轮速度并根据特定关系将其转换成油门开度,由此简化了驱动结构,使采摘机器人驱动速度仅仅依靠模糊油门来调节。最终,通过实验验证了该控制器完全能够适应多变的果园条件,增强了采摘机器人驱动行走的可靠性和稳定性。

果树采摘机器人 篇5

采摘机器人是一类针对水果和蔬菜,通过机器视觉系统和编程来完成采摘等相关作业的具有感知能力的自动化机械收获系统[1,2],其在解决劳动力不足、降低工人劳动强度、提高劳动舒适性、提高果蔬采摘的质量、降低采摘成本、提高劳动生产率等方面具有很大的潜力[3]。国内外的科研人员在果蔬采摘机器人的研究中做了大量的工作,但采摘机器人尚未进入商业化。

与工业机器人相比,采摘机器人的作业环境为非结构环境,非结构环境的特殊性以及作业对象的复杂性,对机械臂的结构和控制提出更高的要求,番茄采摘机器人机械臂的结构设计与参数优化在文献[4]中已作了介绍。本文根据实际作业空间要求,对具有平行结构关节的四自由度机械臂,实现了对机械臂各个关节的控制,使用ADAMS/Controls与MATLAB/simulink进行联合仿真,根据仿真结果,不断调节控制参数,实现了机械臂的运动规划和性能指标的优化。

2 机械臂的仿真模型

极坐标机械臂及铰链型机械臂形成的作业区域为扇形,考虑目标区域为矩形,实际作业空间若为矩形更加合理。出于该考虑,第二个关节选择了平行连杆机构。因采摘对象为椭球形果实,兼顾设计简单化,手腕处具有一自由度即可实现抓取。第一个关节用于机械臂机身的旋转,第二个关节为可以生成两个方向运动的平行连杆机构。第三个关节为移动关节,该关节实现末端执行器的伸缩运动。第四个关节用于旋转手腕。四关节机械臂足以实现采摘操作。在该研究前期的工作中,根据对温室和田间环境的调研,优化机械臂的结构参数以实现了机械臂有效工作空间最大化。机械臂机械结构的最终运动参数如表1所示。机械臂的ADAMS机械仿真模型如图1所示。

3 控制系统

采摘机器人的电气控制系统配置如图2所示。双目视觉系统及传感器用于获取外部信号,并传送至PC机。PC机为采摘机器人系统的主控单元,负责图像信息的在线处理、机械臂逆运动学算法、轨迹规划、多传感器信息融合、将控制信号由RS-232串口传送给运动伺服控制系统。控制信号经过放大后控制关节直流电机的位置和速度,实现对机械臂及末端执行器力和位置的精准控制。每一个模块按照既定的程序顺序执行。

4 机器臂ADAMS和MATLAB联合仿真

机器人系统是一个电气机械系统,要想在一个仿真环境中进行整个动力系统的仿真是非常困难的。联合仿真方案中,两种不同的仿真程序交互数据,在原始物理域或者各子系统模型最合适的仿真环境中建立模型。本文采用的研究方法是使用ADAMS/Controls软件仿真机器人机械系统,使用MATLAB/Simulink软件仿真机器人控制系统。MATLAB/simulink仿真基于ADAMS传感器反馈信号的控制模型,产生驱动ADAMS机械动力学系统的控制指令。联合仿真中两软件间的交互关系如图3所示。

图3仿真流程(参见右栏)

4.1 ADAMS建立机械系统

使用ADAMS/View建立机器臂机械模型,然后给关节添加约束及运动。首先验证机械模型建立正确,然后建立控制系统。

4.2 与控制系统建立连接

MATLAB与ADAMS之间的通信依赖于状态变量,即控制系统和机械系统间的输入输出量。表2列出了ADAMS模型的状态变量。将建立机械模型时所添加的运动和力替换为与控制系统建立连接的函数。表3列出了被控关节的驱动函数。ADAMS机械模型仿真后生成三个文件,输出其中.m文件,并集成为如图4所示的adams_sub模块,作为一个子系统加入simulink控制系统中,如图5所示。

图5系统联合仿真模型(参见下页)

5 仿真结果

图6仿真结果(参见下页)

采摘机器人动力学模型、控制器模型设计完成以后,即可进行ADAMS与simulink联合仿真,通过观察ADAMS仿真动画和参数波形图,如图6所示。根据要求的相关性能指标,修改控制器的控制参数并继续仿真,最终使系统达到较理想状态,从而验证模型的可行性与控制的有效性。

6 结论

针对番茄采摘机器人及其控制系统,在文献[4]的基础上,实现了一个四自由度的机械臂仿真模型,并完成了番茄采摘机器人MATLAB和ADAMS的联合仿真,用仿真结果去不断调节控制参数,实现了机械臂的运动规划和性能指标的优化。后续主要工作有:1)通过联合仿真完成特定路径的运动轨迹规划;2)通过联合仿真完成执行时间最小的运动轨迹规划;

摘要：采摘机器人属于非结构环境下作业的特种机器人,果实的采摘易受环境变化的影响,机械臂的控制直接决定采摘机器人的作业效果。根据番茄的特点及其植株的生长分布,设计了具有平行结构关节的四自由度机械臂,实现了对机械臂各个关节的控制。使用ADAMS/Controls与MATLAB/simulink进行联合仿真,根据仿真结果,不断调节控制参数,实现了机械臂的运动规划和性能指标的优化。

关键词：采摘机器人,四自由度,控制,仿真

参考文献

[1]EdanY,GainesE.Systemsengineering of agriculturalrobot design[J].IEEE Transactions on Systems,Man,and Cybernatics,1994,24(8):1259-1265.

[2]Van Henten E J,Schenk E J.Van Willigenburg LG.,et al.Collision-free inverse kinematics of theredundant seven-linkmanipulatorusedinacucumberpicking robot[J],Biosystems Engineering,2010,106(2):112-124

[3]张洁,李艳文.果蔬采摘机器人的研究现状、问题及对策[J].机械设计,2010,27(6):1-4.

果树采摘机器人 篇6

我国水果产业发展迅猛,种植面积和年产量双居世界第一,是世界上水果生产的大国。在整个水果种植过程中,成熟水果的采摘耗时最长,劳动力需求最大; 而随着外出务工人员的增多,农村劳动力人口下降,导致劳力成本上涨,果农的生产成本增加,用工成本高严重制约着水果产业的发展。水果产业更深一步的发展,亟需控制生产成本、减少人工采摘; 而在农业生产上广泛应用智能采摘机器人,对于节省成本。 提高生产率具有重要意义。在日、美、德等发达国家, 由于劳动力人口的短缺,农业智能机器人的使用已经十分广泛。我国作为水果生产大国,国家对采摘机械化的发展十分重视,采摘机器人对我国未来水果产业发展的作用十分重大。本文结合水果生产种植环境和实际采摘过程,基于机器视觉技术对水果采摘过程的试验研究,设计了智能水果采摘机器人样机,实现农业生产水果的智能采摘。采用双目视觉技术的智能水果采摘机器人设计如图1所示。

1结构设计

该机器人由机械结构部分和电气智能控制系统两部分构成。机械结构包括可移动载体、机械手臂、 夹持器和横向滑动装置; 电气智能控制系统主要包括工控计算机、伺服电机驱动、双CCD摄像机、传感器控制模块、数据采集卡、GPIB卡、运动控制卡、锂电池供电箱、GPIB卡和控制系统,如图2所示。

机械结构部分是智能采摘机器人的硬件平台,为机器人进行成熟果实识别与采摘奠定了坚实的基础, 其各个部件的作用各不相同,结合起来实现采摘机器人的自动控制。

可移动载体是智能机器人的基础,是其他控制采集系统的平台,智能采摘机器人的信号采集、电机驱动、传感器模块及智能控制系统都需要以可移动载体为载体。可移动载体采用履带行走方式,履带式移动载体与地面接触面积大,受力面积大,给地面的压力小,适合在松软的果林路面上行进。机器人行走装置根据智能控制系统的指令进行驱动,伺服电机采用直流供电。

机械手臂装置采用采用多关节机械手臂,有3个主自由度,可以做转动和移动的动作; 再加上夹持器的X、Y轴转动,可以使夹持器到达臂长范围的任何三维坐标点。该机器人的机械手臂装置韧性强、承受负载大、自身轻薄、灵活性高、到达指定位置误差小, 在整个采摘作业过程中,运行速度适中,惯性较小,平稳度非常高。

夹持器是采摘过程中作用最大的部件,是采摘机器人的手,水果的抓取收获依靠其完成,可以根据命令直接执行采摘任务。该设计中的夹持器最大工作角度为88°,采摘过程中夹紧力未270N,质量为0. 6kg, 闭合时间为0. 2s; 装置轻便,采摘角度大,耗时短,力度适中,不会给果实带来机械损伤。

2目标果实的识别分割和定位

采摘机器人进行采摘作业的前提是先识别成熟果实及确定其三维位置,对果实成熟率的识别和定位极大程度地影响了采摘的成功率。采摘过程中,机器人的夹持器采用手环抱状采摘的方式,夹持器的采摘位置主要依靠目标果实的三维位置确定。三维图像的视觉技术是采用两个摄像机从不同的角度去对目标果实拍摄成像,然后根据图像采集卡将信息传送至工控计算机,由其根据两者的角度差异实现目标果实的三维图像; 根据形成的三维图像,智能采摘机器人可知道目标果实的大小、三维形状等,进而实施准确采摘。双目视觉技术系统构造结构如图3所示。

机器视觉系统主要包括工控计算机、LED灯源、 专用光学镜头、CCD摄像机及数字图像处理模块等。 工作时,系统由双CCD摄像机将待测目标转化为数字图像的电信号,然后传送给PC机; PC机采用专用的图像处理软件,根据色彩和颜色,采用多种算法提取果实的特点; 最后,根据设定的量化值和其他条件进行准确判断。采摘机器人识别分割与定位的核心技术包括目标果实分割识别与成熟度的判断和目标果实空间坐标的计算两个方面。

2. 1目标果实分割识别及其成熟度的判断

对目标果实的正确采摘首先需要对目标果实进行正确的分割识别和判断其成熟度,这样采摘机器人才可以替代劳动人口进行采摘作业。识别的首要任务是进行果实图像样本的采集,需要依靠CCD摄像机拍摄完成,根据图片信息建立完整的果实样本; 其次是建立颜色模型,采用分割技术将果实与其周围生长环境分开,识别果实本体,并通过三原色RGB对比计算,判断目标果实的成熟度。三原色RGB颜色模型如图4所示。

本文以苹果采摘为例,介绍机器人对目标果实利用自动阈值分割方法进行切割识别。成熟的苹果一般呈红色,与周边环境最大的差别就是颜色。因此,利用三原色RGB可以成功将目标果实成功切割,而且图像处理模块可根据目标果实的颜色,对比PC机数据库中的成熟果实颜色样本判断出目标果实的成熟度。

2. 2目标果实空间坐标的计算

人在拿物体的过程中,手朝着目标物体移动,通过眼睛反馈手与物体的相对距离,然后不断调整,最终能准确地拿到目标物体。然而,采摘机器人没有人类的思维与反馈能力,需要建立传感器与控制系统, 使其模仿人类收获作业的方法。采摘过程中,通过双CCD摄像机获取整株果树的信息,然后传送给图像处理系统,利用三原色RGB颜色切割识别出目标果实, 并利用红外光源和果实的外形,通过两个摄像机同时获取的图像信息差别,准确定位目标果实相对于双CCD摄像机的空间坐标位置。目标果实定位工作流程如图5所示。

一个物体的空间坐标确立,实质是由视差值决定的。如图6所示,物体是通过双目视觉原理来定位的,在采摘过程中,根据摄像机的连线距离与物体和摄像机的角度确定目标果实的视觉深度。

获取目标果实的视觉深度后,然后采用RBF网络逼近算法,计算出质点空间坐标( X,Y,Z) ,方便控制系统进行收获作业。

3控制系统设计

3. 1硬件设计

智能水果采摘机器人控制系统硬件以工控计算机为核心,处理双目摄像图的高清照片,利用图像处理模块识别和定位目标果实,制定规划可移动载体的路径,并控制机械手臂进行采摘作业。智能水果采摘机器人控制结构如图7所示。

3. 2软件设计

控制系统的硬件部分是整个采摘机器人正常运作的平台,而硬件部分准确协调运行依靠软件部分的底层程序驱动。智能采摘机器人系统软件运行流程如图8所示。

4智能水果采摘机器人路径识别规划

智能采摘机器人在果园内作业时需要不断移动。 在移动过程中,需要有对障碍物检测和避开的能力, 要对机器人移动路径进行识别规划,使其在园林中作业时能成功避开障碍物前进,完成整个采摘收获任务。智能水果采摘机器人行进路径规划如图9所示。

在整个收获作业过程中,园林内的障碍物信息是时刻变化的,需要把全局轨迹规划和部分轨迹规划结合起来; 同时考虑全局已知障碍物和随机出现的障碍物,并随时根据红外传感器检测运动前方的障碍物, 运用路径规划算法,制定一条从开始采摘到结束完整的路径规划。采摘机器人以规划路径前进,并不断通过红外传感器接收运动前方其他的动态障碍物; 结合机器人的前进速度判断有碰撞的可能时,调用路径规划的算法再次进行路径规划,自动避开前进方向的障碍物,实现实时对前进道路进行轨道规划。

5试验与结果分析

对成熟果实的成功采摘,是衡量智能采摘机器人的性能优良的重要条件。本文在树龄为5年的苹果果园进行成熟果实的采摘,并对果园中遮挡严重的苹果做了一些整理,在机器人自主运行的情况下进行了采摘试验。智能采摘机器人采摘的试验结果如表1所示。

由表1可知: 无论是晴天、阴天还是夜晚,智能采摘机器人均可自动控制自身正常移动,能准确完成采摘作业并完成装箱工作,可移动载体、机械手臂及夹持器在智能控制系统的调节下能实现协调工作。由表1可知: 智能采摘机械人采摘目标果实的成功率在3种条件下均可以达到85% 以上,对单个目标果实的采摘时间能控制在10s以内,证明该智能机器人的采摘效果非常好,适合采摘作业过程中应用。

6结论

果树采摘机器人 篇7

关键词：轮式机器人,苹果采摘,机械臂,双目视觉,图像处理

0 引言

近年来,农业果蔬采摘机器人的研究受到了科研工作者的青睐[1,2,3,4,5,6,7]。采摘机器人的研制能够减轻果蔬采收的劳动强度,改善果蔬品质,实时自动采摘,将人类从繁重的劳动强度中解放出来。2014 年,国家主席习近平在两院院士讲话中指出: 希望把我国机器人水平提高上去,而且要尽可能多地占领市场。可见,未来采摘机器人将受到更加广泛的关注。

早在20 世纪60 年代,日本、荷兰等国家就已经开始研制果蔬自动采摘的技术与装备,采摘对象有黄瓜、草莓、蘑菇及番茄等。例如: 日本Kawamura等人研制了西红柿采摘机器人; 日本冈山大学研制了一种5 自由度极坐标机械手,适宜采摘果园棚架栽培模式下的成熟葡萄[2]。1996 年,荷兰农业环境工程研究所( IMAG) 设计了一种7 自由度多功能黄瓜采摘机器人[3]。1983 年,法国Cemagref研究所首次研制出苹果采摘机器人。国内果实采摘机器人研究起步较晚,部分高校及科研院所对各种果蔬采摘机器人相继开展了研究。南京农业大学的姬长英等人设计了一种智能水果采摘机器人[4]。苏州大学赵德安等人研制了一种苹果采摘机器人,可以快速跟踪识别目标果实[5]。中国农业大学李伟等人研制了黄瓜采摘机器人,运用近红外光谱特征提取技术,实现对黄瓜的准确识别和定位,采摘速度达到28. 6s,机械手抓取成功率高85%[6,7]。

目前,由于农业果蔬采摘机器人的作业环境极其复杂、光线多变、动态搜寻中的干扰物及茎叶干涉末端执行器运动等诸多问题,使得目前采摘机器人系统复杂、结构庞大笨重、能耗高、采摘效率低,限制了采摘机器人的产业化和智能化。为此,研制了一款苹果采摘轮式机器人,能够自主导航、自动检测成熟红苹果及准确定位并自动采摘。采摘过程中采用2R - G- B法处理图像,通过OTSU算法对彩色苹果图像进行动态阈值分割,能够快速精准地识别出成熟果实,配合轻巧灵活的机械手,为实现农业果实采摘自动化、智能化提供了宝贵经验。

1 硬件构成

苹果采摘轮式机器人硬件结构主要由轮式移动平台、4 自由度采摘机械臂、双目视觉系统、末端执行器和电气系统5 大模块组成。

1. 1 轮式移动平台

由于果园的地面环境极其复杂,为了适应崎岖的路面环境,该移动平台选用了四轮驱动的自动导航越野车,如图1 所示。采用48V锂电池供电,电能可供整体采摘作业之用,且锂电池可以进行适时充电。在越野车的前部连接有矩形的果实收集装置,双目摄像机安装在移动平台上方,实时获取图像,机械臂位于双目摄像机正前方。

1. 2 末端执行器

目前,已有的末端执行器一般采用适当力量折断果柄的方法,可能会导致采摘平台摇晃,采摘定位不准,或造成果实损伤。基于此问题,设计了轻巧实用的末端执行器。本末端执行器采用气动剪刀手,由采摘刀片、缓冲垫片、红外传感器及气泵控制系统组成,如图2 所示[8]。

首先在双目视觉系统的识别定位下,4 自由度的机械臂在三维空间中运动带动机械手到达指定的坐标位置后,在气泵的作用下采摘手打开; 末端执行器上的红外传感器实时地检测采摘手是否抓取到苹果;若抓取不成功,经过不断地调整采摘位置,根据机器人控制指令,将末端执行器送到准确的目标位置; 最终在气泵的作用下采摘手瞬间夹断苹果的果柄,实现对果实的采摘,最终将采摘的苹果回收到果篮中。

1. 3 机械臂

本设备采用4 自由度柔性机械臂,如图3 所示。机械臂总高度138cm,底座距离地面高度为80cm,采摘精度范围为2mm。该机械臂是一种典型的串联式机器人,机械臂由末端执行器及4 个关节组成[9]。机械手腰部、大臂、小臂的转动均采用交流伺服电机作为驱动源,选用行星齿轮减速器对电机进行减速,同时提高最终的输出扭矩。

从下至上顺序串联的传动机构、光电机构、旋转机构、气动剪刀手和红外传感器,底座通过螺栓与移动平台连接。旋转机构由能水平、垂直四维度自由旋转的关节转动轴、与关节转动轴连接的关节电机、光电机构和旋转臂组成,每个电机都有相应的转动范围,其活动范围由机械臂上装有的限位光电开关来限定[10]。机械臂的采摘半径为100cm,能够满足苹果采摘在空间上的要求。

1. 4 苹果识别定位系统

机器人识别和定位的准确率严重影响苹果采摘的成功率,因此苹果视觉定位系统的选取很重要。本设备采用双目视觉系统对苹果进行准确识别和定位,应用C + + 程序编写算法,采用2R - G - B法处理图像,通过OTSU算法对彩色苹果图像进行动态阈值分割,采集对不同成熟度苹果的视频信息( 见图4) ,对拍摄的照片进行处理和分析,判断苹果是否成熟并准确识别和定位[11,12,13,14]。

苹果的识别与定位过程为: 首先打开软件主控界面,机器人视觉系统初始化之后,通过采集卡传送至工控机处理端,摄像机获取实时图像,并传至工控机处理端; 对所获取的两幅图像的亮度做直方图均衡化处理,提高图像对比度; 对图像进行二值化处理,去除非红色区域,对二值图像做腐蚀处理,腐蚀掉红色细微小块,去除干扰,膨胀处理; 对大的红色区适度还原,还原后的图像如图4 所示; 最终系统主控界面会弹出ROBOTCTRL对话框显示苹果的实时三维坐标并将数值传送到机械手控制端。

1. 5 电气系统

越野车的所有供电由48V锂电池来提供,驱动小车运动的伺服电机为48V直流电源,双目视觉摄像头为直流12V,机器臂伺服电机需要24V直流电源。电机驱动电气系统由直流电机、编码器、减速器组成,如图5 所示。小车前方液晶显示模块用来显示锂电池电压、电流及电量。

2 控制系统与软件设计

2. 1 控制系统

本文设计的苹果采摘机器人控制系统硬件由便携式工控机、数据采集卡、图像采集卡、电机伺服控制和末端执行器等5 个部分组成[15]。选用多轴运动控制卡作为苹果采摘机器人控制系统硬件结构的核心组件。苹果采摘机器人控制器采用IPC - 610L工控机,可以实现机械臂运动学计算、图像处理、各关节编码器反馈信息和传感器信息的处理和显示、机械臂关节的交流伺服驱动器的控制,以及苹果采摘的路径规划等功能。其中,工控机集成了软件和控制界面,对整个系统进行控制; 图像采集系统、数据采集系统通过处理视觉传感器和外部传感器收集的信号,完成苹果采摘机器人外围环境信息的采集,转换成数字信号为工控机所用; 工控机输出控制信号,最终驱动交流伺服电机和末端执行器运动,完成对目标果实的定位和抓取。机器人控制系统的结构图如图6 所示。

2. 2 软件设计

苹果采摘机器人的软件设计主要考虑控制的开放性和稳定性。工控机的操作系统选用Windows XP,使用CAN总线和RS232 总线控制器实现人机之间的通信。由于控制系统的开放性,使得机器人的通用性大大提高,整个硬件和软件系统可以满足机器人对苹果的成熟度检测和采摘任务。

苹果采摘机器人的控制界面如图7 所示。在软件运行后,先点击启动CAN,然后打开串口。控制界面包含了机械臂各关节的调整、复位、车轮运动控制、自主采摘等一些必要的按钮。抓取果实演示按钮就是让机器人开始工作; 停止运动按钮是为了防止机器人发生误操作而造成损坏的情况; 实时显示按钮是双目摄像机拍到的实时的动态图片。

2. 3 控制主程序流程图

整个控制程序如图8 所示。首先获取苹果实时图像,对图像进行处理。通过位置传感器将苹果的空间坐标发送给机械臂控制系统,驱动机械臂采摘苹果,完成对苹果的采摘。果实采摘控制程序主要包括图像的预处理、果实识别与定位、实时反馈等。

3 试验结果与分析

3. 1 试验目的

实验室试验主要目的: 测试苹果采摘轮式机器人的轮式移动平台、4 自由度采摘机械臂、双目视觉、末端执行器能否高度协同完成智能化采摘; 测试在理想情况下成熟果实的采摘效率、识别正确率和采摘成功率。

3. 2 采摘效率

机器人自动导航到达最佳的采摘位置,发现采摘目标后,各个系统开始同步工作。机器人采摘过程如图9 所示。正常情况下,单个苹果采摘平均时间为11s,各个环节所用时间如表1 所示。其中,耗时较多的就是机械臂的运动,可以通过调节电机的速度改变这个环节的时间; 但考虑到机械臂运行的稳定性,最终设置机械臂运动的时间为5s。

3. 3 识别正确率和采摘成功率

试验过程中会有苹果定位失败的现象,如表2 所示。主要原因是光线问题、苹果相互遮挡及机械手抓取时扰动苹果等。试验整体识别成功率大于94. 00% ,采摘成功率达到91. 33% 。试验结果表明: 苹果采摘机器人在采摘过程中稳定性和准确性较高。

3. 4 试验结果分析

1) 在实验室模拟苹果的采摘试验,机器人对青苹果不予识别,对距离靠近机械臂的红苹果优先采摘。模拟采摘的结果表明: 机器人能够准确地识别和采摘苹果,单个苹果采摘用时为11s。

2) 机器人导航精确,各个模块之间高度协调同步。采用2R - G - B法处理图像,通过OTSU算法对彩色苹果图像进行动态阈值分割,使得采摘成功率达到91. 33% 。

3) 为了减少采摘周期、保证整个系统的高稳定性,将小车的行驶速度限为35mm /s、机械臂运动时间为5s、双目视觉识别时间为1s。

4 结论