芯片识别与定位（精选4篇）
芯片识别与定位 篇1
0引言
当今电子产品逐步向微型化、高速、高精度、全智能的方向发展。自动点胶技术作为电子产业不可分离的重要部分,不仅提高了产品封装的效率和速度,在很大程度上节省了成本,而且由于其高效自动化,在电子制造业中应用越来越广泛。
自动点胶贴片是利用先进的机器视觉技术,配合机器人等控制装置,高效快速完成点胶操作。目前,国内的全自动点胶机系统大部分来自国外,国内在这方面的研究还处于发展阶段。由于行业信息不全,各种设备鱼龙混杂,在点胶质量、节能、环保以及成本等方面不能满足人们的需求。本文对点胶的芯片引脚进行了图像识别和中心定位算法研究。
1系统方案设计
1.1自动点胶系统设计
自动点胶系统[1]由工控机、点胶机(机器人)、空气压缩机、视觉检测系统和光源等组成,系统框图如图1所示,系统实物如图2所示,工作原理如下:将需要点胶的芯片随机放在工作台,给予适合的光照强度,视觉检测系统通过检测芯片,识别定位出芯片的引脚中心位置[2],将数据反馈到主机中,再控制机器人进行点胶操作。
自动点胶系统中,视觉检测系统最为关键。由于芯片的高度集成化,芯片之间的间距越来越小,检测识别的难度越来越大,精度要求也越来越高[3],而且由于生产的自动化,速度也越来越快。因此,高速、高精度的视觉检测系统就显得越来越重要。
1.2视觉检测系统
视觉检测系统的功能模块包括图像采集与显示模块、图像处理模块以及检测结果输出部分。
(1)图像的采集与显示模块包括图像传感器以及A/D转换器等,主要功能是在合适的光源照度下进行图像的采集,并转换为需要的图片格式进行显示和存储。
(2)图像处理模块是整个系统的核心,它主要根据需要,提取目标图像的特征信息进行中心定位。
(3)图像输出部分是把图像处理后所存储的数字阵列图像变换为适于人们理解的形式。
本文基于VC2010和Opencv,对CCD摄像头采集的芯片图像进行图像处理和编程仿真,最终实现芯片引脚定位。
2芯片引脚定位与识别算法
2.1图像预处理
预处理主要是图像增强中的滤波过程,常用的图像滤波[4]有均值滤波、中值滤波和高斯滤波。
(1)均值滤波是典型的线性滤波算法,主要方法为邻域平均法,即用一片图像区域各个像素的均值来代替原图像中的各个像素值。均值滤波不能很好地保护图像细节,去噪的同时也破坏了图像的细节部分,从而使图像变得模糊,不能很好地去除噪声点。
(2)中值滤波[5]是一种典型的非线性滤波技术,基本思想是用像素点邻域灰度值的中值来代替该像素点的灰度值。该算法缺点是对所有像素点采用一致的处理,可能会改变真实像素点的值,引入误差,损坏图像的边缘和细节。
(3)高斯滤波是一种线性平滑滤波,广泛应用于图像处理的减噪过程。高斯滤波对整幅图像进行加权平均,每一个像素点的值,都由其本身和邻域内的其它像素值经过加权平均后得到。虽然高斯滤波的效率不是最高的,但是在保留信号的条件下,高斯滤波能够很好地减少噪声,对于抑制服从正态分布的噪声非常有效,故本文选择高斯滤波,其一维高斯函数为:
二维高斯函数为:
2.2特征匹配与分割
工作台上随机放置的PCB板不会非常整齐,滤波后,需要对芯片的位置进行定位。PCB板上芯片是一块类似正方形的区域,可先对其进行模版匹配[6]。首先让计算机学习芯片板块,提取出芯片的几何特征后,再根据机器视觉检测,准确找到需要处理的芯片位置。再将黑色图像与芯片的中心区域进行图像融合[7],得到融合后的图像。
以芯片中心为目标点,以芯片的引脚到芯片中心为正方形边长的1/2进行图像限定,采用双阈值方式进行图像分割,最终得到芯片的二值化引脚图像。
2.3中心定位算法及其改进
中心定位[8,9]是算法的关键部分,决定了图像处理后芯片引脚中心位置的精度和准确性。常见的中心定位算法有形心法、灰度重心法、霍夫变换法以及面积积分法等。
(1)高斯加权重心法。高斯加权滤波具有很好的去噪声能力,公式如下:
高斯加权滤波在计算中采用高斯滤波后的像素值进行计算,其中,F(x,y)表示输出的图像数据灰度值,g(x,y)表示高斯滤波系数,I(x,y)表示经过高斯滤波的图像数据。
(2)面积积分法。对于一个封闭的图形,根据微积分理论,其中心坐标可由下式得到:
式中,x和y代表单元点的坐标,ρ(x,y)代表单元点的密度,D代表整个区域。当ρ(x,y)=1时,区域的重心和形心重合,S表示区域的面积。为了能够用计算机计算区域的中心位置,必须对公式(4)离散化,离散化后 的公式为:
式中,R(θ)表示对应θi ~θi+1范围内的幅值变化。
面积积分法必须进行角度的计算,对于矩形的计算会有一定的误差,可能导致最终的坐标偏移;重心法计算平均值,可以有效计算出边缘的中心,但是若有边缘像素丢失,也会导致坐标发生偏移。
本文采用面积积分法先对图像进行第一次中心定位,较为准确地限定中心位置,将得到的数据保存,再使用重心法对图像进行第二次中心定位,得到重心坐标。对每一行和每一列进行均值计算,得到一组相对准确的X或Y坐标,然后再与原来的数据进行对比,若两者差小于1,则原来的数据是中心,若两者差大于1,则表示原来的数据发生了偏移,这时选取均值作为新的中心。
3实验结果与误差分析
3.1实验结果对比
实验采用的是大恒图像的DH-HV5051UC-M相机及16mm镜头,基于VC2010[10]和OpenCV[11]平台对采集到的图像进行滤波,滤波后的结果如图3所示。图3(a)为原始图像,图3(b)为均值滤波,在图像去噪时丢失了一些细节,图3(c)为中值滤波,没有很好保留边缘细节,图3(d)为高斯滤波,能够使图像变得更为平滑,并且能够有效去除高斯噪声,所以实验中选取高斯滤波方式。
滤波后,对图像进行了特征匹配,见图4(a),得到融合后的图像,见图4(b)。对图像进行融合后再进行双阈值分割,获得了二值化的芯片引脚图,见图4(c)。
根据重心法特点,获取每个闭合轮廓的重心位置,如图5(a)所示。本文提 出的算法 是基于重 心法的面 积改进,由于每个引脚的面积是相同的,所以每一排引脚的中心位置在X/Y轴上呈现直线排列。本文的算法能够更准确地找到中心的位置,如图5(b)所示。
3.2误差分析
采用传统的重心法和本文改进算法所得的中心坐标,在面积轮廓发生改变的情况下会有一些差别。采用X/Y坐标对比分析,发现重心法在传统的中心定位中会局限于像素的大小而导致中心发生偏移。由于在图像采集过程中可能会有部分边缘的效果不是很好,所以提取出的最终结果会略有偏差,如图6中X坐标对比的坐标偏移,Y的坐标变化几乎不变。本文提出的算法可以对其进行改进,能够校正2个发生偏移的X坐标,将准确率提高5%。
4结语
本文研究了智能点胶系统关键技术,建立了视觉检测软硬件系统,获得了清晰易处理的引脚图像。利用图像技术以及平面几何知识,实现了对芯片引脚中心位置的检测与定位。实验中采取的阈值根据需要确定,对于不同的需求采用不同的阈值进行分割,结果表明该视觉检测方法可以很好地检测出引脚位置和中心,应用前景广阔。
摘要：针对机器视觉的全自动智能点胶机系统,提出了一种新的中心定位算法。分别采用重心法和面积积分法对PCB板进行了芯片引脚识别与中心定位算法研究,再将两种算法平均后进行对比分析,实现了随机分布下的PCB板芯片引脚的准确定位。检测结果表明,该方法能够提高芯片引脚中心定位5%的准确率。
关键词：机器视觉,引脚识别,中心定位
芯片识别与定位 篇2
机器视觉技术在工业生产上的应用,提高了生产的柔性和自动化程度。在机械加工、装配等生产环节,基于视觉的零件识别定位因为要为机器人自动抓取提供图像信息而成为研究重点。目前基本应用Hausdorff距离[1]、傅里叶描述子[2]、神经网络[3]以及特征向量匹配识别算法[4]对零件图像进行处理,建立识别算法。但都不能很好解决传送带上的零件摆放存在遮挡、旋转等情况下的识别问题,本文以固高GRB-400型四自由度工业机器人、大恒DH-HV1302UC摄像机、PC机建立机器人零件识别定位与抓取系统。应用SIFT(Scale Invariant Feature Transform)算法获取图像的在移动、旋转、噪声、缩放、遮挡等情况下的稳定特征,用形态学方法获得工件特征点的二维信息,结合双目立体视觉标定技术得到零件的三维信息,应用MATLAB与VC++混合编程,将零件信息传输到固高GRB-400机器人控制程序,应用机器人逆运动学原理,求取GRB-400机器人各关节旋转角度,从而实现机器人对零件的抓取任务。
1 机器人视觉识别定位与抓取系统组成
机器人视觉识别定位与抓取系统由固高GRB-400型四自由度工业机器人、大恒DH-HV1302UC双目摄像机、PC机(安装图像采集卡、运动控制卡)组成,如图1所示。机器人控制系统协调整体工作。总体上,机器人视觉识别定位系统分为摄像机系统和机器人控制系统两部分。摄像机系统由摄像机和PC机(带图像采集卡)构成,负责视觉图像的采集和零件特征提取、匹配识别、摄像机标定、三维定位等机器视觉算法,各算法在MATLAB环境下完成。控制系统由计算机(带运动控制卡)和控制箱组成,用来控制机器人末端的实际位置,控制软件采用VC++编写,主要实现视觉系统与PC机、PC机与控制箱之间的通信以及对GRB-400机器人的控制等。应用MATLAB与VC++混合编程的方式解决以上两种运行环境中数据的相互协调问题。
2 机器视觉算法在摄像机系统中的实现
摄像机系统由摄像机和PC机(带图像采集卡)构成,负责视觉图像的采集和摄像机标定、零件特征提取、匹配识别、三维定位等工作。
2.1 基于透视模型的摄像机线性标定
基于透视模型的摄像机线性标定方法[5]是一种被广泛使用的简单实用的标定方法,按照基于透视模型的线性标定方法对双目立体视觉系统进行了标定。使用大恒双目摄像机拍摄模板图像,左、右摄像机拍摄到的标定板图像如图2所示。
按照透视模型线性标定方法,用各顶点的图像坐标系坐标与世界坐标系坐标分别对左、右摄像机进行标定,得到左右摄像机的投影矩阵。
2.2 基于SIFT算法的零件特征提取与匹配识别
SIFT算法提取特征点包括以下四个步骤[6]:1)对原始零件图像进行若干次高斯滤波建立多个尺度组。再对每个尺度组中的高斯图像进行差分,形成高斯差分尺度组(DoG尺度)图像。DoG尺度空间中间层(最底层和最顶层除外)的每个像素点需要跟同层的相邻8个像素点以及它上一层和下一层的各9个相邻像素点(共26个)进行比较,在尺度空间检测到局部极值。2)通过二阶Taylor展开式计算极值点的偏移量,获得亚像素定位精度,同时剔除差异小的点不稳定的边缘响应点,获得特征点,图3为DoG尺度空间中2层特征点图像。3)利用特征点邻域像素的梯度方向分布特性为每个特征点指定主方向。4)对任意一个特征点,在其所在的尺度空间,取以特征点为中心的16像素×16像素大小的邻域,再将此邻域均匀地分为4×4个子区域,对每个子区域计算梯度方向直方图(直方图均匀分为8个方向),一个特征点可以产生一个4×4×8共128维的数据,形成128维的SIFT特征向量即SIFT特征描述符。图像的SIFT特征提取结果如图4所示:其中,“+”表示特征点位置,“□”表示尺度大小,不同的颜色表示采样频率不同。
设定零件模板的SIFT特征集合作为模板,在实时获取的零件图中寻找对应的零件。在宽基线条件下,需要将左右摄像机拍摄到的图像同时作为模板,匹配生产线上零件的左右图像以避免形状相同而高低不同的两个零件被识别为一个零件的情况。零件识别检测系统大都符合窄基线的条件,相机位置不会有大的转动,相机焦距及其它内参数变化不大,因此应用单个相机获取的图像作为模板即可完成识别任务,同时节省系统时间。
基于SIFT特征的匹配根据Lowe提出的最邻近原则来实现。匹配过程采用特征向量的欧氏距离作为特征点和匹配点的相似性度量。为节省算法时间,满足系统的实时性要求,应用棋盘距离和街区距离的线性组合取代欧式距离,并采用动态减少计算距离过程中所涉及的特征数目来提高算法的效率,具体过程见文献[7]。图5是存储在相机内的零件模板图片与相机拍摄到的生产线上的实时图像(左相机图像)匹配结果。
2.3 零件的三维定位
将识别好的图像二值化,再将图像进行先开运算后闭运算的操作。去除图像边缘的毛刺点以及图像内部的黑点,贴标签的方法记住目标工件的连通域。将目标零件区域内所有像素坐标求和取平均值,所得结果即为零件质心在二维空间上的像素坐标值。
结合双目相机的标定结果,将零件的信息从二维转化到三维,进而得到零件的世界坐标。零件质心在左右相机的图像坐标系中投影点的图像坐标分别已知,两个相机的投影矩阵经标定获得,则可用最小二乘法求出零件质心的世界坐标系坐标。
3 机器人控制系统工作原理
机器人控制系统由计算机(带运动控制卡)和控制箱组成,用来控制机器人末端的实际位置。GRB-400机器人系统由机器人本体、供电电缆、控制柜、电磁手爪、反馈系统等组成。GRB-400型机器人具有4个自由度,3个旋转关节,1个直线关节。各个杆件的坐标系如图6所示,杆件参数如表1所示。
当求出机器人末端的坐标,根据机器人的逆运动学分析[8],可求得机器人全部关节角,以驱动关节上的电机,从而使手爪的姿态符合要求。
4 零件识别定位与抓取实验
在相机视野范围以内放置好待抓取零件,MATLAB环境中运行图像处理程序,通过对零件图像的特征点提取与匹配识别确定零件图像的质心位置。匹配出的对应点以文件形式传给MATLAB环境中的三维定位程序以便于获取各点的世界坐标,计算出各点的世界坐标后,通过MATLAB与VC++的混合编程,将图像信息传输给PC机的机器人控制程序,VC++控制程序对从MATLAB传递过来的结果进行处理,应用机器人逆运动学原理,求取GRB-400机器人各关节旋转角度。PC机向GRB-400机器人发出控制信息,由GRB-400机器人根据控制系统发出的控制信息抓取零件。
抓取结果见图7,图7(a)为机器人手臂在抓取运动过程中移动,图7(b)为机器人抓取放在桌子上的柱状零件。
5 结论
通过视觉系统完成了零件图像获取、应用SIFT算法提取出对移动、旋转、噪声、遮挡等多种图像变化都具有较强适应能力的图像特征,应用MATLAB与VC++混合编程,将零件信息传输到固高GRB-400机器人控制程序,从而实现机器人对零件的抓取任务。在工业生产中,基于双目立体视觉的零件识别定位与抓取系统有实际应用价值。
参考文献
[1]Huttenlocher D P,Klanderman G A,Rucklidge W J.Comparingimage using the Hausdorff distance[J].IEEE Trans actions on PAMI,1993,15(9):850-863.
[2]王涛,刘文印,崔有志.傅立叶描述子识别物体的形状[J].计算机研究与发展,2002,39(12):1714-1719.
[3]黄红艳,杨煜普.基于高阶神经网络的机械零件识别[J].上海交通大学学报,2006,35(8):1144-1147.
[4]王彦,傅卫平,袁国文,等.工件自动视觉定位识别系统研究[J].计算机工程与应用,2009,(08):80-83,96.
[5]刘传才.图像理解与计算机视觉[M].厦门:厦门大学出版社,2005:33-34.
[6]Lowe D G.Distinctive image features from scale-invariant key-points[J].International Journal of Computer Vision.2004,60(2):91-110.
[7]王晓华,傅卫平,梁元月.提高SIFT特征匹配效率的方法研究[J].机械科学与技术,2009,28(9):1252-1255.
芯片识别与定位 篇3
要实现基于计算机视觉的触摸屏就需要从背景图像中对手指进行快速、准确的识别和定位。但目前的图像处理算法大多存在着识别率较低、受光线影响大、多点触控不易实现等问题[3—6]。本课题设计出一种基于手指轮廓特征的目标识别与定位算法,该算法利用肤色信息和手指形状特征进行目标识别,利用所提出的9点快速定位算法对手指进行定位。该算法运算量较小,目标识别率和定位准确较高,且易于实现,能有效提高基于计算机视觉的人机交互系统的实时性,可在公共信息发布、互动媒体广告、教学、监控中心、展览展示等领域得到广泛应用。
1 多手指识别算法设计
在进行手指识别算法设计之前,先需要利用动态阈值分割法对灰度图像进行二值化分割,对分割完成的区域做连通标记,然后利用手指区域面积和长度特征滤去干扰区域,得到包含手指信息的二值目标图像(图1)。多手指识别算法的主要任务是根据手指的形状特征识别出指尖点所在的位置。
传统算法大多通过模板匹配进行手指特征识别[7—9],其虽然简单,但运算量很大,且随着图像和模板的增大,计算量会大幅增加,影响系统运行的实时性。为了提高指尖识别速度,本文利用指尖边缘呈圆弧状的形状特征,通过计算分割出的手形区域中曲率最大的点,来进行指尖识别。
1.1 手指轮廓提取
本文所采用的手指轮廓形状提取方法是在二值目标图像中,对某一区域边缘按某一固定的方向进行搜索,将区域边缘的坐标值按顺序进行记录,然后通过顺序读取的方式得到区域的轮廓特征。图2为经过提取处理后的手指轮廓图像。
1.2 手指轮廓曲率计算
由图2可以看出,在指尖处曲线产生了一个圆弧状的凸起,而其他部位的曲线较为平滑;因此,可将该特征作为指尖点的目标特征进行手指特征识别。通过平面曲线曲率的计算能较好的描述出该圆弧状的凸起。
平面曲线的曲率指的是针对曲线上某个点的切线方向角对弧长的转动率,表明的是曲线偏离直线的程度。曲率越大,表示曲线的弯曲程度越大[10]。在图2中,取相邻的3点计算斜率的变化率,通过斜率的变化表示曲率。图像中某个像素点的横纵坐标值分别用X、Y表示。
由式(1)可知,在斜率变化越大的地方Δk值越大,手指轮廓在指尖处的斜率发生了突变,Δk的值在连续函数中属于局部极大值,曲率值较大。而在轮廓曲线较为平滑的地方,相邻点的斜率基本没有发生变化,Δk的值趋近为0。因此按顺序计算出手指轮廓上每点的曲率,就可以利用曲率来识别指尖点。
1.3 指尖识别
从手指轮廓曲率的计算可以看出,在轮廓形状较为平滑的时候,曲率近似为0,指尖处曲率较大,指缝处曲率为负极大值。在波峰处的局部极大值基本处于0.5~0.8之间。本课题取0.5为阈值,将曲率大于0.5的点标记出来,可以得到指尖处圆弧状的连续曲线,取中点作为标记点,即指尖点。图3和图4分别给出了无干扰和有异物干扰(光照、杂物)情况下的指尖识别效果。
2 手指定位算法设计
根据手指识别算法可以得到指尖在摄像头坐标下的坐标,那么如何将摄像头坐标系中的坐标值转换到显示屏幕坐标系中的坐标是手指定位算法的主要任务。为了减少定位算法的计算量,提高系统的运算速度,本文在传统标定技术的基础上,提出了9点快速定位算法。
2.1 摄像机与屏幕坐标系的转换
采用的摄像机分辨率为640×480,需将其转化成分辨率为1 024×768的投影屏幕坐标,才能在投影屏幕上进行互动。
图5为理想情况下摄像头坐标系和屏幕坐标系之间的坐标映射关系。u-v坐标系表示摄像机坐标系,每一个像素的坐标(u,v)代表该像素在640×480图像中所处的行和列。x-y坐标系表示屏幕坐标系。
假设在像素坐标系中各个像素之间在x轴方向和在y轴方向上的距离分别是dx和dy,那么由图5可得图像中的任意点在摄像头坐标系u-v和屏幕坐标系x-y之间存在着如下转换关系。
其矩阵表示形式为
则
通过上述坐标转换公式可以进行摄像头坐标系和屏幕坐标系间的转换。
2.2 9点快速定位算法设计
在进行定位算法设计之前,需先对图像进行预标定,即得到某些点在两种坐标系下的坐标。通过这些已知的标定点简化两种坐标间的转换。本课题选择如图6所示的A、B、C、D、E、F、G这9点作为预标定点。
图7为从摄像机中采集的包含9个预标定点的图像,可以看出,图像产生了畸变,且在x轴方向偏差较大,y轴方向偏差较小,预标定点的位置由矩形排列畸变成了梯形排列。因此,在图像定位算法的设计过程中,必须对因图像畸变引起的x轴方向的偏差进行校正,否则会对定位精度产生影响。
在图7中,9个预标定点将屏幕分成了①、②、③、④四个区域。假设摄像机坐标系中某点M(x,y)处于区域①中,M0(x0,y0)为该点对应的屏幕坐标。已知边界处A、B、D、E四点的屏幕坐标(Xa,Ya),(Xb,Yb),(Xd,Yd),(Xe,Ye)和摄像机坐标(Ua,Va),(Ub,Vb),(Ud,Vd),(Ue,Ve),根据几何关系可得:
计算可得,M(x,y)经过坐标转换后的屏幕坐标M0(x0,y0)为
同理,在区域②中的定位公式为
在区域③中的定位公式为
在区域④中的定位公式为
由公式(6)~式(9)可以看出,在9个标定点预设好的情况下,对每个目标点只需进行8次减法运算和2次乘法运算就可计算出其在屏幕坐标系中的坐标,完成目标点的定位。与传统的定位算法相比,这种9点定位算法在确保识别精度的前提下,简化了计算量,提高了运算速度。
3 算法性能测试
为了验证上述目标识别与定位算法能否满足屏幕交互系统的整体要求,搭建了由CCD摄像头(分辨率640×480)、DH—VT120图像采集卡、投影机、背投屏幕等设备组成实物测试系统(图8),对该算法的运行实时性、识别准确率、定位精度等性能进行了测试。
该系统的工作原理如图9所示,桌面图像由摄像头经图像采集卡读入计算机,通过软件编写的算法处理,完成手指识别和指尖定位,最后经投影机显示人机互动效果。
3.1 实时性测试
本课题主要测试了不同识别点数量、有无环境干扰等因素对系统运行实时性的影响。图10~图13为识别效果图,表1给出了实时性测试结果。
从表1可以看出,在有/无干扰、单/多点识别等多种情况下,系统运行时间均小于40 ms,能保证每秒24帧流畅画面的识别速率。
3.2 目标识别正确率测试
在该系统中影响目标识别正确率的因素主要有:指尖是否充分接触桌面、有无手指状异物干扰(如圆珠笔)、有无强光源干扰等因素。目标识别正确率测试效果如图14~图17所示。表2给出了不同情况下,目标识别正确率的统计结果。
从表2可以看出,要确保系统识别的正确率,需要指尖与桌面充分接触,桌面上不能有手指状干扰物存在,并对强干扰光源等进行遮挡。
3.3 定位精度测试
经测试,桌面中心处定位误差较小,约为3 mm。桌面边缘处定位误差稍大,约为8 mm。基本可满足屏幕交互系统对定位精度的要求。
4 结论
通过对基于手指轮廓特征的目标识别与定位算法的研究,建立了一套基于计算机视觉的桌面互动系统。该算法利用肤色信息和手指轮廓特征能正确识别出手指轮廓,利用提出的9点快速定位算法实现了对进行目标的准确定位。该算法的运行时间不超过40 ms,能满足系统对实时性的要求;在无手指状干扰物存在的情况下,目标识别的准确率可达95%以上;定位精度误差小于8 mm,可满足系统对定位精度的要求。这种基于手指轮廓特征的目标识别与定位算法为增强人机交互系统的和谐性提供了一种新的技术途径。
摘要：为了提高从背景图像中提取目标的速度和精度,设计了一种基于手指轮廓特征的目标识别与定位算法;该算法利用肤色信息和手指轮廓特征进行目标识别,利用提出的9点快速定位算法进行目标定位。仿真结果表明,该算法能正确识别出手指的特征;并对其进行快速定位。在实物系统上对算法的实时性、识别准确率、定位精度等性能进行了测试,测试结果表明,算法运行时间不超过40 ms,能保证系统对实时性的要求;在无手指状干扰物存在的情况下,目标识别的准确率可达95%以上;定位精度误差小于8 mm,可满足系统对定位精度的要求。这种基于手指轮廓特征的目标识别与定位算法为增强人机交互系统的和谐性提供了一种新的技术途径。
关键词：人机交互,手指轮廓特征,目标识别,快速定位
参考文献
[1]吕明,吕延.触摸屏的技术现状、发展趋势及市场前景.机床电器,2012;39(3):1—7LüMing,LüYan.Technical status,development trend and market prospect of touch screen.Machine Tool Electrical Equipment,2012;39 (3):1—7
[2] 陈康才,李春茂.电阻式触摸屏两点触摸原理.科学技术与工程,2012;12(18):4525—4529Chen Kangcai,Li Chunmao.Two touch principle of resistance type touch screen.Science and Technology and Engineering,2012;12(18):4525—4529
[3] Kanhangad V,Kumar A,Zhang D.A unified framework for contactless hand verification.Information Forensics and Security,2011;6(3):1014—1027
[4] Guo J M,Hsia C H,Liu Y F,et al.Contact-free Hand geometrybased identification system.Expert Systems with Applications,2012;39 (14):11728—11736
[5] 魏巍.基于DSP的手形图像采集及处理系统.长春:吉林大学自动化学院控制工程系,2013Wei Wei.A system of hand image acquisition and processing based on DSP.Changchun:Department of Control Engineering,School of Automation,Jilin University,2013
[6] 荆澜涛.非理想条件下手形识别方法的研究.沈阳:沈阳工业大学通信学院通信系,2014Jing Lantao.Research on shape recognition method under non ideal conditions.Shenyang:Department of Communication,Shenyang University of Technology,2014
[7] Zeng P Y,Zhu B Q,Liu D A,et al.Application of image processing based on multiple filters in an alignment system.High Power Laser Science and Engineering,2014;34(3):1—6
[8] 冈萨雷斯,伍兹,艾丁斯.数字图像处理的MATLAB实现(第2版).北京:清华大学出版社,2013:301—307Gonzalez R C,Woods R E,Eddins S L.MATLAB implementation of digital image processing(second edition).Beijing:Tsinghua University Press,2013:301—307
[9] 帕科尔,景丽.图像处理与计算机视觉算法及应用(第2版).北京:清华大学出版社,2014:104—110Parker,Jing Li.Image processing and computer vision algorithms and applications(second edition).Beijing:Tsinghua University Press,2014:104—110
芯片识别与定位 篇4
田间除草作业有用手、锄头、、中耕机等除草的物理方法和用除草剂的化学方法,但与沿着作物行进行的行间除草不同,株间除草必须避开作物进行作业,传统的机械化除草方法很难应对。为了可自动除去分布在作物株间的杂草,本文开展了棉田杂草实时识别与定位的研究。国内外对除草机器人的视觉系统从颜色特征、纹理特征、形状特征和多光谱特征进行了广泛的研究。2009年,毛文华等利用植株的颜色特征来识别田间杂草[1],实现杂草的快速简单的识别,实时性和可靠性有待进一步提高;2005年,王一鸣等研究了利用色度法识别杂草和土壤背景物[2],但没有实现杂草图像的自动分割;2006年,Jo-ao Camargo Neto等利用椭圆傅立叶和判别式分析识别大豆田间杂草[3],但是这些形状特征的提取都是以叶片轮廓为基础的,在农业生产中植株叶片的相互遮盖改变了叶片轮廓,直接影响到形状特征参数的提取;2002年,R.D.Lamm等通过腐蚀膨胀操作识别棉田禾本科杂草取得较好结果,但对于叶片相互覆盖严重的情况并不适用[4],另外将相互遮盖的叶片区分开以现阶段图像处理技术来处理结果误差较大。
本文以江苏本地常见的狗尾草、马唐和铁苋菜等杂草为研究对象,基于虚拟仪器技术,结合色度和骨架的识别特征来区分棉苗和杂草,利用Labview软件平台开发出基于机器视觉的棉田杂草识别与定位及自动除草系统。该系统不仅实现了棉田杂草的精准、自动、快速识别,而且具有较强的田间适应度。
1 试验平台与研究方法
试验系统由硬件和软件两部分组成。硬件系统包括IEEE1394 接口的DFK31BF03型摄像机和 CPU 为Pentium(R) 3.06GHz 的工控机;软件开发环境为Labview及其相应软件。为了减小标定的准确性干扰,选取摄像机向下垂直地面为 90°左右。采集时间10:00-16:00,每幅图像为24位真彩色。
首先,将从彩色摄像机获得的RGB图像通过HIS颜色变换,提取出不依赖于亮度的色度(H)以及饱和度(S)信息。由RGB 模型到HIS 模型的转换公式,将图像和各像素的RGB分量值转换到HIS空间,以这些颜色信息为主要的识别依据,用色度(H)法完成图像分割和图像识别等工作。
2 杂草识别算法
棉苗和杂草在形态特征上存在差异。棉苗叶片面积大,杂草叶片细长,面积小,因此利用这种形态特征差异从植物中分离出棉苗和杂草。本文中使用的形态特征都是在处理后的二值化图像基础上,进一步提取形态特征参数的过程。采用胡波、张玉珠所研究的整株形态学特征参数T/A和S/A作为模式识别的输入特征向量,实现棉花和杂草的识别[5,6]。形态学方法主要是腐蚀和膨胀,提取骨架的运算是以这两种操作为基础的。通过分割得到棉花植株和马唐杂草的二值图像,然后分别取骨架,如图1所示。
显然,相同的叶片面积内,棉花植株的骨架长度远远超过马唐植株,因此将骨架长度和叶片面积比作为识别特征来描述这一差异。
由于棉花和杂草互相交错,两者的区域有可能连在一起,所以需要将各个区域分开,使用腐蚀操作可以达到这一目的,腐蚀后得到的图像棉花和杂草区域大致分开。通过提取骨架,然后通过采用骨架长度和区域面积比判断每个区域是棉花,还是杂草,由此得到相应的步骤如下:
STEP1:利用 Otsu 法进行自适应阈值分割,分割背景,得到二值图像。
STEP2:面积法滤波处理。由于背景中存在相似的干扰物,其在二值图像中形成离散小区域。根据试验发现,该小区域面积一般小于 20 像素。因此只要去除面积小于 20 像素的对象,就可以消除非植物区域的干扰点块,从而起到二值图像的滤波效果。
STEP3:腐蚀二值图像,分离作物和杂草对应的区域。为了便于利用整株棉苗坐标在绿色二值图像中进行位置信息融合,再膨胀二值图像,提取各个区域的坐标、面积和骨架。
STEP4:计算骨架长度和面积的比值,并据此判断各个区域是杂草还是棉花。然后,用Labview编程实现杂草和株苗的位置信息的获取,用两个数组分别表示杂草和株苗的坐标。
3 图像处理与分析
3.1 土壤背景的分割
图像分割技术是棉田杂草识别中图像处理之基本技术,也是株间除草机器人视觉系统的关键技术之一。系统采用了色度法灰度化的阈值分割方法,首先通过Labview软件中Color Plane Extraction来提取H分量,接下来对H分量杂草图像进行二值化处理。
在HIS空间下,基于色度(H)完成杂草图像分割和图像识别,其关键问题在于阈值的选择。常用的阈值选择方法有直方图法和自动阈值法(如Otsu法)。分别统计采集一幅杂草图像的H分量灰度,选用动态阈值法,以Otsu自动取阈值法对色度H进行自适应阈值分割将植物与背景分离。利用NI IMQAQ Vision中的Auto Threshold模块自动取阈值来分割图像,其结果如图2所示。
3.2 图像去噪
噪声对以后的图像分析有很大的影响,因此需要对图像进行另外的处理,以便得到想要的目标物体,对图像进行了一系列的形态运算。形态运算主要包括腐蚀、膨胀、开启和闭合等。首先,通过面积滤波法把小于20像素的噪声除去(如图3所示);然后,利用NI IMQAQ Vision工具包里提供的一系列形态运算函数对图像进行处理;最后,通过用Vision Assistant转换成labview程序(如图4所示)。这种方式不需要开发者从底层编写各种算法,从而大大缩短了程序开发的周期,其处理结果如图5所示。从图5中可以看到,各种噪声都被很好地剔除去了。
3.3 图像特征提取与定位分析
图像经过一系列的处理后,就要特征提取和分析,从而获得所需的特征量。系统研究的最终目的是为后期的除草机器人控制部分提供控制信号量, 所以需要分析植株的像素中心坐标值和面积。为了获取棉苗和杂草区域的质心和面积,用上面介绍的杂草识别算法对所采集的单幅图像进行处理后,分别得到棉苗和杂草区域的二值图像。根据质心公式,利用各个绿色杂草区域的外边缘坐标计算得到其质心坐标;同时,利用图像面积函数计算各个棉苗和杂草区域的面积像素。
对于一幅图像,从图像坐标转换成实际空间坐标需要对图像进行坐标系标定。利用Set Simple Calibration 函数进行坐标系变换,利用Particle Analysis 函数可以得到其在图像中的像素坐标值以及面积等物理参数,求出植株的实际中心坐标值,如表1所示。
3.4 试验结果及讨论
采集设备获得的图像为 1024×768 的彩色图像,BMP格式,共采集 60 张图像,并选择其中的 10 张图像作为验证算法的有效性。验证指标:分割精度定义为图像分割后目标物的像素面积与图像分割前目标物的像素面积之比;识别精度定义为识别后目标物的像素面积与识别前目标物的像素面积之比[7,8]。因此,可通过分割精度和识别精度两个指标综合考虑棉苗的识别率,来判定识别算法的有效性,即棉苗的识别率=(棉苗的分割精度/棉苗的识别精度)×100%。
将作物的分割精度乘以其识别精度,就得到相应的识别率。表2是对其中10 幅图像分割后进行识别实验的结果,用于衡量识别算法的效果。结果表明,杂草识别中棉苗的平均识别率均为85.32%,最高达到91.59%。分析其误差主要包括两个方面:一是部分像素点区域中既包括作物又包括杂草,腐蚀操作并没有将二者对应的区域彻底分开;二是在分割中部分植被区域识别为土壤引起。将分割误差累积到图像识别后,作物和杂草的平均识别率相应降低;另外,为分离棉苗和杂草区域进行腐蚀操作也有一定的影响。如果使用分割精度较高的分割结果进行识别,由骨架长度与面积比得到的识别率基本上可以满足开发实用设备的需要。
4 结论
本文利用机器视觉技术,实现了在labview环境下棉田株间杂草识别与定位,并将所识别和确定的杂草及杂草位置信息传输到机械除草装置的控制单元,得到以下结论:
1) 将作物图像从RGB模型转换到HSI模型, 提取色度图像并用最大类间方差法二值化后, 利用形态学特征对图像进行腐蚀膨胀,得到杂草识别方法,并验证了该方法的正确性。
2) 在棉苗植株信息完整,棉苗与杂草叶片交叠程度较轻的情况下,该方法的杂草和棉苗的正确识别率较高。
3) 对于整个识别过程,平均处理速度为每幅196ms,能满足田间杂草精准控制机械手实时除草作业的要求。
摘要：从实时性和多特征的综合角度出发,基于虚拟仪器技术的软硬件平台,提出了一种颜色和形态特征相结合的棉田杂草实时识别与定位的方法。在HIS颜色模型中,以色度H为特征量,用Otsu算法自动取阈值法将植物与背景分离;利用植株的形态特征,结合形态学腐蚀、膨胀方法及骨架长度与面积比得到的识别方法,将棉苗和杂草分离。同时,通过对图像的特征分析和坐标变换,完成准确定位,得到中心坐标等物理参数,从而为后续株间除草机器人控制系统的研究提供重要依据。系统采用Labview和NI-Vision软件平台搭建,多幅杂草图像研究结果表明:该系统杂草的正确识别率平均为85.32%,处理1幅1024*768的图像平均只需196ms,识别速度能满足实时除草要求。
关键词：杂草识别,Labview,特征提取,定位
参考文献
[1]毛文华,王光军,赵博,等.基于株心颜色的玉米田间杂草识别方法[J].农业工程学报,2009,25(2):161-164.
[2]相阿荣,王一鸣.利用色度法识别杂草和土壤背景物[J].中国农业大学学报,2000,5(4):98-100.
[3]Jo-ao Camargo Neto.Plant species identification usingElliptic Fourier leaf shape analysis[J].Computers andElectronics in Agriculture,2006,50(2):121-34.
[4]R D Lamm,D C Slaughter,D K Giles.Precision weed con-trol system for cotton[J].Transaction of the ASAE,2002,45(1):231-238.
[5]胡波.杂草识别中图像特征的优化及识别算法的研究[D].镇江:江苏大学,2007.
[6]张玉珠.基于多光谱图像机器视觉的棉田杂草识别研究[D].镇江:江苏大学,2008.
[7]毛罕平,胡波,张艳诚,等.杂草识别中颜色特征和阈值分割算法的优化[J].农业工程学报,2007,23(9):154-158.