视觉传感器

2024-06-28

视觉传感器（通用7篇）

视觉传感器篇1

1月24日，康耐视公司宣布其获奖的视觉传感器产品系列中又新增Checker R 4G系列。康耐视的新型Checker4G视觉传感器的设置同样强大且简单。Checker的重要特征有，可通过以太网络进行远程设置和监控、通过以太网/IP和PRO-FINET进行PLC通信以及将每次检测的图像保存到FTP服务器上……所有这些的费用还不到1000美元。

使用Checker 4G时，用户可将该传感器配置为存在传感器或测量传感器以对生产过程进行检测和防止出现错误。存在传感器用于验证相应特征是否存在。而测量传感器用于验证相应特征是否为具有适当的高度、宽度和/或直径。无论使用何种模式，每台Checker传感器能够“检查”的元件特征数都不会受限制。利用具有专利的元件检测技术，Checker传感器还能以每分钟超过6000个元件的速度检测生产线上不同位置的元件。克服元件的不精确定位并提供一致、准确的合格/不合格检测结果，这是其他任何传感器、视觉传感器或视觉系统无法做到的。

“有了新型Checker 4G系列，客户可通过以太网实现网络视觉传感器的许多优势，包括在整个生产过程中与工厂自动化设备通信、远程监控和管理视觉传感器操作。”视觉传感器产品部门的经理Pascal Dorster介绍说。

Checker 4G系列有高速和高分辨率两种型号，其主要特征为：在工业I P 6 7外壳内集成照明、光学和I/O元件;远程设置并通过计算机显示;元件检测专利技术;检查多个元件特征是否存在或其尺寸是否正确;以太网/IP工业协议及RSLogix5000 TM AOP;PROFINET工业协议;保存图像到FTP服务器;用于定制输出的逻辑方式;多达32个任务变更;多达4个离散输出;基于编码器的元件跟踪;彩色滤镜。

新型Checker 4G系列是当前Checker 3G系列的补充，Checker 3G具有简易的USB连接方式且通过Sensor View R Teach Pendant无需计算机设置。对于所有Checker型号产品，即使是第一次使用的用户都可以在几分钟内构建一个防错解决方案。Checker 4G现已上市。

全球目前共安装有50多万个康耐视系统，每天能够检验数十亿件产品，帮助各个行业部门的生产商分离缺陷工件，优化生产流程和实施全面的跟踪计划。康耐视总部位于马萨诸塞州的Natick，办事处遍布美洲、日本、欧洲和亚洲地区。

视觉传感器篇2

这个小东西是由Charmed实验室联合卡内基梅隆大学推出的。Pixy强大的处理器上搭载着图像传感器, 会选择性的处理有用的信息, 因为它采用以颜色为中心的办法———使该产品只是将特定颜色的物体的视觉数据发送给相互配合的微型控制器, 而不是输出所有视觉数据以进行图像处理。所以Arduin板或其他微控制器很容易跟它交流, 并滕出许多CPU来搞别的事情。

最有趣的特点是

可以教Pixy观察感兴趣的东西, 把一个黄色小球放在它前面, 按一下按钮, 它就建立自己的数据模型, 然后开始跟踪类似的东西。这种视觉传感器可以一次性追踪7种不同的颜色签名, 如果使用颜色组合的办法, 该数字可以进一步扩大。该系统可以一次性标绘和报道数百个物体的实时地理位置, 并且以50Hz的速度完成。

Pixy每五十分之一秒 (20毫秒) 处理一整幅640×400的图片。这意味着每20毫秒就能够获得一次有关所侦查物体位置的全面更新。按照这个速度, 追踪下落/反弹球的路径也是可能的。

实际应用中, 比如一个简单的智能家居产品需要计算排水, 它又不需要太强大的计算能力, 也可以用Pixy检查前面特定色彩的东西, 命令它每一次看到这种颜色就跟踪它或者对它捕捉特定的数据。也可以使用颜色速记来让Pixy输出更合理的数据进行处理。

视觉传感器篇3

关键词：标定,双目视觉,交比不变性,本质矩阵,径向约束

1 引言

移动机器人视觉导航的关键技术之一是通过二维图像提取出物体的三维信息,实现对场景环境的快速识别。如何获得物体的精确的三维信息一直是机器视觉研究工作的重点。而立体视觉传感器的标定是必不可少的步骤。许多学者提出了摄像机标定的多种方法,并得到了广泛的应用。传统的方法是通过观察摄像机前方的标定物,确立匹配像素对,求解相关的方程组[1,2,3,4]。然而这类方法需要精确得到控制点的3维坐标,不得不做许多重复的工作,并且这些繁重的操作必须在实验室内精确地完成。

近年来,一些学者提出了各种简化的立体摄像机自标定方法[5,6,7]。这些方法的特点是不需要控制点的绝对坐标,而通过几何约束关系来求解摄像机的参数。而有的方法需要加入额外的摄像机运动,或者标定精度不足。

双目立体标定不仅需要确定内部参数,还要确定摄像机之间的相对位置关系。传统的方法先分别标定左右摄像机的内部参数和外部参数,再计算两摄像机的相对位置和方向。但该方法外参数只能在实验室标定,只适用于静态的场合。这对移动机器人等动态环境来说是不适合的[8]。

本文提出一种移动机器人双目传感器标定技术。首先利用透视投影的交比不变性和透镜成像的径向排列约束对单个摄像机的内参数进行精确标定;然后假定摄像机的内部参数不变,再利用本质矩阵的性质,对安装到现场的立体系统中两台摄像机的相对位置关系进行标定。

该方法不仅具有与传统方法相当的精度,同时双目标定不限于实验室环境,在标定外参数时不需知道标定物的空间坐标,仅需要某两控制点之间的相对距离即可,适合于机器人的“移动”特点,提高了标定方法的灵活性。对于智能车辆(即移动机器人)导航的双目立体系统,可以借助环境中的固定标识来标定双目外参数。

2 成像模型

对于单摄像机模型,如图1所示,设某一场景点在世界坐标系的坐标为(xw,yw,zw),在摄像机坐标系的坐标为(xc,yc,zc)。摄像机坐标系的原点定义在摄像机的光心,其 z 轴为摄像机的光轴,x 轴和 y 轴与图像 X 轴和 Y 轴平行。图像平面和光心的距离为有效焦距 f 。

从场景点在世界坐标系的坐标(xw,yw,zw)变换到该点在计算机图像坐标系的投影点的坐标(u,v)的过程可分为如下3步[2]:

(1) 场景点从世界坐标系到摄像机坐标系的变换:

$[\begin{array}{l} x_{c} \\ y_{c} \\ z_{c} \end{array}] = R [\begin{array}{l} x_{w} \\ y_{w} \\ z_{w} \end{array}] + t (1)$

其中,旋转矩阵R及平移向量t为摄像机的外部参数,表示如下:

$R = [\begin{matrix} r_{11} & r_{12} & r_{13} \\ r_{21} & r_{22} & r_{23} \\ r_{31} & r_{32} & r_{33} \end{matrix}] ‚ t = [\begin{array}{l} t_{1} \\ t_{2} \\ t_{3} \end{array}]$

(2) 摄像机坐标系到成像平面坐标系的理想变换:

$X = f x_{c} / z_{c}; Y = f y_{c} / z_{c} (2)$

其中f为摄像机的焦距。

(3) 从成像平面坐标系到计算机图像坐标系的变换:

$u = X / d_{x} + u_{0}; v = Y / d_{y} + v_{0} (3)$

其中(u0,v0)是计算机图像中心的像素坐标;dx,dy分别是X和Y方向相邻两像素间的距离(mm/pixel),可以通过预标定获得。

由式(1)～(3)可得:

$z_{c} [\begin{array}{l} u \\ v \\ 1 \end{array}] = A (R [\begin{array}{l} x_{w} \\ y_{w} \\ z_{w} \end{array}] + t) (4)$

其中,投影矩阵

$A = [\begin{matrix} α & 0 & u_{0} \\ 0 & β & v_{0} \\ 0 & 0 & 1 \end{matrix}]$

,有效焦距α=f/dx,β=f/dy。

双目模型的每个摄像机模型都符合上述表述。

3 摄像机内参数标定

对单摄像机模型,先标定主点及部分外参数,再确定镜头的畸变系数,对图像进行畸变校正,最后标定摄像机的有效焦距。

3.1 标定摄像机主点、R、t1及t2

单摄像机模型中,设标定模板位于世界坐标系中的zw=0的平面上,由式(1)可以得到: $\frac{x_{c}}{y_{c}} = \frac{r_{11} x_{w} + r_{12} y_{w} + t_{1}}{r_{21} x_{w} + r_{22} y_{w} + t_{2}} (5)$ 由式(2)和(3)可得到: $\frac{X}{Y} = \frac{(u - u_{0}) d_{x}}{(v - v_{0}) d_{y}} (6)$ 考虑摄像机成像的径向排列约束条件,如图1所示,向量 $\vec{Ο Ρ_{u}}$ (或 $\vec{Ο Ρ_{d}})$ 与向量 $\vec{p_{o c} p}$ 的方向相同,即:xc/yc=X/Y (7) 将式(5),(6)代入式(7):

$[\begin{array}{l} x_{w} u \\ y_{w} u \\ x_{w} v \\ y_{w} v \\ x_{w} \\ y_{w} \\ 1 \\ v \\ 1 \end{array}]^{Τ} \times [\begin{matrix} r_{21} / t_{2} \\ r_{22} / t_{2} \\ - d_{y} \cdot r_{11} / d_{x} \cdot t_{2} \\ - d_{y} \cdot r_{12} / d_{x} \cdot t_{2} \\ (v_{0} \cdot d_{y} \cdot r_{11} - u_{0} \cdot d_{x} \cdot r_{21}) / d_{x} \cdot t_{2} \\ (v_{0} \cdot d_{y} \cdot r_{12} - u_{0} \cdot d_{x} \cdot r_{22}) / d_{x} \cdot t_{2} \\ - u_{0} \\ - d_{y} \cdot t_{1} / d_{x} \cdot t_{2} \\ v_{0} \cdot d_{y} \cdot t_{1} / d_{x} \cdot t_{2} \end{matrix}]$

=-u (8) 由式(8)可知,选不少于9个控制点即可求出u0,v0,r21/t2,r22/t2,r11/t2,r12/t2和t1/t2,一般采用最小二乘法来解该多控制点的方程组。进一步可以根据旋转矩阵的单位正交性质来求解出R及t1和t2[9]。

3.2 镜头畸变系数的标定

首先,如图2所示,空间共线4点A(xwA,ywA,zwA),B(xwB,ywB,zwB),C(xwC,ywC,zwC)和D(xwD,

ywD,zwD)的一个交比J如下:

${\begin{cases} \frac{(x_{w A} - x_{w C}) (x_{w B} - x_{w D})}{(x_{w B} - x_{w C}) (x_{w A} - x_{w D})} = J \\ \frac{(y_{w A} - y_{w C}) (y_{w B} - y_{w D})}{(y_{w B} - y_{w C}) (y_{w A} - y_{w D})} = J \\ \frac{(z_{w A} - z_{w C}) (z_{w B} - z_{w D})}{(z_{w B} - z_{w C}) (z_{w A} - z_{w D})} = J \end{cases} (9)$

其次,根据透视投影的交比不变性,其对应理想图像点A1(XA,YA),B1(XB,YB),C1(XC,YC)和D1(XD,YD)的对应交比表示为[10]:

${\begin{cases} \frac{(X_{A} - X_{C}) (X_{B} - X_{D})}{(X_{B} - X_{C}) (X_{A} - X_{D})} = J \\ \frac{(Y_{A} - Y_{C}) (Y_{B} - Y_{D})}{(Y_{B} - Y_{C}) (Y_{A} - Y_{D})} = J \end{cases} (10)$

在实际的三维测量中,应考虑镜头的非线性畸变。理想图像点坐标(X,Y)和畸变后实际图像点坐标(Xd,Yd)的关系:X=Xd+DX(Xd,Yd)

Y=Yd+DY(Xd,Yd) (11)其中,DX(Xd,Yd)和DY(Xd,Yd)分别为X和Y方向的偏差:DX(Xd,Yd)=k1Xd(X $_{d}^{2}$ +Y $_{d}^{2}$ )+

[k3(3X $_{d}^{2}$ +Y $_{d}^{2}$ )+2k4XdYd]+k5(X $_{d}^{2}$ +Y $_{d}^{2}$ )

DY(Xd,Yd)=k2Yd(X $_{d}^{2}$ +Y $_{d}^{2}$ )+

[k4(3X $_{d}^{2}$ +Y $_{d}^{2}$ )+2k3XdYd]+k6(X $_{d}^{2}$ +Y $_{d}^{2}$ )根据式(11),如果只考虑一阶径向畸变,则只需知道4个共线控制点即可求得其畸变系数k1,k2,这符合多数工业应用场合的要求。对于某些场合,还需考虑切向畸变或者离心畸变等因素,可以通过非线性最小二乘拟合的方法求得畸变系数。

3.3 标定镜头的有效焦距

利用式(11)对图像进行非线性校正,得到近似理想镜头情况下的图像,进而得到理想的计算机图像。

由式(1),(2)和(3),结合zw=0有: $\frac{(u - u_{0}) d_{x}}{f} = \frac{r_{11} x_{w} + r_{12} y_{w} + t_{1}}{r_{31} x_{w} + r_{32} y_{w} + t_{3}} (12)$ 进一步整理得到:(r11xw+r12yw+t1)·f-(u-u0)dx·t3

=(u-u0)dx(r31xw+r32yw) (13)此时,上式是关于f和t3的线性方程,可以通过线性最小二乘法拟合求得f和t3。

4 双目外参数标定

双目成像模型如图3所示,以左摄像机坐标系作为世界坐标系,矩阵R及向量t是右摄像机坐标系相对于左摄像机坐标系的旋转矩阵和平移向量。这里对用畸变系数校正后的理想图像对进行处理。

对左摄像机体系,有:

$z_{c} [\begin{array}{l} u \\ v \\ 1 \end{array}] = [\begin{matrix} α & 0 & u_{0} \\ 0 & β & v_{0} \\ 0 & 0 & 1 \end{matrix}] [\begin{array}{l} x_{c} \\ y_{c} \\ z_{c} \end{array}] = A [\begin{array}{l} x_{c} \\ y_{c} \\ z_{c} \end{array}]$

$o r [\begin{array}{l} x_{c} \\ y_{c} \\ z_{c} \end{array}] = z_{c} A^{- 1} [\begin{array}{l} u \\ v \\ 1 \end{array}] (14)$

同样,对右摄像机体系,有:

$\tilde{z}_{c} [\begin{array}{l} \tilde{u} \\ \tilde{v} \\ 1 \end{array}] = \tilde{A} [\begin{array}{l} \tilde{x}_{c} \\ \tilde{y}_{c} \\ \tilde{z}_{c} \end{array}] = \tilde{A} (R [\begin{array}{l} x_{c} \\ y_{c} \\ z_{c} \end{array}] + t) (15)$

其中,

$\tilde{z}_{c} = [\begin{matrix} r_{31} & r_{32} & r_{33} \end{matrix}] [\begin{array}{l} x_{c} \\ y_{c} \\ z_{c} \end{array}] + t_{3}$

,代入上式,得:

$[\begin{array}{l} \tilde{u} \\ \tilde{v} \\ 1 \end{array}] ([\begin{matrix} r_{31} & r_{32} & r_{33} \end{matrix}] [\begin{array}{l} x_{c} \\ y_{c} \\ z_{c} \end{array}] + t_{3}) - \tilde{A} (R [\begin{array}{l} x_{c} \\ y_{c} \\ z_{c} \end{array}] + t) = 0 (16)$

将式(14)代入式(16),并记 $\frac{\tilde{u} - \tilde{u}_{0}}{\tilde{α}} \to \overset{\begin{array}{l} - \\ ~ \end{array}}{u} ‚ \frac{\tilde{v} - \tilde{v}_{0}}{\tilde{β}} \to \overset{\begin{array}{l} - \\ ~ \end{array}}{v} ‚ \frac{u - u_{0}}{α} \to \bar{u}$ 和 $\frac{v - v_{0}}{β} \to \bar{v}$ ,化简后得:

$z_{c} [\begin{array}{l} (\overset{\begin{array}{l} - \\ ~ \end{array}}{u} r_{31} - r_{11}) \bar{u} + (\overset{\begin{array}{l} - \\ ~ \end{array}}{u} r_{32} - r_{12}) \bar{v} + \overset{\begin{array}{l} - \\ ~ \end{array}}{u} r_{33} - r_{13} \\ (\overset{\begin{array}{l} - \\ ~ \end{array}}{v} r_{31} - r_{21}) \bar{u} + (\overset{\begin{array}{l} - \\ ~ \end{array}}{v} r_{32} - r_{22}) \bar{v} + \overset{\begin{array}{l} - \\ ~ \end{array}}{v} r_{33} - r_{23} \end{array}]$

$= [\begin{array}{l} t_{1} - \overset{\begin{array}{l} - \\ ~ \end{array}}{u} t_{3} \\ t_{2} - \overset{\begin{array}{l} - \\ ~ \end{array}}{v} t_{3} \end{array}] (17)$

消去zc得到:

$\begin{array}{l} \bar{u} \overset{\begin{array}{l} - \\ ~ \end{array}}{u} (r_{31} t_{2} - r_{21} t_{3}) + \bar{u} \overset{\begin{array}{l} - \\ ~ \end{array}}{v} (r_{11} t_{3} - r_{31} t_{1}) + \\ \bar{u} (r_{21} t_{1} - r_{11} t_{2}) + \bar{v} \overset{\begin{array}{l} - \\ ~ \end{array}}{u} (r_{32} t_{2} - r_{22} t_{3}) + \\ \bar{v} \overset{\begin{array}{l} - \\ ~ \end{array}}{v} (r_{12} t_{3} - r_{32} t_{1}) + \bar{v} (r_{22} t_{1} - r_{12} t_{2}) + \\ \overset{\begin{array}{l} - \\ ~ \end{array}}{u} (r_{33} t_{2} - r_{23} t_{3}) + \overset{\begin{array}{l} - \\ ~ \end{array}}{v} (r_{13} t_{3} - r_{33} t_{1}) + \end{array}$

(r23t1-r13t2)=0 (18) 进一步简化式(18),可得:

$[\begin{matrix} \overset{\begin{array}{l} - \\ ~ \end{array}}{u} & \overset{\begin{array}{l} - \\ ~ \end{array}}{v} & 1 \end{matrix}] S R [\begin{array}{l} \bar{u} \\ \bar{v} \\ 1 \end{array}] = 0 (19)$

其中,

$S = [\begin{matrix} 0 & - t_{3} & t_{2} \\ t_{3} & 0 & - t_{1} \\ - t_{2} & t_{1} & 0 \end{matrix}]$

由此可得本质矩阵E=SR。由文献[6,11,12]可知,本质矩阵E的秩为2,并且E的分解几乎是惟一的,最多只差1个尺度因子。由式(19)可求得与本质矩阵E只差1个比例系数p1的矩阵 $\bar{E}$ ,需要不少于8个控制点。对 $\bar{E}$ 进行奇异值分解 $\bar{E} = U D V^{Τ}$ ,令 $\bar{S} = U Ζ U^{Τ} ‚ R = U W V^{Τ}$ 。其中:

$W = [\begin{matrix} 0 & 1 & 0 \\ - 1 & 0 & 0 \\ 0 & 0 & 1 \end{matrix}] ‚ Ζ = [\begin{matrix} 0 & - 1 & 0 \\ 1 & 0 & 0 \\ 0 & 0 & 0 \end{matrix}]$

则有 $\bar{E} = p_{2} \bar{S} R ‚ p_{2}$ 为比例系数。

因此,有 $E = p_{1} \bar{E} = p_{1} p_{2} \bar{S} R = p \bar{S} R ‚ p$ 为比例系数,得: $S = p \bar{S} (20)$ 由式(20)求得向量t关于p的表达式,代入式(17),求出zc关于p的表达式,再结合式(14)可推出,如果已知标定模板中某两控制点的距离,便可以求得比例系数p,就可以确定实际平移向量t。

综上所述,实验室内完成内参数的标定,在现场安装好双目系统。标定双目外参数需要不少于8个控制点的平面模板,还需知道模板上任意两控制点的距离。模版控制点分布力求均匀,数目越多,精度就越高。该标定模板也可以绘制在路平面上。对安装在智能车辆的双目系统,可以利用如斑马线等固定标识随时现场标定外参数,提高了标定的灵活性。

5 实验结果分析

标定实验用的摄像机是 CMOS 摄像机。其图像的分辨率为1 280×960。如图4所示,标定模板由 6×5个黑色方块组成,每个小方块的边长及边间距均为20 mm。标定模板制作简单,可以通过 600 DPI 的激光打印机用 A4 纸打印出。标定实验可分以下几部分:

(1) 获取模板图像,进行摄像机内参数标定。对每一摄像机采样 16 幅图像,其中 1 幅如图4所示。考虑一阶径向畸变,首先标定射线机主点,确定镜头畸变系数,再标定有效焦距。其标定结果如表1所示。

(2) 进行双目外参数标定。这里获得8对图像,其中的1对图像如图5所示。先根据式(19)求出与实际E只差1个比例因子的矩阵 $\bar{E}$ ,并且,由式(20),(17)和(14)可以计算出比例因子p。最后,可求得旋转矩阵R及平移矩阵t。结果如下所示。

$\begin{array}{l} R = [\begin{matrix} - 0.854 7 & - 0.017 6 & - 0.518 8 \\ 0.061 5 & - 0.995 8 & - 0.067 6 \\ 0.515 5 & 0.089 7 & - 0.852 2 \end{matrix}], \\ t = [\begin{array}{l} 246.224 6 \\ 87.863 7 \\ - 119.801 9 \end{array}] \end{array}$

另外,也用传统的方法对双目外参数进行标定。首先,用单摄像机标定方法分别标定出每一摄像机的外参数,计算出左右摄像机的相对位置和方向。其标定结果如下所示。

$R = [\begin{matrix} - 0.850 9 & - 0.015 1 & - 0.525 1 \\ 0.061 7 & - 0.995 5 & - 0.071 4 \\ 0.521 6 & 0.093 2 & - 0.848 1 \end{matrix}],$

$t = [\begin{array}{l} 251.543 8 \\ 91.940 6 \\ - 128.256 2 \end{array}]$

(3) 特征点三维重建。通过左右摄像机获取模板的成像,对于每一控制点对,根据式(14)和(15),可以得到4个关于xw,yw和zw的方程。解方程实际为求图3中2条射线的交点,可以先将射线投影到图中XOZ平面,解得xw和zw坐标,再得到yw坐标。图6所示为模板上30个方块顶点的实际三维坐标图。由图可知各控制点共面,且与实际模板位置相符。

表2和表3分别给出了实际模板上各小方块在u,v方向的边长测量值。其绝对值误差分别为2.65 mm和2.05 mm。从模板距离摄像机的位置来看,该测量误差可以接受。误差产生的原因主要是摄像机本身的成像效果、算法本身的计算误差和标定模板的远近等。如模板距离镜头太远或者太近,摄像机成像不清晰,导致控制点像素提取不精确。

6 结语

本文研究了一种实用的移动机器人双目视觉传感器的标定技术。该方法主要分2步:首先,根据透镜成像的径向排列约束计算出主点(u0,v0),基于透视投影的交比不变性原理估计镜头畸变系数,再对图像进行纠正,并计算有效焦距f。该方法可避免非线性标定过程中的解的不稳定性。实验中只考虑了一阶径向畸变,若要考虑切向畸变和离心畸变,可采用非线性最小方差拟和的方法来求解畸变系数。然后,假定内部参数不变,对现场安装好的双目立体系统,从双目系统的成像原理出发,推导出本质矩阵的分解形式,根据两控制点之间的相对距离,可线性地标定双目外参数。双目外参数的标定模板选择比较自由,可以在地面绘制,也可利用环境中的固定标识等,只需知道某2个控制点间的相对距离即可。实验表明,该方法提高了立体标定的灵活性,具有与传统方法同样的精度,模板制作简单,可实现双目系统的现场标定。

参考文献

[1]Faig W.Calibration of Close-range Photogrammetry Sys-tems:Mathematical Formulation[J].Photogrammetric Eng.Remote Sensing,1975,41(12):1 479-1 486.

[2]Tsai R Y.A Versatile Camera Calibration Technique forHigh-accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Camera and Lenses[J].IEEE Journal of Au-tomation,1987,3(4):323-334.

[3]Weng J,Cohen P,Herniou M.Camera Calibration with Dis-tortion Models and Accuracy Evaluation[J].IEEE Trans.PAM I,1992,14(10):965-980.

[4] Ganapathy S.Decomposition of Transformation Matrices for Robot Vision [A].Proceedings of International Conference on Robotics and Automation[C].1984:130-139.

[5]Maybank S J,Faugeras O D.A Theory of Self-calibration ofa Moving Camera[J].International Journal of Computer Vi-sion,1992,8(2):123-151.

[6] Hartley R I.Estimation of Relative Camera Positions for Uncalibrated Cameras [A].Proceedings of IEEE Confe-rence on Computer Vision and Pattern Recognition[C].1992:761-764.

[7] Zhang Zhengyou.A Flexible New Technique for Camera Calibration [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(11):1 330-1 334.

[8]Dang T,Hoffmann C.Stereo Calibration in Vehicles[A].2004 IEEE Intelligent Vehicles Symposium[C].2004:268-273.

[9] Zheng Nanning.Computer Vision and Pattern Recognition [M].Beijing:National Defense Industry Press,1998.

[10] Zhang Guangjun,He Junjie,Yang Xianming.Calibrating Camera Radial Distortion with Cross-ratio Invariability [J].Optics & Laser Technology,2003,35:457-461.

[11]Longuet-Higgins H C.A Computer Algorithm for Recon-structing a Scene from Two Projections[J].Nature,1981,293(10):133-135.

基于以太网的嵌入式视觉传感器篇4

随着计算机科学和自动控制技术的发展，视觉系统被广泛用于工业检测、生物医学、军事侦察等领域。嵌入式视觉系统，是将图像的采集、处理与通信功能集成于单一相机内，从而提供了具有多功能、模块化、高可靠性、易于实现的机器视觉解决方案。同时，视觉传感器需要通过网络化设计完成控制信息、图像数据的通信任务，网络通信装置是视觉传感器的重要组成部分。笔者采用DSP和CPLD作为核心芯片来控制图像采集处理和传输，采集的图像经DSP的处理后，可经以太网传输至微机进一步处理，或与其他视觉系统、自动化检测装置通信，组成分布式监测网络。本系统的设计优点为：

·使用CMOS为图像传感器直接采集数字图像, 采用高速D S P和C P L D作为核心芯片来控制图像采集和处理, 简化了电路的复杂度, 提高了系统的集成度, 降低了成本。

·在DSP内对采集到的图像实现快速图像的预处理，提高了系统的智能化。

·通过以太网将图像数据传输到联网计算机，利于图像的传输、保存和与其他视觉传感器通信交换数据，组成视觉网络。并可与PLC、机器人和其他自动化装置通信。

系统设计

图1为系统框图，系统通过D S P给CPLD发出一个采集命令，由CPLD控制CMOS图像传感器向FIFO写入图像数据，同时D S P通过D M A将图像转移至SDRAM中并进行图像处理，在处理结束后，将处理的结果通过以太网传给微机或其他设备，对其I/O接口经扩展后，可与PLC等执行装置相连，被外部执行器触发，完成图像的采集处理，达到控制检测目的。

图像采集过程

图像采集过程主要通过D S P给CPLD (ALTERA的MAX II系列EPM240) 发送命令字，包括单帧采集、连续采集等控制命令。每次采集的图像时都先复位FIFO, 防止上一次采集过程出错有数据滞留而导致本次采集的图像出错。CPLD采集程序的仿真波形如图2所示，可以看出当采集单帧数据时，CPLD通过控制连续两个V S Y N C (帧同步信号) 间的F I F O (CYPRESS的CYCY7C4291V) 的/WE (写使能信号) 低有效来达到图像采集的目的。OV7640每帧图像的时间为33ms (30f/s) , 工作在黑白模式下，每幅图像数据有300K (640×480) , 即9.3MByte/s，而DSP读取的速度可以到66.7Mbyte/s，若采用1 6 B i t总线宽度的F I F O，则可达到133Mbyte/s。本系统中由CPLD对图像的行进行计数，为保证图像数据不溢出FIFO (FIFO为128K字节) ，选取每80行图像数据触发一次D M A传输 (D M A选择为外触发模式) ，每幅图像分成6次传输 (共480行数据) 。

以太网的图像传输

本系统的以太网设计，采用Wiznet公司全功能硬件协议栈芯片W5100。W5100内有16K的发送/接收缓存，支持TCP、UDP、ICMP、IPV4 ARP、IGMP等协议，本系统中采用TCP/IP协议，接收上位机的命令并执行相应的图像采集和处理任务。Wiznet公司提供了完整的Socket API函数，其工作方式类似于Windows的Socket API，程序在TI公司的CCS集成开发环境下，非常方便用C语言编写。图3是利用VC编写的基于异步Socket的系统软件。在不同的命令代码下上传图像。如果所示输入命令1，可以上传单幅不加任何图像处理的灰度图。

软件流程

系统的软件流程如图4所示。系统初始化后配置网络设置，建立命令Socket, Socket连接成功后处在TCP连接状态中。当接收到命令时，通过中断触发使D S P从W5100读取命令字，根据命令字做出相应的操作，添加图像预处理程序。然后关闭命令Socket，启动数据

Socket进行数据传输，发送处理后的图像数据以便上位机进行更高级的图像处理，最终得到用户想要的结果和数据。

图像采集和处理程序示例

本系统可以应用于视觉系统的多个领域，通过开发标准的软件处理模块，如几何边缘提取、Blob、灰度直方图、OCV/OCR、简单的定位和搜索等，由用户根据实际的测量需求选择相应的处理模块，由上位机编译成相应的固件并下载到系统中，从而实现特定功能的视觉检测。目前系统开发，只能完成特定的几种功能，以下以圆盘的直径检测为例，介绍系统的处理效果。

算法的基本思想是：先对采集的图像进行滤波，再用边缘检测算法检测出圆的边缘，最后再利用圆检测算法算出圆的外径和孔径。

检测基本过程如下：

标定

在能够进行检测之前，系统必须要标定。标定决定图像与物理世界之间的映射关系。因此，把图像中的每个点与一定的物理世界坐标以及反过来建立一一映射。使用一个无畸变的理想二维标定平面来进行标定。首先，可以使用一个标准的网格变换把物理坐标变换到目标平面;然后使用非线性映射把这些中间坐标变换到图像平面。用于变换运算的参数可以通过对一个包含已知位置信息的已知特征标定物成像来获取。非线性变换是通过在确定的测量点之间进行线性插补来实现。

图像预处理

图5为采集到的原始图象。由于CMOS传感器本身的噪声或系统的扰动等其它原因，原始图像中会含有噪声，所以要先对原始图像做低通滤波处理，可采用3×3模板的低通滤波器，或选择一些其它的更为复杂的滤波器，如自适应滤波器。

边缘检测

采用牛顿插值法对图像实现高精度的边缘检测，具体计算步骤如下：

·搜索像边缘过渡区计算向量

根据像边缘的位置沿着灰度值对应的行或列从亮区向暗区搜索，若相邻的两个点的灰度值下降幅度大于阈值 (阈值应由实验确定) ，即认为该点为像边缘过渡区的起始节点，过渡区包含有3～4个节点，把其定义为一维数组，以像边缘过渡区起始节点为首项，沿灰度值矩阵的行或列顺序存放由亮到暗像边缘的灰度值。

·使用牛顿插值函数实现像边缘光强函数软件解调设向量u[m]={u1, u2，......un}，m=0, 1, .......n。

在基点m=0处向前5阶差分为：

设t为[0.5]内的连续变量，则五阶牛顿向前插值函数为：

·确定像边缘特征点的坐标

式 (2) 给出了表征象边缘位置的连续函数，对其求二阶导数，即，

其零交叉点 (d2u/dt2=0) 即为特征点。图6为边缘检测的效果图。

直径的计算

通过圆检测算法，计算出圆的外径和内径。限于篇幅，具体算法在此不作详细介绍。

在实验中，使用的f=35mm的镜头，采用LED环形光源从底部同轴照明，图像分辨率为640×480，相面尺寸为3.6mm×2.7mm。系统标定在XY方向上每像素为0.0375mm。对标称外径为1 5 m m，内径为9mm的元件做了10次检测，检测直径的平均外径值为401.6像素即15.06mm，内径为241.3像素即9.049mm。

实验结果

图7为我们设计的视觉传感器样机的系统实物图。其由三部分组成，分别为主板、电源板和CMOS电路板。采用抓包程序Ethereal对数据传输速度进行了测试。我们分别对发送数据量为100kbyte, 200kbyte和300kbyte进行了测试，实验结果如表1所示，对于本系统可以达到10f/s的图像传输速度。

结语

本文介绍的的视觉系统，在硬件系统，采用CMOS图像传感器，CPLD时序控制，以及高速DSP和以太网高速数据传输，构成了一个典型嵌入式视觉系统。通过以太网接口可组成分布式视觉检测网络。对于简单的视觉检测任务，系统可满足在线检测的要求。当然，要想最终脱离微机高速的完成复杂的图像处理任务，单DSP还不能满足要求。今后改进是添加FPGA实现FPGA与DSP融合的处理系统以及多DSP并行处理系统，实现高速嵌入式视觉系统。

参考文献

[1]. TMS320C5000系列DSPs原理与应用 (第2版) , 电子工业出版社, 2003

[2]. 赵建、刘济林、于海滨, 基于以太网的立体视觉图像采集系统, 电视技术, 2005, 12

[3]. 张飞舟、邓旭明, 嵌入式工业以太网接口开发与应用, 计算机工程, 2003, 29 (16)

[4]. WIZNET Corporation .W5100Datasheet (version 1.0.1) . 2006

视觉传感器篇5

印刷电路板(PCB)缺陷自动检测系统正是利用这种视觉传感器来代替人工视觉,使之在大批量工业生产过程中,克服人工目视检测的局限性,从而大大提高生产效率和生产的自动化程度[6]。在PCB自动检测系统的研究方面,国外的科研机构和公司起步较早。目前我国市场上的PCB自动检测系统基本上都是国外产品,如英国Diagno SYS公司的Vision Point系统、美国Teradyne公司的5500系统和Angilent公司的5DX(带X射线)系统等。而国内生产的PCB自动检测系统却处于探索性研究和起步阶段,没有从根本上获得对该项设备的关键技术和知识产权。

由于进口设备价格昂贵,给国内PCB厂家带来了巨大的经济压力,同时这些设备往往不符合国内操作人员的习惯。针对这一情况,本文结合我国实际情况,集光机电一体化,综合应用数字图像处理、传感器、智能机器人控制等技术,研究了一种基于视觉传感器的PCB缺陷检测系统。该系统的机械、电气部分通过稳定协调工作,获取高清晰度和高分辨率的图像,完成了复杂的检测和PCB板的分拣工作。

1 PCB缺陷检测系统硬件设计

1.1 系统工作原理

基于视觉传感器的PCB缺陷检测系统是高速实时控制系统,因而要求其具备速度快、控制及时等性能。在连续检测时,软件通过串口给PLC发送指令启动流水线,将待检测物品放置在流水线上,进入检测机柜触发摄像机光电传感器。PC机使用特殊的图像采集卡和CCD摄像机连续地对被检PCB进行拍照,得到图像的数字化信息,并通过数字图像处理与分析比较获得PCB缺陷检测的决策信息,之后再将该信息反馈给机器臂分拣系统和PLC,完成对不合格产品的实时自动分拣。系统的工作流程如图1所示。

1.2 视觉传感器系统

视觉传感器主要研究用计算机模拟人的视觉功能,从客观事物的图像中提取信息,进行处理并加以理解,最终用于实际检测、测量和控制。如图2所示,在本系统中,工业CCD(美国cognex Insight micro-1403型智能相机)将目标转换成图像信号,然后转变成数字化信号传送给专用的图像处理系统,并根据像素分布、亮度和颜色等信息,进行各种运算抽取目标的特征。最后将得到的结果信号反馈到控制执行装置(本文采用的是机械手),进而对被检目标进行次品分拣等操作。光源照明技术采用的是LED同轴光源照明。

2 PCB缺陷检测算法

二维最大类间方差阈值分割[7]的方法是同时考虑图像的灰度分布和图像的灰度像素之间的空间相关信息,采用离散测度矩阵的迹作为类间距离测度函数,当其取得最大值时,获得最佳阈值向量(t*,s*)。该算法主要处理对PCB功能影响最大的几种缺陷:缺损、毛刺、短路和断路。图像即使在信噪比低,且受光照不均匀的情况下也能获得很高的分割精度。

在PCB缺陷检测过程中,假设原始灰度图像f(x,y)的总灰度级为256,其邻域平均灰度级表示为g(x,y)。向量(i,j)表示二维直方图[f(x,y),g(x,y)],Pij为向量(i,j)发生的频率,其中0≤i、j≤255。以二维向量(t,s)作为阈值将图像分割成两部分,目标类和背景类。

基于二维最大类间方差阈值分割算法进行PCB缺陷检测的计算步骤归纳如下:

(1)图像预处理。首先将CCD获取的彩色图像变换成灰度图像,并采用5×5的中值滤波器去除采集图像时受到的椒盐噪声和高斯噪声引发的污染。

(2)初始化。设定像素灰度级阈值t的初始值t0为图像灰度级均值,邻域平均灰度级阈值s的初始值s0为领域平均灰度级均值。取正方形领域窗口的宽度为5。

(3)进行变量的迭代更新。W0表示目标类在整幅图像中占有的比例,W1代表背景类所占的比例,则目标类和背景类相应的均值向量为:

总体均值μz表示为:

在本文中采用目标类和背景类间的离散测度矩阵的迹trδb作为他们之间的距离测度函数,则:

选择距离测度函数trδb(t,s)的最大值所对应的阈值向量作为二维最大类间方差法新的阈值向量(t′,s′)。将t0和s0代入式(1)~(4)可以得出新的阈值向量为:

(4)判断是否获得最佳阈值。设i为迭代次数,若t(i)=t(i-1),s(i)=s(i-1),则最佳阈值(t*,s*)为[t(i),s(i)];否则返回步骤(3)继续更新变量。

(5)与标准PCB图像进行匹配,判断待检PCB是否合格。

其中,f(x,y)表示待检的PCB图像,g(x,y)表示标准PCB板图像,I(x,y)表示二者经过“异或”后的图像,即获得在两幅图像对应位置具有不同灰度值的像素点。

(6)进行面积阈值处理。经过“异或”后的图像会因为工艺不精确产生一定的噪声,从而需要去噪得到准确的缺陷图。本文采用面积阈值处理方法进行去噪。

基于二维最大类间方差阈值分割算法的PCB缺陷检测过程如图3所示。

3 实验结果与分析

系统的主控计算机配置为Intel Core 2 Duo CPU、内存为2 GB、主频为2.2 GHz;成像系统采用美国cognex Insight micro-1403型智能相机以及日本computar公司的25 mm镜头、LED光源和立体分束器;软件开发环境采用VC++6.0。应用本文算法获得的各阶段图像检测结果如图4所示。

为验证算法的实时性以及结果的稳定性,实验选取了经过人工检测的100块合格PCB板和40块不合格PCB进行检测,每块PCB的检测耗时为0.9 s,机器人的检测结果如表1所示。

表1中,由于有的PCB缺陷比较小,及背景与目标的灰度差异不大,导致不合格品被检测为合格品。而合格品被检测为不合格品,原因是由于最后为了去除噪声等干扰因素造成了虚假缺陷,需要一个面积阈值。提取出大于该面积的缺陷。故而,对于面积较小的PCB缺陷检测偏差较大。究其原因,此类缺陷对噪声影响较敏感。因此如何提高小缺陷精确检测率是今后必须研究的内容之一。

本文设计了一种新型的基于视觉传感器的PCB缺陷检测系统,该系统以视觉传感器为基础,以图像处理结果作为决策准则,能够实现PCB的各种检测。本文进行了其中一种检测,通过采用二维最大类间阈值分割的方法,对PCB的缺陷(如缺损、毛刺、短路和断路等)检测进行实验论证。实验表明,该PCB缺陷智能视觉检测系统能够很好地解决人工检测带来的检测效率低、误检漏检率大等问题,极大地提高了检测速度和产品质量,满足了自动化生产的需求,实现了高速高精度的在线检测。

摘要：为了实现PCB缺陷的在线自动检测,设计了一种PCB缺陷自动检测系统,该系统主要由机器臂、电气控制系统以及视觉传感器系统等组成。通过可编程控制的图像采集系统获取高质量的原始视觉图像,利用图像处理实现对缺陷目标的自动检测及识别。实验结果验证了该系统检测PCB板缺陷的高效性和实时性。

关键词：视觉传感器,PCB缺陷检测,二维最大类间阈值分割,图像识别

参考文献

[1]周汝派.视觉传感的介绍及其行业发展趋势[J].Experi-ment Science&Technology,2006(12):118-120.

[2]黄文清,汪亚明,周志宇.计算机视觉技术在工业领域中的应用[J].浙江工程学院学报,2002,19(2):92-96.

[3]杨福刚.基于视觉传感器的输液中异物检测系统设计[J].传感器与微系统,2010,29(3):74-76.

[4]DUAN F,WANG Y N.A machine vision inspector forbeer bottle[J].Int.J.Engineering Applications of ArtificialIntelligence,2007,20(7):1013-1021.

[5]张辉,王耀南,葛继,等.液体药品异物检测机器人系统的设计[J].中国机械工程,2009,10(10):2493-2498.

[6]周党群,程宪平,李刚健.PCB视觉检测系统中目标图像提取的研究[J].电子测量与仪器学报,2001,15(3):10-13。

视觉传感器篇6

水松纸在烟草行业又叫接装纸, 是通过对水松原纸进行涂布印刷及其他加工工艺而得到的一种装潢纸, 具有改善烟支外观的作用, 常见的有黄橘色、白色, 红色、蓝色等, 另外有些高档烟还加入烫金工艺。水松纸的生产主要是先使用色浆涂料对水松原纸进行涂抹, 而后进行凹版印刷, 使水松纸色泽古旧、有粉质感。通过对水松纸进行再印刷加工和分切复卷, 使之在外观和内在质量等方面均能够适应高速接装机的工作要求。水松纸的性能指标包括:均整性、施胶度、纵向抗张强度和表面强度、孔眼、褶子和荡边等, 这些性能指标在原先主要通过人工抽检来完成, 随着烟草厂家对产品质量要求的提高, 制造水松纸厂家产品质量不稳定, 使这种人工抽检的工作量剧增, 利用好的检测手段成为必然选择。

视觉传感器是最近几年才推出的一种新型传感器, 因其精确性、易用性、丰富功能及合理成本而成为制造商在质量控制方面的最佳选择。视觉传感器与普通光电传感器相比, 视觉传感器可以在机器高速运转下同时检测出目标物的多项物理特性, 这给设计者更大的自由度。以往需要多个光电传感器的应用, 现在可以用一个视觉传感器来代替。视觉传感器可以快速、准确完成工件测量和检查工作, 帮助制造商提高产品质量和生产效率。

视觉传感器是一款一体化工业传感器, 内置摄像头、处理器、照明、光纤和I/O, 所有这些元件都集成于一个体积小巧、可适应狭窄空间的工业IP67外壳中。光照度、检测速度、分辨率是视觉传感器基本特征。光照度是视觉应用中最基本要素, 它决定了目标物和背景之间的对比度。在实际应用中决定了检测目标物的清晰度, 是视觉传感器扑捉图像的基础。检测速度是检测高速移动物体的关键参数。现在的视觉传感器每分钟能够检测和检查3600个工件, 基本能满足现在高速生产流水线的生产需求。与传统采用接触式测量相比, 消除了物理接触, 避免了工件表面擦伤。对于精密器件的加工有无可比拟的作用。分辨率是视觉传感器的主要特征之一, 它决定传感器处理图像的细腻程度, 也就是所拍图像实际的物理点数, 现在的视觉传感器分辨率达到640 X480, 一幅检测图像可以用三十多万个像素来表示, 这就说明了视觉传感器为什么可以同时检测工件的多个特性的原因, 当然不是分辨率越高越好, 在能满足实际应用的前提下, 分辨率也不宜过高, 它会与工件检测速度有直接的关系, 分辨率高, 需要处理的时间就长, 就会损伤检测速度。

我们在实际中应用美国康耐视的5400C, 其特征如下:

1) 每秒可以处理60帧图像;

2) 彩色摄象镜头, 可处理彩色图像;

3) 分辨率640 X480;

4) 包括可处理斑点、边缘、直线、曲线、直方、几何、图像过滤、图像识别、标准校准等的精品工具;

5) 包括非线性校准和卡尺工具;

6) 一维和二维条码的读取和验证, 文字读取和验证工具;

7) 包括色彩工具:Match Color、Extract Color;

8) 包括康奈视专利几何图案匹配技术Pat Max。

水松纸的性能指标包括:均整性、施胶度、纵向抗张强度和表面强度、孔眼、褶子和荡边等, 通过利用美国康耐视的5400C, 利用Match Color工具来检测水松纸的均整性, 利用Extract Color工具来检测水松纸的施胶度, 纵向抗张强度和表面强度利用色彩直方、彩色到灰阶过滤器和彩色到灰阶距离过滤器来检测, 褶子利用图像识别来解决, 孔眼和荡边利用斑点和边缘检测技术可方便解决。

通过在烟厂接装机水松纸供给装置上的实验证明, 视觉传感器完全可以代替人工抽检来完成水松纸的质量检测, 它不但提高了工作效率, 而且提高了产品质量水平, 完成了其他传感器无法完成的功能检测, 另外在装置上我们加入了剔除装置, 一但发现水松纸有质量缺陷, 在生产过程中, 利用接装机的原有剔除机构完成水松纸的剔除, 杜绝不合格的产品流入市场。

机器视觉是传感器领域的新生力量, 随着科学技术的发展进步, 必将成为工业应用的典范, 其前途不可限量。相信随着市场经济的深入发展, 工业自动化程度的不断提高, 人们对产品质量要求的提升, 制造业对生产效率的渴望, 机器视觉这个新产品必将被工程技术人员认识和了解, 成为他们工业控制解决方案的利器。视觉传感器因其精确性、易用性、丰富功能及合理成本成为最佳选择方案, 其未来发展空间巨大, 市场前景良好。

摘要：本文主要针对烟草卷接设备水松纸在线质量控制, 提出了用视觉传感器的解决方案, 从而减轻了质量控制部门的压力, 提高了作业效率, 杜绝水松纸不合格的产品流入市场。

关键词：水松纸,视觉传感器

参考文献

[1]水松纸的应用工艺及性能要求.

[2]水松纸印刷加工工艺分析.

[3]用于生产线上的视觉检测技术与应用特征.

视觉传感器篇7

关键词：全自主足球机器人,视觉系统,目标检测,红外测距

0 引言

全自主足球机器人比赛要求多个机器人活动在一个实时、噪声以及对抗性的复杂环境下, 通过协作、配合朝向一个共同的目标 (或完成复杂任务) 。它包括智能机器人系统、多智能体系统、实时图像处理与模式识别、智能体数据结构设计、实时规划和推理、移动机器人技术、机器传动与控制、传感器与数据融合和无线通讯等技术。机器人足球比赛是近几年发展起来、进步较快且有很大研究潜力的一类。这类机器人的视觉及控制器等各类部件均装载在机器人本体上, 通过无线通讯与其它机器人、主控计算机及人的信息交流。比赛过程中, 机器人通过视觉系统搜索球及球门等环境信息, 通过声纳、红外或激光等测距系统进行机器人全局定位及障碍物检测, 在进行信息融合之后形成行动策略并实施。因此机器人如何快速识别目标并且定位是比赛取胜的关键性环节, 本文将对这方面的问题进行讨论。

1 全自主型足球机器人视觉系统介绍

1.1 视觉系统的硬件组成

实验中使用的足球机器人是上海广茂达伙伴机器人有限公司研制的AS-UII能力风暴智能机器人大学版。它是典型的自主移动机器人, 具有较高的自规划、自适应能力, 适合于较复杂的非结构环境中工作的复杂系统。机器人与计算机之间使用基于68HCll单片机开发的交互式C语言进行编程。

视觉系统采用CMUcam视觉系统:CMUcam视觉模块主要是由1个SX28微处理器与OV6620摄像头 (CMOS) 组成, CMOS摄像头把当前窗口的视图通过简单的处理, 返回像素点矩阵。板卡通过RS-232或者TTL串口进行通讯。

1.2 视觉系统的软件流程

在比赛中, 视觉系统依靠颜色来识别并判定目标。机器人对颜色的识别过程如下:当摄像头获得彩色图像以后, 机器人上的嵌入计算机系统将模拟视频信号数字化, 将像素根据颜色分成两部分:感兴趣的像素 (搜索的目标颜色) 和不感兴趣的像素 (背景颜色) 。然后对这些感兴趣的像素进行颜色分量的匹配。在比赛之前已经存储了比赛场地环境下的各种颜色信息, 比赛时需要将实时信息与颜色信息比较或匹配, 以寻找搜索目标的颜色区域。判断:如果目标出现在视野中, 通过多种传感器的综合应用, 确定目标与机器人的相对位置, 为决策子系统提供依据。否则继续寻找。视觉系统的软件流程如图1所示。

2 视觉系统中目标的识别与相对定位

2.1 颜色空间的建立

颜色空间是一个描述体系, 用于确定颜色在体系中的位置及相互之间的关系。同一物体, 在不同的光照和成像距离条件下, 映射到内存的RGB数值会发生较大的变化, 不利于目标的识别。特别是在环境复杂、目标较多且颜色相近的比赛环境中, 识别率会大大下降。为提高识别效果, 我们将颜色表示从RGB颜色空间转化到更接近人眼观察方式的HSI (Hue, Saturation, Intensity) 颜色空间, 从而提高不同光照环境下识别系统的鲁棒性。RGB颜色空间转化HSI到颜色空间公式如下:

2.2 目标检测

成熟的目标检测技术有:模板匹配、边缘检测、色彩分类等。足球机器人视觉系统要求有很高的实时性。而且比赛规定:机器人和球都用不同的颜色加以区分, 因此, 为了快速地检测到目标, 采用基于色彩的图像分割是最好的方法。由于不同的光照环境下, 物体的RGB值变化很大。为了能够准确的识别目标, 我们只有设定颜色空间中3个分量的上下阈值。这样就能在很大程度上把目标物体与图像背景颜色区分开。

比赛之前针对特殊的比赛环境, 手工设定各个目标颜色分量的值。操作办法:通过计算机串口连接视觉传感器, 锁定一幅目标图片。通过鼠标选取颜色参考区域, 通过计算该颜色区域中各点的颜色特征统计出RGB和HSI空间中各分量的最大值和最小值, 利用最初确定的阈值对彩色图像进行二值化处理, 参照图象处理的结果对阈值进行小范围调整, 达到理想效果后记录阈值, 在此范围内的子空间为目标颜色。

2.3 图像噪声的去除

在图像获取过程中由于采样量化、传递和环境干扰的存在致使图像出现一些高频的噪声, 这些噪声会影响后续处理的效果, 对图像进行平滑处理可降低噪声, 获取比较理想的图像质量, 提高后续处理的精度。因为系统要求有极高的实时性, 而频率域法所采用的算法比较复杂, 要求对整个图像进行处理, 实时性较差, 因此系统采用比较简单的高斯滤波法。

试验中高斯算子用模板表示卷积核为A/16, 高斯函数能把图像变模糊, 有效的消除一切尺度远小于高斯分布空间常数σ的图像强度变化, 它在空域和频域内都是平滑的, 因而引入任何在原始图像中未曾出现的变化的可能性最小。

小结:经过我们实际的实验测定, 高斯滤波方法速度快, 并且效果也较理想, 因此图像平滑采用这种方法。

2.4 边缘的增强

边缘通常是图像中某些特性不连续行为表征的, 如灰度的突变、彩色的变换、纹理结构的变化等。边缘表示图像中一个区域过渡到另一个区域。通常图像的边界有以下几种形式:阶跃式、灰度渐变式、斜率上升又下降式、脉冲式以及带有不同干扰等形式, 要突出图像中的边缘, 然后再用某些阈值使之分割出来, 从而得到边界的图像。常用的几种处理有差分运算、梯度算子、模板匹配等。

小结:在实际应用中, 模板匹配方法需要建立大量的模板以适应不同的光线环境, 灵活性小, 在此不予考虑此方法。以上几种算子经过实际应用进行比较, Sobel算子运算时间少且精度高, 效果比较好。

Sobel算子:是加权平均再求差分, 对x, y的模板如下

图像的初始状态 (见图2) 和图像经过处理后的效果 (见图3) 。

2.5 目标的定位

当机器人确定目标出现在视野区域内时, 为了进一步得到机器人与目标的相对距离, 本系统采用了红外测距卡。它利用PSD距离测量传感器能精确测量10-80cm范围内物体的距离。在机器人比赛中可对周围环境进行探测, 确定对手所在方位等。红外测距卡能连续地读出距离, 将距离信号转换为电压, 不需要多余的外围控制电路。物体颜色对测量精度影响较小。用红外测距卡测量距离PSD输出的是电压变化值, 由于PSD所输出的电压与测量的距离是非线性关系, 用函数可表示为Y=α+βx-1

因此若要显示所测距离, 必须根据实验数据求出α、β的值, 在对测量距离精度要求不是很高的情况下 (比如用于比赛) , 我们可以用较为简单的分段线性方法对距离值进行校正。其方法如下:在PSD距离传感器有效距离 (10cm-80cm) 范围内得到机器人显示数据与距离的曲线关系, 如图4所示。

然后将曲线均匀分为n段, 每段可近似认为是线性的, 根据公式

公式中Xi-1, Yi-1分别为第i-1点的距离和机器人显示的读数, Xi, Yi分别为第i点的距离和机器人显示的读数Y为测量点的机器人读数, X为实际测量距离可得到机器人显示的读数Y所对应距离为

具体定位方法:机器人通过视觉系统发现目标后, 通常需要确定目标相对机器人的位置。本文综合运用数字罗盘标定方向, 声纳和红外测距。先判断机器人的方向, 如果朝向对方球门方向、通过声纳和红外传感器确定目标和球门的距离, 采取相应的子策略。否则, 通过数字罗盘方向, 改变机器人的方向。

3 结束语

通过两个机器人合作进球的测试, 表明视觉软件系统可较好地完成检测、识别和跟踪预测的功能。系统运行稳定, 其速度可达到25帧/s。在运行过程中, 当发生快速碰撞时, 系统的跟踪效果有些下降, 但可以通过其它方法解决。

参考文献

[1]高大忠.机器人足球—智能机器人的新领域[J].机器人, 1998 (4) .

[2]PARKS W, KI MJ H.et al.Development of a Multi-a-gent Systemfor Robot Soccer Game[C].InIEEE proc International Conferenceon Robotics and Automation Albuquenque.New Mexico.1997:626-631.

[3]贾云得.机器视觉[M].北京:科学技术出版社, 2003.

[4]R.C.GONZALEZ.R.E.WOODS Digital i mage processing[J].Addison-wesley.1999.

[5]章毓晋.图像工程 (下) [M].北京:清华大学出版社, 2000.

【视觉传感器】推荐阅读：

无线视觉传感器网络08-23

视觉方案10-16

视觉环境10-16

视觉选择05-08

视觉语境05-13

听觉视觉05-21

视觉风格06-01

视觉广告06-03