颜色融合（精选5篇）
颜色融合 篇1
随着多媒体技术的发展, 图片数据库迅速膨胀。为使用户能够在海量的图片数据库中快速准确的查找所需图片, 基于内容的图像检索技术逐渐成为研究的热点。每种图像的低层视觉特征都有其自身的特点, 只能表达图像的部分属性。为了更好地描述图像, 提高图像检索的准确率, 本文, 笔者在分别讨论颜色特征和纹理特征的基础上, 对基于颜色和纹理特征融合的图像检索方法进行了研究, 并将其检索结果与单独利用颜色特征或纹理特征检索得到的结果进行了比较。结果表明, 该方法可以弥补由单一特征描述图像导致的片面性问题, 能够取得较好的检索效果。
一、颜色特征
将图像由RGB颜色空间转换到HSV (色调H、饱和度S、亮度V) 颜色空间, 并对HSV颜色空间进行非均匀量化处理, 然后对图像进行分块, 提取不同分块的主色, 通过加权处理, 得到图像的加权主色颜色特征。
1. 颜色空间的选择与量化。
数字图像的颜色特征通常采用RGB三色表示, 但RGB颜色空间模型的可分辨色差是非线性的, 不符合人们对颜色的直观理解, 其空间的相似并不代表实际颜色的相似。HSV颜色空间是一种更加符合人眼感知的颜色空间, 可以由RGB颜色空间经简单快速的非线性变换得到。因此, 本文, 笔者采用HSV颜色空间对图像进行描述。
一幅图像颜色直方图的维数通常会因为图像的颜色较多而较大, 为减少计算量, 提高检索效率, 需对HSV空间的各个分量进行量化。由于相对于饱和度和亮度而言, 人眼对色调的感知更加敏感, 本文, 笔者对HSV空间的三个分量采用非均匀量化, 将色调H、饱和度S、亮度V分别分成11份、4份、4份。
按上式将3个颜色分量合成一维的特征矢量L, 即
式 (1) 中, Qs和Qv分别为S和V的量化级数。此处, Qs=4, QV=4, 则有
L的取值范围为[0, 1, …, 175], 共176种颜色。由此可见, 量化后减轻了图像亮度和饱和度对检索结果的影响。
2. 提取图像的颜色特征。
为获得颜色的空间分配信息, 对图像采用8×8分块处理, 假设共得到m个分块。对于第k (1≤k≤m) 个分块, 可以得到有64个一维颜色分量的颜色向量Lk= (Lk1, Lk2, …, Lk64) 。统计各颜色的像素点数目, 将含有像素点数目最多的颜色作为该分块的主色, 记为Lk, main。则该图像的综合主颜色特征向量L= (L1, main, L2, main, …, Lm, main) 。
3. 基于图像的中心加权特征分析。
通常, 图像的中间部分为图像的主体, 更容易引起人们的关注。在对图像提取特征时, 采用中心加权的方法, 为图像不同的分块分配不同的权值, 中心附近区域的权值略大, 边缘区域的权值略小。权值的选择符合标准正态分布函数, 第k个分块的权值为
式 (2) 中, Xk为第k个分块的中心与原图像中心所在的分块的中心间的距离。则第k个分块的加权主色特征为
图像的综合加权主色颜色特征向量为LL= (L1, main, L2, main, …, Lm, main) 。
二、纹理特征
对于图像的纹理特征, 通过研究纹理的空间灰度级相关性, 构造一个基于像素间方向和距离的共生矩阵, 然后从灰度共生矩阵中提取有意义的统计特征作为纹理特征的表达。
设f (x, y) 为一幅二维数字图像, 其大小为M×N, 灰度级别为Ng, 给定距离d和方向θ, 通过计算共生灰度i和j的像元对数来表示共生矩阵元素p (i, j|d, θ) , 计算公式如下.
式 (4) 、 (5) 中, #{x}表示大括号中成立的像元对数, (k, l) 和 (m, n) 表示图像中相距为d且连线与坐标横轴成θ角的像素点坐标。显然, 共生矩阵的大小为Ng×Ng。
由公式 (4) 得到共生矩阵后, 从中提取四种描述性较强的统计特征, 具体如下。
式 (6) , (7) 和 (8) 中, μx, μy, σx, σy分别是px, py的均值和标准差, 是共生矩阵中每列元素之和; 是共生矩阵中每行元素之和。
取d=1, 分别构造θ=0°, θ=45°, θ=90°, θ=135°共4个方向上的共生矩阵, 并计算能量、熵、相关性和对比度这4个纹理参数在每个共生矩阵上的值, 取平均, 将其作为灰度共生矩阵所提取的四个参数, 构成图像的纹理特征, 记为V= (Vasm, Vent, Vcor, Vcon) 。
三、相似性度量
假设对于查询图像q, 其颜色特征LLq= (Lq1, main, Lq2, main, …, Lqm, main) , 纹理特征为Vq= (Vqasm, Vqent, Vqcor, Vqcon) 。
对于图像库中的图像p, 其颜色特征LLp= (Lp1, main, Lp2, main, …, Lpm, main) , 纹理特征Vp= (Vpasm, Vpent, Vpcor, Vpcom) 。基于综合特征检索的图像相似度计算方法如下。
1. 计算图像q与图像p之间的颜色特征相似度Discol (q, p) 。计算公式为
2. 计算图像q与图像p之间的纹理特征相似度Distex (q, p) 。计算公式为
3. 由于颜色和纹理属于不同类型的特征向量, 取值范围不一样, 因此分别对颜色特征相似度Discol (q, p) 和纹理特征相似度Distex (q, p) 进行归一化处理。然后进行加权求和, 得到两幅图像的综合特征相似度Dis (q, p) 。计算公式如下
式 (12) 中, ω1和ω2分别是对颜色特征距离和纹理特征距离的加权值, ω1+ω2=1, 且ω1, ω2∈[0, 1]。
四、实验及结论
从Corel图像库中选取5个类别共500幅图像组成测试图像库, 它们包括海边风景、建筑物、公共汽车、花朵、马, 每个类别有100幅图像。由于当颜色特征和纹理特征在特征融合所占比重不一样时, 图像的检索结果准确率不同。实验中, 在每个类别中随机选取10张图片, 改变颜色特征的权值ω1和纹理特征的权值ω2 (ω1=0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 且ω1+ω2=1) 进行检索, 每次选取前20幅最相似的图像作为检索结果进行统计, 然后选取检索效果最佳的ω1和ω2, 分别作为颜色特征和纹理特征的权值。综合考虑每个类别检索结果的平均准确率, 取ω1和ω2的值分别为0.7和0.3。
在每个类别中随机挑选20张图片作为查询样例, 并分别采用基于颜色特征的图像检索方法、基于纹理特征的图像检索方法和基于颜色和纹理综合特征的图像检索方法对图像库中的图像进行检索, 每次检索选取前20幅最相似的图像作为检索结果返回。将3种方法的检索结果进行对比, 得到的图像检索的平均查准率见表1。
由表1可知, 综合颜色和纹理特征的图像检索方法比利用单一特征检索的图像检索方法平均查准率要高。
五、结论
基于颜色和纹理综合特征的图像检索方法弥补了由单一特征描述图像导致的片面性问题, 充分利用了图像的颜色特征和纹理特征进行检索, 提高了图像的检索精度, 有效性较高。
颜色融合 篇2
近年来,人脸检测和跟踪技术在视觉监测、基于内容的检索等领域都有很重要的应用价值,已经成为一个独立的课题备受国内外专家和学者的关注,人脸跟踪也因此得以快速发展[1]。人脸跟踪中的两大关键因素就是跟踪线索的选择与表达,以往很多人利用单一的人脸信息作为目标特征进行跟踪实验,发现单独利用单一的人脸信息进行跟踪无法达到可靠的效果,所以本文提出结合颜色和轮廓共同作为人脸跟踪线索。因为颜色容易受到光照的影响,引入用直方图来描述人脸轮廓[2]的方法能有效缓解此问题,并且采用自适应调整描述人脸轮廓的特征点的个数,保证了跟踪的效率。本文选取粒子滤波算法作为跟踪算法,既摆脱了Kalman和扩展Kalman为解决非线性滤波问题随机量必须满足高斯分布的制约,又能表达比高斯模型更广泛的分布,也对变量参数的非线性特性有更强的建模能力,实用性强。同时,由于随机样本(粒子)有效地表达了跟踪目标的不确定性,从而保证跟踪的鲁棒性[3]。本文还采用了实时更新跟踪模板的方法,有效解决了背景中的肤色干扰和复杂背景干扰。实验证明本文提出的新算法在人脸跟踪方面具有很好的鲁棒性。
1 粒子滤波
粒子滤波的核心思想是通过一组加权采样集来表示概率分布,而且它的表示精度可以随着粒子个数的增加达到足够高,最终可以无限接近最优贝叶斯估计。
假设{xti,wti}(i=1,…,N),为后验概率密度P(xt|yti)的随机粒子,粒子的权值都经过归一化处理,那么在t时刻目标的位置的后验概率密度可以表示为
利用重要性采样原理对权值进行选择,假设粒子来自重要性密度函数q(xti|xi0:t,zt),则权值更新为
当粒子数足够大时,估计值近似于真实的后验概率,即可以用状态转移概率密度函数作为重要性密度函数。此时式(2)可以表示为
但是,这样估计的状态存在偏差,因为如果存在伪目标,这种估计均值其实是真实目标和伪目标的混合值,所以有必要设定一个阈值,来去除伪目标的干扰。本文是利用高概率区域内粒子的权值来估计跟踪目标的状态,并且在高概率区域内进行粒子重采样,即设定每个粒子匹配的相似度T作为阈值(本文T=0.7),利用相似度大的粒子的权值估计目标的位置,然后根据估计出的目标位置和相似度较大的粒子的权值进行重采样,那么就消除了伪目标的影响,可以近似为在真实目标范围内进行估计均值[4]。
2 跟踪线索
在图像序列中,可用于人脸目标跟踪的信息线索很多,而且各有特点,对不同的环境有着不同的鲁棒性,为了提高跟踪的可靠性,往往需要结合多种信息来完成复杂的跟踪任务[5]。通常要求选取的跟踪线索最好能够独一无二,以方便特征空间的建模,但是色彩易受到光照、背景等外在因素的影响,所以需要使用其他特征线索来辅助修正颜色线索的不足[6]。本文算法就是选择了以颜色为主要跟踪线索,辅以轮廓,实现了更好的人脸跟踪。
2.1 颜色
色彩特征一般需要借彩色空间模型进行描述[7],而最常用的色彩空间有LUV、RGB、HIS、HSV等多种可供选择[8]。由于RGB是色彩图像处理过程中最常用的色彩描述空间,同时考虑到LUV、HSV等色彩空间都存在噪声敏感的问题,所以根据应用场景和跟踪目标的性质,本文选择了RGB色彩空间。
本文在RGB颜色空间,对R、G、B三个分量均等划分,采用888量化形式将色彩灰度化,实现色彩描述由三维转化成一维,然后在前述工作的基础上统计不同色彩的频率,建立目标区域的颜色分布概率直方图,采用颜色直方图来描述目标人脸。
假设P0是目标灰度直方图模板,用于与观测值的比较,实现相似程度和权值的确定。设两个经过归一化的离散颜色直方图(模板图像颜色直方图和粒子颜色直方图)的密度为P0={P0(u),u=1,…,m}和P={P(u),u=1,…,m},由于Bhattacharyya系数可以反应两个颜色直方图匹配程度。所以,本文采用Bhattacharyya距离来度量目标区颜色直方图与人脸模型颜色直方图之间的相似性[9]。具体表示如下:
式中:ρ[Hoc,Hfc]是离散Bhattacharyya系数,ρ的变化区间在[0,1]内,ρ越大,两个直方图就越接近,即dc越小两个直方图越接近,当dc=0时,则意味着完全匹配。
为了提高跟踪的效率和精确度,本文提出了实时更新颜色线索的模板信息的方法。首先提取并保存目标人脸的模板信息,其中包括人脸的正面、侧面、后面、轮廓四个直方图矩阵信息,用于更新模板。由于人转身,不管是正面转向背面,还是背面转向正面,都要先经过侧面,所以,在实时更新模板的时候首选是侧面,然后选择正面或者背面。实验证明,此方法在目标人脸旋转,甚至在人背向摄像头运动的时候,仍然能够很好的跟上目标。
在复杂背景场景下,跟踪的目标模型中不可避免包含一些背景像素,这些不可避免的背景像素往往容易造成跟踪的偏差,这些偏差得不到及时的矫正,在后续的跟踪过程中会造成更大的误差,误差的积累最终会导致跟踪的失败,所以本文引进一种利用目标外围环中的背景信息来抑制背景像素的影响[10]。
假设目标人脸在大小比为1:1.2的两个同心椭圆内,内椭圆的归一化的颜色直方图为M,同心椭圆环的归一化的颜色直方图为H,依据背景概率分布H来修正原目标的概率分布M,达到抑制背景影响的目的。即通过一个函数f(M,H)来调整概率分布M中的各项特征系数,过程如下:
这里k是为了防止函数值为负无穷大或者除数为0的情况,本文设置k为110-11。函数f实现的功能是:在M和H同像素的位置上,若H分布中值较大,说明该像素在目标分布M中较多地描述了背景信息,应该被抑制,反之,若H分布中值较小,说明该像素在目标分布M中不属于背景信息,应该被保留。实验证明本方法很好地抑制了目标中背景像素的影响,从而突出了目标,提高了跟踪的准确度。
2.2 轮廓
除了色彩,边界是目标第二明显特征。尤其重要的是边界对光照变化不敏感,色彩特征对光照变化敏感,轮廓刚好可以弥补颜色在人脸跟踪过程中的不足。本文对轮廓描述主要参考Berkeley加利福尼亚大学的Belongie等提出的形状上下文的概念。轮廓上某一特征点的描述是指在一指定极坐标系中轮廓上的其他特征点相对于该点的矢量长度和转角的统计直方图[11]。本文所指的轮廓是指人脸的外围形状,所以先要对该区域进行边缘检测[12],并对检测到的边缘进行抽样。为了抽样方便,本文特征点由图像的检测边缘均匀抽样获得。假设边界点中选取的点集为P={p1,p2,…,pn},n值越大,特征点的描述就越清楚,但是同时也增大了计算量,降低了跟踪效率,所以本文参考粒子滤波中粒子数自适应调整的方法,实现了边界点的自动确定。
首先给定一个n值,进行边界点的选取,然后根据选取的边界点计算目标的质心坐标(xg,yg):
式中:P表示待计算的目标,I(x,y)表示目标的灰度值。然后还要给定一个阈值(本文选取=3),计算当前n值求得的质心与原目标质心的距离差,当这个差小于,则选取当前的n值为本次抽样值[13]。确定了抽样值,接着要将抽样得到的特征点转换成极坐标形式,即用方向和长度来表示不同的特征点。本文设置的方向参数为12,即将圆周分成12份,长度参数为7,即将圆周的半径平局分成7份。在点集P={p1,p2,…,pn}中,对于任意一点pi与剩下的n-1个特征点所构成的形状直方图的公式如下:
(x0,y0)表示极坐标的原点,通过上式可以计算出,除pi外的其余n-1个特征点相对于pi的极坐标,然后统计这些坐标群落在根据之前设置的转角参数和长度参数划分的格子的每一个格子里的点数,得到的便是pi的轮廓分布,最后还要再使用经验密度方法进行归一化处理,得到归一化的轮廓分布,依此计算n个特征点的直方图,可以表示成:
假设目标轮廓特征点为J个,同上式描述方法,可以表示为
接下来要计算人脸轮廓分布与原目标轮廓分布的相似性,因为对于原目标轮廓分布的任意一个特征点的直方图分布,都能在某时刻粒子提取的轮廓分布中找到与之最接近的,所以可以用X2距离来表示两个直方图的相似度,即:
本文将目标区域和人脸模型总的轮廓相似度定义为所有特征点匹配指标之和。
3 人脸跟踪实现
3.1 动态模型
在本系统中,被跟踪的人脸我们称之为目标,在每一视频序列当中被跟踪的目标可以用一个状态变量来描述[14]。
其中:(x,y)代表每一视频序列中剪切下来的包围了人脸椭圆框的中心坐标,而(l,h)代表椭圆的长轴和短轴,如果在不严重影响目标跟踪的准确性的情况下,固定长短轴之比能够减小程序的复杂度,但是可能增加数据量,影响跟踪的速度,所以本文采用可以大小变化的椭圆跟踪标识框。为了便于陈述,我们将椭圆坐标中心和椭圆长短轴分开表示,假设如下:
粒子的运动过程模型我们采用最常用二阶自回归过程来描述,这个简单的模型能够很好地模拟出大多数的物体运动状态,其具体表示如下:
假设Xt服从高斯分布,X0:t-1指的是粒子从0到t-1时刻状态序列,Xt-1表示的是粒子t-1时刻的状态,Xt-1-Xt-2表示的是t-1时刻和t-2时刻的状态偏移量,Q表示的是期望为0的高斯分布的协方差矩阵。P(Xt|X0:t-1)通过Xt-1、Xt-1-Xt-2和Q三个变量描述t时刻所有粒子的分布状态。
3.2 观测模型
本文人脸跟踪算法中采用了两种跟踪线索,所以,对于每一次的粒子滤波的观测量都不是一定相同的,需要对应选择。其中
目标区域颜色观测量:
目标区域轮廓观测量:
为了提高跟踪的速度,本文设计的人脸跟踪是以颜色跟踪为主,轮廓跟踪为辅,所以,假设一条线索所提供的观测量在统计上相互独立,则结合t时刻状态Xt下的颜色直方图与参考颜色直方图的相似性,当颜色的相似度低于阈值(本文取0.7),那么状态Xt粒子的权重为Ws(Zs|Xt),否则为Wc(Zc|Xt)。
3.3 本文算法实现步骤
本文的一次帧间人脸跟踪过程就是通过t-1时刻粒子状态集合,包括t-1时刻目标位置和粒子的权值,估计t时刻粒子的状态集合,本文人脸跟踪的大概过程如下:
1)首先根据重要性函数进行采样。当t=1时,初始化粒子权值为1/N。
2)设匹配相似度的阈值为T(本文T=0.7),按照阈值筛选出的粒子,选择加权粒子集。如果都小于T,更新目标模板,重新计算观测量和模型的匹配度,更新粒子的权值;如果粒子的权值仍然都小于T,则选择轮廓跟踪。完成一帧轮廓跟踪,返回颜色跟踪。
3)估计目标位置。
4)更新权值。
5)根据筛选的加权粒子集,在高概率区域内进行重采样。如此重复更新目标位置和粒子权值的状态。
4 跟踪实验结果分析
为了验证本文算法的有效性及快速性,本文特别选取了具有针对性和代表性的视频图像序列进行试验,该视频序列是专门用来进行人脸跟踪的视频序列,其中包含了如人脸肤色、光照变化、背景干扰等环境复杂的图像,因此利用此视频序列进行人脸跟踪实验验证,有较强的合理性和较大说服力。在实验平台的选择上,本文所提算法的实验是在Intel(R)Celeron(R)U3400 1.07 GHz的个人电脑上运行的,软件环境采用MATLAB 7.1。
为了实现人脸跟踪过程鲁棒性和跟踪效率的均衡,同时验证进一步提高跟踪准确度的必要性,首先本文利用传统的粒子滤波算法在只有颜色一个跟踪线索的情况下不同粒子数的人脸跟踪实验。实验结果如图1所示。我们可以看出,当粒子数较多(粒子数为200)时能够实现效果良好的人脸跟踪,但是跟踪效率很低(耗费时间为29.4 s);减少粒子数目(粒子数为100)后,较之前跟踪准确性误差增大,人脸旋转时候已经跟不上目标了,同时,跟踪耗费时间开始明显减少(耗费时间为9.5 s)。当进一步减少粒子数目(粒子数为50)时,跟踪误差进一步增大,在光照发生变化、人脸旋转的时候不能准确跟踪,而且,在正常情况下,人脸大小的调节也已经不准确。同时,完成时间只有稍微减少(耗费时间为5.7 s)。
由以上比较可以看出,粒子滤波人脸跟踪的优良准确度是通过耗费高性能计算资源以及时间来实现的。如果改进算法,使粒子数为100的时候的跟踪效果和粒子数为200个时候的效果一样或者更好,就相当于将时间增快了接近20 s,大大提高了跟踪的效率,很好地实现了跟踪准确度和效率的均衡,满足了实时跟踪的要求。所以,改进基于颜色的粒子滤波算法实现粒子数100或者更少粒子情况下还能准确跟踪是非常有必要的。
本文第二个实验是为了验证本文添加了轮廓作为跟踪线索后的新算法能够很好地克服光照对人脸跟踪的影响,以及人脸旋转的时候,新的算法仍然能够准确跟踪人脸。如图2所示,在同样粒子数目(粒子数目为100)的情况下,如图2第126帧和146帧,在光线突变和背景干扰较大的时候,本文结合了轮廓形状的粒子滤波人脸跟踪性能明显优于传统基于颜色的粒子滤波人脸跟踪。而且,在第70帧,人脸旋转的时候,传统算法已经跟不上人脸,而本文实时更新模型的算法仍然能够很好跟踪人脸。新算法跟踪耗时约为10.17s,这个耗时的稍微增加几乎可以忽略不计。
本文算法还对因背景存在与人脸类似像素信息造成干扰的情况采取了抑制措施,所以接下来本文做了第三个实验,论证本文在具有相似背景情况下本文算法的优越性。如图3所示可以看出在较强的类人脸背景干扰下,跟踪出现明显误差,而同样粒子数目的本文算法在相同的较强类人脸背景干扰下仍然能够实现良好的跟踪。
以上人脸跟踪准确度的比较都是基于人眼直观观察的,为了进一步说明问题,在以上实验基础上,本文还利用数据进行了验证。因为当粒子数足够多的时候,估计值可以近似为真实值。本文不断增加粒子数观察跟踪的情况,发现达到5 000个粒子的时候,跟踪路径基本接近真实轨迹,所以本文选取5 000个粒子时跟踪的路径,假设其为真实路径,选取基于颜色直方图的粒子滤波人脸跟踪算法粒子数分别为200、100、50时候跟踪路径与真实路径进行误差分析,同时选取了本文算法粒子数为100时候跟踪路径和真实路径的误差分析,四者的误差分析比较结果如图4和图5,图4是视频序列的横向跟踪百分比误差,图5是视频序列的纵向跟踪百分比误差,坐标系中,横轴表示视频序列帧数,纵轴表示跟踪百分比误差,其中跟踪误差定义为
其中:pre是指目标人脸的真实位置,pob是指利用跟踪算法得出的目标位置观察值。pre是指相邻两帧目标人脸真实位移。
跟踪百分比误差定量分析了人脸跟踪的效果。如图4和图5,表示本文新的人脸跟踪算法的轨迹线几乎没有什么大的波动,而且不论横向还是纵向的百分比误差都是很接近横向坐标轴的,表明该算法跟踪准确度很高。其次是200个粒子的传统粒子滤波算法、100个粒子的传统粒子滤波算法、50个粒子的传统粒子滤波算法,对照试验的图像序列,发现这些曲线的波动比较大的点,刚好是出现类人脸背景干扰、人脸旋转或者光照影响的时候。所以,曲线距离横轴的距离以及曲线波动点进一步证明,本文新算法在光照影响、人脸旋转以及类人脸背景干扰情况下较传统粒子滤波算法有很大的优势。
5 结论
本文针对现实的人脸跟踪问题,首先分析对比验证当前已有跟踪算法技术的特点及不足,然后将跟踪器设计和跟踪线索选择两方面作为切入点,针对视频跟踪的非线性和非高斯的特点,以及颜色线索的优越性和直方图描述对平移、尺度变化的高鲁棒性,本文选择了粒子滤波作为整个人脸跟踪算法设计的基本框架,添加颜色直方图作为跟踪的基本线索。为了克服人脸旋转问题,本文采取更新人脸模板的方法来提高人脸旋转时跟踪的鲁棒性,同时为了克服背景相似颜色的干扰,借助了椭圆环像素概率的比较方法进行抑制。由于跟踪过程中的光照影响,本文提出了使用轮廓分布作为人脸跟踪的辅助线索;为了减少状态估计的偏差,利用高概率粒子估计跟踪目标的状态,在高概率区内进行粒子重采样;最后选择权威视频序列进行实验,验证了所提算法的有效性和准确性。
摘要：实际人脸跟踪过程中,光照和姿态的变化、背景颜色干扰等因素都会极大地削弱颜色特征的有效性,从而造成跟踪的不稳定。针对该问题,本文提出了一种以颜色和轮廓分布为线索的粒子滤波人脸跟踪算法。该算法主要有三个方面的特点:第一,在粒子滤波基本框架下,引入新的用直方图描述人脸轮廓的方法,有效解决了光照、人脸旋转、部分遮挡问题对跟踪的影响,并且能及时有效地重新捕获由于大面积遮挡等原因而丢失的目标。同时采用实时调整每帧图像特征点个数,有效提高了跟踪效率。第二,针对背景干扰问题,提出了一种抑制相似背景颜色干扰的方法。第三,本文还提出实时更新模板的方法来提高跟踪的准确性。实验证明本文算法对人脸跟踪具有很好的效果。
颜色融合 篇3
该算法的流程图如图1所示。
2 车牌颜色分割与连通体分析
从车牌背景和字符间的固定搭配得知车牌区域有别于其他非车牌区域。本文针对黄底黑字的车牌进行分析和识别, 同理也可以得到蓝色或者其他颜色搭配的车牌的识别。
基于以上, 再采用相邻点与逻辑的方法提取黄黑交界条纹。为了提高分割的可靠性和适应性可以采用相邻的多点与逻辑运算。经过形态学滤波[1]得到细分割图像输出, 如图2所示。在经过颜色粗分割、边缘细分割之后, 图像中剩下了若干个满足要求的区域。由于我国牌照具有固定的大小和高宽比, 车牌字符的尺寸和字符间距也有明确的规定, 使得车牌区域在图像中映射成为具有一定特性的连通体将相互连接在一起的黑色像素的集合称为一个连通体[2], 如图3所示。连通体是对图像的一种拓扑描述。
3 车牌候选区域处理
对车牌候选区域的处理, 首先应该将候选区域进行适当地扩大 (以下以一个候选区为例) , 然后将其灰度化, 再做Radon旋转变换, 最后进行Niblack二值化, 得到输出图像。从Niblack二值化[3]图像可以看出图像区域中出现了噪声干扰, 故进一步对其进行连通体分析来去噪。结果如图4所示, 这个时候可以看出候选区域的大部分噪声干扰被滤除掉了。
4 匹配滤波
完成模板匹配滤波分析, 滤除非车牌区域。匹配成功之后定出车牌的左右边界。最后, 二值化图像并输出车牌最终检测结果。如图5所示。
5 结语
本文详细阐述了一种基于颜色融合和综合匹配滤波器的车牌检测算法。该方法结合车牌颜色、连通体特性、车牌字符分布等这三个明显的车牌特征, 从含有复杂背景的车辆图像中定位出若干个满足要求的车牌区域, 并应用模板匹配筛选出真正的车牌区域。
摘要：提出了一种基于颜色融合和匹配滤波器的车牌检测算法。经实验验证, 该算法取得了良好的效果。
关键词：车牌检测,颜色融合,连通体,匹配滤波器
参考文献
[1]赵雪春, 戚飞虎.基于彩色分割的车牌自动识别技术[J], 上海交通大学学报, 1998, 32 (10) :4-9.
[2]陈昌涛, 李刚, 魏民, 李宏, 李才有.字符边缘颜色与逻辑在车牌定位中的应用研究[J].计算机工程与应用。2009, 45 (18) :209-211.
颜色融合 篇4
关键词：彩色图像分割,颜色量化,颜色散度,种子区域生长,区域合并
1 引言
图像分割是从图像处理到图像分析的关键技术，也是图像处理的经典难题之一，它是图像分析和模式识别系统的重要组成部分，并决定图像的最终分析质量和模式识别的判别结果。所谓图像分割是指将图像中的像素划分成不同的区域，并使这些区域相互不相交，每个区域应满足特征区域的一致性条件，且区域边界简单空间分布合理。
彩色图像比灰度图像具有更加丰富的信息，因此随着计算机处理能力的快速提高，彩色图像处理在各个领域都有着更加广阔的应用前景[1]。彩色图像分割至今依然是一个没有得到很好解决的问题，并且仍然是研究的一个热点问题，人们已提出了上千种方法。主要方法包括：直方图阈值化，基于边缘检测的方法，特征空间聚类方法，如K-均值、模糊C-均值聚类等，和基于区域生长的分割算法[2,3]。
由于区域生长方法直接作用于颜色空间，在分割过程中同时考虑了色彩分布及其空域上的重新划分，因此，它比其他方法更适合于彩色图像分割[2]。为了避免调整同类判断的参数，种子区域生长(SRG)技术[3]选择了一系列初始种子来控制算法效果，但这种通过人机交互确定种子的方法会导致种子点选择不准确，而且只根据颜色间相似度划分区域，不能体现图像中区域内的纹理一致性。
本文针对以上问题，在种子区域生长算法的基础上提出了一种简单有效的彩色图像分割方法，该方法克服了传统区域生长方法不能自动选择种子的局限性，且在区域分裂合并过程中充分考虑局部纹理特征，能够得到与人类视觉判断相一致的有意义区域的分割，满足一般基于内容的图像检索或识别处理。
本文首先给出算法的详细描述，然后再结合具体例子将本算法与其他算法进行实验比较和分析，最后提出结论。
2 分割算法
本文提出的算法分两个阶段完成：第一阶段，颜色量化，即用K种量化颜色表示一幅具有N种颜色的图像(K<
2.1 颜色量化
图像的初始分割是第二阶段的输入，直接影响最终的分割结果，因此颜色量化非常重要。本文使用在颜色空间进行mean shif得到颜色量化结果。为了使得算法对颜色距离的定义符合人的视觉特征，本文选择LUV颜色空间，其中颜色距离的度量使用相对欧式距离。算法基本流程如下：
初始化，将输入的图像转换到LUV空间，并统计相应的三维颜色直方图，初始化当前待分类像素集Pixels_Remain为全部像素待分类颜色集Colors_Remain为图像中存在的所有颜色;
Step 1从Pixels_remain中随机选择某个像素Pk，计算该像素8邻域的颜色均值Mk，作为候选颜色分类Classk*的候选颜色，其中Mk=(Lk*,Uk*,Vk*);
Step 2计算待分类颜色集Colors_Remain中每个颜色Cj与Mk之间的相对欧式距离D(Mk,Cj)(公式3);
Step 3选择符合聚类条件的Cj，加入到候选颜色分类Classk*中，聚类条件为D(Mk,Cj)<=R(Mk)，其中R(Mk)为聚类阈值(公式2);
Step 4计算候选颜色分类Classk*的颜色均值M*与原来的颜色均值Mk之间的相对欧式距离D(Mk,M*)，若D(Mk,M*)>=THRESH(实验中THRESH取0.01)，则转至Step 1;
Step 5认为候选颜色分类Classk*为符合条件的分类，将Classk*就加入已分类集合中，并从待分类颜色集Colors_Remain中删除Classk*中的颜色，标记所有颜色值属于该分类的像素为分类顺序K，并从待分类像素集Pixels_Remain中删除这些像素;
Step 6若尚未达到最大分类次数MaxNum(实验中MaxNum取50)，返回Step 1，循环分类操作;
Step 7将Pixels_Remain中所有的像素标记为同类像素，将像素数较少的分类中的像素与其邻接的其他区域合并。
算法中聚类阈值R根据颜色分布自动获得：设图像中包含的颜色总数为N，像素总数为M，各颜色对应的像素总数为Wi，各颜色对应的颜色分量为(Li,Ui,Vi)，计算图像中所有颜色的均值μ，μ=(L,U,V)，其中：
则聚类均值R(Mk)为:
而D(Ci,Cj)为相对欧式距离,计算公式如下:
其中，(Li,Ui,Vi)和(Lj,Uj,Vj)分别是Ci和Cj对应的颜色分量。
第一阶段得到预分割结果，赋予像素所属颜色分类的标记，以区分不同的量化颜色及其对应的区域。实验表明，每个图像区域中的像素只对应少量颜色分类，且每个颜色分类所包含的像素也集中分布在少量的几个区域中，图1是部分实验的颜色量化结果。
2.2 区域生长
上面颜色聚类过程，虽然考虑了像素的空域信息，将邻近像素划分到相同的区域。但只考虑局部邻域像素间的颜色相似性，并不能得到令人满意的结果。本文采用[5]提出的种子区域生长算法，通过计算颜色散度，提高最终的分割结果，形成有意义的分割区域。
2.2.1 自动选择种子区域
种子区域应该具有一下特点：
1)颜色量化以后的颜色相同;2)目标区域至少能够产生一个种子;3)不同区域的种子不能连接。
本文通过如下方法自动选择种子区域：
Step 1逐像素计算像素所在区域的颜色相似度SCOLOR(公式4);
Step 2选择其中颜色相似度SCOLOR>=TCOLOR的像素作为种子点，其中TCOLOR统计所有颜色相似度值，取其中10%的下限;
Step 3通过区域合并方法将8邻域邻接的种子点合并成为种子区域;
本文定义颜色相似度如下：
其中f(c,ci)是颜色相似度加权函数：
P(i)为中心像素与该邻域像素i的相对距离。本文使用8方向每方向8个采样点的方法得到邻域像素，采样点间距为1。定义某个方向上第i个采样点与中心像素间的相对距离为p(i)=i。图2是实验中得到的种子区域。
图2左图是图像25098颜色量化后得到的结果，右图是自动种子区域选择的结果。
2.2.2 区域生长与合并
种子区域选择后，本文采用文献[4]提出的计算颜色散度，即局部J值的方法，进行种子区域生长。即计算剩余未分割区域中局部J值的均值，并将小于均值的像素合并，称为生长区域，如果某个生长区域与一个且仅与一个种子区域邻接，则将该生长区域加入到种子区域中。然后在下一级更精确尺度计算局部J值，重复上面的步骤，直到最精确尺度，进行逐像素搜索。
经过区域生长后，区域之间仍然存在许多相似性，本文通过计算区域间颜色直方图的相似性来合并区域。
3 实验对比分析
与JSEG算法[4]相比，本文在颜色量化过程中使用mean shift算法，并考虑邻域像素间的颜色相似性，得到初始分割。图3是使用本文方法与JSEG算法颜色量化结果的比较，两种方法都得到了8种量化颜色，虽然JSEG算法能够较多的保留局部信息，但使用本文方法能够极大地减少了计算复杂度，平均计算时间大约为JSEG算法的1/6，且不会影响最终得到对人视觉有意义的分割结果。
JSEG算法是通过计算局部J值的方法，选择种子区域。由于局部J值计算复杂度较高，本文使用了简化的计算方法，通过计算局部邻域颜色相似度，选择颜色相似度较大的像素作为种子点，进一步较少了计算复杂度。
本文使用了人工标注的分割图像库(Berkeley分割图像库)[5]和相应的分割性能评价方法。本文从其图像库中随机抽取了100幅彩色图像进行实验，分割结果的平均错误率为13.4%，低于JSEG方法的14.5%，图4中列举了一些实验使用的图片以及算法的分割结果与人工分割结果的对比(其中第一行是Berkeley分割图像库中人工分割的结果，第二行是本算法分割的结果)。
4 结论
实验结果表明本文提出的分割方法，能够自动选择种子生长区域，且计算复杂度较低，适于实时分割任务。克服了传统区域生长算法不能自动选择种子且容易导致过分割的局限性，分割过程中综合考虑颜色和空间信息，能得到与人类视觉判断一致的有意义区域的分割。
本文提出的算法也有不足之处，对于颜色对比不明显的图像，不能很好的描述区域间颜色差异，影响了分割结果，如何更好地提高算法的适用性，是今后研究的重点。
参考文献
[1]林开颜,吴军辉,徐立鸿.彩色图像分割方法综述[J].中国图象图形学报,2005,10(1):1-10.
[2]李唯为,黄辉先,张东波,等.种子区域生长技术在彩色图像分割中的应用[J].小型微型计算机系统,2008,29(6):1163-1167.
[3]Adams R,Bischof L.Seed region growing[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1994,16(6):641-647.
[4]DENG Y,MANJUNATH B S.Unsupervised segmentation of color-texture regions in images and video[J].IEEE Transactions of Pattern Analysis and Machine Intelligence,2001,23(8):800-810.
颜色融合 篇5
图像分割的目的是获取目标或目标的不同部分在图像中对应的像素集合描述,它们是对图像中目标进行描述的基础。显然,为了提高所提取区域和景物线索的相似性,可以采用多种图像特征,扩大对各种区域图像特性的描述范围和准确性,这样可以提高区域分割结果和景物之间的对应程度。
大多数彩色图像分割算法仅仅采用颜色特征用于分割[1,2,3],很容易对高纹理区域产生过分割,而一些彩色纹理分割的算法又没有充分利用颜色所携带的丰富信息。因此有效的融合颜色和纹理特性是获得稳健彩色图像分割的重要途径[4,5,6,7,8]。本文提出一种新的基于MRF模型的彩色图像融合分割算法,在Bayes分析框架中加入了图像特征的置信因子进行融合,通过引入置信因子有效融合了颜色和纹理两方面信息。最后的彩色图像实验结果证明了本文提出算法的有效性。
1 特征提取
在自然场景彩色图像分割中,最常用的特征是颜色和纹理。本文采用的颜色特征是HSV彩色空间。一般说来,彩色图像RGB三个颜色分量和人类的视觉没有很好的线性对应关系。同一种颜色,由于深浅、亮度略有不同,RGB分量都会发生剧烈的变化。通常人们对颜色的认识基于颜色的三个特征:色调H,饱和度S和亮度V。HSV模型通常用于选取颜色,它是面向用户的一种复合主观感觉的色彩模型,比RGB模型更接近人们对颜色的感知[6]。
自然图像中,各个区域间的差别不仅表现在颜色上,还往往表现在纹理上,为了有效地区分它们,必须加入纹理特征。高斯马尔可夫随机场(GMRF)模型是常用描述纹理数据分布的模型,在GMRF模型中,每个像素值是其邻域像素值的线性组合加上一个噪声项[7],即
式中,Ds为像元s指定的领域,εs为零均值Gauss噪声,且满足
既然是高斯分布,假设只考虑同构且各向同性的二阶邻域系统,
于是式(3)可以写成
两边乘vs并取期望:
用数值平均代替期望值,得到关于γ的估计公式:
式中,Dw为计算模型参数的所用窗口的有效部分。均值和方差的估计式为
由此,该区域的纹理特征矢量定义为{r1,r2,r3,r4,σ2}。
2 彩色图像融合分割模型
2.1 融合模型
图像分割问题可以看为是一个标记问题,即在分割图像中的每个像点处作一个类别标记以表明该像点所属的区域。假设图像的像点集为S={s=(i,j):1≤i≤M,1≤j≤N},要估计分割标记场x中像点xs取自一个有限集合Ω={1,…,K},实际观测图像所对应的特征矢量y={ys1,…,ysL:s∈S},L为特征数目。
根据基于意见一致理论[8]的融合模型为
式中,0≤αl≤1,,αl表示不同特征的融合系数。由Bayes理论可进一步得到
特征l的观测模型为
为了引入分割图像上下文约束信息,对于先验概率p(x),假设它服从离散马尔可夫随机场[5](MRF)分布,并根据MRF和Gibbs分布的一致性,通过势函数确定的p(x)为
式中,为能量函数,VC(x)为基团C的势函数,Z为归一化常数。考虑到计算效率,采用了同构且各向同性的二阶MLL(Multilevel logic)分布,并且其对应的基团只考虑双点基团[4]
依据MAP的原则
假设特征l的分布模型服从高斯分布(均值、协方差),以此得到目标函数J
2.2 融合系数
由于自然图像多种多样,有的颜色特征突出,有的纹理特征突出,仅用彩色或纹理都很难取得较好的效果,只有根据不同类特征在分类中所起的作用自适应地改变权值,才有可能使算法适应图像成像内容和成像条件的变化。
确定颜色、纹理特征所起的不同作用,就是确定αcolor和αtexture。若图像颜色起伏变换面积较大,适宜于用颜色特征分割,当起伏面积小,且比较剧烈时,就需要加入纹理特征。经过测量多幅纹理、灰度像以及纹理灰度混合图像的付立叶功率谱的能量分布发现,如果图像中存在较强的纹理,那么能量分布的中高谱段能量所占有百分比较大,通过统计能量分布的百分比,可以反映纹理特征和颜色特征的不同作用。为克服整幅图像的付立叶功率谱计算费时的缺点,采用扫描线频谱分析法[7]。注意到,若扫描线穿过图像的纹理区,那么该扫描线上的灰度变化起伏就会比较剧烈,表现为中高频分量聚集了较多的能量,占总能量的百分比高。通过分析不同频段能量所占的比例,就可以确定是否有强的纹理特征存在。统计多根水平、垂直扫描线的能量分布比例,就可大致估计整幅图像中纹理特征所占的权重。
3 分割算法
一旦选择了目标函数,图像分割问题成为离散优化问题中有明确定义的一个问题:找到一种标记,使目标函数J(x,k)取极小值。我们采用了模拟退火算法(Simulated Annealing Algorithm)给定过分割图像的类别标记,模拟退火本质上是对求解空间的部分随机搜索[2,3,4],计算Metropolics准则,以一定概率来确定接受选解的可能性的大小,除了接受优化解以外,还在一定范围内接受恶化解,这就使得模拟退火算法可以从局部最优的“陷阱”中跳出,有可能得到全局最优解。
综上所述,本文提出的彩色图像分割算法可以总结为如下4个步骤:
步骤1:提取图像的颜色和纹理特征。
步骤2:依据扫描线分析法,确定颜色、纹理特征的融合系数αcolor和αtexture。
步骤3:依据SA算法对式(8)迭代求解,得到初始过分割图像。
(1)设置初始温度为T(1);
(2)随机选择初始分割标记场x(1),并计算目标函数J(1);
(3)随机产生一个新的分割标记x(i+1),计算目标函数J(i+1),并计算ΔJ=J(i+1)-J(i),若ΔJ>0,则接受新的分割标记x(i+1),否则以概率eΔJ/T(p)接受新的分割标记x(i+1);
(4)重复(3)直到i>Imax;
(5)使用退火方案为:
(6)重复(3)-(5)直到p>Pmax。
步骤4:连通分析标号图像,输出赋予特征的图像区域描述。
4 实验结果
实验中参数取值为γ=0.2,β=1.0,Pmax=300,Imax=20,C=4.0,纹理分析窗口取Dw取为7×7。关于图像分割实验评价的问题,一般来说仍然是一个困难的问题。在彩色图像分割领域,由于自然图像的多样性,至今没有一个公认的客观评价标准,因此这里暂时只能采用人工判断的主观评价方法。图1和图2是采用本文提出算法得到的分割结果。实验表明,对于自然图像,本文分割算法能得到主观感觉上比较好的分割结果。
5 结束语
本文提出了一种新的基于MRF模型的彩色图像融合分割算法,在Bayes分析框架中加入了图像特征的置信因子进行融合,通过引入置信因子有效融合了颜色和纹理两方面信息。最后的彩色图像实验结果证明了本文提出算法的有效性。
摘要：提出了一种新的基于马尔可夫随机场(Markov random field,MRF)模型的彩色图像融合分割算法,在Bayes分析框架中加入了图像特征的置信因子进行融合。该算法有效融合了颜色和纹理两方面信息。最后的彩色图像实验结果证明了提出算法的有效性。
关键词：彩色图像分割,MRF模型,图像融合
参考文献
[1]Tremeau A,Borel N.A region growing and merging algo-rithm to color segmentation[J].Pattern recognition,1997,30(7):1191-1203.
[2]Mehmet C.A color clustering technique for image segmen-tation[J].Graphics and image proc,1990(52):145-170.
[3]Besag J.On the statistical analysis of dirty pictures[J].Journal of the royal statistical society,series B,1986(48):259-302.
[4]Geman S,Geman D.Stochastic relaxation,gibbs distribu-tions,and the Bayesian restoration of images[J].IEEEtrans patt,1984,(6):721-741.
[5]Dubes R C,Jain A K,Chen C C.MRF model-based algo-rithms for image segmentation[C]//Proceedings of inter-national conference pattern recognition.1990(6):808-814.
[6]Zhang Y J,Yao Y R,He Y.Color image segmentationbased on HIS model[J].High technology letters,1998,4(1):28-31.
[7]Speis A,Healey G.An analytical and experimental studyof performance of Markov random fields applied to texturesimages using small samples[J].IEEE trans on imageproc,1996,5(3):447-458.
[8]樊昀,王润生.面向内容检索的彩色图像分割[J].计算机研究与发展,2002,39(3):376-381.