分块图像（精选7篇）
分块图像 篇1
遮挡在实际生活中是一种普遍现象。当一个物体被另一个物体部分遮挡时,被遮挡的物体很难被识别(显然当物体绝大部分被遮挡时,由于不能得到该物体足够的可用信息,所以不能识别)。根据物体的局部特点,遮挡并不仅仅只包括其他物体的遮挡,也包括阴影和反射强光等现象。
目前,在计算机图像识别系统中,传统的主成分分析方法仍然被大量使用。主成分分析法可以被用于非常复杂的目标的识别,例如人脸[1,2,3,4]等。但是几乎所有基于主成分分析的视觉系统在识别目标时都把目标做为一个整体看待,这就导致其无法对于带有遮挡的图像进行有效的识别。
在本文中,一种新的方案将用于计算特征图像,并且提出了新的图像识别算法,即图像分块算法。具体办法是将一幅图像看作是由许多小的类似于马赛克块的分块图像组成的,而在基于特征的图像识别方法中,整幅图像可以被看作是由许多特征和特征之间的相对位置构成的,这种特征表示方法既是局部的又是全局的。这里进行了大量的实验来研究这种新的特征表示方法以及基于该特征表示方法的新的图像识别方法。实验表明,这种新的特征表示方法在图像识别中比传统的特征表示方法更有效。而当这种新的特征表示方法用于图像识别领域时,该方法对于带有53%遮挡部分的图像仍然有95%以上的识别率。
本文组织结构如下:在第二段中,分析了遮挡对于传统主成分分析法的不利影响并回顾相关工作;第三段提出了本文的图像分块方法及其优势;第四段给出了相关实验证明;第五段是总结和未来工作展望。
1 传统的基于PCA的图像识别算法在解决带有遮挡的物体识别时所存在的问题
在传统基于PCA[5]的视觉系统中,将图像作为整体处理并通过处理相应的特征系统来产生特征图像。此时,协方差矩阵中的每个元素表示图像中某两个像素之间的相互关系,换言之,要计算每一个主成分都需要分析图像中每对像素的相互关系。这不仅使计算耗费巨大,而且这种方法容易受到遮挡的影响。此外,在这种方法中很难证明图像中每一个像素和其他像素的联系是否对解决问题有帮助。
2 基于图像分块算法的图像表示和识别
研究表明在基于特征的物体识别算法中特征是一种局部特性,这种局部特性仅仅取决于小的邻近像素区域。所有特征的相对位置可以给出物体的整体拓扑结构。将这种观点应用于主成分分析中并给出局部像素的相关性,这就是图像分块方法(如图1所示)。在图像分块方法中,图像被分割成低维的小块图像,通过计算这些低维的小块图像的局部相关性得到局部特征向量,并将这些局部特征向量按照分块图像的相应位置排列。
许多光学现象本质上都是局部遮挡。如果遮挡之后一些主要特征仍然存在,该目标就仍然可识别(图2)。强光反射同样是一种局部现象,通常情况下,物体中仅有一部分反射强光,而在剩余的大部分中,强光会被忽略。此外,投影也可以被看作是遮挡,因为投影会使物体表面产生剧烈地改变。因此,遮挡,强光,投影都可以用相同的方法进行处理,因为它们具有相似的特性:(1)都是局部现象;(2)都大大改变了物体的表面特征。
假设图像大小为L×W,分块大小为m×n,并且整幅图像包括rc个分块,则有如下公式:
逐行扫描这些分块图像,得到向量vi,j(i=0,1,…,r-1;j=0,1,…,c-1),并连接这些向量,得到整幅图像的向量V:
对每一个小块vi,j应用主成分分析法,计算特征向量Φti,j(t=0,1,…,mn-1;i=0,1,…,r-1;
j=0,1,…,c-1)(这些特征向量按非递增顺序排序)。根据分得的图像块的相应位置把这些特征向量联系起来,整幅图像的主成分分析结果是:
这是整幅图像的一种新的全局表示,但同时产生新的特征向量的这种方法是通过计算局部相关性得到的,所以称这种方法为局部和全局方法。
任意一对主成分的内积是
当且仅当u=v时δu,v的值是0。因此,Φi(i=0,1,2,…,min(N-1,nm-1))(N是选用的样本图像的数量)是互相交的。依照线性代数理论,这些Φi是相互独立的且是构成LW维空间ℜLW的基础,但它们并不是LW维空间ℜLW的完整的基础向量,因为mn
依据主成分分析,全局表示是通过将一幅图像作为整体看待产生的,这是传统的最佳图像表示方法。因此,尽管Φi是组成LW维空间ℜLW的基本部分,但在把一幅图像当成一个整体看待的前提下这就不再是一种最佳的图像表示方法。换言之,也就是把Φi在图像识别阶段作为整体来看待,后面的实验证明了这个观点。事实上,把新的图像表示Φi应用在完全局部或完全整体的情况下都无法得到最佳的图像表示。实验结果显示,完全局部或完全整体的表示方法产生的效果都比较差,只有既局部又整体的表示才能给出更好的表现。
在图像分块方法中,所有Φi通过局部和整体方法获取。在新的图像表示方法中输入图像(从中减去均值图像)也被分割成小块,输入图像的投影向量为:
其中i=0,1,…,t(t是使用主成分的个数)。
投影向量提供了物体特征和拓扑方面的信息。
需要强调的是,所有相关分块图像所形成的形状并不一定是矩形。它可能是任意一种可以把物体围起来的形状。这些相关的分块图像形成了一种遮挡(如图3)。这种遮挡在提出的图像分块方法中对相应的小块图像给出了适当的权重。如果该分块被遮挡的话权重为1,如果没有被遮挡权重为0。换言之,没有被遮挡的分块在算法执行中被忽略。
3 实验测试新图像表示方法
3.1 实验方案
实验中所采用的物体是一个具有复杂纹理的盒子(如图4所示),使用普通光源,背景是一片黑色的绒布,盒子被放置在一张可以精确设置旋转角度的桌子上。每获取一幅新的图像,桌子会旋转2°。这样旋转一圈下来,可以使用CCD相机获取到180幅图像。所有这些获取到的图像都是160×120维的。将每次旋转4°获取到的90幅图像作为样本图像。
应用图像分块方法计算特征图像,每一幅图像被分割成20×20维的小块(如图4和图5所示),这样每幅图像就被分出48个小块。将4行2列位置上的小块作为局部样本图像去计算局部特征。使用图像分块方法产生整体特征图像作为新的图像表示。为了和图像分块方法进行对比,实验同时使用了传统的PCA方法来计算特征图像。实验结果在下面给出。
3.2 基于局部和整体图像分块方法的新图像表示法
当采用基于马赛克图像方法的新的表示时,换言之,即局部和全局表示,采用新的表示方法的重构图像比采用最适宜表示的重构图像的效果好。具体的实验结果证实了结论(如图6所示)。
假设使用特征图像数目为t,且有如下定义:
其中i=0,1,2,…,rc-1(rc是一幅图像中图像分块的总数目)。ti是分块图像i中最小特征图像数,并满足如下公式:
其中i=0,1,2,…,rc-1。τ是阈值,0≤τ≤1。分块大小是m×n,样本图像总数是N。图5所有的分块图像样本都是事先设置好的分块模板中的特定位置获取的,这里选取的分块定位是(0,2),(3,4)和(5,3):γ=2。
在图6中可以看出基于图像分块方法的重构图像比基于传统PCA方法的重构图像效果更好。原因是传统的表示方法是依据图像中每对像素的相关性产生的。而基于图像分块方法所产生的表示方法既应用了局部相关性,又在全局结构上考虑到了分块图像的位置相关性。图6是基于局部和整体图像分块方法的新图像表示法。将传统PCA表示方法和新表示方法的重构图像进行比较。第一行是原始图像,其中前两幅是样本图像,其余三幅为测试图像。第二行和第三行分别是重构图像。第四行和第五行是相应的残差图像。图像下面的数字表示重构图像像素错误数。τ=0.7时,在两种方法中都使用了20幅特征图像,残差图像γ=5,其他图像γ=2。
4 总结
本文提出了图像分块方法,这种方法在物体被遮挡情况下进行图像识别时具有更好的鲁棒性。即使在达到53%遮挡率的情况下识别效果依然良好。本文提出的方法在进行图像识别时比传统的主成分分析法具有更好地识别效果。
参考文献
[1]Belhumeur P,Hespanha J,Kriegman D.Eigenfaces vs.fisherfaces:recognition using class specific linear projection[C].Eur.Conf.on Com puter Vision,April 1996:45-48.
[2]曹红根,袁宝华,朱辉生.基于局部相位量化特征与多尺度分类的分块人脸识别[J].微电子学与计算机,2013,30(1):100-103.
[3]张良.基于PCA和FLD的人脸识别方法[J].电脑知识与技术,2012,8(34):8259-8262.
[4]尹飞冯大政.基于PCA算法的人脸识别[J].计算机技术与发展,2008(10):31-33.
[5]秦雪,侯进.一种改进的SIFT-PCA算法在图像检索中的应用,西南交通大学学报,2011,26(4):65-70.
分块图像 篇2
该领域的关键问题集中在信号的重构算法上, 基于匹配追踪算法 (Matching Pursuit, MP) , 能够在信号被采样后, 直接提取其特征量。由于其迭代结果都是非最优的, 因此, 迭代多次才能获得收敛。正交匹配追踪算法, 即OMP算法与MP算法相同, 均采用原子选择准则, 不同的是, 该算法通过递归处理选择的原子集合, 以此保证迭代最优, 有效的减少迭代次数[2]。
1 压缩感知与OMP算法
1.1 压缩感知
信号压缩处理中, 先对待压缩数据进行采样, 采样频率高于信号带宽二倍。将取得的采样值, 变换到其稀疏域上, 获取相应系数。去掉编码中不必要的零值或接近零值, 保留有效值。对保留的有效值进行编码后储存或传输。很明显, 这样处理流程对信号采集端, 产生巨大压力, 而计算量的增加并没有缩减时间, 同时浪费采样资源。压缩感知理论, 能够避免采样频率的限制, 而将计算复杂部分交给解码端实现, 通过这种手段, 能够降低采集端的计算量, 实现高效传输。
假设, 某一维信号x, 为一信号的子项, 各项数据都在实数域上, 其表达式定义为x=[X1, X2, ..., XN]T, 长度为N。对该信号进行CS采样, 得到y值, 定义为观测信号, 这种过程可以表示为:
观测值y长度小于N, 设为M, 称矩阵 (37) 为观测矩阵, 矩阵大小为M×N。研究的图像信号通常为非稀疏, 因此, 需要将x变换到其某一稀疏域上, 即
其中, s为信号x稀疏变换后所得的变换值, 稀疏度用K表示。
合并上述两公式, 得到
由于式 (1) 需要解出的x是欠定方程的未知数, 无法直接从观测值计算得到方程解。因此, 求解目标转变为该方程组所有解中, 最稀疏的x值, 即为CS压缩信号恢复值。问题转换为P0求解最优l0范数问题。
上式求解是一个NP问题, 结合CS理论约束等距性RIP (Restricted Isomtry Proper) 条件, 则能够高概率重构原始信号。
其中, 观测矩阵满足
对于原始信号x, 如果信号需要稀疏变换, 其变换矩阵与观测矩阵不相关, 则方程很大概率上满足约束等距性质。问题可以进一步转化为l1范数求解, 即:
l1范数最小化问题可使用基追踪求解, 并转换为线性问题, 通过凸优化算法求解。
1.2 OMP算法步骤
输入数据包括:观测矩阵、采样值、稀疏度, 分别用Φ、y、K表示。
输出无法精确求出, 因此以x的K-稀疏逼近x代替。
1) 令残差r0=y, 索引集非空, 迭代次数t=1。
2) 求残差r和传感矩阵的列内积中最大值对应的脚注, 即
3) 索引集得到更新, 进而求解重建集合
4) 利用最小二乘法逼近待重构数据近似解:
5) 更新残差值:
6) 判断t>K, 若满足则不再更新残差, 反之, 从步骤2) 开始继续执行。
虽然OMP算法与MP算法, 同样运用原子选择原则, 但其不同点, 在于迭代中通过递归后, 所选全部原子得到正交化处理, 因而, 能够减少该算法的迭代次数[3]。
2 重构分析及梯度判决
2.1 图像分块重构步骤
1) 对待处理图像A分成相等大小的正方块, 假定待测图像大小为N*N, 其每块分解成n*n大小。分块过小不利于CS正确处理, 分块过大, 会使迭代次数增加, 不利于计算。经测试, 本文试验256*256的图像, 选取块大小为4*4。
2) 对分块图像进行二维DCT变换。针对4*4图像, 选取相同的观测矩阵, 常规采用高斯矩阵。应用CS理论, 观测分块图像, 得到测量值。
3) 根据测量值和观测矩阵, 应用OMP算法恢复数据, 得到块重构图像。
2.2 实验结果与分析
本文使用matlab仿真, 实现图像经过CS采样, 分块时域图像DCT变换。所得结果如图1所示。应用OMP算法, 将分块图像重构结果, 如图2所示。计算其峰值信噪比, PSNR值为308.1476。
3 结论
本文研究压缩感知理论在图像信号方面的应用。采用压缩感知降低采集端复杂度, 应用计算能力较强设备在接收端, 采用OMP算法重构图像。试验表明, 通过选取适合的块大小, 能够提高图像重构质量。
摘要：本文研究压缩感知对一维信号处理的方法 , 将该思想应用于图像处理领域。通过将图像分块, 得到带压缩数据, 经DCT变换, 使得图像信号映射到其稀疏区域。将压缩信号, 采用OMP算法, 恢复得到分块图像, 实现图像重构。
关键词：压缩感知,图像处理,OMP
参考文献
[1]喻玲娟, 谢晓春.压缩感知理论简介[J].电视技术, 2008, 32 (12) :16-18.
[2]刘亚峰, 刘昱, 段继忠, 等.基于DSP的OMP算法实现及音频信号处理[J].电声技术, 2012, 36 (2) :60-63.
分块图像 篇3
图像检索所用到的基本特征主要为颜色、纹理、形状、轮廓、空间关系等, 纹理、形状、轮廓等特征经常被使用, 但是没有确切的定义, 且比较复杂。颜色是图像的最显著特征, 也是人识别图像的主要感知特征。它具有视觉最显著、最可靠、最稳定的效果, 而且还具有旋转不变性和尺度不变性, 因此被广泛使用。基于颜色特征的表示方法很多, 其中直方图方法是最常用的方法之一。
1 传统的全局颜色直方图算法
使用颜色直方图作为图像内容的检索特征, 首先要确定颜色的种类, 即将颜色空间划分成若干个固定的子空间;然后计算每幅图像的颜色直方图, 即对每幅图像统计属于各个颜色子空间的象素的比例;最后是图像之间的相似度计算。具体步骤如下:
1.1 计算颜色直方图
给定的一幅图像 (fxy) M×N, fxy表示像素点 (x, y) 处颜色值, M×N表示图像的尺寸, 图像所包含的颜色集记为C, 则图像的颜色直方图可表示如下:
1.2 相似度计算
这里介绍一种常用的矩离算法是Swain和Ballard提出的直方图相交法。设查询图像为I, 目标图像为Q, 则矩离为:
颜色直方图作为一种重要的基于颜色特征进行图像检索的方法, 具有特征提取和相似度计算简便, 并且随图像尺度、旋转等变化不敏感的特点。但颜色直方图描述的是图像颜色的统计特性, 丢失了图像颜色的空间分布信息。
2 一种改进的颜色直方图法
为了在图像的颜色直方图中包含图像颜色的空间分布信息, 我们将图像的边缘信息融入到图像的颜色直方图中。设Δ (i, j) 表示在像素 (i, j) 处的拉普拉斯算子, Constantium等提出了下述改进的加权颜色直方图:
当式中α=0时, 退化为传统的直方图;当α<0且k≠0时, 属于连续区域内的像素得到了加强;当α>0且k→0时, 属于图像边缘的像素得到了加强。
3 基于九分块的颜色直方图算法及具体实现
3.1 颜色空间的转换和颜色量化
由于人的视觉对亮度的敏感程度远强于对颜色浓淡的敏感程度, 为了便于色彩处理和识别, 人的视觉系统经常采用HSV色彩空间, 它比RGB色彩空间更符合人的视觉特性, 它由色度H、饱和度S、亮度V, 3个分量组成。由于这种模型具有线性伸缩性, 可感知的色差与颜色分量的相应样值上的欧儿里德距离成比例。因此HSV颜色模型比RGB颜色模型更直观、更客易接受。它与RGB颜色模型关系如下:
其中色度H的取值范围 (0°~360°) , 饱和度S的取值范围 (0~1) , 亮度V的取值范围 (0~1) 。
为简化计算, 我们采用文献 (孙君顶等2006) 提出的将图像的颜色量化为13个级别, 量化方法如下表:
3.2 基于九分块的颜色直方图算法
a.首先将图像平均分割成9块, 如下图所示
设查询图像和将进行比较的目标图像分别为I和Q, 则
I=I1+I2+I3+I4+I5+I6+I7+I8+I9,
Q=Q1+Q2+Q3+Q4+Q5+Q6+Q7+Q8+Q9。
b.再将图中各部分看作独立的图像, 分别计算出I图的九部分颜色直方图:
{H (I1) , H (I2) , H (I3) , H (I4) , H (I5) , H (I6) , H (I7) , H (I8) , H (I9) }
和Q图的九部分的颜色直方图:
{H (Q1) , H (Q2) , H (Q3) , H (Q4) , H (Q5) , H (Q6) , H (Q7) , H (Q8) , H (Q9) }。
c.最后根据直方图相交法, 将I图的九部分颜色直方图和Q图的九部分的颜色直方图两两相交计算小图间的距离, 得到下面的矩阵D9×9
D9×9的任意一行或列表示该行所在的小图与另外图像的三九幅小图比较所得的距离值, 取其每行或每列的最小值即可表示该小图与另外图像的九幅小图比较相似度最大值。
L (Ii) =min{D[i][j]|j=1, 2, 3}
Q (Ii) =min{D[i][j]|i=1, 2, 3}
将整图中九个小图与另一幅图的小图比较后得到的最小值求和得到的值作为两幅整图的相似度, 为了防止个别小图对整个大图的影响过大, 取最大值做为图像之间的最终相似度。
4 实验及结果
基于上述思想, 本文实现了一个原型系统。该系统的环境为:Genuine Inter (R) CPU T2050@1.60GHz, Windows XP 512M内存。在原型系统的基础上, 设计了三个实验: (1) 作基于传统直方图法的图像检索; (2) 作基于一种改进的直方图法的图像检索; (3) 作本文所研究的基于九分块的颜色直方图法的图像检索。实验所采用的测试图像数据库是corel图像库中的corelimg2文件夹中的312幅图像, 其中有关大型巴士的图像88幅, 有关恐龙和大象的各100幅, 还有有关花朵的24幅。实验中, 我们做了两组检索, 从测试图像数据库中抽取了一幅巴士图像和一幅花朵图像, 分别用上述三种算法做了一次检索, 每一次检索, 系统返回14幅相似图像。以下是实验结果。
当以花为检索图像时:, 如图1、图2、图3所示。
当以巴士为检索图像时, 如图4、图5、图6所示。
从检索结果明显可以看出, 改进的颜色直方图法比传统颜色直方图法要好很多, 基于九分块的颜色直方图查准率最高, 效果最好。
5 结语
基于九分块的图像检索算法, 考虑了图像颜色的空间信息, 实验证明有很高的查准率, 但由于它的庞大的计算量使得计算速度比较低。下一步工作就是通过研究一种改进的索引技术或通过其它方法来提高检索速度。
参考文献
[1]Swain M J, Ballard D H.Color indexing[J].International Journal of Computer Version, 1991, 7 (1) :11-32
[2]孙君顶, 赵珊.图像低层特征提取与检索技术[M].北京:电子工业出版社, 2009.
[3]黎洪松.数字视频处理[M].北京:北京邮电大学出版社, 2006.
[4]James Z Wang.Integrated Region-Based Image Retrieval[M].Boston:Kluwer Academic Publishers, 2001.
分块图像 篇4
传统的视频监控系统多采用MPEG, H.26X等压缩算法, 对信号进行高速采样, 得到大量采样值, 加大了计算复杂度, 造成了不必要的内存浪费, 给视频图像的存储和传输带来了许多挑战[2]。
近年来, Donoho[3]和Candè[4]提出了压缩感知理论, 理论指出通过信号的稀疏特性, 在远小于奈奎斯特采样率的条件下采集数据, 通过重建算法仍能精确地恢复出原始信号。采样时抛弃了信号中的冗余数据, 降低了计算复杂度和传输带宽, 为视频传输打下了良好的基础。
1 压缩感知介绍
设有一个长度为n的一维信号Χ, 记为X[n], 假设空间中的任意信号都能用正交基Ψ=[ψ1, ψ2, …ψM]的线性组合表示, 则
式中:θk=
设计一个平稳的且与变换基Ψ不相关的观测矩阵Ф, 对Θ进行观测并得到观测值:
在信号X为K项稀疏或可压缩的前提下, 求解式 (2) 的问题就转化为求解最小0范数的问题, 通过重构算法就可以恢复出原始信号。
2 图像压缩感知算法实现
由压缩感知原理可知, 被测信号应为一维的离散信号, 而图像压缩编码理论体系处理的都是二维的图像信号。传统处理方法是将图像一维化, 对图像进行稀疏表示, 乘以测量矩阵进行采样。Y.Zhang[5]等提出基于一维变换的压缩感知图像重构模型, 忽略了高频信息, 降低了重构质量。[6]中Huijie Guo等人对高频系数采样, 同时保留了低频信息。以上两种方法都是对整幅图像进行采样, 选取观测矩阵较大, 计算复杂。文献[7, 8, 9]提出了一种结构化随机矩阵, 这种矩阵所需的存储量小, 但构造矩阵的过程繁琐, 不易于实现。
考虑到图像编码的特性, 如果能对图像进行二维观测, 将有效的低观测矩阵的大小, 有利于信号重构。基于此, 本文提出了分块处理的压缩感知算法。
假设原始图像X数据大小为N=p×q, 测量向量的维数为n维, 改进方案将图像分成每块大小为B×B的子块, 且对每小块进行相同的操作。原始图像第i个小块经过变换后的向量记为xi, i=1, 2…..n, n=N/B2, 则对应的测量值yi可表示为
其中ΦB是一个nB×B2的正交独立同高斯分布矩阵[10], 对于整幅图像的采样操作Φ可以表示为块对角矩阵, n个对角元素皆为ΦB。
从这里可以看出, 在分块压缩感知采样中, 不需要存储n×N的矩阵Φ, 而只需保存一个nB×B2的矩阵块ΦB。显然, 当B较小时, 内存占用少且计算速度快, 这对于嵌入式系统来说意义重大。
3 实验与分析
3.1 方案验证
为了说明分块压缩感知的有效性, 进行了图像分块前后的对比试验。在嵌入式平台上选取图像Peppers作为测试对象, 设计了8×8分块下的观测过程, 使用正交匹配追踪算法进行图像重构。在不同的采样率下, 分块前后的峰值信噪比如表1所示。
从表1中可以看出, 在不同的采样率下, 重信噪比相对未分块时有明显的提高, 重构效果增强, 证明了分块压缩的可行性。
3.2 实验结果分析
本文采用OK6410开发平台来构建嵌入式监控系统, 实现视频的采集、编码及传输。将分块压缩感知应用于嵌入式平台监控, 对整幅图像进行分块, 对每一个图像块进行观测, 将观测值量化后打包传输, 在解码端反量化, 利用正交匹配追踪算法恢复出原始图像。图1分别是原始图像和采样率为0.7时的重构图像。
对比两幅图像可知, 本文的监控系统在监控效果和图像质量上与传统系统有一定差距, 但基本上能满足监控需求, 同时前者数据计算量小, 传输效果好, 在带宽较窄的无线通信中, 能更好的满足物联网通信的要求。
4 结语
通过压缩感知的基本理论, 利用嵌入式系统平台, 将图像采集、压缩有效地整合为一体。针对一维观测在计算时占用大量存储空间并耗时巨大的问题, 给出了图像分块压缩的改进方案并取得良好效果。采集较少的视频图像信息就能够有效的重构原始图像, 减少了传输带宽, 方便后续的视频传输。
摘要：在传统的压缩编码技术中, 采样均遵循奈奎斯特定律, 该定律规定采样频率要高于原信号频率的两倍。为了降低采样数据量和计算复杂度, 设计了基于压缩感知的嵌入式视频监控系统。应用分块压缩感知处理获取图像, 解决了传统压缩感知在重构时计算量大的问题。进行了图像分块前后的对比性实验, 给出了对比数据, 实验结果验证了这一算法的可行性。
关键词：压缩编码,嵌入式系统,压缩感知,分块压缩
参考文献
[1]王安红, 李志宏.面向物联网的视频编码算法和系统[M].北京:国防工业出版社, 2011.
[2]毕厚杰.第一代视频压缩编码标准——H.264/AVC[M].北京:人民邮电出版社, 2005.
[3]Donoho D.Compressed Sensing[J].IEEE Transactions on Information Theory, 2006, 52 (4) :1289-1306.
[4]Candes E, Romberg J, Tao T.Robust uncertainty principles:exact signal reconstruction from highly incomplete frequencyinformation[J].IEEE Transactions on Information Theory, 2006, 52 (2) :489-509.
[5]Y.Zhang, S.Mei, Q.Chen, Z.Chen, A novel image video coding method based on Compressed Sensing theory[C], Acoustics, Speech and Signal Processing, 2008.
[6]Huijie Guo, Baojun Zhao, Gang Zhou.Image Compression Based on Compressed Sensing Theory and Wavelet Packet Analysis, Cross Strait Quad-Regional Radio Science and Wireless Technology Conference (CSQRWC) , 2011.
[7]E.Candes and J.Romberg, Robust signal recovery from in-complete observations[C], in Proc.ICIP, 2006:1281-1284.
[8]T.T.Do, L.Gan, N.Nguyen, and T.D.Tran, Fast and efficient compressive sampling using structurally random matrices[J], IEEE Trans.Signal Processing, 2012 (60) :139-154.
[9]Lu Gan, Thong T.Do and Trac D.Tran, Fast compressive imaging using scrambled block hadamard ensemble[C], in Proceedings of European Signal Processing Conf, Switzerland, 2008.
分块图像 篇5
图像边缘是图像的基本特征,这些信息可以用于图像分析、目标识别以及图像滤波[1]。图像算法的处理可以用软件或者硬件来实现,而对于实时图像处理来说,需要很高的速度要求,因此通常采用硬件进行图像处理[2]。目前,图像处理的硬件设计有两种技术方案,一是全定制的专用集成电路(ASIC),二是半定制的数字信号处理器(DSP)以及现场可编程门阵列(FPGA),二者在设计中的运用都可以大大加快对信息的处理速度[3]。
目前边缘检测算法已有一系列基于微分的边缘检测算子,如Roberts算子、Sobel算子、Prewitt算子、Canny算子等[4]。Sobel算子是边缘检测中常用的一种模板,其有3种算子,分别用于检测水平边缘、垂直边缘以及对角边缘。Sobel算子在运算上不涉及复杂的数据运算,适用于实时性要求高的环境。并且与Prewitt算子相比,Sobel算子对于像素的位置影响做了加权,降低了边缘的模糊程度,效果更好[5]。由于Sobel算子检测得到的是整幅图像的梯度值,最后还需要用图像分割算法对图像的梯度采取阈值处理。
由于阈值处理直观、实现简单且计算速度快,因此图像阈值处理在图像分割应用中处于核心低位。文献[6,7]中采用基于Otsu的改进型方法进行阈值处理以及基于小波变换的阈值处理等。但是,这些方法的计算量大,算法复杂度高,而实时边缘检测系统对速度的要求相当高,因此并不适合。因此,本文改进了运算相对简单的全局单阈值处理,提出了一种基于图像分块的阈值处理算法,以此作为实时边缘检测系统的阈值处理算法。
由于已经用Sobel算子检测得到了图像的梯度值,在均匀光照环境下,边缘部分和非边缘部分的灰度直方图间存在一个相当清晰的波谷,因此可以采用适合于整个图像的全局单阈值处理。但是当图像中存在非均匀光源部分,会使得阈值偏大,导致图像中部分梯度值较小的边缘容易被漏检。如图1a为均匀光源环境,图像中各部分的光照程度近似。而图1b为非均匀光源环境,由于图像的左上角存在白炽灯,会造成此部分的梯度值偏大,很大程度上会影响图像的边缘检测效果。
文献[8]中提到了一种简单根据图像的灰度值将其分成高灰度值部分和低灰度值的部分,然后对这两部分分别进行边缘检测。这种方法,在一定程度上能够补偿光源不均匀性。但是由于其简单针对图像的灰度进行分组,效果有限。
本文改进了这种根据图像灰度值进行分组的思想。对采集到的图像进行Sobel边缘检测处理后,根据图像的梯度值进行分组。并在全局单阈值处理算法基础上,将其分别运用分组后的子图像中。
2 基于图像分块的边缘检测系统及其FPGA实现
图2为基于图像分块的边缘检测系统的软件设计框图。系统改进了全局单阈值处理算法,根据图像的梯度值进行分组,提出了一种IEDIP(Improved Edge Detection based on Image Partition)算法。该算法先通过Sobel边缘检测算子对采集到的图像进行梯度计算,并根据图像的梯度值将其分为若干个子图像。然后对各个子图像分别采用全局单阈值处理,最后将所有子图像的阈值通过简单的计算得出一个新的阈值,并以此作为当前整幅图像阈值。
2.1 Sobel边缘检测算子及其FPGA实现
系统采用3×3的Sobel算子分别计算3个方向的梯度值,分别为x方向、y方向和对角线方向,通过比较3个方向的梯度值,取其中的最大值作为该点的梯度值,Sobel算子在3个方向的检测模板如图3所示[9]。
Sobel算子以检测的像素点为中心,其梯度计算公式分别为
Sobel边缘检测算法在FPGA上实现需要用到3×3的方形窗,为了使窗中的3行3列共9个像素能够在一个时刻同时输出,便于之后的核心算法模块进行数据处理,在3×3方形窗的硬件设计中,本文采用3个FiFo存储器。利用Quartus II的MegaWizard Plug-In Manager工具可以很方便地设计出符合设计需求的FiFo存储器,设计数据位宽度8 bit,数据长度1 024,这里需要1个“almost_full”信号,在数据长度为640(VGA分辨力为640×480)的时候,表示1行像素数据存储完成,“almost_full”信号置“1”,同时FiFo开始输出信号并将像素数据发送到下一个FiFo中,具体实现方法如图4所示。
在梯度计算的过程中需要对方形窗所产生的像素数据进行缓存,缓存数目由窗口的大小决定。每次方形窗送出像素数据后,首先要将像素数据缓存,然后再进行梯度计算,输出梯度值。通过比较器,计算3个方向的梯度,具体FPGA实现过程如图5所示。
2.2 全局单阈值处理算法及其FPGA实现
当物体和背景像素的灰度分布十分明显时,可以用适合于整个图像的全局阈值。由于已经用Sobel算子检测得到了图像的梯度,边缘部分和非边缘部分的灰度分布十分明显,即使全局阈值是一种合适的方法,对每一幅图像有能力自动估计阈值的算法也是需要的[9]。下面的迭代算法可用于这一目的。
1) 为全局阈值T选择一个初始值。
2) 用T分割该图像。这将产生两组像素:G1由灰度值大于T的所有像素组成;G2由所有小于等于T的像素组成。
3) 对G1和G2的像素分别计算平均灰度值(均值)m1和m2。
4) 计算一个新的阈值,由公式为
5) 重复步骤2)到步骤4),直到连续迭代中T值间的差小于一个预定的参数ΔT为止。
通常,ΔT越大,则算法执行的迭代次数越少。用FPGA实现时,采用VGA的场同步信号控制阈值计算,即每产生一次场同步信号,重新计算一次阈值。本设计以ΔT设定为0为例。具体FPGA实现过程如图6所示,像素经过Sobel边缘检测算子模块输出的梯度值,除了需要根据当前阈值判断该像素点为边缘点或非边缘点并输出二值图像,还要将对该像素进行上述的全局单阈值处理算法以更新下一帧图像的阈值。
值得注意的是,由于上述全局单阈值处理算法仅当物体和背景的直方图模式间存在一个相当清晰的波谷时,这个算法才工作得很好。但是,当存在非均匀光源部分时,由于非均匀光源部分的梯度值极大,上述算法中的G1值将显著增大,从而导致阈值T的值增大,这会导致一些重要的边缘像素被滤除,针对这一问题提出了下述的基于图像分块的阈值处理算法(EDIP算法)。
2.3 基于图像分块的阈值处理算法及其FPGA实现
IEDIP算法是将每一帧图像分成若干个子图像,然后针对每个子图像分别进行上述的全局单阈值处理,最后将所得到的各个子图像的阈值进行比较计算得出一个新的阈值作为下一帧图像的阈值。由于计算得到的阈值相比非均匀光源部分子图像的阈值明显要小,因此能够有效地用于补偿光照的不均匀性,使一些重要的边缘得以保留。
由于存在非均匀光源的子图像经过全局单阈值处理算法后,其阈值与其他子图像的阈值相比较会明显增大,从而导致图像显示的分块。因此,最后需要对所有子图像的阈值进行计算,得出当前图像的阈值,使显示的图像不存在分块的现象。即最后显示的边缘检测图像需要满足两个要求,一是显示的图像不存在分块现象,二是能够有效地补偿光照现象,使一些重要的边缘不被滤除。
系统的FPGA实现框图如图7所示,首先像素需要经过Sobel边缘检测算子模块输出得到梯度值,并且根据该像素所在的坐标位置(Loc_x,Loc_y)将其划分到不同的子图像中。然后需要根据当前这帧图像的整体阈值判断该像素点为边缘点或非边缘点并输出二值图像,并且根据该像素所在的子图像,仅对该子图像全局阈值处理算法以更新该图像的阈值。最后对所有子图像的阈值进行计算,得出当前图像的阈值。由于在FPGA里面的除法很难确定需要多少个时钟周期,视频图像的处理对于速度的要求相当高。这里作了简单地加法和移位运算处理,即采用4块阈值的均值代替存在非均匀光源部分的阈值,公式为
hold[temp]=(hold[0]+hold[1]+hold[2]+hold[3])>>2 (5)
3 实验结果与分析
3.1 基于图像分块的边缘检测系统的实验结果
系统的实验结果如图8所示,从图8b可以看出,左上脚的白炽灯处的灰度值相当大,这对于采用全局单阈值处理后的图像相当不利,其阈值将会向灯光的灰度靠近,即阈值变大,造成分割后的图像边缘信息严重丢失。针对此问题,采用EDIP算法将图像进行分块,将白炽灯独立在一个单独的子图像中,使其灰度值不影响其他3块图像阈值的计算,其效果如图8c所示。但是,图8c中可以看到明显的分块痕迹,这是边缘检测所不希望的结果,因此需要采用改进后的IEDIP算法对4个子图像的阈值进行修正计算,将得出的新阈值作为此图像的阈值,其结果如图8d所示。
3.2 基于图像分块的边缘检测系统与基于全局单阈值处理的边缘检测系统的结果比较
结果比较如图9所示,比较图9b和图9c可知,在均匀光源环境下采用全局单阈值处理和基于图像分块的阈值处理算法得出的结果基本相同,都能够将图像的主要边缘检测处理。由图9e可以看出在非均匀光源的环境下采用全局单阈值处理的边缘检测系统仅将光源白炽灯的边缘检测出来,而且其他边缘信息全部被滤除,这是由于左上脚的白炽灯光源处的梯度值相当大,这样对于采用全局单阈值处理后的图像相当不利,其阈值将会向灯光的灰度靠近,造成图像的阈值偏大。由图9f所示,在非均匀光源环境下采用基于图像分块的阈值处理的边缘检测系统能够将图像的主要边缘检测出来,和均匀光源环境下的检测效果一样好。相比之下,本算法对于非均匀光源环境的边缘检测效果明显较好。
4 结束语
本文以Sobel边缘检测算子为基础,将全局单阈值处理算法进行改进,提出了一种基于图像分块的阈值处理算法,先用Sobel算子计算出图像的梯度值,然后通过将图像分块成若干个子图像,针对各个子图像分别采用全局单阈值处理,然后将所有子图像的阈值通过简单的计算得出一个新的阈值,并以此作为当前图像阈值。本算法通过FGPA得出实验结果,实验证明了该算法在非均匀光源的环境下用于实时图像的边缘检测效果理想。
参考文献
[1]GUO Z,XU W,CHAI Z.Image edge detecton based on FPGA[C]//Proc.9th International Symposium on Distributed Computing and Appli-cations to Business Engineerng and Science(DCABES).[S.l.]:IEEEPress,2010:169-171.
[2]HOUARI K E,CHEERAD B,ZOHIR I.A software-hardware mixed de-sign for the FPGA implementaton of the real-time edge detection[C]//Proc.IEEE Inernational Conference on Systems Man Cybernetics(SMC).[S.l.]:IEEE Press,2010:4091-4095.
[3]甘振华,应骏.基于FPGA的嵌入式图像边缘检测系统设计[J].电视技术,2010,34(8):43-45.
[4]QIAN X,CHAKRABARTI C,KARAM L J.A distributed Canny edge de-tector and its implementation on FPGA[C]//Proc.Digital Signal Pro-cessing Workshop and IEEE Signal Processing Education Workshop(DSP/SPE).[S.l.]:IEEE Press,2011:500-505.
[5]YASRI I,HAMID N H,YAP V V.Performance analysis of FPGA basedSobel edge detecton operator[C]//Proc.ICED 2008.[S.l.]:IEEEPress,2008:1-4.
[6]ZHANG J,CHEN Y,HUANG X.Edge detection of images based on im-proved Sobel operator and genetic algorithms[C]//Proc.IASP 2009.[S.l.]:IEEE Press,2009:31-35.
[7]GAO W,ZHANG X,YANG L,et al.An improved Sobel edge detection[C]//Proc.ICCSIT 2010.[S.l.]:IEEE Press,2010:67-71.
[8]ROUTRAY A,MOHANTY K B.A fast edge detection algorithm for roadboundary extraction under non-uniform light condition[C]//Proc.ICIT2007.[S.l.]:IEEE Press,2007:38-40.
分块图像 篇6
图像匹配是指对多幅存在重叠图像区域的待匹配图像, 利用其相邻两幅间灰度、纹理、位置等特征的对应关系、相似性和一致性分析, 搜索并识别出相邻图像间的匹配点对。图像匹配是计算机视觉的基础, 在遥感图像处理、医学图像分析、目标跟踪识别等图像分析领域应用广泛[1,2,3]。
图像匹配的主要内容是提取每幅图像的特征点和寻找图像间的匹配点对, 一般分为基于区域相关和基于特征的两类算法[4]。当前基于特征匹配算法逐渐成为主流研究方向, 其相关理论的研究取得快速发展。2004年, 加拿大学者David G.Lowe总结并正式提出的SIFT算法[5]通过构建128维的特征点描述子集, 准确稳定地提取特征点, 但计算复杂度较高。随后出现的SURF算法[6]利用Hessian矩阵和Haar小波来提取描述子, 将维度降低至64维。文献[7]利用主成分分析法改进SIFT算法生成36维描述子, 然而其计算量耗时代价较大。同时, 国内学者刘建妮等[8]仅利用SIFT算法定位特征点, 利用最大互相关实现快速匹配, 但其匹配精度不足。哈工大的曾峦等[9]利用扇形分割统计特征点8个梯度方向的方法降低了描述子维度, 却使得伪匹配点的数目大幅增加, 对复杂场景的适应度下降, 抗噪能力不足。
上述相关研究多数都是通过特征描述子降维的方式来提升图像匹配算法的实时性, 笔者查阅相关文献后发现较少有人关注图像区域性匹配特点, 即有限的区域匹配。在充分考虑上述算法研究的基础上, 结合图像匹配的区域性特点, 提出一种基于区域分块的新型SIFT图像特征匹配算法。
1 SIFT特征匹配算法
尺度空间理论最早就是用来模拟图像数据的多尺度特征。SIFT算法正是基于图像尺度空间理论提取特征点集, 性能稳定, 其实现过程可以概括为如下四个步骤。
1.1 生成尺度空间及检测极值点
高斯卷积核是实现尺度变换的线性核之一。一幅二维图像I (x, y) 与高斯卷积核G (x, y, ) 的卷积可表示该图像的尺度空间L (x, y, ) , 即:
其中: (x, y) 表示像素的空间位置, 表示卷积, σ是尺度因子。
在尺度空间基础上, 利用相邻尺度图像差D (x, y, σ) , 建立高斯差分尺度空间 (Difference of Gaussian) :
式中k为相邻两个尺度间的比例因子。其局部极值点即为该尺度空间的图像特征点。
1.2 去除不稳定的特征点
利用拟合三维二次函数可确定特征点的位置和尺度, 去除低对比度点和因Do G算子产生的不稳定边缘响应点, 保证匹配的抗噪性和稳定性。以空间尺度函数泰勒二次展开式为拟合函数如下:
求导可得极值点, 其对应方程为
通常用来剔除低对比度的不稳定点, 在时, 其不稳定点剔除率与稳定点误去除率比值最大, 因此, 以0.03为剔除标准。同时设定阈值r, 通过检测一个2×2由高斯差分算子构成的Hessian矩阵求得的主曲率是否在阈值r下, 剔除边缘响应点判定公式为
其中tr (H) 和det (H) 分别为矩阵的迹和模。笔者实验测试, r一般取8时效果最佳。
1.3 确定特征点方向[10]
特征点邻域像素梯度的模值和方向, 是保证其描述符旋转不变的重要因素, 其描述公式如下:
邻域像素的梯度方向由其特征点邻域窗口内的直方图统计得到, 将0~360°的梯度直方图, 均分为共36个方向。其直方图的峰值代表了特征点邻域梯度的主方向, 近似表示该特征点的方向。
1.4 生成特征点描述子
为保证旋转不变性, 将坐标轴旋转为特征点的方向。在特征点8×8的邻域内, 计算每个4×4子块上8个方向的梯度方向直方图, 统计各梯度的累加值, 形成一个种子点。对每个特征点使用4×4共16个种子点来描述, 这样一个特征点就生成了4×4×8=128维的描述子。
经过四个步骤后, 对特征点描述子集间运用欧式距离相似性判别法, 选取出特征点间最近距离与次近距离小于特定控制阈值的匹配对, 实现特征点一一匹配。
2 基于区域分块的改进SIFT算法在图像匹配中应用
分析上述过程可以发现, SIFT特征匹配算法消耗时间主要在于两方面:全图像域特征点的检测与描述和全图像域特征点的匹配。然而在实际图像匹配过程中, 正确的特征点匹配对仅集中分布在图像间的重叠区域内, 非重叠区域内特征点不存在正确的匹配点对, 即为无效区域。换言之, 重叠区域是实现图像特征匹配的基础, 图像匹配具有区域性。因此, 在运用SIFT提取特征时, 大量时间浪费在无效区域内特征点的检测和描述子生成。
2.1 构建分块区域
针对上述问题采用分块思想, 则可以减少无效区域的检测和计算, 缩小匹配范围, 提高匹配效率, 本文称此方法为区域分块法。
1) 单边分块法
假设图像中特征点大致均匀分布, 标准SIFT算法提取任一幅图像特征点的时间为ts, 并记该图像为待匹配图像1。如果将待匹配图像1均匀分为n个尺寸相同的子块, 则每块特征点提取时间为t=ts/n。以待匹配图像2为参考图像, 搜索子块中存在足量同名特征点的匹配块, 实现图像匹配, 即单边分块法[11]。若第i个子块与待匹配图像2满足匹配条件, 此时完成匹配所需特征点提取的总耗时为ti=i·ts/n (i=1, 2, 3, ..., n) 。由此可知, 完成图像匹配所需分块特征点的平均提取时间为
由式 (9) 可知, 当分块数大于1时, 提取特征花费时间明显小于未分块之前。但是图像分块数量过多时, 对搜索最佳匹配子块的时间和匹配质量有较强影响。此外, 图像分块尺寸直接影响子块中保存的特征点数目, 为保证至少存在一个子块可为匹配块, 图像不能无限分块。因此, 选用二分区域法, 即n=2, 可在保证特征点数目条件下省去全图像域特征点提取与匹配。利用二分区域法实现单边分块匹配, 其特征点提取平均耗时仅为.075ts, 匹配所需特征点提取时间减少12.5%。
2) 双边二分区域法
二分区域法具有通用性, 适合于大部分图像匹配, 较好地提高了匹配效率。然而考虑到仅对一幅待匹配图像分块并不能充分缩减利用有效匹配区域, 双边二分区域法分别对多幅待匹配图像集进行二分切割, 并依次编号分组保存。每块特征点提取时间为, 每次分别从邻近组中选取2个子块匹配, 此时完成图像匹配所需的特征点平均提取时间为
理论上, 匹配特征点提取时间平均节省25%。
假设可估计重叠区域占待匹配图像的重叠率e, 分块区域与原图像的分割率h, 则提高效率c为
当h=50%且e<50%时, 图像匹配提高效率为100%-e;当e50%时, 提高效率为50%, 即采用二分区域法至少可提高效率50%以上。一般场景中, 图像重叠率不小于40%时, 重叠区域内可获得足量的特征点数目。在双目视觉和视频监控等实际工程匹配时, 控制双目间距离和拍摄移动速率, 可保证重叠率满足匹配要求。在实际中, 由于待匹配图像间的连贯性, 重叠区域一般出现在图像的边缘区域, 优先提取并匹配边缘子块特征点, 可减少算法运行时间。
2.2 选取可信匹配子块
根据邻近图像的相对空间位置, 将i幅待匹配图像Ii (x, y) 依次分别二分切割为2个待匹配子块Iij (x, y) (j=1, 2) , 并分别保存。其中j为按照上下、左右顺序的子块编号。基于投票机制思想, 利用相邻匹配图像空间关系, 推举出最可能满足匹配条件的子块, 称其为可信匹配子块:
运用SIFT算法提取该子块特征点描述子集, 结合欧式距离相似性判别法, 得到可信匹配子块间的粗匹配点对。同时, 通过拟合所有匹配对得到最优模型, 得到可信匹配子块间的变换参数, 最后利用子块与原图像的空间位置关系, 映射得到待匹配图像间的匹配变换参数。
2.3 双向RANSAC除伪
由于可信匹配子块本身存在噪声、光照等多因素影响, 经过欧式距离相似性判别法所得粗匹配对中可能存在较多的伪匹配对, 需要进一步除伪, 实现精匹配。
RANSAC[12]是一种通过迭代方式估计模型参数的不确定性方法。RANSAC从一组包含较大噪声或无效点的观测数据中反复选择数据, 利用随机子集来达成目标, RANSAC假设给定一组正确数据, 可以解出符合数据模型的参数。在特征匹配中, 模型即为从一幅图像上的特征点到另外一幅图像上的特征点的射影关系, 一个3×3的基础矩阵V就可反映其射影关系。利用RANSAC即可实现对基础矩阵V的参数估计, 以高概率去除伪匹配对。
虽然RANSAC算法可以去除大部分伪匹配对, 但是为了尽可能消除伪匹配, 提高匹配准确率, 本文提出双向改进型RANSAC算法。在原算法基础上, 首先基于投票机制去除一对多的匹配点, 然后运用两次RANSAC算法去除剩余伪匹配对。具体步骤如下:
1) 对匹配区域内的待配图像与参考图像的特征点描述子运用欧式距离相似性判别法, 获取候选匹配特征点对集I1, 计算并检测对匹配对的邻域内特征点间距离相似程度, 设定松弛因子ε, 基于投票机制选举每组中相似度最高匹配对点集I'1, 去除邻域内一对多伪匹配的情况, 即为第一次去除伪匹配;
2) 以待测图像为参考再次获取候选匹配特征点对集I2, 计算并检测匹配对邻域内特征点间距离相似程度, 同样利用松弛因子ε, 基于投票机制选举每组中相似度最高匹配对点集I'2;
3) 利用RANSAC算法分别去除粗匹配对点集I'1和I'2的伪匹配, 完成第二次去除伪匹配;
4) 搜索寻找经过第二次去除伪匹配对的点集I1'和点集I'2两者中属性关系相同的匹配对点集I, 完成图像间第三次去除伪匹配, 实现图像的精匹配。
3 实验结果与分析
本文仿真实验在Intel (R) Core i5-3210M CPU 2.5GHz, 2G RAM硬件环境下利用MATLAB 7.0软件进行, 利用多组不同图像数据对比改进前后两种方法, 验证改进方法的性能。
3.1 双边二分切割前后特征匹配实验的结果与分析
实验选用360×512彩色Lenna图像及其他20组不同重叠区域比已知的图像, 测试并对比双边二分切割前后特征点集检测与描述子生成的性能, 完成粗匹配。实验结果如图1所示。
图1 (a) 是图像在不同分割比、不同重叠区域下匹配对总数目与原始图像数目的比较, 图1 (b) 是图像在不同分割比、不同重叠率下匹配耗时与原始图像耗时的比较。由图1可知, 图像匹配的性能和图像间重叠区域大小、分割比有直接关系。重叠区域不变时, 分割比越小, 匹配耗时越少;重叠区域越小, 获得匹配对数目越多, 耗时效率降低;待配准图像间重叠区域越大, 二分切割法获得匹配对总数越少, 但有效匹配对越多, 匹配耗时越少。当切割比为50%时, 粗略估计采用二分切割法速度最少提高了20%。
3.2 改进SIFT匹配方法实验的结果与分析
实验对多组存在光照、噪声、平移、仿射、缩放等属性差异的图像进行测试, 由于篇幅限制, 列举出如下3种具有代表性的实验组来验证改进方法的可靠性和可行性。
第1组实验:图2 (a) 、图2 (b) 所示为两幅Lenna图像, 其大小均为320×512, 图像间重叠区域约为40%, 分别利用标准SIFT和改进SIFT对两幅图像匹配。改进方法从图2 (a) 中提取到485个特征点, 从图2 (b) 中提取到344个特征点, 经筛选得到274对匹配对, 而原方法匹配得到275对匹配对, 反复多次实验2幅图像改进前后匹配平均耗费时间分别为3 004 ms和2 392 ms, 图2 (c) 为改进后匹配情况, 通过连线表示特征点匹配关系。实验结果表明改进方法的匹配速度提高了20.4%, 同时未影响匹配质量。
第2组实验:选用一幅大小为300×211在不同光照、加白噪声的beaver图像, 测试比较两种方法的性能。改进前后得到匹配对分别为103对和28对, 平均耗费时间为1 875 ms和1 569 ms。图3为改进后匹配情况, 相比较原方法速度提高了16.3%。实验结果说明改进方法在二分切割后在提高速度的情况下, 仍然保持了良好的鲁棒性。
第3组实验:实验图像来自两幅存在缩放、仿射变化的数码照片, 大小为1 024×768, 先后利用两种方法测试图像间匹配情况。改进前, 两幅图像分别提取到684个和748个特征点, 未使用改进RANSAC算法得到133对匹配对, 平均耗费时间为5 893 ms, 匹配情况如图4 (a) 所示。改进后图像分别提取到242个和659个特征点, 经过改进RANSAC算法去伪, 得到44对匹配对, 平均耗费时间为4 074 ms, 如图4 (b) 所示。实验结果显示, 改进方法在复杂场景匹配中减少无效区域检测和计算的效果明显, 匹配速度提高了30.9%, 同时有效降低了伪匹配对的数目, 保证了结果的准确性。
由以上三个实验结果可以看出, 改进后的特征匹配方法与原方法相比较, 在实时性和准确性两方面都有明显提高, 如表1所示。改进后的方法存在几处优势:1) 缩减图像匹配搜索范围效果明显;2) 对存在一定旋转角度的图像有一定的校正作用;3) 能较好地克服因噪声产生的伪匹配点对;4) 对复杂场景的图像匹配有较好的性能;5) 平均节省22.5%的匹配运行时间。
4 结论
该方法从图像匹配本质入手, 利用二分区域法有效屏蔽无效区域, 仅保留匹配区域, 并结合SIFT算法提取图像特征点描述子集, 采用欧式距离完成粗匹配, 避免了全图像的特征点提取和搜索匹配, 节省运行时间。同时, 对粗匹配点对采用双向RANSAC算法二次去除伪匹配点对, 获得较精确的匹配点对, 实现精确匹配。匹配结果相比原方法有明显提高, 具有较强的灵活性、鲁棒性和一定的实用价值, 为双目视觉匹配、立体匹配、图像拼接等领域应用提供一种更实用、强鲁棒的特征匹配方法。
摘要：针对目前SIFT算法在特征匹配过程中出现的搜索范围广、处理数据量大、速度慢的问题, 提出一种基于区域分块思想的新型SIFT匹配法。首先将待匹配图像进行双边二分区域分块处理;其次采用投票机制方式选取可信匹配子块, 缩小原始匹配区域空间;随后结合SIFT算法提取可信匹配子块的特征点, 并进行初步匹配;最后结合双向RANSAC算法去除伪匹配点对, 提高匹配的准确率。实验结果表明:基于区域分块的改进SIFT算法比标准SIFT算法具有更强的实时性和鲁棒性, 在实际图像匹配中具有一定的应用价值。
关键词：区域分块,SIFT,可信匹配子块,双向RANSAC
参考文献
[1]冯学智.遥感数字图像处理与应用[M].北京:商务印书馆, 2011.FENG Xuezhi.Remote Sensing Digital Image Processing and Application[M].Beijing:The Commercial Press, 2011.
[2]Maintz J B A, Viergever M A.A Survey of Medical Image Registration[J].Medical Image Analaysis (S1361-8415) , 1998, 2 (1) :1-36.
[3]LENG Xuefei, LIU Jianye, XIONG Zhi.A Real-time Image Matching Algorithm for Navigation System based on Bifuracation Extraction[J].Acta Automatica Sinica (S0254-4156) , 2007, 33 (7) :678-682.
[4]王娟, 师军, 吴宪祥.图像拼接技术综述[J].计算机应用研究, 2008, 25 (7) :1940-1943.WANG Juan, SHI Jun, WU Xianxiang.Survey of Image Mosaics Techniques[J].Application Research of Computers, 2008, 25 (7) :1940-1943.
[5]Lowe D G.Distinctive Image Features from Scale-Imvaricant Keypionts[J].International Journal of Computer Vision (S0920-5691) , 2004, 60 (2) :91-100.
[6]Herbert Bay, Andreas Ess, Tinne Tuytelaar, et al.Speeded-Up Robust Features (SURF) [J].Computer Vision and Image Understanding (S1077-3142) , 2008, 110 (3) :346-359.
[7]Yan Ke, Rahul Sukthankar.PCA-SIFT:A More Distinctive Repersentation for Local Image Descriptors[C]//Proceedings of the Conference on Computer Vision and Pattern Recognition, Washington, USA, June 27-July 2, 2004, 2:511-517.
[8]安建妮, 刘贵喜.利用特征点配准和变换参数自动辨识的图像拼接算法[J].红外与激光工程, 2011, 40 (3) :564-569.AN Jianni, LIU Guixi.Image Mosaic Algorithm Based on Feature Points Matching and Automatic Trransform Parameters Identifying[J].Infrared and Laser Engineering, 2011, 40 (3) :564-569.
[9]曾峦, 顾大龙.一种基于扇形区域分割的SIFT特征描述符[J].自动化学报, 2012, 38 (9) :1513-1519.ZENG Luan, GU Dalong.A SIFT Descriptor Based on Sector Area Partitioning[J].Acta Automatica Sinica, 2012, 38 (9) :1513-1519.
[10]刘向增, 田铮, 温金环, 等.基于仿射不变SIFT特征的SAR图像配准[J].光电工程, 2010, 37 (11) :121-127.LIU Xiangzeng, TIAN Zeng, WEN Jinhuan, et al.SAR Image Registration Based on Affine Invariant SIFT Features[J].Opto-Electronic Engineering, 2010, 37 (11) :121-127.
[11]乔勇军, 谢晓方, 李德栋, 等.SURF特征匹配中分块加速方法研究[J].激光与红外, 2011, 41 (6) :691-696.QIAO Yongjun, XIE Xiaofang, LI Dedong, et al.Research on the Speed-up Method of SURF Feature Matching by Blocking[J].Laser&Infrared, 2011, 41 (6) :691-696.
分块图像 篇7
关键词：CBIR,量化,分块颜色直方图,索引,图像检索,快速检索
0 引言
在传统的基于内容的图像检索技术[1]中, 颜色在描述视觉信息中最为直接和简单, 常用于基于内容的图像检索技术中[2]。但是全局颜色直方图描述图像的颜色分布时忽略了图像中颜色的空间分布特征[3], 检索效果不佳。为此本文提出了一种改进的基于分块颜色直方图索引的快速图像检索方法。
1 颜色空间的选取及量化
1.1 颜色空间的选择
HSV颜色空间根据人眼色彩视觉特征用色调 (H) 、饱和度 (S) 和亮度 (V) 来描述图像颜色信息。与人对颜色的感知最为相似[4], 符合人眼对颜色的识别特点, 所以本文选取HSV颜色空间进行图像处理。取值范围为H∈[0, 360], S∈[0, 1], V∈[0, 1]。
1.2 颜色量化
本文按照人类对颜色感知标准将色调分为7份, 饱和度分为3份, 亮度分为3份。量化后的色调、饱和度和亮度值分别H′、S′、V′。量化后的取值范围为H′∈[0, 7]、S′∈[0, 2]、V′∈[0, 2]。再将三个颜色分量合成一维特征向量。合成公式如下:
其中色调H′的权值取9, 饱和度S′的权值取3, 亮度V′的权值取1, L的取值范围为[0, 71], 这样颜色空间被量化成72种颜色, 有效地压缩了图像的颜色特征维数[5]。
2 分块颜色直方图
2.1 图像分块
本文采用一种基于等面积的环形划分方法对图像进行分块处理。首先确定图像的中心点M, 如图1以M为基准等面积将图像分割成一个圆, N-1个圆环和一个剩余部分, 则图像被分成N+1个分块。则圆和圆环的半径为:
在式 (2) 中, 预处理后的图像大小为256×256。实验证明这种方法可以有效地突出图像的主体区域, 减弱背景部分对图像主体的影响。
2.2 图像分块颜色直方图提取
计算出图像的每一个子块的颜色直方图作为该分块的颜色特征Pi。
合并所有分块的颜色特征Pi得到一个融合了图像颜色空间位置信息的颜色特征向量:
对图像的不同子块分别赋予不同的权值wi, 为了突出图像中心部分, 适当加大中心圆的权值, 并规定所有权值总和为1。
3 分块颜色直方图索引快速算法
3.1 图像索引
如前所述, 在对图像库图像进行颜色信息提取的基础上, 结合数据库聚集索引技术生成图像库的索引。生成如表1中所示的聚集索引, 即一幅图像的所有局部特征数据位于该图像的物理存储路径和图像的同一行上。
3.2 图像相似度计算
本文采用欧氏距离作为相似测量标准, 计算查询图像Q和待查询图像库中图像P特征的相似度。当欧氏距离D小于某个较小阈值时, 则认为图像Q和图像P相似, 否则认为两幅图像不相似。设查询图像Q的特征矢量为Q= (Q1, Q2, …, QN+1) , 待查询图像库中图像P的特征矢量为P= (P1, P2, …, PN+1) 。则两幅图像的相似度记为:
4 实验结果与分析
本文实验中选取corel图像库中恐龙、花卉、建筑物、巴士、大象共1000幅图像作为测试库进行实验。查询图像直接从图像库中选取, 每次查询将排列在前面的前50幅图像作为检索结果。实验对比数据如表2所示。
由表2可以看出, 传统算法的检索时间是本文所提出的分块颜色直方图索引快速图像检索算法的近5倍。本文算法在降低检索时间的基础上检索精度也有很大提高, 是一种效率更高的图像检索方法, 有效地缩短了检索时间, 实现快速图像检索。
参考文献
[1]周明全, 耿闷华, 韦娜.基于内容图像检索技术[M].北京:清华大学出版社, 2007.
[2]V.Gudivada, V.Raghavan.Content-Based Image Retrieval System[J].IEEE Computer, 1995 (9) :18-22.
[3]SWAIN M J, BA LLARD D H.Color indexing[J].International Journal of Computer Vision, 1991 (1) :11-32.
[4]韩轩.基于颜色和空间特征的图像检索技术研究[D].厦门:厦门大学, 2008.
扫一扫微信支付