基于区域的图像检索（共8篇）
基于区域的图像检索 篇1
0 引言
基于区域的图像检索技术是一门被广泛研究的信息检索技术。该项检索技术由系统对图像进行提取与识别, 解决了传统的基于关键词检索中的各种问题。特别是随着网络技术与多媒体技术、数据库技术相互融合, 检索系统开发需求的不断扩大, 是一个颇具生命力的研究方向, 针对这一方向深入研究, 将具有很大的理论价值和广泛的应用前景。
1 基于区域图像检索综述
常用的图像检索技术大致可以分为基于边界检测和基于区域两种方法。包括:边界检测分割法和区域检测法。边界法先检测出图像中的边缘点, 然后按照一定的策略把这些边缘点连接成轮廓, 封闭边界所包围的像素就组成了相应的区域。
基于区域的方法是把图像中的各个像素依据一定的规则分到各个区域中, 这些区域的外围像素就会构成了区域的边界, 所以关键是如何确定像素分类的规则。实际规则中应用的区域分割技术主要有两种:一种是阈值化算法, 另一种是特征空间聚类。特征空间聚类的方法是对阈值分割的一种推广方式。它采用特征空间点来表示图像空间中的元素, 通过将特征空间的点聚集成团, 然后再将它们映射回原图像空间, 来达到取得分割的结果。通常在高维特征空间的聚类, 如果只用一个特征往往不能解决的问题, 所以, 特征空间聚类通常采用多个特征。通常采用的方法有K-均值、模糊聚类、ISODATA聚类、概率聚类等。区域分割技术有两种基本形式, 一种是根据单个像素, 逐渐合并以形成所需的分割区域, 另一种是从全局的出发, 逐渐分裂切割到所需的分割区域, 对应的两种典型算法分别是区域生长和分裂合并。
2 基于区域的图像特征的提取
在众多提取参数中, 可以选择颜色特征作为K-均值聚类的中心, 根据每一个小的区域的颜色的均值和标准差的平均值, 可以计算出它的纹理特征, 进而对图像进行提取, 计算的步骤如下:
(1) 在图像中, 选择一个点作为提取点, 然后将其他点都设置为黑色。
(2) 通过转换, 将图像的颜色模式转变成灰度图像。
(3) 在刚才的灰度图像上, 根据算法, 作四层小波变换。
(4) 在变换后的每个高频子带上, 计算他们的平均能量, 如公式1所示。
(5) 做四层小波变换后, 获得的12个能量值, 用合适的比例, 组成一个纹理特征向量。
式中, X (i, j) 表示纹理图像, E表示能量, M、N是纹理图像的维数。
每一个单体特征可以定义为, 如公式2所示:
式中, rij表示在区域j特征i的向量, 维数为K。
图像的特征定义为, 如公式3所示:
3 基于区域的图像特征的相似性检测
在进行图像匹配的时候, 可以获得各种不同的特征值, 但是对于图像检索的共享大小不同, 所以我们需要对他们进行进一步的归一化处理, 规定相似度S都在0到1之间, 并且在某个特征rij内部进行。并且, 在计算S之前, 同时要求将特征向量的各分量rijk (表示第i种方法, 第j个区域, 第k个分量) 统一进行归一化操作, 否则采用S的线性组合来计算总体相似度S就变得没有意义。把这种对rijk的归一化称为特征内的归一化。
特征内部的归一化可以使特征向量rij与的各分量与rijk具有同等的重要性。因为特征向量的不同分量, 都具有不太相同的含义, 所以, 经过归一化之后, 它们各自的变化幅度也可能有很大不同, 如果直接用来计算相似度就会引起很大偏差。所以必须要将特征向量的各分量, 都统一的归一化到一定的范围中去。所以, 我们定义特征向量V=rij, 则每一特征向量rij的归一化过程可以如下:
假设数据库中共M幅素材, 而m为素材的索引值, 可以这样定义, 如公式4所示:
表示第m幅素材的特征向量, 而K是特征向量V=rij的维数。如果我们将所有素材的Vm累积在一起, 就能获得维数为M×K的矩阵, 如公式5所示:
其中vm, k是特征向量Vm (对应于第m幅素材) 的第k个分量。为了保证个分量能有相同的重要性, 矩阵的第k列是维数为M的一个列向量, 记为vk。最终将每列中的元索, 都统一归一化到指定的值域标准内, 这样就可以保证在计算两个向量之间的相似度。
根据以上计算, 如果能够融合高斯归一化方法, 可以获得更好的结果。假设列向量vk是一个高斯数列, 可以首先计算该数列的标准方差σk和平均值声μk, 然后式6来实现高斯归一化, 公式定义如公式6所示:
通过结果分析, 将公式6的分母部分, 都替换为经过σk单独归一化后, 数列中的某个值位于区间[-1, 1]范围中的概率大约为68%。如果用式6, 则根据高斯归化后, 其数值在区间[-1, 1]范围中的概率已经达到了99%。所以可以认为数列, 通过该方法所有值都己经在[-1, 1]范围中了, 高斯归一化方法的优点在于, 即便是数列中存在一些异常的数值, 比如过大或者过小, 在计算向量间的相似度时, 也不会导致分量rijk重要性有所偏差, 达到了预期的效果。
4 结束语
通过使用的图像库SIMPLIcity系统提供的测试集。它是从Core图像库中抽取的500幅图像, 分为:人、医疗器械、建筑物、老虎、山峰、食物等, 每类一百幅。分别是使用基于区域的方法对其进行检索, 结果均达到了理想的要求。
摘要：本论文主要针对现在日益增长的多媒体信息检索需求, 以及目前国内外现有的基于区域的图像检索算法的局限性, 深入地探讨了基于区域的图像检索的通用技术问题, 提出了解决方案, 着重于新的图像特征描述方法, 相似度检测、特征提取与快速检索算法等方面的研究, 构建了一个基于区域的图像检索通用模型, 通过大量实验, 验证了方案的合理性。
关键词：基于区域的图像检索,特征提取与匹配,图像分割方法
参考文献
[1]吕英华, 唐昌华, 孔俊, 等.A Content-Based Image Retrieval System Using RBF Neural Network[C]//DCDIS国际会议.2007, 10.
[2]章毓晋.图象工程——图象理解与计算机视觉[M].北京:清华大学出版社, 2000.
[3]WY Ma and B Manjunath.Netra:A Toolbox for Navigating Large Image Databases[C]//Proc.IEEE Int’l Conf.Image Processing.2012:568-571.
基于区域的图像检索 篇2
关键词：图像检索技术；颜色特征
中图分类号：TP391.41 文献标识码：A文章编号：1007-9599 (2011) 06-0000-01
Image Retrieval Technology Research Based on Color and Texture Features
Guo Qing,Liu Ruiling
(Henan Light Industry School,Zhengzhou450006,Chian)
Abstract:The paper first for color and texture feature extraction described,followed by the experimental study of the comprehensive utilization of color and texture features for image retrieval of the actual results,and with single feature search compared to the last corresponding experimental data and conclusion of the study.
Keywords:Image retrieval technology;Color feature
下面我们就综合颜色与纹理特征进行图像检索进行研究，并通过实验验证其效果。对于图像颜色特征的描述主要采取主颜色特征进行，主颜色特征侧重于图像整体信息的描述；对于纹理特征的描述采用边缘直方图特征进行，主要描述了图像的局部信息，综合这两种特征进行检索可以达到优势互补的效果。
一、主颜色
与一般的颜色直方图不同，主颜色是从每幅图像计算得到的，而不是固定于某个颜色空间。MPEG-7推荐的HSV模型对应于画家配色模型，能较好反映人对颜色的感知和鉴别能力，而且，它还具有线性伸缩性，可感知的颜色差与颜色分量的相应值的欧几里德距离成比例，因此非常适合基于颜色的图像相似性比较。本文选用HSV颜色空间的固定量化。
（一）提取方法。1.颜色空间量化：RGB颜色空间的分布为256×256×256，为了节省空间和提高运算速度，首先将RGB颜色空间进行量化，舍弃RGB色彩的低4位，压缩成16×16×16个子空间。2.频度统计：将代表帧所有像素投影到上述压缩后的RGB颜色空间中，统计像素在各颜色子空间的使用频度，取出使用频度最高的256种颜色。下面将在这256种颜色中提取主颜色。3.提取主颜色：在上面提取出的256种颜色中，首先合并所有HSV空间距离小于0.1的颜色子空间及其使用频度，对当前剩余的颜色子空间按使用频度从大到小排列，根据需要，选取若干种主颜色。将主颜色外的子空间按照HSV空间距离最近原则合并到主颜色空间。
（二）主颜色特征的相似性度量。对于图像Q和图像F，提取出它们的主颜色特征以后，按照如下方法进行相似性度量：1.对图像Q的主颜色1，按HSV空间距离最近原则，在图像F的N种主颜色中寻找其最近主颜色，记录这两种主颜色之间的HSV空间距离，并求出这两种主颜色在各自的图像中所占象素比例差值的绝对值。2.对图像Q的其它主颜色，从主颜色2到主颜色N，依次进行上述处理，得到距离和像素比例差。3.针对图像F的N种主颜色，同样计算相对于图像Q主颜色的距离和像素比例差。4.根据以上计算结果进一步计算图像Q和图像F的相似度。
二、边缘直方图
边缘直方图以空间域中的边缘分布情况来描述纹理图像。将纹理图像如图1分割成16个子图像，并将每个子图像中的边缘分布情形以直方图表示。将子图像中的边界归类为5种，分别是4种方向性边缘以及1种无方向性的边缘，计算在子图像中各种边缘的出现次数，绘制成直方图，所以l6个子图像各有一个具有5种边缘型态的直方图，这l6个直方图可以合并成一个具有80个代表区域边缘的直方图。
（一）特征提取。为了提取方向性边界的特征，必须将子图像再分割为更小的图像方块（image_block），如图1所示。每个图像方块的大小由所给定的方块数量及图像大小决定，所以在不同大小的图像上，图像方块的大小也有所不同。对于每个图像方块还需要将它分割成4个子方块（sub_block），如图1。然后对于4个子方块分别计算亮度平均值。在第（i，j）个图像方块的第k个（k=0，1，2，3）子方块中，计算其亮度平均值。对于每个图像方块，使用图2中的过滤系数来判断图像方块所属的边缘类型。
找出5个边缘强度值中的最大值，如果这个最大值大于或等于所选定的临界值，则这个图像区块属于最大值所对应的边缘型态，如果该最大值小于临界值。则此图像区块属于无边缘的型态。
（二）边缘直方图的相似性度量。根据上面的特征提取方法，可以得到表示图像边缘特征的80个直方图，并计算两幅图像Q和F相似性度量。
三、实验结果和结论
假设查询图像Q和数据库图像F之间，使用主颜色得到的相似度为SDC，使用边缘直方图得到的相似度为SEHD，综合主颜色和边缘直方图进行图像检索时，本文采用的相似性测度为Si=αSDC+βSEHD，其中α、β为权重，分别对应这两种特征在检索中的相对重要性，需要满足α+β=1。
该实验图库为158幅彩色图像（包含有花卉、赛车、风景等），上图中第l幅为检索样图，其它8幅为检索结果，从左到右，相似性测度依次减小。实验表明仅利用主颜色特征检索得到的结果，检索出的各图虽然从颜色角度看与检索样图比较接近，但总体视觉效果与人的感觉并不完全吻合。即检出图像的颜色虽然与样图相似，但图案有一些差别。若仅利用纹理特征对同一检索样图进行检索得到的结果。从大花与小花图案角度看，效果要好一些，但检索结果中出现了一些颜色完全不同的图。最后图3给出了利用综合特征方法对同一检索样图进行检索得到的结果。实验中所用颜色特征和纹理特征在检索中的权重为4比1。从实验检出结果对比可得出以下结论：综合利用颜色和纹理特征进行检索所得到的结果要比单一利用颜色或纹理特征进行检索更符合人的视觉要求。
四、结束语
论文介绍了主颜色特征（颜色特征）和边缘直方图两种特征的提取方法，还实现了一个综合颜色和纹理的图像检索系统以进行实验论证，综合了主颜色和边缘直方图进行图像检索，并给出了单独使用这两个特征和综合两者的实验结果比较。研究及实验结果表明综合利用颜色和纹理特征的检索效果明显好于其中任一单个特征检索的效果。
基于区域的图像检索 篇3
关键词：基于内容的图像检索,语义鸿沟,视觉注意机制,显著区域,支持向量机,粒子群优化,相关反馈
图像检索是图像处理和计算机视觉领域研究的热点之一。基于内容的图像检索技术从图像自身内容特征出发,自动化地检索出满足用户需要的图像。但是由于图像的底层特征和高层语义之间存在语义鸿沟[1],目前没有任何一种方法和特征可以在所有类型的图像上都取得较好的检索效果。另一方面,人们对图像的理解存在主观性,系统通常难以用图像的底层物理特征准确地刻画用户提交的检索需求,即系统从用户提交的样本中提取的特征往往不能很好的体现用户此次检索的目的。因此,通过引入相关反馈技术[2]进行人机交互,形成图像低层特征与用户高层语义间的映射关系,是目前改进图像检索效果的重要途径。
1 相关反馈技术研究
相关反馈技术源于文本信息检索,是一种人机交互的检索技术。1997年,由美国Illinois大学Yong Rui等率先将相关反馈技术引入图像检索领域,并在MARS系统中实验成功[3]。经典的RF过程为:首先系统根据预定的相似性度量准则返回初次检索结果,然后用户根据自身的检索需求对检索结果进行评价,指出哪些检索结果是与检索目的相关的(正样本)/或不相关的(负样本),进而相关反馈算法根据用户的反馈样本进行相似性度量准则的调整,重新返回检索结果,持续进行直到用户满意为止。
随着反馈技术的深入研究和不断发展,许多学者开始将成熟的统计学习理论和机器学习理论引入到RF技术中。典型的机器学习算法如支持向量机、人工神经网络[4](Artificial Neural Network,ANN)、Boosting[5]等。目前较流行的方法是SVM和PSO。
2 显著区域和SVM反馈相结合
人们发现,无论图像采用颜色作为特征向量,或者纹理作为特征向量,SVM方法的分类效果都要优于其他分类方法[6]。另一方面,图像的多样性使得一幅图像通常含有很多冗余信息,但用户总是搜索包含感兴趣目标的图像[7]。因此,提高CBIR性能的关键在于对一幅图像中目标图像的提取。该文将图像分割获取的用户感兴趣区域的特征与SVM相关反馈方法相结合,提出了一种新的检索方法。
2.1 显著区域提取
在图像处理中,人们往往只对图像的某个区域或某个对象感兴趣,这些部分常称为前景或者显著区域。传统方法利用显著点进行区域生长获取显著区域,生长尺度单一,容易产生空洞或生长不足。为了从图像中准确提取观察者感兴趣的区域,采用文献[8]中提出的基于改进区域生长的图像显著区域的提取方法,能有效地提高图像感兴趣区域提取的准确性。
2.2 特征向量的提取
2.2.1 不同权重的颜色特征描述
通过提取图像的显著区域,将图像的前景和背景特征分开表示,构成一个新的特征向量。初次检索时,将前景和背景赋予不同的权重,即:IMGi=wfFroi+wbBaci。
其中IMGi是图像i的颜色特征向量,wf是前景的权重,wb是背景的权重,Froi是图像i的前景颜色特征向量,Baci是图像i的背景颜色特征向量。实验中,选取HSV颜色空间的36维非均匀量化颜色直方图,最后将各区域特征进行综合就得到整幅图像的特征向量。
2.2.2 综合特征描述
形状常与用户感兴趣区域或目标联系在一起,具备一定的语义,通过对图像前景进行形状描述,对背景进行颜色描述,获得图像的综合特征。设图像i用M维形状特征N维颜色特征来表示,则综合特征为:
其中,Shapefj表示第i幅图像的第j维前景形状特征,Colorbj表示第i幅图像的第j维背景颜色特征。实验中,图像显著区域的形状特征采用HU提取的几何不变矩[9],背景采用HSV空间的36维颜色直方图。
2.3 算法描述
图像检索的相关反馈过程可以看作模式识别中的二分类问题。在反馈的过程中,由用户根据检索结果来标记正样本和负样本,通过对这些已标记的正负样本进行SVM学习,可以得到一个代表用户检索目标的SVM分类器。算法的具体流程如图1:
1)用户给出示例图像,按照文献[8]中的算法提取示例图像及图像库中图像的显著区域;
2)用本文3.2.1节提出的特征向量的描述方法对查询样例进行初次检索,按相似度从大到小排列;
3)对返回的前N幅结果图像标记相关图像集Subset+和非相关图像集Subset-,组成SVM训练集(xi,yi),其中,xi为第i幅训练图像的特征向量,yi为第i幅图像所属类别,即;
4)选择合适的核函数K(xi,x)和惩罚参数C,用SVM对训练样本进行学习并求解如下最优化问题:
5)根据α,求得b,得到最优分类面,并计算判别函数的值:,对图像库中各图像的f(x)值从大到小进行排序,f(x)越大表明该样本越接近示例图像,得到新的检索结果。
2.4 实验结果与分析
2.4.1 测试用数据库
图像库一是从Corel图像数据库中抽取的1000幅图像,包括非洲土著居民、海滩、建筑、公共汽车、恐龙、大象、马、花、雪山以及食物共10类,每类100幅图像。图像库二是本研究组收集的图像集,选出其中的7类用来作反馈测试,各类图像的数目不一,但大部分图像都有明显的注意区域。
2.4.2 实验结果
为了客观的评价上述算法,该文分别统计了两个图像库在一次反馈之后与传统算法的查准率对比,以及反馈4次的各类图像的查准率对比。实验中一次反馈后我们采用前30幅图像的查准率来衡量检索反馈效果,由于库一中恐龙的初次检索效率较高,所以实验未对恐龙类进行相关反馈测试。
表2是图像库一利用不同的特征描述法进行检索和反馈的平均查准率。其中第二列是本文基于显著区域颜色特征表示法的初次检索结果;第三列是传统的全局颜色直方图的SVM一次反馈结果,实验中采用的是HSV36维颜色直方图;第四列是本文基于显著区域颜色特征的SVM一次反馈结果;第五列是基于显著区域形状特征的初次检索结果,第七列是基于本文综合特征表示法的一次反馈结果。表3是在图像库二中上的实验结果。
从表2和表3可以看出,采用本文颜色特征表示法一次反馈后,平均查准率有明显的提高。库一中“人物”“公车”“马”和库二的“蝴蝶”和“飞机”采用传统全局颜色特征一次反馈后查准率下降,这是因为这些类图像的背景颜色较复杂或所占比重较大,影响了全局的特征向量,故而在SVM训练中出现了分类错误。但将这类图像前景和背景的颜色特征分开表示再进行SVM训练,就能避免背景对整幅图像的干扰,查准率就有了明显提高。
大多数图像类采用本文综合特征比传统HU不变矩特征的检索效率有较明显的提高。少数图像如“大象”和“山水”查准率的下降是由于这两类图像没有明显的显著区域,前景和背景用不同的特征表示没有优势。此外,个别类图像(如“公车”和“蝴蝶”)出现了一次反馈之后查准率下降,这是因为本文的综合特征对某些图像的初次检索效率就超过90%,使得SVM的训练样本严重不平衡,负例样本太少,导致一次反馈后查准率较低,影响了此类图像的平均查准率。
以上是不同检索方法在一次反馈后的性能比较,图2和3显示了不同反馈次数的检索效果。SVM算法的可靠性是建立在足够样本的基础上,为使SVM的训练样本尽可能多并且均匀,我们在下一轮反馈中保留上一轮的反馈结果,对样本数进行累加,除去重复选定的样本,使得训练样本集不断扩充,SVM分类在多次反馈中不断优化。实验中多次反馈中我们统计前50张图像的查准率。
3 基于粒子群优化(PSO)的相关反馈算法
实际上,图像检索相关反馈过程可以看作是函数优化问题。PSO[10]对反馈样本的对称性和数量没有要求,仅由正例样本对群体进行指导,搜索空间是全局向量空间,不易陷入局部极小值,且收敛速度快。因此,将PSO算法引入相关反馈领域,提出基于图像全局和局部特征的PSO相关反馈算法,展示了PSO的优越性[11]。
3.1 问题分析
PSO应用于图像检索领域需在粒子位置、进化准则等关键技术找到契合点:
1)确定搜索空间。对图像库进行特征提取,将“图像库”转变为特征的“搜索空间”,图像库中的每个图像可视为特征空间中的一个点,通过全局特征竞争提取出最相似特征。
2)定义进化准则。将用户反馈的正例图像特征的平均位置作为全局“最优位置”来指导粒子进化。其中,算法适应度函数为:fitness=Dis tan ce(Xi,g Besti),全局最优位置为:,Npositive是用户反馈的正例图像的个数,f是正例图像特征的特征维数。
3)提取特征空间。分别提取图像的颜色、纹理、形状和边缘特征,构成四个特征空间。颜色特征选用HSV空间72维颜色直方图,纹理特征选用金字塔小波变换低频子带,形状特征采用HU不变矩,边缘特征用边界直径、曲率和矩描述。
4)计算最相似的全局特征。每轮反馈后对正样本图像分别计算其全局特征上的平均差值和最大差值的比值,将比值最小的当作最相似的全局特征,并用其平均值作为粒子下一轮进化的最优位置,以指导粒子的进化方向和速度。表4是Corel图像库中建筑1的一轮反馈后的四个特征的比值情况,系统将选取边缘方向直方图作为下一轮粒子进化的指导。
5)返回检索结果。粒子的进化空间一般要求是连续的,而图像的特征空间是离散的,所以在粒子进化满足终止条件后,需将最终的进化结果映射到离其最近的图像特征上,最后在检索结果中返回此图像。
3.2 实验结果及分析
为客观评价PSO在小样本下的检索优势,将初次检索效果比较差的各类图像(查准率低于30%)在PSO一次反馈与SVM一次反馈后的平均检索准确率进行对比。另外,对PSO前4次反馈的情况P(30)进行了统计,粒子规模设为N=30,每轮反馈正样本数量最多取9幅,即小于样本总数的1/3。
可以看出SVM只对类别较明显的图像类能进行较好的分类,对于不容易分类的图像PSO则能表现出较好的反馈效果,如“大象”、“食物”、“雪山”、“人物”等。随着反馈次数的增加,PSO的检索效率在一定的范围内上下波动。这是因为,算法的“最优位置”是由正样本图像的平均位置决定的,每轮反馈图像的差异性,使得反馈的最优位置在每轮都会出现偏离。这正是PSO在确定最优位置时需要改进的地方。
4 结束语
为了弥补图像检索的语义鸿沟问题,该文深入研究了相关反馈技术,实现了有效的反馈算法。但反馈算法对样本集要求较高,在正负样本比例不平衡时,SVM的训练结果也不如人意,此外,该文使用的训练特征仍然是以底层的物理特征为主,虽然通过图像分割对图像的不同区域采用不同的特征描述具有一定的语义效果,但本文的图像分割方法也没有与任务相关,缺乏高层语义的指导,因此在后续的研究中,可针对具体任务进行训练和学习,建立与其对应的图像分割模型和特征表达方式。
参考文献
[1]张菁,沈兰荪,David Dagan Feng.基于视觉感知的图像检索的研究[J].电子学报,2008,36(3):494-499.
[2]吴洪,卢汉青,马颂德.基于内容图像检索中相关反馈技术的回顾[J].计算机学报,2005,28(12):1969-1979.
[3]Rui Y,Huang T S,Mehrotra S.Content-based image retrieval with relevance feedback in MARS[C].In:Proceedings of IEEE Internation al Conference on Image Processing,Santa Barbara,CA,USA:IEEE Computer Society,1997:815-818.
[4]张磊,林福宗,张钱.基于前向神经网络的图像检索相关反馈算法设计[J].计算机学报,2002,25(7):673-680.
[5]Tieu K,Viola P.Boosting image retrieval[C].Proceedings.IEEE Conference on Computer Vision and Pattern Recognition,Hilton Head Is land,SC,Jun 13-15,vol.1,228-235,2000.
[6]Zhou X S,Huang T S.Relevance feedback in image retrieval:a comprehensive review[J].ACM Multimedia Systems Journal,2003,8(6):536-544.
[7]Xiao Xiao et al.,Content-Based Image Retrieval through Region Uniformly Partition[J].Key Engineering Materials,Vol.500,2012:471-474.
[8]王晓晓,刘丹华.基于改进区域生长的图像显著区域的提取算法[J].现代计算机,2012(3).
[9]MING-KUEI HU.Visual Pattern Recognition by Moment Invariants[J].IRE Transactions on Information Theory,Vol.8,Issue 2,1962:179-187.
[10]Eberhart R,Kennedy J.A New Optimizer Using Particle Swarm Theory[C],Proc.6 Int.Symposium on Micro Machine and Human Sci ence,1995.39-43.
基于区域的图像检索 篇4
关键词：图像检索,感兴趣区域,特征融合
近年来随着多媒体技术和网络技术的飞速发展, 基于内容的图像检索 (content-based image retri-eval, CBIR) 已成为一个非常活跃的研究领域, 它利用图像自身包含的丰富视觉信息来进行检索, 主要是直接从图像中获得的客观的视觉内容特征, 如颜色、纹理、形状等来判断图像之间的相似性, 这种方法成了现有图像检索技术研究的主流。其主旨在从数据库中根据视觉内容检索相关图像, 当用户提交一个查询图像, 检索系统将根据相似度自动显示检索结果。基于内容的图像检索主要是利用图像本身包含的客观视觉特征, 且图像的相似性不需要人来解释, 因此在需要自动化的场合取得了大量的应用, 现已有不少的研究者提出了很多涉及图像内容的方法及算法实现。如闫庆红等研究了一种新的基于视觉特征的数字图书馆图像检索算法等[1,2]。但是国内的研究以理论研究和算法改进为主, 而国外除了理论研究外, 已开始有一些实用的和初步商业化的图像检索系统出现[3]。
然而现有的大部分综合特征的图像检索算法都是侧重于图像的全局信息, 其优点是计算简单、对平移和旋转不敏感, 不足之处是不能充分反映出图像内容的空间分布信息, 不能够在空间布局层次比较图像的相似性, 检索效果不是很理想。为了提高检索效率和检索精度, 本文提出了一种改进方法, 提取图像感兴趣区域的综合特征, 解决了图像内容的空间分布信息问题, 提高了检索效率和检索速度。
1 感兴趣区域
兴趣点是图像中灰度值在X方向和Y方向都有很大变化的一类特征点, 感兴趣区域是图像中最能引起用户兴趣、最能表现图像内容的区域, 它通常蕴含丰富的颜色、纹理、空间位置关系等细节信息。感兴趣点的提取方法有基于小波分析的方法[4]、利用彩色Harris角点检测算法[5]、尺度不变特征变换法[6]等。
2 感兴趣区域特征融合的检索
2.1 特征提取
2.1.1 颜色特征的提取
颜色特征是图像最基本的和直观的特征。提取及表示方法有:颜色直方图、直方图相交方法、颜色矩方法、基于参考颜色表 (RCT) 的方法、颜色对表示方法等。常用的颜色模型有RGB、CMYK[7]、HSV[8]、CIE Lab[9]颜色模型。
为了使算法对于颜色距离的定义符合人的视觉特征, 本文的颜色模型采用HSV模型, 其中分量H, S, V分别代表彩色信号的色调、饱和度、亮度。在检索图像时, 为了提高检索效率, 需对HSV空间进行量化[10], 具体算法如下:
将HSV模型定义为C= (h, s, v) , h∈[0, 360°], s, v∈[0, 1], 用L表示颜色量化:
其中,
g (h, s, v) 均匀划分其余的HSV空间。将h以非等量间隔分为8份, s, v以等量间隔分为3份, 这样, 颜色的维数为166 (18×3×3+4 (灰度) ) 维。为了降低颜色直方图的维数, 将颜色的3个分量压缩成一维矢量, 得L=HQs Qv+SQV+V, Qs, Qv分别为S, V的量化级数, 取Qv=Qs=3, 得L=9H+3S+V, L∈[0, 1, …, 72], 根据量化后的HSV, 计算图像的颜色直方图, 这样提取的直方图维数就大大降低了。
2.1.2 纹理特征的提取
纹理的本质是刻画像素的领域灰度空间分布规律, 具有旋转不变性, 且有较强的抗噪声能力。纹理特征的提取方法主要有统计法、频谱法、结构法、模型法。吴飞等对Brodatz纹理库的实验表明[11]:在共生矩阵等多种纹理特征中, Gabor基小波变换的检索性能最佳。其原因可以归结为以下两点:①Gabor变换是由傅立叶变换来完成, 是一种连续的方法, 而小波变换是由离散的方法完成。②从心理学的角度, 人类辨别同类纹理是同时依赖于空间属性和频域属性的, 这就要求同时对空间和频域进行有效描述。然而被证明对两者最佳描述的是Gabor基小波变换。其算法步骤如下:
(1) 二维Gabor函数f (x, y) = (1/2πσxσy) exp[-0.5 (x2/σx2+y2/σy2) +2πj Wx], W是高斯函数的复调制频率, 其傅立叶变换公式为G (u, v) =exp{-0.5[ (u-W) 2/σx2+v2/σy2]}, 其中σx=1/2πσx, σy=1/2πσy。
(2) 以f (x, y) 为母小波, 对f (x, y) 进行适当尺度变换和选择变换, 得到Gabor小波fmn (x, y) =a-mf (x2, y2) a>1, m, n∈Z, 其中x’=a-m (xcosθ+ysinθ) , y’=a-m (-xsinθ+ycosθ) , θ=nπ/k, k表示总的方向数目 (n∈[0, K]) , 通过改变m和n值, 可得到一组方向和尺度都不同的滤波器。
(3) 计算滤波器参数。由于Gabor小波的非正交性意味着滤波后的图像有冗余信息, 为了减少冗余, 设Ph、Pl分别代表高频率、低频率的中心频率, s代表尺度。Gabor小波参数的计算如下:
(4) 给定一幅图像Q (x, y) , 它的Gabor小波变换定义为:
(5) 假设局部纹理区域具有空间一致性, 则变换系数的均值μmn和方差σmn可代表该区域用作分类及检索的目的。
用μmn和σmn作为分量, 可以构成纹理特征向量, 即:
2.1.3 形状特征的提取
形状特征是人类视觉系统进行物体识别的关键信息之一, 它不随图像颜色的变化而变化, 是物体稳定的特征。基于形状特征的图像检索方法有Hu矩、傅立叶变换等, 利用Hu矩提取图像的形状特征, 能够得到一种既表现了图像的边界特性又不失图像的整个区域性的检索方法。具体算法如下:
对于一幅大小为M×N的二维图像{f (i, j) |i=0, 1, …, M;j=0, 1, …, N}, 其 (m+n) 阶矩阵为:
其中, f (i, j) 为Canny算子提取的边缘图各像素点的值, 取值为0或1。其零阶矩阵的为:
根据零阶矩阵和一阶矩阵可得图像的质心计算式: (i0, j0) = (M10/M00, M01/M00) 。则该图像的 (m+n) 阶中心矩阵为:
然后对中心矩阵进行区域面积归一化, 并计算图像的7个面积归一化中心矩{m11, m02, m20, m21, m12, m03, m30}, 则Hu不变矩为关于这7个矩的函数, 且满足形状对旋转、平移和尺度的不变性, 计算式如下:
2.2 特征匹配
在采用基于内容的图像检索相似匹配技术时, 由于不同特征向量的物理意义不同, 在利用综合特征检索图像时, 图像间相似距离的可比性很差, 这就需要对不同特征距离进行归一化。归一化的方法主要有极值归一化、标准归一化和高斯归一化等, 这些方法各有其特点[12], 本文研究采用高斯归一化结合外部归一化方法对特征向量进行归一化。
特征向量的外部归一化特征向量的外部归一化实际上是对图像库内所有图像对的相似距离进行归一化, 算法如下:
算法1:特征向量的外部归一化算法
①计算图像库中每两个图像M, N所对应用特征向量FM, FN间的相似距离:
②通过计算相似距离得到的I (I-1) /2个距离值的均值aD和标准差σD;
③对查询图像P, 计算其与图像库中每个图像的相似距离, 记为D1P, D2P, …, DIP;
④对D1 P, D 2 P, …, DI P进行高斯归一化, 并作变换DMP (N) = ( (DMP-IP) / (3-P) +1) /2, 则DMP (N) 的值有99%落在[0, 1]区间。
颜色、形状及纹理特征经过上述归一化处理后, 保证在检索时各个特征在相似距离计算中地位相同。然后利用欧式距离公式
计算出图像间的相似距离, 其中xk、yk表示待计算的两幅图像。
2.3 感兴趣区域特征融合检索算法的设计
Step1:结合文献[13]中的算法, 利用Gabor滤波器选出一定数目的兴趣点 (POIs) 。
Step2:根据每个POI选定围绕它的感兴趣区域 (ROIs) 。
Step3:分别提取每个ROI的颜色、纹理、形状特征信息。
Step4:利用算法1将上述三个特征向量进行归一化。
Step5:根据归一化后的结果进行相似性匹配并提供检索结果。
3 实验结果分析
衡量检索性能好坏的重要指标是检索结果中符合用户查询期望的图像的比例, 可用Tan Kina-lee提出的标准查准率P和查全率R[14]进行评价。其定义如下:
其中N为检索系统返回的数据库子图数目, L是检索结果中与查询图像相关的图像数目, ri是第i幅图像的排序。
本文采用Core图像库中的一部分图像构成图像检索数据库, 包括汽车、树木、山川、海滩、食物、建筑、鱼类、骏马等多种类型, 每种类型取100幅图像, 合计共800幅图像, 计算每次查询得到相应的查准率和查全率。首先测试单个特征对各种图像的检索能力, 各特征检索能力如下表:
图1、图2为采用不同特征查询800幅图像的查准率和查全率的比较
通过上述实验结果表明基于感兴趣区域综合特征的查准率和查全率均高于基于单一特征的。
4 结论
基于区域的图像检索 篇5
1 图像目标区域选择
1.1 分段线性灰度增强
分段线性灰度增强将需要的图像细节灰度级扩展, 增强对比度, 将不需要的图像细节灰度级压缩。
基本原理:假设输入图像f (x, y) 的灰度为0～M级, 增强后图像g (x, y) 的灰度为0～N级, 区间[a, b], [c, d]分别为原图形与增强图像的某一灰度区间, 分段线性变换函数为:
文中取a=30, b=80, c=100, c=220, 灰度等级N=225, M=190, 原始图像与灰度增强后图像如图1、图2。
1.2 自适应阈值方法进行图像分割
在实际应用情况下, 当照明不均与, 有突发噪声或者背景灰度变化较大时, 整幅图像分割时将没有合适的单一阈值, 因此采用自适应阈值方法进行图像分割。
自适应阈值方法是对每个像素确定以其自身为中心的一个邻域窗口, 寻找窗口内像素的最大值和最小值, 并取二者的平均值作为阈值。如图三所示以C为当前像素, 选取C的8邻域窗口, 该窗口的最大灰度值为max_value, 最小灰度值为min_value, 则阈值T设置为。实际上, 在选择邻域窗口时, 不一定要选择8个窗口, 但是窗口越大, 需要处理的数据就越多, 时间复杂度就越大。
为了采用八方向邻接技术, 文中采用八窗口作为邻域窗口 (如表1) 。
1.3采取“八方向邻接技术”计算子块与周围相邻子块的颜色对表, 采用阈值法消除颜色噪声
1.4将最后得到的颜色对对应的图像区域设为目标区域, 将待比较的N幅图像与目标图像的每一子块的颜色对表, 匹配时不能使用精确匹配, 因此颜色对误差小于2%也属于该匹配值
2 纹理特征提取
图像的纹理是反映图像的局部结构化特征, 具体表现为图像像素点某邻域内像素点灰度级颜色的某种变化, 并且往往是从共生矩阵中抽取适当的统计量作为纹理表示, 但是共生矩阵提取纹理性质缺少视觉相似性。文中利用Gabor小波变换来提取图像的纹理特征, 然后和颜色特征想结合进行图像检索。
纹理特征的提取是相似匹配的基础文中采用基小波为Gabor函数的小波变换来提取纹理特征过程如下。
对一幅图像I (x, y) , 其Gabor小波变换可定义为:
式中, m是吃度数, n是方向数, gmn对二维Gabor函数进行尺度扩张和旋转变化后得到的滤波器, *共轭复数。相应的变换系数均值µmn和方差σmn为:
为了消除不同特征范围的特征值影响, 本文采用了规范化的L2距离测度来描述图像p和图像q之间的距离。
公式 (7) 就是两图像之间的纹理距离公式。
3 实验结果分析
基于内容的图像检索综述 篇6
关键词：CBIR,颜色,纹理,形状,语义
随着现代通信技术和多媒体技术的发展及Internet的广泛普及, 数字图像的数量出现了急剧增长。如何从这些海量的图像数据中快速有效地找出需要的信息, 是一个非常有理论价值和实际意义的课题。实际上, 图像检索已经成为目前国内外的一个研究热点。从图像检索发展的历程来看, 主要经历了两个阶段:基于文本的图像检索和基于内容的图像检索。传统的基于文本的图像检索技术是通过关键字或自由文本进行描述, 查询操作是基于该图像的文本描述进行精确匹配或概率匹配。基于文本的图像检索方式简单、易于理解, 但检索时要指明文本特征。由于人工注释图像的主观性和不准确性等弊端, 因此这种传统的图像检索方法并不能满足用户的需求。相对于基于文本的图像检索技术来说, 基于内容的图像检索实现了自动化、智能化的图像检索和管理, 主要利用了图像中的一些可视化信息, 如颜色、形状、纹理等信息作为检索的途径, 从而提高了检索的效率和准确性, 因此得到越来越多人的关注。
1. 国内外的研究现状
迄今已有许多关于内容的图像检索系统面世。国外经典的检索系统有IBM公司开发的OBIc、Virage公司的Virage图像搜索引擎、麻省理工学院 (MIT) 多媒体实验室开发的Photo book、哥伦比亚大学开发的Visual SEEK和详eb SEEK, 等等。相对于国外而言, 国内在基于内容图像检索理论及应用的研究起步较晚, 具有代表性的工作如下:清华大学计算机系结合国家863高科技研究发展项目“Web上基于内容的图像检索研究”, 于1997年研制了一个网络版基于静态图像内容的原型系统。国防科技大学多媒体开发中心设计开发了一个基于内容的视频新闻节目浏览检索News Video CAR。浙江大学从1995年开始进行多媒体图像检索的研究, 开发了基于图像颜色的检索系统Photo Navigator, 并将基于颜色的CBIR技术较为成功地应用于敦煌壁画数据库的研究和开发。云南大学信息学院设计开发了基于内容的商标图像检索系统等。
目前, 基于内容的图像检索技术的研究热点[1]可分为四个方面:一是最初的图像检索研究主要集中于如何选择合适的全局特征去描述图像内容和采用什么样的相似性度量方法进行图像匹配。代表性工作包括:IBM开发的QBIC、MIT多媒体实验室开发的Photobook、哥伦比亚大学开发的Visual SEEK等。二是基于区域的图像检索方法, 主要思想是通过图像分割技术提取出感兴趣区域的特征;代表性工作有:美国加州大学的Netra、伯克利大学开发的Blobworld、斯坦佛大学和宾州大学开发的SIMPLicity。尽管这些方法更加贴近于用户查询的思路, 但由于图像分割的准确性差, 因而导致检索准确率低。上述两个研究热点是以图像为中心的方法, 无须考虑用户的需求。三是利用相关反馈技术, 根据用户需求及时调整系统检基于内容的圈像检索方法研究和实现索, 充分利用特征和相似性度量方法, 进而缩小低层特征和高层语义之间的差距。代表性工作有:美国伊利诺斯大学开发的多媒体分析和检索系统MARS, Picunter等;四是研究如何从多种渠道获取图像语义信息, 如何将图像低层特征与图像关键词结合进行图像自动标注以提高检索准确率, 如利用机器学习理论Bayesian, SVM, 等等。
2. 基于内容的图像检索系统构成
基于内容的图像检索过程[2]为: (1) 预先分析、提取和储存各图像视觉的底层特征; (2) 系统根据用户提交例图采用某种方法提取该图特征向量; (3) 选取相似性比较方法, 将该例图的特征与特征库中的特征进行比较匹配; (4) 将与查询特征相似的图像, 按相似度由大至小排列结果返回给用户; (5) 系统反馈的结果用户可以筛选或者从候选结果中选择一个示例, 经过特征调整后, 形成一个新的查询, 直至得到满意的结果。
3. 基于内容的图像检索常用的关键技术
基于内容的图像检索技术[3]有很多种, 颜色表达的是图像的全局特征, 是图像的主要视觉性质, 在人们对图像的印象中, 颜色占了很大的比重;纹理也是一种全局特征, 它描述了图像的表面性质, 在检索粗细和疏密等方面有较大差别的图像时, 利用纹理特征是一种有效的方法;形状特征更接近于目标的语义特征, 具有一定的语义信息, 可以帮助用户避开不相关的背景或不重要的目标, 直接搜索与目标图像相似的图像。事实上, 基于内容的图像检索方法需要综合颜色、纹理和形状的特征才能获得较好的效果。
3.1 基于颜色特征的检索
颜色是图像检索中最先被采用的特征, 主要方法有: (1) 颜色直方图, (2) 颜色一致性矢量, (3) 颜色相关图, (4) 颜色矩, 等等。
颜色是图像的一种重要视觉特征, 具有旋转不变性、平移不变性等优点, 在基于内容的图像检索 (CBl R) 中应用广泛、性能显著。对此, 人们提出了多种颜色特征提取及表示方法。其中, Swain等人提出的颜色直方图[4]在商用及实验系统中都得到了广泛应用。颜色直方图的比较是最基本方法, 但缺乏图像的空间信息。而CCV方法不仅统计了整幅图像中各颜色的像素值, 还统计了图像中各颜色最大区域的像素值, 效果较好, 但CCV并没有强调各颜色最大区域的形状及与背景的关系, 于是Zachary等人又考虑了图像的边缘信息, 提出了CCV—TEV (Threshold Edge Vector) 算法[5]。颜色相关图法强调同一颜色在图像中的空间距离相关性, 其检索效果比上述几个方法都要好, 但计算量比较大。颜色矩算法主要是采用图像中各颜色的均值和方差作比较, 处理简单, 可用它作为图像检索的初检, 为下一步的细检缩小搜索范围。
Zadeh提出的模糊集合理论[4], 通过隶属函数的概念和方法描述来具有模糊性的过渡过程, 将模糊集合理论及其衍生方法应用于CBl R具有较强的实用性。可以利用模糊C均值聚类算法 (Fuzzy C—Means AIgorithm, FCM) , 对图像色彩在RGB空间中进行模糊聚类, 通过计算每个像素对聚类中心 (即代表性颜色) 的隶属度值来构造模糊颜色直方图, 从而实现彩色图像的分类检索。
目前基于颜色特征的检索已成为检索的一个重要手段, 并提出了许多改进方法。总体来说, 主要分为两类:全局颜色特征检索和局部颜色特征检索。按照全局颜色分布来索引图像可以通过计算每种颜色的像素个数并构造颜色灰度直方图来实现, 这对检索具有相似总体颜色内容的图像是一个很好的途径。局部颜色信息是指局部相似的颜色区域, 它考虑了颜色的分类与一些初级的几何特征。比如smith等提出了颜色集合方法[6]来抽取空间局部颜色信息并提供颜色区域的有效索引。
3.2 基于纹理特征的检索
纹理是图像的重要特征之一, 通常定义为图像的某种局部性质, 或是对局部区域中像素之间关系的一种度量, 其本质是刻画像素的邻域灰度空间分布规律。纹理特征描述方法大致可以分为四类:统计法、结构法、模型法、频谱法。
Haley[7]等人使用Gabor小波模型提取了旋转不变性的纹理特征, 该方法具有较高的复杂性。Ojala[8]等人提出了一种具有尺度和旋转不变性的LBP纹理分析方法, 但该方法仅利用了纹理图像的局部特征, 没有考虑到图像的全局信息。Manthalkar[9]等人采用离散小波包分解的方法得到了一种具有旋转和尺度不变的纹理特征, 然而该方法在一定程度上丢失了纹理的方向信息。Pun[10]等人提出了Log-polar方法, 具有旋转和尺度不变的特性, 但它将尺度变量转化为平移变量进行处理, 破坏了信号的频率。Kourosh[11]提出了一种旋转不变性的多尺度纹理分析方法 (RIM) , 利用Radon变换和小波变换得到了一种新的具有旋转不变的纹理特征, 具有较强的抗噪能力, 然而该方法不能同时具备平移和尺度不变性。
统计法分析纹理的主要思想是通过图像中灰度级分布的随机属性来描述纹理特征。最简单的统计法是借助于灰度直方图的矩来描述纹理。但这种方法没有利用像素相对位置的空间信息, 为了利用这些信息, Haralick[12]等人提出了用共生矩阵来表示纹理特征。该方法研究了纹理的空间灰度级相关性, 构造出一个基于图像像素间方向和距离的共生矩阵, 并且从矩阵中提取出反差、能量、嫡、相关等统计量作为特征量表示纹理特征。Tamura[13]等人基于人类视觉的心理学研究后提出了一些不同的方法来描述纹理特征, 给出了几个不同的描述纹理特征的术语:粗糙度 (coarseness) , 对比度 (contrast) , 方句度 (directionality) , 线性度 (linelikeness) , 规则度 (regularity) , 粗略度 (roug hness) 等。
结构法分析纹理的基本思想是假定纹理模式由纹理基元以一定的有规律的形式重复排列组合而成, 特征提取就变为确定这些基元并定量分析它们的排列规则。Carlucci[14]曾提出一个使用直线段、开放多边形和封闭多边形作为纹理基元的纹理模型, 其排列规则由一种图状语法结构定义。Luand Fu给过一种树形语法结构表示纹理, 他们将纹理按照9x9的窗口进行分割, 每个分解单元的空间结构表示为一棵树。因为实际的纹理大都是无规则的, 因此结构法受到很大限制。
3.3 基于形状特征的检索
形状是刻画物体的本质特征之一, 也是最难提取和描述的图像特征之一[15]。在人的视觉感知、识别和理解能力中, 形状是一个重要的参数。形状特征具有不受目标颜色、纹理、背景变化影响的特点, 它的重要原则是对位移、旋转、尺度变换的不变性。但不同于颜色和纹理等底层特征, 形状特征的表达必须以对图像中物体或区域的划分为基础, 形状特征的提取必须以图像分割作为前提。在二维图像空间中, 形状通常被认为是一条封闭的轮廓曲线所包围的区域。要想进行形状匹配, 首先需要找到一种合适的描述方式。形状特征通常有两种表示方法:一种是基于边界轮廓特征的表示方法, 该特征的描述主要有:直线段描述、样条拟合曲线、傅立叶描述、小波轮廓描述, 等等, 其中最典型的方法是傅立叶描述, 另一种是基于区域特征的表示方法, 如不变矩。前者只用到物体的外边界, 而后者则关系到整个形状区域。无论提取哪一类形状特征, 都必须分割图像。
3.4 基于组合的多特征的检索
图像内容具有各种视觉特征及视觉对象的空间关系等, 而人在观察图像时也不只是观察一个特征, 而是会同时看到图像的颜色、形状等多个组合特征。正如前面所提到的, 不同的特征有不同的矢量表示方法, 即使是同一特征, 如颜色特征也有直方图特征、颜色矩、颜色集等多种特征表示方法。在用单一特征进行检索时, 可能出现非常相似的两幅图, 但在语义上相差很大。而采用组合特征检索法时可以在颜色、纹理、形状等几种查询特征中选择两种或两种以上的特征进行组合检索。基于多特征组合检索便于用户更灵活、更有效地表达检索要求, 提高检索的准确率。该检索方法可分两种情况进行:一种是异步组合检索, 另一种是同步组合检索[16]。
3.5 基于语义特征的检索
基于语义的图像检索需要解决两个方面的问题:一是必须提供高层语义的描述方式;二是必须有将低层图像视觉特征射到高层语义的方法。图像的视觉特征信息和用户视觉数据理解的不一致性, 使得视觉底层特征和高层语义之间存在语义鸿沟。针对这一问题, 许多学者进行了研究, Amoid将图像的知识作用域分为狭义域和广义域两类, Hermes[17]等人使用了相似性技术直接从户外图像中推导场景的自然语言描述, Zhuang[18]等人提出了模糊布尔模型、概率布尔模型。这些方法在不同的场合分别显示了它们在语义表达方面的能力。
基于语义的图像检索方法, 它允许用户在检索过程中用主观感觉来描述图像, 这对于检索者来说, 可以提高检索效率和准确性, 但是“语义鸿沟”的存在, 使得基于语义的图像检索仍面临着很大挑战。
4. 基于内容的图像检索技术的展望[19]
目前, 许多研究关注的是图像的特征提取及检索匹配算法, 虽然方法很多, 但没有一个统一的模型, 需要易用的能对原始特征进行抽取的自动工具和获取逻辑特征的半自动工具用于开发大型、实用的多媒体信息检索系统。另外, 还需要新的特征表示方法, 如基于分形或小波的特征数学表示。目前使用的媒体, 其格式和编码没有考虑到内容, 只是针对颜色、像素、样值来编码。因此, 从这些数据中抽取内容特征非常困难。在基于内容的检索中, 由于检索算法比较多, 需要对各种算法的检索结果进行评价, 以比较其优劣。检索算法的评价方法能够在相同的条件下找出最佳算法, 使不同的检索方法能更好地改进和提高, 以使基于内容的检索方法朝更好的方向发展。
图像检索技术的研究是一个涉及多个领域的综合性课题, 是对计算机视觉技术、数据库检索和管理技术、用户界面技术、数学建模技术、图像分析处理技术、计算机网络技术及人类心理学等各个方面成果的融合, 只有这样, 才能建立一个高效、快速、实用的图像检索系统[19]。
基于联合特征的图像检索 篇7
基于内容的图像检索,也被称之为图像收索技术,它是计算机视觉技术应用在大容量的图像数据库中,解决数字图像检索的匹配问题。所谓基于内容是指图像检索系统分析的图像本身的内部数据,而不是关键词,标签和图像相关的说明。图形的内容包括颜色,形状,
纹理或任何可以直接从图片本身上提取出的信息。基于以上内容,用图片本身信息来检索图片,可以提供更好的检索服务和更准确检索结果[1]。
2 设计过程
2.1 颜色特征提取
颜色特征提取,直方图距离为查询图像的第一图像的数据库计算即贡献分量单独计算。现在之间的欧氏距离查询图像和图像中的第一个数据库的计算。这欧几里德距离是存放在一个数组。该程序重复其余图像在数据库中通过存储各自的价值。现在数组排序升序和第一8最接近的匹配项显示。
在颜色特征提取方方面,分别计算要查询图像和在数据库中图像的颜色直方图,用来统计统计RGB分量之间的距离。就是这样计算查询图像和在数据库中的匹配图像之间的欧几里德距离的。然后把计算所得的欧几里德距离被存储在一个数组中。计算在图像数据库中的其他图像平且存储它们各自的值。对得出的数据进行升序排列,显示前8个最接近的匹配图像。
2.2 纹理特征提取
在纹理特征提取,对数据库中的所有图像和待检索的图像,提取出它的灰度纹理特征向量[3]。共生矩阵这种技术,不仅可以显示图像强度值也可以显示出强度的分布图。纹理特征检索选择的参数有能量,对比度,熵,逆差额,转动惯量,均值,灰度方差,灰度偏离值,分布均匀程度,局部图像的稳性和均匀性。
计算待查询图像和图像数据库中的第一幅图像之间的欧几里德距离,并把该欧几里德距离被存储在数组中。重复这个过程,直到把剩余所有图像的欧几里德距离都计算出来,并且存储它们各自的到一个数组中。然后把这个数组中的值按照排升序排列,把前8个最接近的匹配图像显示出来。
2.3 联合特征提取[6]
联合特征提取提需要先把在图像数据库中第一图像和查询图像的直方图的距离计算出来。然后同样在数据库中的第一图像和待查询图像之间的欧几里德距离也计算出来,并且把欧几里德距离存储在一个数组中。重复该过程,直到数据库中的所有图像都得到了遍历,而且把所有得到的距离结果存储到一个数组中。
使用的灰度共生矩阵提取出纹理特征向量,为在数据库中的第一图像和待查图像提取纹理特征向量。待查询图像和数据库之中的第一副图像之间的欧几里德距离的计算就可以计算出来了。并且把这个计算出来的欧几里德距离被存储到一个数组中。重复进行这个过程,直到数据库中的所有图像都得到遍历,并且存下他们的欧几里得距离到同一个数组中。
以上存储的数组是为了进一步的运算的。进一步比较数组中存放的欧几里得距离。上述计算阵列之间的欧几里得距离的计算方法。按升序排序,并且前8个显示最接近的匹配。
3 算法
3.1 颜色特征的提取算法
1)把查询图像被输入到系统中。
2)用颜色直方图的方法,然后计算查询图像的直方图距离。
3)用同样的方法,计算在数据库中的第一图像的直方图距离。
4)计算查询图像和数据库中的第一幅图像之间的欧几里德距离。数据库中使用的颜色特征提取图像。
5)存储阵列中的“欧几里德距离”。
6)计算数据库中的下一图像的直方图的距离。
7)重复步骤4,5和6,直到数据库中的所有图像得到遍历。
8)把所有的数组中的的欧氏距离,按升序摆列。
9)显示8个最接近的匹配结果。
3.2 纹理特征的提取算法
1)把待查询图像被输入到系统中。
2)用灰度共生矩阵的方法,计算查询图像的纹理特征向量,并把结果存在一个数组中。
3)用上述的方法,计算图像数据库中的第一幅图像的纹理特征向量,并把结果存在一个数组中。
4)计算查询图像和在数据库中的第一幅图像之间的欧几里德距离。
5)把这个结果存储在一个数组中。
6)用灰度共生矩阵的方法,计算出图像数据库中下一幅图像的纹理特征向量,并将其存储在数组中。
7)重复步骤4,5和6,直到数据库中的所有图像得到遍历。
8)把所有的数组中的的欧氏距离,按升序摆列。
9)显示8个最接近的匹配结果。
3.3 联合特征的提取算法(颜色特征和纹理特征)
1)把待查询图像被输入到系统中。
2)用颜色直方图的方法,然后计算查询图像的直方图距离。
3)用同样的方法,计算在数据库中的第一图像的直方图距离。
4)计算查询图像和数据库中的第一幅图像之间的欧几里德距离。
5)把这个结果存储在一个数组中。
6)用同样的方法,计算在数据库中的第一图像的直方图距离。
7)重复步骤4,5和6,直到数据库中的所有图像得到遍历。
8)所有的数组中的的欧氏距离,按升序摆列。
9)用灰度共生矩阵的方法,计算查询图像的纹理特征向量,并把结果存在一个数组中。
10)用灰度共生矩阵的方法,计算出图像数据库中下一幅图像的纹理特征向量,并将其存储在数组中。
11)计算查询图像和在数据库中的第一幅图像之间的欧几里德距离。
12)把这个结果存储在另一个数组中。
13)重复步骤11,12和13,直到遍历了所有的图像数据库中的所有图像。
14)把所有的数组中的的欧氏距离,按升序摆列。
15)计算存储图像直方图数组和纹理特征向量数组之间的欧几里德距离。
16)综合以上结果,可以得到一个有效的搜索检索结果。同时显示8个最接近的匹配结果。
4 结论
4.1 颜色直方图的方法
下面的出的检索结果是用提取颜色特征的方法得到的。
4.2 纹理特征的方法
以下是基于纹理检索的结果
4.2 联合特征的方法
以下是基于联合检索的结果
5 结论
颜色特征,纹理特征和联合特征是通过本文以上提到的各种发。颜色特征的提取是通过颜色直方图的方法来实现。
对于纹理特征使用了11项的属性,其中包括能量,对比度,熵,逆差法,平均值发,方差,分布均匀度,转动惯量,偏离度,局部平稳性,均匀性。这些属性的综合应用提高了纹理特征检索效果。
联合特征的提取是通过提取颜色和纹理特征,得到的一个综合检索。检索的图像适合于各种的图片格式,特征提取是实现项目的保证。
6 结束语
基于内容的图像检索系统,可以运用于许多方面。在技术领域是会有不断的新的发展。下面将简要呈现图像检索系统。
该系统具有图像旋转不变性。也就是说,这个系统应进一步提高旋转了的图像和没有角点匹配的图像。适用于所有的图像格式和接受不同程度的图像缩放。对于图像的形状特征也可以被认为是作为一个有用的图像特征矢量。该系统可以进一步提高效率,在数据库搜索时,查询图像的用户可以自己选择所需的特征向量或一些特征向量的组合。
摘要：基于内容的图像检索是指在大型图像数据库中寻找相匹配的数字图像的一门机器视觉技术。在该文中用到的基于内容的图像检索技术是建立在图像内容上的提取上的,通过提供更好的索引来达到更准确的检索结果。该文提到的图像检索的内容是指颜色特征,纹理特征和这俩个特征的综合应用。相比较单特征,联合特征可以返回更加优秀的和更加准确的检索结果。
关键词：颜色直方图,联合特征,欧氏距离,灰度共生矩阵
参考文献
[1]Woo Chaw Seng,Seyed Hadi Mirisaee.A Content-Based Retrieval System for Blood Cells Images[C].International Conference on FutureComputer and Communication,icfcc,2009:412-415.
[2]Mohammad Reza Zare,Raja Noor Ainon,Woo Chaw Seng.Content-Based Image Retrieval for Blood Cells[C].Third Asia International Con ference on Modelling&Simulation,ams,2009:332-335.
[3]Fan-Hui Kong.Image Retrieval Using Both Color AndTexture Features[C].Department of Information Science&Technology,HeilongjiangProceedings of the EighthInternational Conference on Machine Learning andCybernetics,Baoding,12-15 July 2009.
[4]Xiangbin Wang,Junmin He,Zhongwei Lv.Texture-based Retrieval of Thyroid Gland SPECT Image[D].School of Life Science and Technolo gy Tongji University,978-1-4244-4134-1/09/$25.00 2009 IEEE.
[5]Subrahmanyam Murala,Anil Balaji Gonde R.P.Maheshwari.Color and Texture Features for Image Indexing and Retrieval[C].Department ofElectrical Engineering,Indian Institute of Technology Roorkee,Uttarakhand,India,IEEE International Advance Computing Conference,2009.
[6]Wei Wang,Motoyuki Suzuki.Texture Retrieval Based on Gray-Primitive Cooccurrence Matrix[Z].Dept InfoScience&Intelligent SystemsFaculty Engineering,The University of kushima,Tokushima,Japan,978-1-4244-6899-7/10/$26.00 2010 IEEE.
[7]孙君项,赵珊.图像低层特征提取与检索技术[M].北京:电子工业出版社,2O09.
[8]张华伟,孙劲光.基于颜色与形状图像检索的研究[J].计算机仿真,2009,26(11).
[9]Guo ZH,Zhang L,Zhang D.Rotation invariant texture classification using LBP variance(LBPV)with global matching,2010,43(3):706-719.
浅析基于内容的图像检索 篇8
关键词：CBIR,纹理,颜色,形状
1. 引言
基于内容特征的图像检索 (Content-Based Image Retrieval, CBIR) 不同于传统的检索手段, 直接以图像自身的属性, 如颜色、纹理、形状等反映图像内容并与图像存储在一起的各种量化特征作为检索参数, 使用的是基于相似性度量的示例查询 (Query By Example) 方法, 具有传统的文本检索技术无法比拟的优越性。目前, 基于内容的图像检索技术已成为检索技术研究的热点。
2. 基于内容的图像检索技术
CBIR采用视觉特征描述方法, 比较通用、有效的对图像的检索是基于图像的颜色、纹理、形状以及图像中子图像等特征, 主要包括: (1) 纹理检索, 检索具有相似纹理的图像。 (2) 颜色检索, 检索与用户指定颜色相似的图像。 (3) 形状检索, 用户选择形状或勾勒草图, 利用形状特征或匹配主要边界进行检索。
2.1 基于纹理检索
纹理是指某种基本结构元素在图中有规律的表现, 这种基本的结构元素在大小、灰度和空间关系上自然呈现周期性或者随机性;在视觉上表现为粒度、取向及重复性。
为了定量地描述纹理, 需要研究纹理本身可能具有的特征。多年来, 人们建立了许多纹理分析方法。根据纹理的不同表现, 处理的方法可以分为四类:基于结构的方法、统计的方法、频谱分析的方法和模型匹配方法。
然而, 由于纹理的复杂表现, 基于纹理进行检索所需要的纹理分割是困难的事, 另外还缺少稳健的纹理模型以及直观性。
2.2 基于颜色检索
色彩是图像的重要特征之一, 具有对图像旋转、平移、尺度变化、甚至各种形变都不敏感的特点, 是基于内容的图像索引中应用最广泛的特征。颜色特征一般采用Swain和Ballard所提出的颜色直方图来描述。
2.3 基于形状检索
和颜色、纹理相比, 形状特征显得更为直观, 而且便于交互描述。一幅图像中物体的形状, 代表着高层信息。通过边沿检测、细化和收缩等算法可以提取出物体的轮廓, 轮廓仍旧保留了物体的主要信息。基于形状检索基本上是从形状的轮廓特征和形状的区域特征来建立图像的索引。轮廓特征只用到物体的外边界, 而区域特征则关系到整个形状区域。用户采用该特征进行检索, 可通过勾勒图像的形状或轮廓, 从图像库中检索出形状相似的图像。目前常用的形状描述方法主要有简单标量技术、边界方向直方图法、区域矩法。除此之外还有弦分布法、线求和法、中轴变换法、链码技术等。
然而, 基于形状检索存在的问题:缺乏比较完善的数学模型;目标物体发生变形时检索结果不可靠;全面的描述目标形状对计算和存储有较大的要求。
3. 未来发展趋势
近年来, 基于内容的图像检索技术有了很大的发展, 目前的研究主要集中在四个方面:
(1) 综合特征的检索, 目前所用的检索技术主要是采用纹理、颜色和形状中的一种, 而如果将这三种特征综合起来, 并给每一种方法赋予一定的权值, 再根据反馈信息不断调整能达到最佳的效果。
(2) 图像的智能检索, 现今的很多图像检索技术技术还有待突破, 但这并不妨碍我们借鉴这些领域的理论, 如数据挖掘、神经网络、智能搜索以及蚁群算法、人工免疫等优化方法。
(3) 反馈技术, 图像检索的效果很大程度上需要由用户来评价, 因此, 用户的反馈信息在检索计算中不可忽视, 它可以提高检索的效率和效果.当前的很多检索算法也用到反馈技术, 但大部分算法都是将其作为辅助手段, 这样, 反馈技术就不能很好地优化检索算法.怎样设计用户的反馈方式和充分利用反馈信息是一个值得关注的课题.
4. 结束语
基于内容的图像检索已经深入应用到社会和生活的许多方面。目前, CBIR的主要应用领域包括[7]:电子会议、远程教学、艺术收藏、博物馆管理和电子图书馆、建筑工程设计、遥感和地球资源管理、地球信息系统、科学数据库管理、天气预报、商业零售、织物时装设计、商标和版权数据库管理、公共安全和犯罪调查、图像档案和通讯系统、远程医疗、智能群体决策、防汛指挥。
本文阐述了CBIR的基本原理和方法, 并对其未来的发展做了概括的介绍, CIBR是一种综合的集成技术, 其研究涉及认知科学、人工智能、模式识别、图像处理、信息检索等多个领域。该技术具有很好的应用前景, 但现在还存在着很多普遍性的问题亟待解决。
参考文献
[1]范自柱.基于内容的图像检索技术综述.华东交通大学学报, 2005, Vol22No.5
[2]韦娜.基于纹理特征的图像检索技术研究与实现[D].西北大学硕士学位论文, 2003.
[3]黄祥林, 沈兰荪.基于内容的图像检索技术研究[J].电子学报, 2002, 30 (7) :1066-1071.
[4]冯国光, 齐影虹, 肖扬波.基于内容的图像检索技术综述[J].科技广场, 2007, (03) :233-236.