图像检索（精选8篇）
图像检索 篇1
随着网络信息资源的迅速增加, 信息多样化的程度不断加大, 诸如图形、图像、音频、视频、动画等多媒体信息日渐丰富, 其中图像信息的需求尤为大量, 而当前主要以文本方式进行检索的技术已不能满足人们对信息的需求。
基于文本的检索是搜索引擎将网站、网页的内容索引为一系列的关键字, 当用户输入相应关键字后, 系统根据数据库中的倒排文档将关键字映射为网站或网页的地址。图像信息基于文本的检索技术, 即根据图像信息的文件名、路径名、ALT标签等, 将其标注为一系列关键字的描述, 然后通过检索这些描述以达到检索图像信息的目的。这种检索技术很不实用。首先, 由于目前的计算机视觉和人工智能技术都无法自动对图像进行标注, 要由人工完整地标注网络上的所有图像, 不但费时费力, 而且往往是不准确或不完整的;其次, 不同用户对于同一张图像的看法不尽相同, 导致对图像的标注没有一个统一标准;再次, 这种方法将注意力局限在图像的著录特征, 即文字描述上, 不能充分揭示和描述图像中有代表性的画面内容特征。所以基于内容的图像检索技术应用而生。
1 基于内容的图像检索技术
基于内容的图像检索一般是指静止图像的检索。这种图像检索技术通过分析图像的内容, 提取其颜色、形状、纹理等可视特征, 建立特征索引存储于特征库中, 在检索时, 用户只需把自己对图像的模糊印象描述出来 (绘制的草图或通过扫描仪等在线输入的图像) , 就可以通过多次的近似匹配, 在大容量图像库中查询到所需图像。基于内容的图像检索具有较强的客观性。
基于内容的图像检索算法涉及的相关技术比较多, 主要有:图像的分析与特征向量的提取技术、特征向量数据的组织与存储技术、图像数据的组织与存储技术等。
1.1 基于颜色特征的图像检索
颜色特征是图像检索中最基础的一种检索依据, 颜色是人识别图像的主要感知特征之一。在基于颜色特征的检索算法中, 通常用颜色直方图来表示图像的颜色特征。直方图能较好地反映图像中各颜色的频率分布, 横轴表示颜色等级, 纵轴表示在一个颜色等级上, 具有该颜色的像素在整幅图像中所占的比例。直方图可以对整幅图像进行最大匹配度检索。目前关于色彩的索引方法有两类:基于全局色彩的索引与基于局部色彩的索引。
全局色彩的索引就是按全局色彩的分布来索引图像, 计算每种颜色的像素, 检索出具有相同颜色内容的像素的图像。其中最为简单有用的工具是灰度直方图。利用图像的灰度直方图作为特征指标来描述图像, 一般是利用二维直方图, 如红—蓝直方图, 它是红光图像的灰度值和蓝光图像的灰度值的函数。利用色彩直方图进行检索的方法有许多, 如:比例直方图法、累加直方图法等。
色彩直方图还不能为像素在图像中的位置提供线索, 为了尽可能少地丢失信息, 提出了局部色彩方法。局部色彩的索引对象是局部相似的颜色区域, 它考虑了颜色的分类和一些初级的颜色特征。用形状面积、圆度、离心率等来描述形状的特征矢量。
1.2 基于形状特征的检索
形状是刻划物体的本质特征之一, 利用形状来检索可提高检索的准确性和效率。基于形状的检索不仅包括传统意义的基于二维形状的检索, 还包括三维形状的检索。
基于图像内物体形状的检索, 首要问题是采用合适的图像分割算法把不同对象从图像中分割出来, 关键是寻找符合人眼感知特性的形状特征。目前, 较好的方法是采用图像的自动分割方法结合识别目标的前景和背景模型来得到比较精确的形状特征。图像自动分割方法的具体思路是:将图像分块后, 将每个块看成是一幅小图像, 计算每个小图像的颜色直方图特征, 则每个块间的直方图是不一样的, 为分析边缘特征, 将相邻两个块构成一个比较对, 将每个块间的差值记录下来, 同时记录差值在一定范围内的数目, 这样就形成一个颜色特征差值表。图像对象空间位置发生变化, 其特征差值表也就不同。
1.3 基于纹理特征的检索
纹理是指图像在局部区域内可能呈现出不规则性而在整体上却表现出某种规律性。纹理特征是图像中难以描述的特征, 它是一种反映图像像素灰度级空间分布的属性。如果一个物体内部以灰度级变化明显而又不是简单的色调变化, 那么该物体就有纹理。
纹理分析的方法基本可以分为统计法、结构法、模型法和空间法/频率域联合分析法等4类。基于统计的方法是对图像中的颜色强度的空间分布信息进行统计, 主要用于分析像木纹、沙地、草坪等细致而不规则的物体;基于结构的方法将重点放在分析纹理元之间的相互关系和排列规则上, 适用于像布料或砖瓦等一类元素组成的纹理以及排列比较规则的物体;基于模型的方法是假设纹理按某种类型分布, 如Markov随机场模型、分形模型等。基于空间/频率域联合分析法主要包括Cabor变换法和小波变换法等。
1.4 基于知识的图像检索
基于知识的图像检索也是基于内容检索的重要方法之一。图像本身是一定数量的颜色像素点的集合, 人类能够识别出像素点集合的含义是人类以自身的知识赋予图像意义的过程。基于知识的图像检索系统为用户提供知识库, 针对一个图像需求, 搜索引擎依次调入每一幅图像的内容描述, 结合知识库中的相关知识, 以图像需求为目标进行推理, 如果需求目标得到满足, 则确定这幅图像符合检索要求。
2 基于内容的图像信息检索系统
目前, 基于内容的图像检索技术的研究取得了很大的突破, 较有影响力的有以下几个:
2.1 QBIC系统
QBIC (Query By Image Content) 是IBM公司于20世纪90年代研制的图像和动态影像检索系统, 其含意是“根据图像的内容进行查询”。由IBM Almaden研究中心开发, 是基于内容的检索系统的典型代表。QBIC在检索过程中用户无须提供文字检索词 (它也提供关键词检索) , 只要输入以图像形式表达的检索要求, 即可检索出一系列相似的图像。QBIC系统允许使用示例图像、用户构建的草图、选择的颜色与纹理模式、镜头与目标运动等, 对大型图像和视频数据库进行查询。
2.2 Photobook系统
Photobook系统是由美国麻省理工学院 (MIT) 的媒体实验室于1994年开发研制的用于浏览和搜索图像的一套交互式工具, 图像在存储时按人脸、形状或纹理特性自动分类, 图像根据类别通过显著语义特征压缩编码。
2.3 Virage系统
Virage是由Virage公司开发的基于内容的图像搜索引擎。与QBIC相似, Virage支持基于颜色、颜色布局、纹理和结构 (对象边界信息) 的可视化查询, 但Virage比QBIC更进一步, 它也支持由4个原子查询的任意组合, 用户可以根据他们自己的侧重调整4个原子查询的权重。
2.4 CORE系统
CORE是新加坡国立大学开发的一个基于内容的检索系统。其显著的技术特色包括:多种特征提取方法、多种基于内容检索方法、使用自组织神经网络对复杂特征度量、建立基于内容索引的新方法以及对多媒体信息进行模糊检索的新技术。
2.5 Visual SEEK系统
由美国哥伦比亚大学图像和高级电视实验室开发。它实现了互联网上基于内容的图像/视频检索系统, 提供了一套工具供人们在Web上检索图像和视频信息。用户可以把顶部为红橙黄色区域、底部为蓝绿色区域, 这样的图像作为查询“日出”的草图, 使人们在Web上可以方便地搜索和检索图像和视频。
3 基于内容的图像检索体系结构
基于内容的图像检索系统与传统基于文本的检索系统完全不同。基于内容的检索系统一般通过可视化界面和用户进行频繁的交互, 以便用户能够方便地构造查询和改进检索结果, 用户通过选择具有代表性的一幅或多幅例子图像来构造查询, 然后由系统查找与例子图像在视觉内容上较相似的图像, 按相似度大小排列返回给用户, 即所谓的通过例子图像的检索 (Query By
Image Example) 。
基于内容的图像查询和检索是一个逐步求精的循环过程。其过程及各个模块如下:
3.1 图像的预处理
在特征抽象子模块里, 首先要进行图像的预处理, 包括图像格式的转换, 尺寸的统一, 图像的增强与去噪, 图像的边缘提取, 经过边缘提取获得图像的轮廓特征, 对其进行进一步轮廓清晰化处理等功能, 为图像的特征提取打下基础。
3.2 图像的目标标识
图像预处理后, 要进行图像的目标标识。目标标识为用户提供一种工具, 以全自动或半自动 (需要用户干预) 的方式标识图像中用户感兴趣的区域或目标对象, 以便针对目标进行特征提取并查询。当进行整体内容检索时, 利用全局特征, 这时不用目标标识功能。目标标识是可选的。
3.3 图像的特征提取与表达
图像特征的提取与表达是基于内容的图像检索技术的基础。对图像数据库进行特征提取, 提取用户感兴趣的、适合检索要求的特征。特征提取可以是全局性的, 即整幅图像, 也可以是针对某个目标的, 即图像中的子区域, 如人的面部特征或指纹特征等。
3.4 图像数据库
作为图像查询的后台基地, 生成的数据库由图像库、特征库和知识库组成。图像库为数字化的图像信息, 特征库包含用户输入的特征和预处理自动提取的内容特征。知识库包含专门和通用知识, 有利于查询优化和快速匹配, 知识库中知识表达可以更换以适用各种不同的应用领域。
3.5 图像的查询接口
在基于内容检索中, 由于特征值为高维向量, 不具有直观性, 因此必须为其提供一个可视化的输入手段。友好的人机交互界面是一个成功检索系统不可缺少的条件, 可采用的方式有3种:操纵交互输入方式、模板选择输入方式和用户提交特征样板的输入方式。另外, 查询返回的结果需要浏览, 应在用户界面提供浏览功能。
3.6 图像的检索引擎
检索是利用特征之间的距离函数进行相似性匹配, 模仿人的认知过程, 近似得到数据库的认知排队, 存在一些不同的相似性测度算法, 检索引擎中包括一个较为有效可靠的相似性测度函数集。
3.7 图像的索引/过滤
索引是用来提供快速、有选择性地存取数据库的一种机制, 它相当于一种映射机制, 将属性的值转换为相应数据地址域的地址集。过滤器作用于全部数据, 过滤出的数据集合再用高维特征匹配来检索。索引用于低维特征, 可以用R树来索引以加快检索速度。
基于内容的图像检索技术为用户提供了一个在网络上搜索感兴趣的图像信息资源的有效手段, 但基于内容的图像检索技术目前还存在许多有待发掘的内容, 因而, 基于内容的图像检索技术也需要随着网络技术、信息技术的发展而发展。
摘要：图像检索是网络信息检索中的重要的组成部分, 而其检索技术却相对滞后。基于内容的图像检索已成为网络信息检索技术的研究热点。本文分析并总结了图像检索的概念, 综述了基于内容的图像检索系统和相关技术。
关键词：网络信息检索,基于内容,图像检索技术
参考文献
[1]何惠芬.图书馆中基于内容的图像数据库检索技术[J].情报杂志, 2002 (7) .
[2]刘伟成, 孙吉红.基于内容的图像信息检索综述[J].情报科学, 2002 (4) .
图像检索 篇2
关键词：图像检索技术；颜色特征
中图分类号：TP391.41 文献标识码：A文章编号：1007-9599 (2011) 06-0000-01
Image Retrieval Technology Research Based on Color and Texture Features
Guo Qing,Liu Ruiling
(Henan Light Industry School,Zhengzhou450006,Chian)
Abstract:The paper first for color and texture feature extraction described,followed by the experimental study of the comprehensive utilization of color and texture features for image retrieval of the actual results,and with single feature search compared to the last corresponding experimental data and conclusion of the study.
Keywords:Image retrieval technology;Color feature
下面我们就综合颜色与纹理特征进行图像检索进行研究，并通过实验验证其效果。对于图像颜色特征的描述主要采取主颜色特征进行，主颜色特征侧重于图像整体信息的描述；对于纹理特征的描述采用边缘直方图特征进行，主要描述了图像的局部信息，综合这两种特征进行检索可以达到优势互补的效果。
一、主颜色
与一般的颜色直方图不同，主颜色是从每幅图像计算得到的，而不是固定于某个颜色空间。MPEG-7推荐的HSV模型对应于画家配色模型，能较好反映人对颜色的感知和鉴别能力，而且，它还具有线性伸缩性，可感知的颜色差与颜色分量的相应值的欧几里德距离成比例，因此非常适合基于颜色的图像相似性比较。本文选用HSV颜色空间的固定量化。
（一）提取方法。1.颜色空间量化：RGB颜色空间的分布为256×256×256，为了节省空间和提高运算速度，首先将RGB颜色空间进行量化，舍弃RGB色彩的低4位，压缩成16×16×16个子空间。2.频度统计：将代表帧所有像素投影到上述压缩后的RGB颜色空间中，统计像素在各颜色子空间的使用频度，取出使用频度最高的256种颜色。下面将在这256种颜色中提取主颜色。3.提取主颜色：在上面提取出的256种颜色中，首先合并所有HSV空间距离小于0.1的颜色子空间及其使用频度，对当前剩余的颜色子空间按使用频度从大到小排列，根据需要，选取若干种主颜色。将主颜色外的子空间按照HSV空间距离最近原则合并到主颜色空间。
（二）主颜色特征的相似性度量。对于图像Q和图像F，提取出它们的主颜色特征以后，按照如下方法进行相似性度量：1.对图像Q的主颜色1，按HSV空间距离最近原则，在图像F的N种主颜色中寻找其最近主颜色，记录这两种主颜色之间的HSV空间距离，并求出这两种主颜色在各自的图像中所占象素比例差值的绝对值。2.对图像Q的其它主颜色，从主颜色2到主颜色N，依次进行上述处理，得到距离和像素比例差。3.针对图像F的N种主颜色，同样计算相对于图像Q主颜色的距离和像素比例差。4.根据以上计算结果进一步计算图像Q和图像F的相似度。
二、边缘直方图
边缘直方图以空间域中的边缘分布情况来描述纹理图像。将纹理图像如图1分割成16个子图像，并将每个子图像中的边缘分布情形以直方图表示。将子图像中的边界归类为5种，分别是4种方向性边缘以及1种无方向性的边缘，计算在子图像中各种边缘的出现次数，绘制成直方图，所以l6个子图像各有一个具有5种边缘型态的直方图，这l6个直方图可以合并成一个具有80个代表区域边缘的直方图。
（一）特征提取。为了提取方向性边界的特征，必须将子图像再分割为更小的图像方块（image_block），如图1所示。每个图像方块的大小由所给定的方块数量及图像大小决定，所以在不同大小的图像上，图像方块的大小也有所不同。对于每个图像方块还需要将它分割成4个子方块（sub_block），如图1。然后对于4个子方块分别计算亮度平均值。在第（i，j）个图像方块的第k个（k=0，1，2，3）子方块中，计算其亮度平均值。对于每个图像方块，使用图2中的过滤系数来判断图像方块所属的边缘类型。
找出5个边缘强度值中的最大值，如果这个最大值大于或等于所选定的临界值，则这个图像区块属于最大值所对应的边缘型态，如果该最大值小于临界值。则此图像区块属于无边缘的型态。
（二）边缘直方图的相似性度量。根据上面的特征提取方法，可以得到表示图像边缘特征的80个直方图，并计算两幅图像Q和F相似性度量。
三、实验结果和结论
假设查询图像Q和数据库图像F之间，使用主颜色得到的相似度为SDC，使用边缘直方图得到的相似度为SEHD，综合主颜色和边缘直方图进行图像检索时，本文采用的相似性测度为Si=αSDC+βSEHD，其中α、β为权重，分别对应这两种特征在检索中的相对重要性，需要满足α+β=1。
该实验图库为158幅彩色图像（包含有花卉、赛车、风景等），上图中第l幅为检索样图，其它8幅为检索结果，从左到右，相似性测度依次减小。实验表明仅利用主颜色特征检索得到的结果，检索出的各图虽然从颜色角度看与检索样图比较接近，但总体视觉效果与人的感觉并不完全吻合。即检出图像的颜色虽然与样图相似，但图案有一些差别。若仅利用纹理特征对同一检索样图进行检索得到的结果。从大花与小花图案角度看，效果要好一些，但检索结果中出现了一些颜色完全不同的图。最后图3给出了利用综合特征方法对同一检索样图进行检索得到的结果。实验中所用颜色特征和纹理特征在检索中的权重为4比1。从实验检出结果对比可得出以下结论：综合利用颜色和纹理特征进行检索所得到的结果要比单一利用颜色或纹理特征进行检索更符合人的视觉要求。
四、结束语
论文介绍了主颜色特征（颜色特征）和边缘直方图两种特征的提取方法，还实现了一个综合颜色和纹理的图像检索系统以进行实验论证，综合了主颜色和边缘直方图进行图像检索，并给出了单独使用这两个特征和综合两者的实验结果比较。研究及实验结果表明综合利用颜色和纹理特征的检索效果明显好于其中任一单个特征检索的效果。
图像颜色与纹理结合实现图像检索 篇3
伴随着多媒体计算机和通信技术的飞速发展, 多媒体数据规模迅猛增长, 为了帮助用户快速准确的找到感兴趣的图像或者视频, 要求发展高效的图像检索技术。颜色是描述图像内容的最直接的视觉特征, 颜色对图像本身的尺寸、方向、视角的依赖性较小, 从而具有鲁棒性。由于纹理特征能对空间信息进行一定的描述.所以我们考虑可综合利用颜色和纹理特征, 这样不仅能够表达更多的图像信息, 而且可以从不同方面更加详细的对图像进行描述, 以得到更好的检索结果。
一、颜色特征提取1.1颜色空间量化
图像检索的颜色特征涉及到若干问题。首先, 需要选择合适的颜色空间来描述颜色特征;其次, 我们要采用一定的量化方法将颜色特征表达为向量的形式;最后, 还要定义一种相似度 (距离) 标准用来衡量图像之间在颜色上的相似性。
颜色空间量化需要考虑的问题是量化级别, 将颜色空间量化的Bin越多时, 颜色特征描述越精确。一般颜色空间对人眼感知并不均匀, 非均匀量化能较好的符合人眼视觉感受但是会增加量化过程和计算的复杂度。
颜色空间中RGB颜色空间与人眼的感知差异很大, 文中采用HSV颜色空间, 并采用Zhang Lei[1]量化方法, 将颜色空间非均匀量化为36Bins.
Zhang Lei对HSV空间的详细的划分方法如下:当v∈[0, 0.2) 时为黑色区域, 此时l=0;当s∈[0, 0.2]且v∈[0.2, 0.8) 时为灰色区域, 此时l=| (v-0.2) ×10|+1;当s∈[0, 0.2]且v (0.8, 1.0∈]时为白色区域, 此时l=7;当s (0.2, 1.0∈]且v (0.2, 1.0∈]时为彩色区域.
根据区间的划分, 最后取得l=4H+2S+V+8共36种颜色。这种量化方法具有较能适合人眼视觉、能减少颜色冗余、可适用灰度表面和易于计算的优点。
在HSV空间中对图像颜色进行量化后提取, 提取步骤如下:
定义Mi={ (x, y) ∈I, i=ci}为ci中的像素集合, 其中ci为第i中颜色。传统的颜色直方图[2]是每一个bin中的像素个数占总像素个数的比率如下:
其中||Mi||表示集合Mi中的元素个数。
选择量化后颜色之间的像素统计的相对距离dij=d (Hgl (i) , Hgl (j) ) 为因素来考虑各颜色之间的相对关系。
aijmax即为各颜色相关的对称矩阵。把aijmax按行累加求均值如下:
把式 (4) 作为传统直方图的权重
式 (5) 就是图像的颜色特征。
二、纹理特征提取
图像纹理是一种重要的视觉手段, 是图像中普遍存在而又难以描述的特征。纹理分析技术一直是计算机视觉、图像处理、图像检索等的活跃研究领域。图像纹理反映的是图像的一种局部结构化特征, 具体表现为图像像素点某邻域内像素点灰度级颜色的某种变化, 而且这种变化是空间统计相关的。
纹理特征提取的目标是:提取的纹理特征维数不大、鉴别能力强、稳健性好, 提取过程计算量小, 能够指导实际运用。
灰度共生矩阵[3]是描述在方向上, 相隔S像元距离的一对像元, 分别具有灰度值i和j的出现概率, 其元素可记为P ( (i, j) |s, m) 简记为pi, j, 。显然灰度共生矩阵是一个对称矩阵, 其阶数由图像中的灰度级个数决定。假设灰度图像f (x, y) 其灰度级数为L, 则有f (x, y) ∈[0, L-1].。灰度共生矩阵的各元素值由下式求得:
三、颜色和纹理特征经过归一化处理
为了使各特征在相似度计算时的地位相同, 对特征进行归一化, 将颜色特征和纹理特征归一化处理步骤如下:
(1) 计算图形库中每两个图像I, J所对应特征向量Fi, Fj间的相似距离:Di, j=dis (Fi, Fj) I, J=1, 2…, M, 且I≠J;
(2) 计算出得到的M (M-1) /2个距离值均值md和标准差?p;
(3) 对查询图像Q, 计算其余图形库中每个图形库中的相似距离记为:D1Q, D2Q, KDMQ; (4) 对D1Q, D2Q, DMQ先进行高斯归一化, 再作线性变换.
四、相似性度量和图像效果评价
根据加权的平均距离来度量相似性, 也就是将查询图像和图像库中的图像的纹理距离和颜色距离分别加权。D=WcDc+WtDt, 其中Wc, Wt别表示颜色和纹理在整个相似度比较中所占的权重, 并满足:Wc+Wt=1, Dc, Dt分别表示两幅图像的颜色、纹理特征的相似性距离。
实验中采用应用于检索系统的Corel图片库, 从中选取没有歧义的图像进行检索, 在查准率与查全率上明显高于单一特征检索效果。
参考文献
[1]ZHANG L, LIN F Z, ZHANG B, A CBIR method based oncolor-spatial feature[C].Proceedingsof IEEE Region 10 Confer-ence 1999:166-169
[2]吴波, 王保保, 几种基于内容的图像检索的方法。计算机技术发展学报, 2006.6
[3]基于区域综合特征的图像检索方法, 江建, 重庆文理学院学报 (自然科学版)
基于内容的图像检索综述 篇4
关键词：CBIR,颜色,纹理,形状,语义
随着现代通信技术和多媒体技术的发展及Internet的广泛普及, 数字图像的数量出现了急剧增长。如何从这些海量的图像数据中快速有效地找出需要的信息, 是一个非常有理论价值和实际意义的课题。实际上, 图像检索已经成为目前国内外的一个研究热点。从图像检索发展的历程来看, 主要经历了两个阶段:基于文本的图像检索和基于内容的图像检索。传统的基于文本的图像检索技术是通过关键字或自由文本进行描述, 查询操作是基于该图像的文本描述进行精确匹配或概率匹配。基于文本的图像检索方式简单、易于理解, 但检索时要指明文本特征。由于人工注释图像的主观性和不准确性等弊端, 因此这种传统的图像检索方法并不能满足用户的需求。相对于基于文本的图像检索技术来说, 基于内容的图像检索实现了自动化、智能化的图像检索和管理, 主要利用了图像中的一些可视化信息, 如颜色、形状、纹理等信息作为检索的途径, 从而提高了检索的效率和准确性, 因此得到越来越多人的关注。
1. 国内外的研究现状
迄今已有许多关于内容的图像检索系统面世。国外经典的检索系统有IBM公司开发的OBIc、Virage公司的Virage图像搜索引擎、麻省理工学院 (MIT) 多媒体实验室开发的Photo book、哥伦比亚大学开发的Visual SEEK和详eb SEEK, 等等。相对于国外而言, 国内在基于内容图像检索理论及应用的研究起步较晚, 具有代表性的工作如下:清华大学计算机系结合国家863高科技研究发展项目“Web上基于内容的图像检索研究”, 于1997年研制了一个网络版基于静态图像内容的原型系统。国防科技大学多媒体开发中心设计开发了一个基于内容的视频新闻节目浏览检索News Video CAR。浙江大学从1995年开始进行多媒体图像检索的研究, 开发了基于图像颜色的检索系统Photo Navigator, 并将基于颜色的CBIR技术较为成功地应用于敦煌壁画数据库的研究和开发。云南大学信息学院设计开发了基于内容的商标图像检索系统等。
目前, 基于内容的图像检索技术的研究热点[1]可分为四个方面:一是最初的图像检索研究主要集中于如何选择合适的全局特征去描述图像内容和采用什么样的相似性度量方法进行图像匹配。代表性工作包括:IBM开发的QBIC、MIT多媒体实验室开发的Photobook、哥伦比亚大学开发的Visual SEEK等。二是基于区域的图像检索方法, 主要思想是通过图像分割技术提取出感兴趣区域的特征;代表性工作有:美国加州大学的Netra、伯克利大学开发的Blobworld、斯坦佛大学和宾州大学开发的SIMPLicity。尽管这些方法更加贴近于用户查询的思路, 但由于图像分割的准确性差, 因而导致检索准确率低。上述两个研究热点是以图像为中心的方法, 无须考虑用户的需求。三是利用相关反馈技术, 根据用户需求及时调整系统检基于内容的圈像检索方法研究和实现索, 充分利用特征和相似性度量方法, 进而缩小低层特征和高层语义之间的差距。代表性工作有:美国伊利诺斯大学开发的多媒体分析和检索系统MARS, Picunter等;四是研究如何从多种渠道获取图像语义信息, 如何将图像低层特征与图像关键词结合进行图像自动标注以提高检索准确率, 如利用机器学习理论Bayesian, SVM, 等等。
2. 基于内容的图像检索系统构成
基于内容的图像检索过程[2]为: (1) 预先分析、提取和储存各图像视觉的底层特征; (2) 系统根据用户提交例图采用某种方法提取该图特征向量; (3) 选取相似性比较方法, 将该例图的特征与特征库中的特征进行比较匹配; (4) 将与查询特征相似的图像, 按相似度由大至小排列结果返回给用户; (5) 系统反馈的结果用户可以筛选或者从候选结果中选择一个示例, 经过特征调整后, 形成一个新的查询, 直至得到满意的结果。
3. 基于内容的图像检索常用的关键技术
基于内容的图像检索技术[3]有很多种, 颜色表达的是图像的全局特征, 是图像的主要视觉性质, 在人们对图像的印象中, 颜色占了很大的比重;纹理也是一种全局特征, 它描述了图像的表面性质, 在检索粗细和疏密等方面有较大差别的图像时, 利用纹理特征是一种有效的方法;形状特征更接近于目标的语义特征, 具有一定的语义信息, 可以帮助用户避开不相关的背景或不重要的目标, 直接搜索与目标图像相似的图像。事实上, 基于内容的图像检索方法需要综合颜色、纹理和形状的特征才能获得较好的效果。
3.1 基于颜色特征的检索
颜色是图像检索中最先被采用的特征, 主要方法有: (1) 颜色直方图, (2) 颜色一致性矢量, (3) 颜色相关图, (4) 颜色矩, 等等。
颜色是图像的一种重要视觉特征, 具有旋转不变性、平移不变性等优点, 在基于内容的图像检索 (CBl R) 中应用广泛、性能显著。对此, 人们提出了多种颜色特征提取及表示方法。其中, Swain等人提出的颜色直方图[4]在商用及实验系统中都得到了广泛应用。颜色直方图的比较是最基本方法, 但缺乏图像的空间信息。而CCV方法不仅统计了整幅图像中各颜色的像素值, 还统计了图像中各颜色最大区域的像素值, 效果较好, 但CCV并没有强调各颜色最大区域的形状及与背景的关系, 于是Zachary等人又考虑了图像的边缘信息, 提出了CCV—TEV (Threshold Edge Vector) 算法[5]。颜色相关图法强调同一颜色在图像中的空间距离相关性, 其检索效果比上述几个方法都要好, 但计算量比较大。颜色矩算法主要是采用图像中各颜色的均值和方差作比较, 处理简单, 可用它作为图像检索的初检, 为下一步的细检缩小搜索范围。
Zadeh提出的模糊集合理论[4], 通过隶属函数的概念和方法描述来具有模糊性的过渡过程, 将模糊集合理论及其衍生方法应用于CBl R具有较强的实用性。可以利用模糊C均值聚类算法 (Fuzzy C—Means AIgorithm, FCM) , 对图像色彩在RGB空间中进行模糊聚类, 通过计算每个像素对聚类中心 (即代表性颜色) 的隶属度值来构造模糊颜色直方图, 从而实现彩色图像的分类检索。
目前基于颜色特征的检索已成为检索的一个重要手段, 并提出了许多改进方法。总体来说, 主要分为两类:全局颜色特征检索和局部颜色特征检索。按照全局颜色分布来索引图像可以通过计算每种颜色的像素个数并构造颜色灰度直方图来实现, 这对检索具有相似总体颜色内容的图像是一个很好的途径。局部颜色信息是指局部相似的颜色区域, 它考虑了颜色的分类与一些初级的几何特征。比如smith等提出了颜色集合方法[6]来抽取空间局部颜色信息并提供颜色区域的有效索引。
3.2 基于纹理特征的检索
纹理是图像的重要特征之一, 通常定义为图像的某种局部性质, 或是对局部区域中像素之间关系的一种度量, 其本质是刻画像素的邻域灰度空间分布规律。纹理特征描述方法大致可以分为四类:统计法、结构法、模型法、频谱法。
Haley[7]等人使用Gabor小波模型提取了旋转不变性的纹理特征, 该方法具有较高的复杂性。Ojala[8]等人提出了一种具有尺度和旋转不变性的LBP纹理分析方法, 但该方法仅利用了纹理图像的局部特征, 没有考虑到图像的全局信息。Manthalkar[9]等人采用离散小波包分解的方法得到了一种具有旋转和尺度不变的纹理特征, 然而该方法在一定程度上丢失了纹理的方向信息。Pun[10]等人提出了Log-polar方法, 具有旋转和尺度不变的特性, 但它将尺度变量转化为平移变量进行处理, 破坏了信号的频率。Kourosh[11]提出了一种旋转不变性的多尺度纹理分析方法 (RIM) , 利用Radon变换和小波变换得到了一种新的具有旋转不变的纹理特征, 具有较强的抗噪能力, 然而该方法不能同时具备平移和尺度不变性。
统计法分析纹理的主要思想是通过图像中灰度级分布的随机属性来描述纹理特征。最简单的统计法是借助于灰度直方图的矩来描述纹理。但这种方法没有利用像素相对位置的空间信息, 为了利用这些信息, Haralick[12]等人提出了用共生矩阵来表示纹理特征。该方法研究了纹理的空间灰度级相关性, 构造出一个基于图像像素间方向和距离的共生矩阵, 并且从矩阵中提取出反差、能量、嫡、相关等统计量作为特征量表示纹理特征。Tamura[13]等人基于人类视觉的心理学研究后提出了一些不同的方法来描述纹理特征, 给出了几个不同的描述纹理特征的术语:粗糙度 (coarseness) , 对比度 (contrast) , 方句度 (directionality) , 线性度 (linelikeness) , 规则度 (regularity) , 粗略度 (roug hness) 等。
结构法分析纹理的基本思想是假定纹理模式由纹理基元以一定的有规律的形式重复排列组合而成, 特征提取就变为确定这些基元并定量分析它们的排列规则。Carlucci[14]曾提出一个使用直线段、开放多边形和封闭多边形作为纹理基元的纹理模型, 其排列规则由一种图状语法结构定义。Luand Fu给过一种树形语法结构表示纹理, 他们将纹理按照9x9的窗口进行分割, 每个分解单元的空间结构表示为一棵树。因为实际的纹理大都是无规则的, 因此结构法受到很大限制。
3.3 基于形状特征的检索
形状是刻画物体的本质特征之一, 也是最难提取和描述的图像特征之一[15]。在人的视觉感知、识别和理解能力中, 形状是一个重要的参数。形状特征具有不受目标颜色、纹理、背景变化影响的特点, 它的重要原则是对位移、旋转、尺度变换的不变性。但不同于颜色和纹理等底层特征, 形状特征的表达必须以对图像中物体或区域的划分为基础, 形状特征的提取必须以图像分割作为前提。在二维图像空间中, 形状通常被认为是一条封闭的轮廓曲线所包围的区域。要想进行形状匹配, 首先需要找到一种合适的描述方式。形状特征通常有两种表示方法:一种是基于边界轮廓特征的表示方法, 该特征的描述主要有:直线段描述、样条拟合曲线、傅立叶描述、小波轮廓描述, 等等, 其中最典型的方法是傅立叶描述, 另一种是基于区域特征的表示方法, 如不变矩。前者只用到物体的外边界, 而后者则关系到整个形状区域。无论提取哪一类形状特征, 都必须分割图像。
3.4 基于组合的多特征的检索
图像内容具有各种视觉特征及视觉对象的空间关系等, 而人在观察图像时也不只是观察一个特征, 而是会同时看到图像的颜色、形状等多个组合特征。正如前面所提到的, 不同的特征有不同的矢量表示方法, 即使是同一特征, 如颜色特征也有直方图特征、颜色矩、颜色集等多种特征表示方法。在用单一特征进行检索时, 可能出现非常相似的两幅图, 但在语义上相差很大。而采用组合特征检索法时可以在颜色、纹理、形状等几种查询特征中选择两种或两种以上的特征进行组合检索。基于多特征组合检索便于用户更灵活、更有效地表达检索要求, 提高检索的准确率。该检索方法可分两种情况进行:一种是异步组合检索, 另一种是同步组合检索[16]。
3.5 基于语义特征的检索
基于语义的图像检索需要解决两个方面的问题:一是必须提供高层语义的描述方式;二是必须有将低层图像视觉特征射到高层语义的方法。图像的视觉特征信息和用户视觉数据理解的不一致性, 使得视觉底层特征和高层语义之间存在语义鸿沟。针对这一问题, 许多学者进行了研究, Amoid将图像的知识作用域分为狭义域和广义域两类, Hermes[17]等人使用了相似性技术直接从户外图像中推导场景的自然语言描述, Zhuang[18]等人提出了模糊布尔模型、概率布尔模型。这些方法在不同的场合分别显示了它们在语义表达方面的能力。
基于语义的图像检索方法, 它允许用户在检索过程中用主观感觉来描述图像, 这对于检索者来说, 可以提高检索效率和准确性, 但是“语义鸿沟”的存在, 使得基于语义的图像检索仍面临着很大挑战。
4. 基于内容的图像检索技术的展望[19]
目前, 许多研究关注的是图像的特征提取及检索匹配算法, 虽然方法很多, 但没有一个统一的模型, 需要易用的能对原始特征进行抽取的自动工具和获取逻辑特征的半自动工具用于开发大型、实用的多媒体信息检索系统。另外, 还需要新的特征表示方法, 如基于分形或小波的特征数学表示。目前使用的媒体, 其格式和编码没有考虑到内容, 只是针对颜色、像素、样值来编码。因此, 从这些数据中抽取内容特征非常困难。在基于内容的检索中, 由于检索算法比较多, 需要对各种算法的检索结果进行评价, 以比较其优劣。检索算法的评价方法能够在相同的条件下找出最佳算法, 使不同的检索方法能更好地改进和提高, 以使基于内容的检索方法朝更好的方向发展。
图像检索技术的研究是一个涉及多个领域的综合性课题, 是对计算机视觉技术、数据库检索和管理技术、用户界面技术、数学建模技术、图像分析处理技术、计算机网络技术及人类心理学等各个方面成果的融合, 只有这样, 才能建立一个高效、快速、实用的图像检索系统[19]。
基于联合特征的图像检索 篇5
基于内容的图像检索,也被称之为图像收索技术,它是计算机视觉技术应用在大容量的图像数据库中,解决数字图像检索的匹配问题。所谓基于内容是指图像检索系统分析的图像本身的内部数据,而不是关键词,标签和图像相关的说明。图形的内容包括颜色,形状,
纹理或任何可以直接从图片本身上提取出的信息。基于以上内容,用图片本身信息来检索图片,可以提供更好的检索服务和更准确检索结果[1]。
2 设计过程
2.1 颜色特征提取
颜色特征提取,直方图距离为查询图像的第一图像的数据库计算即贡献分量单独计算。现在之间的欧氏距离查询图像和图像中的第一个数据库的计算。这欧几里德距离是存放在一个数组。该程序重复其余图像在数据库中通过存储各自的价值。现在数组排序升序和第一8最接近的匹配项显示。
在颜色特征提取方方面,分别计算要查询图像和在数据库中图像的颜色直方图,用来统计统计RGB分量之间的距离。就是这样计算查询图像和在数据库中的匹配图像之间的欧几里德距离的。然后把计算所得的欧几里德距离被存储在一个数组中。计算在图像数据库中的其他图像平且存储它们各自的值。对得出的数据进行升序排列,显示前8个最接近的匹配图像。
2.2 纹理特征提取
在纹理特征提取,对数据库中的所有图像和待检索的图像,提取出它的灰度纹理特征向量[3]。共生矩阵这种技术,不仅可以显示图像强度值也可以显示出强度的分布图。纹理特征检索选择的参数有能量,对比度,熵,逆差额,转动惯量,均值,灰度方差,灰度偏离值,分布均匀程度,局部图像的稳性和均匀性。
计算待查询图像和图像数据库中的第一幅图像之间的欧几里德距离,并把该欧几里德距离被存储在数组中。重复这个过程,直到把剩余所有图像的欧几里德距离都计算出来,并且存储它们各自的到一个数组中。然后把这个数组中的值按照排升序排列,把前8个最接近的匹配图像显示出来。
2.3 联合特征提取[6]
联合特征提取提需要先把在图像数据库中第一图像和查询图像的直方图的距离计算出来。然后同样在数据库中的第一图像和待查询图像之间的欧几里德距离也计算出来,并且把欧几里德距离存储在一个数组中。重复该过程,直到数据库中的所有图像都得到了遍历,而且把所有得到的距离结果存储到一个数组中。
使用的灰度共生矩阵提取出纹理特征向量,为在数据库中的第一图像和待查图像提取纹理特征向量。待查询图像和数据库之中的第一副图像之间的欧几里德距离的计算就可以计算出来了。并且把这个计算出来的欧几里德距离被存储到一个数组中。重复进行这个过程,直到数据库中的所有图像都得到遍历,并且存下他们的欧几里得距离到同一个数组中。
以上存储的数组是为了进一步的运算的。进一步比较数组中存放的欧几里得距离。上述计算阵列之间的欧几里得距离的计算方法。按升序排序,并且前8个显示最接近的匹配。
3 算法
3.1 颜色特征的提取算法
1)把查询图像被输入到系统中。
2)用颜色直方图的方法,然后计算查询图像的直方图距离。
3)用同样的方法,计算在数据库中的第一图像的直方图距离。
4)计算查询图像和数据库中的第一幅图像之间的欧几里德距离。数据库中使用的颜色特征提取图像。
5)存储阵列中的“欧几里德距离”。
6)计算数据库中的下一图像的直方图的距离。
7)重复步骤4,5和6,直到数据库中的所有图像得到遍历。
8)把所有的数组中的的欧氏距离,按升序摆列。
9)显示8个最接近的匹配结果。
3.2 纹理特征的提取算法
1)把待查询图像被输入到系统中。
2)用灰度共生矩阵的方法,计算查询图像的纹理特征向量,并把结果存在一个数组中。
3)用上述的方法,计算图像数据库中的第一幅图像的纹理特征向量,并把结果存在一个数组中。
4)计算查询图像和在数据库中的第一幅图像之间的欧几里德距离。
5)把这个结果存储在一个数组中。
6)用灰度共生矩阵的方法,计算出图像数据库中下一幅图像的纹理特征向量,并将其存储在数组中。
7)重复步骤4,5和6,直到数据库中的所有图像得到遍历。
8)把所有的数组中的的欧氏距离,按升序摆列。
9)显示8个最接近的匹配结果。
3.3 联合特征的提取算法(颜色特征和纹理特征)
1)把待查询图像被输入到系统中。
2)用颜色直方图的方法,然后计算查询图像的直方图距离。
3)用同样的方法,计算在数据库中的第一图像的直方图距离。
4)计算查询图像和数据库中的第一幅图像之间的欧几里德距离。
5)把这个结果存储在一个数组中。
6)用同样的方法,计算在数据库中的第一图像的直方图距离。
7)重复步骤4,5和6,直到数据库中的所有图像得到遍历。
8)所有的数组中的的欧氏距离,按升序摆列。
9)用灰度共生矩阵的方法,计算查询图像的纹理特征向量,并把结果存在一个数组中。
10)用灰度共生矩阵的方法,计算出图像数据库中下一幅图像的纹理特征向量,并将其存储在数组中。
11)计算查询图像和在数据库中的第一幅图像之间的欧几里德距离。
12)把这个结果存储在另一个数组中。
13)重复步骤11,12和13,直到遍历了所有的图像数据库中的所有图像。
14)把所有的数组中的的欧氏距离,按升序摆列。
15)计算存储图像直方图数组和纹理特征向量数组之间的欧几里德距离。
16)综合以上结果,可以得到一个有效的搜索检索结果。同时显示8个最接近的匹配结果。
4 结论
4.1 颜色直方图的方法
下面的出的检索结果是用提取颜色特征的方法得到的。
4.2 纹理特征的方法
以下是基于纹理检索的结果
4.2 联合特征的方法
以下是基于联合检索的结果
5 结论
颜色特征,纹理特征和联合特征是通过本文以上提到的各种发。颜色特征的提取是通过颜色直方图的方法来实现。
对于纹理特征使用了11项的属性,其中包括能量,对比度,熵,逆差法,平均值发,方差,分布均匀度,转动惯量,偏离度,局部平稳性,均匀性。这些属性的综合应用提高了纹理特征检索效果。
联合特征的提取是通过提取颜色和纹理特征,得到的一个综合检索。检索的图像适合于各种的图片格式,特征提取是实现项目的保证。
6 结束语
基于内容的图像检索系统,可以运用于许多方面。在技术领域是会有不断的新的发展。下面将简要呈现图像检索系统。
该系统具有图像旋转不变性。也就是说,这个系统应进一步提高旋转了的图像和没有角点匹配的图像。适用于所有的图像格式和接受不同程度的图像缩放。对于图像的形状特征也可以被认为是作为一个有用的图像特征矢量。该系统可以进一步提高效率,在数据库搜索时,查询图像的用户可以自己选择所需的特征向量或一些特征向量的组合。
摘要：基于内容的图像检索是指在大型图像数据库中寻找相匹配的数字图像的一门机器视觉技术。在该文中用到的基于内容的图像检索技术是建立在图像内容上的提取上的,通过提供更好的索引来达到更准确的检索结果。该文提到的图像检索的内容是指颜色特征,纹理特征和这俩个特征的综合应用。相比较单特征,联合特征可以返回更加优秀的和更加准确的检索结果。
关键词：颜色直方图,联合特征,欧氏距离,灰度共生矩阵
参考文献
[1]Woo Chaw Seng,Seyed Hadi Mirisaee.A Content-Based Retrieval System for Blood Cells Images[C].International Conference on FutureComputer and Communication,icfcc,2009:412-415.
[2]Mohammad Reza Zare,Raja Noor Ainon,Woo Chaw Seng.Content-Based Image Retrieval for Blood Cells[C].Third Asia International Con ference on Modelling&Simulation,ams,2009:332-335.
[3]Fan-Hui Kong.Image Retrieval Using Both Color AndTexture Features[C].Department of Information Science&Technology,HeilongjiangProceedings of the EighthInternational Conference on Machine Learning andCybernetics,Baoding,12-15 July 2009.
[4]Xiangbin Wang,Junmin He,Zhongwei Lv.Texture-based Retrieval of Thyroid Gland SPECT Image[D].School of Life Science and Technolo gy Tongji University,978-1-4244-4134-1/09/$25.00 2009 IEEE.
[5]Subrahmanyam Murala,Anil Balaji Gonde R.P.Maheshwari.Color and Texture Features for Image Indexing and Retrieval[C].Department ofElectrical Engineering,Indian Institute of Technology Roorkee,Uttarakhand,India,IEEE International Advance Computing Conference,2009.
[6]Wei Wang,Motoyuki Suzuki.Texture Retrieval Based on Gray-Primitive Cooccurrence Matrix[Z].Dept InfoScience&Intelligent SystemsFaculty Engineering,The University of kushima,Tokushima,Japan,978-1-4244-6899-7/10/$26.00 2010 IEEE.
[7]孙君项,赵珊.图像低层特征提取与检索技术[M].北京:电子工业出版社,2O09.
[8]张华伟,孙劲光.基于颜色与形状图像检索的研究[J].计算机仿真,2009,26(11).
[9]Guo ZH,Zhang L,Zhang D.Rotation invariant texture classification using LBP variance(LBPV)with global matching,2010,43(3):706-719.
图像检索技术研究进展 篇6
随着数字技术、计算机及网络技术的发展和普及，图像的应用和传播也越来越广泛，图像已经成为描述和存储信息的常用载体，各行业产生了大量的图像数据库。但图像信息自身的无序化问题也越来越突出，这就要求有一种能够快速而且准确地查找访问图像的技术，即图像检索技术。
常见及传统的图像检索技术主要有基于文本的检索技术和基于内容的图像检索技术。
1 基于文本的图像检索技术
自20世纪70年代始，有关图像检索的研究就已开始，当时主要是基于文本的图像检索技术(Text Based Image Retrieval，简称TBIR)，该类方法利用关键字对每幅图像进行描述，图像检索演变成关键字的匹配。但目前的计算机视觉和人工智能技术都无法自动对图像进行标注，必须依赖于人工对图像做出标注，而不同的人对同一幅图像有不同的理解方法，这种主观理解的差异将导致图像检索中的失配错误。何况，要把所有不同的解释都用关键字(文本或数字)来表示，显然是不可能的。
这样的方法虽然思路简单也易于实现，但其缺点也同样突出。
首先，人工注释的不可行性，每幅图像都要进行关键字的概括与注释，在图像库容量快速增长的背景下变得几乎不可行。
其次，人工注释的不稳定性，不同的人对同一幅图像的注释可能差别很大，不同的人群对同一幅图像的理解也存在着差别，所以人工注释具有明显的不稳定性。
再次，人工注释的不准确性，“一幅图像胜过千言万语”，一幅图像所包含的意义非常丰富，有限的文字很难准确描述图像表达的内涵[1,2,3,4,5,6]。
2 基于内容的图像检索方法（CBIR)
从20世纪90年代以来，基于内容的图像检索(Contentbased Image Retrieval，简称CBIR)被Kato[7]第一次提出以后，世界范围内就CBIR就开始了广泛的研究。基于内容的图像检索[8]是指对图像信息从低层到高层进行处理、分析和理解，获取其内容信息并根据内容信息进行检索。基于内容的图像检索是计算机图像处理技术与数据库技术相结合的产物。它的基本思想是通过对物理图像的模式识别和分析理解，利用计算机模仿人类观测图像的过程，从中抽取图像的有关内容特征并加以标识和组织，用户也以此作为检索的依据，完成与图像数据库中存储信息的匹配，从而实现图像的直接定位查找。它符合图像信息量大，内涵丰富的特点，因而可以对图像数据库进行更加有效的检索。
近些年，CBIR的研究与应用得到了长足的发展。典型的CBIR利用图像的颜色、形状、纹理、区域等基本视觉特征进行检索，这些从图像中提取的特征能反映图像某些方面有别于其他图像的性质。
图一给出了一个CBIR的典型系统结构。从图中可以看出系统主要分成特征提取子系统和查询子系统两个部分。特征提取子系统主要包括输入图像的预处理模块、目标标识、特征提取模块以及数据库相关处理模块。查询子系统包括用户查询接口模块、查询处理模块、相似性匹配模块、索引和数据库相关处理模块。各部分的主要功能如下:
(1）预处理模块
包括图像格式的转换、图像尺寸的规范、图像的增强和去噪等功能，为图像的特征提取打下基础。同时，也将预处理过的图像存入图像库，用于后续的工作。
(2）目标标识
由于图像的复杂性，目标标识为用户提供一种工具。用户可以全自动或半自动(需要用户干预)的方式标识图像中用户感兴趣的区域或目标对象，以便系统自动对目标进行特征提取并查询。当利用全局特征进行整体内容检索时，可以禁止目标标识功能。因此，目标标识功能是可选的。
(3）特征提取模块
CBIR系统的一个核心技术是特征提取，要求支持图像各种特征的提取算法，也可提取用户感兴趣的、适合检索要求的特征。特征提取可以是提取图像全局的特征，也可以是图像中局部的特征，并将图像特征对应图像库存入图像特征库。
(4）用户查询接口
用户可以使用查询接口的查询用户界面来组织自己的查询要求。用户可以用整幅图像、特定对象的描述、各种视觉特征及组合等形式进行查询，系统检索所得到的图像也是通过此接口返回给用户。
(5）查询处理模块
查询处理模块将用户查询接口模块送来的查询请求(如目标图像)通过特征提取模块转换为用户特征描述的待查特征，然后调用匹配模块检索特征库，并计算每个特征与待查特征的相似程度，从中挑出相似的若干图像，并按相似程度由大到小排列返回给用户查询接口模块。
(6）相似性匹配模块及索引和反馈
相似性匹配模块也是实现基于内容的图像检索系统检索功能的一个核心部件，它计算目标图像与查询图像之间的特征相似程度，完成各种特征的匹配算法。索引和反馈可以让特征数据库变得有组织和层次性，便于提高检索的速度。
(7）图像数据库
由图像库和图像特征库构成图像数据库，有时可能还需要知识库。图像库中存放的是数字化的图像信息，图像特征库存放的是图像的内容特征和客观特征，知识库中包含专门和通用知识(如索引)，以利于查询优化和快速匹配。图像库和图像特征库之间存在一一对应的关系。
3 图像检索技术发展的新方向:基于图理论的图像检索方法
由于用于检索的图像的纹理、颜色、形状等特征大多是图像的全局特征，在有些场合下这些特征及其组合并不能很好地描述图像内容，尤其在描述建筑物等刚性物体时，纹理、颜色、形状由于无法描述其结构特征而使检索的效率下降。而图作为一种描述数据的工具可以保留结构、区域之间的相互关系等非全局特征，将图理论结合到传统的基于内容的图像检索之中。在传统图像特征(如颜色、纹理、形状)无法有效描述图像内容的时候使用图来描述图像，把图像库的检索转化成图的检索。虽然图的算法复杂度相对较高，但是一方面在形成图的过程中，数据规模降到了很低的程度，另一方面近些年来关于图的快速近似算法不断被提出，使得对图库的检索变成可能。图二显示了典型的结合图理论的基于内容检索系统的结构。从图中我们发现，与传统的基于内容检索相比，在检索过程中我们使用图来描述图像，使用图的特征来代替图像特征进行检索。
使用图来描述图像,是由于图作为一个描述工具,具有其特殊的优势。如果一个图发生了平移、旋转或镜像(包含它们的组合)，那么从数学角度来看，这个图还是原来的图，没有任何变化。图由顶点和边组成，这种结构容易保持图像中的结构信息，同时对局部变化具有一定的抑制作用。
近些年以来，许多图的方法和基于图理论的算法逐渐被引入到数字图像处理和模式识别中来，如图割的方法、图谱的方法、图匹配方法、图的着色方法等。在图像处理与模式识别领域的许多问题中，如图像分割[9]、图像匹配[10]、图像聚类[11]、图像三维重构[12]、图像检索[13]等方面，基于图理论的方法得到了非常成功的应用。
在图像检索方面，虽然CBIR在很多方面得到发展，涌现出大量的检索方法，如基于聚类的检索方法[14]、基于矢量量化的方法[13][15]等，但基于图理论的方法并不多见。而基于图论的图像检索方法将是图像检索重要的一个发展方向。
摘要：本文介绍了图像检索技术发展的各个阶段,重点介绍基于内容的图像检索技术和基于图理论的图像检索技术。
基于内容的图像检索技术 篇7
计算机图像数码技术与互联网技术飞速发展的结合,使人们越来越多的接触到大量的图像信息。如何从浩瀚的图像数据库中快速、准确地找出自己所需要的图像,已成为一个受到广泛关注的研究课题，并成为数字化图书馆等重大研究项目中的关键技术。
基于文本的图像检索技术可以追溯到70年代末,通过对图像进行手工注解,然后利用文本检索技术进行关键字检索。但是基于文本的图像检索方式存在着两大难题：一是手工注解的工作量太大,对于大的图像库需要有完全自动化或半自动化的方法;二是由于图像包含的丰富内涵远非少量文本注释所能表达。为了克服基于文本方法的局限性,基于内容的图像检索技术出现了,这种技术融合了图像理解技术,从而可以提供更加有效的检索途径。
1 基于内容的图像检索方法
20世纪90年代初,研究者们提出了基于内容的图像检索(Content Based Image Retrieval,CBIR)。CBIR使用了可以直接从图像中获得的客观的视觉内容特征,如颜色、纹理、形状等来判断图像之间的相似性，这种方法成了现有图像检索技术研究的主流。CBIR的主要特点是它主要只利用了图像本身包含的客观的视觉特征，图像的相似性不需要人来解释,体现在视觉相似性上。这导致了它不需要或者仅需要少量的人工干预,在需要自动化的场合取得了大量的应用。
2 基于内容的图像检索常用的关键技术
2.1 基于颜色特征的检索
颜色特征是图像最直观而明显的特征,一般采用直方图来描述。颜色直方图法具有运算速度快、存储空间要求低的特点,并且对图像的尺度及旋转变化不敏感,因此得到了广泛关注。目前基于颜色特征的检索已成为检索的一个重要手段,并提出了许多改进方法。总体来说,主要分为两类:全局颜色特征检索和局部颜色特征检索。按照全局颜色分布来索引图像可以通过计算每种颜色的像素个数并构造颜色灰度直方图来实现,这对检索具有相似总体颜色内容的图像是一个很好的途径。局部颜色信息是指局部相似的颜色区域,它考虑了颜色的分类与一些初级的几何特征。比如Smith等提出了颜色集合方法来抽取空间局部颜色信息并提供颜色区域的有效索引。
2.2 基于纹理特征的图像检索
纹理特征是一种不依赖于颜色或亮色的反映图像中同质现象的视觉特征，它是所有物体表面共有的内在特性,例如,云彩、树木、砖、织物等都有各自的纹理特征。纹理特征包含了物体表面结构组织排列的重要信息以及它们与周围环境的联系。正因为如此,纹理特征在基于内容的图像检索中得到了广泛的应用,主要有Tamura纹理特征、自回归纹理模型、方向性特征、小波变换和共生矩阵等形式。
一般对纹理的检索都采用示例查询(Query by Example)方式。用户给出一个要检索的图像的例子,然后系统按照这个例子查找与它相似的图像,并将相似结果返回给用户,用户在这些相似的图像中确定或在此选择更接近用户查询的图像,最终达到检索的目的。
2.3 基于形状特征的图像检索
物体和区域的形状是图像表达和图像检索中的另一重要的特征。但不同于颜色或纹理等特征,形状特征的表达必须以对图像中物体或区域的划分为基础。通常,形状特征有两种表示方法:一种是轮廓特征的,一种是区域特征的。前者只用到物体的外边界,而后者则关系到整个形状区域。
用户采用该特征进行检索,可通过勾勒图像的形状或轮廓,从图像库中检索出形状相似的图像。基于形状特征的检索方法有两种:一是分割图像经过边缘提取后,得到目标的轮廓线,针对这种轮廓线进行的形状特征的检索;二是直接针对图像寻找适当的矢量特征用于检索算法。
2.4 基于空间关系特征的图像检索
上述的颜色、纹理和形状等多种特征反映的都是图像的整体特征,而无法体现图像中所包含的对象或物体。事实上,图像中对象的所在位置和对象之间的空间关系同样是图像检索中非常重要的特征。例如,蓝色的天空和蔚蓝的海洋在颜色直方图上是非常接近而难以辨别的，但如果指明是“处于图像上半部的蓝色区域”,则一般来说就可以区分天空和海洋。由此可见,包含空间关系的图像特征对检索有很大帮助。
空间关系特征有两种检索方法:一类方法是首先对图像进行自动分割,划分出其中所含的对象或颜色区域,然后根据这些区域对图像索引;另一类方法则简单地将图像均匀划分若干规则小块,对每个图像小块提取特征建立索引。
3 基于内容图像检索的相关反馈
基于内容的图像检索虽然使海量图像的查找更加便捷但其查找的准确率却相对较低,对图像语义级的检索还差强人意。由于人的主观性在图像检索中具有重要的指导性作用,因此把人的作用放到图像检索过程中就显得非常重要。基于这一点,相关反馈被引入基于内容的图像检索中。相关反馈技术最早是在基于文本的图像检索领域中提出来的,它的基本思想是在检索的过程中,通过一种人机交互机制,允许用户对检索结果进行评价,并提交满意程度,然后将用户标记的相关信息反馈给计算机,使其通过不断修改查询表达来得到更好的检索结果。
4 基于内容图像检索中的效果评价
在基于内容的检索中,由于检索算法比较多,需要对各种算法的检索结果进行评判,以比较其优劣。从研究情况来看对于系统的响应时间和吞吐率的评价论述的较少,对检索效果评价更多地放在对检索结果的正确与否,主要使用的是查准率(precision)和查全率(recall)两个指标。
用户在评价算法的时候,可以预先选定含有特有目标的图像作为一组相关的图像,然后根据返回的结果计算查全率和查准率。查全率和查准率越高,说明该检索算法的效果越好。查全率反映系统检索相关图像的能力,而查准率则反映系统拒绝无关图像的能力。
5 结束语
每一幅图像都蕴含着丰富的内容,人们对其的理解也各有不同,因此,如何在人的主观描述与图像的底层特征之间建立映射、如何使计算机对图像相似性的理解和判断趋于人类的思维水平是研究的重点和难点。
基于内容的图像检索技术是一门综合性的交叉学科，其研究有赖于图像理解、图像处理、模式识别、人工智能以及数据库技术等多种学科的不断发展。目前对基于内容的图像检索技术仍然主要集中在颜色、纹理、形状等底层物理特征提取的基础上。由于不同特征有不同的相似性定义，因此有效地融合多个特征来获取图像相似性排序，将是今后一个重要的研究方向。
摘要：为了提高图像资源利用率,快速、有效地查询和检索数据库中的图像,基于内容的图像检索技术(CBIR)便应运而生。本文分析和比较了基于颜色、纹理、形状等图像检索技术的主要方法,讨论了相关反馈技术、检索性能的评价等CBIR研究中的关键问题,同时指出了CBIR研究中存在的问题,以及未来的发展趋势和研究方向。
关键词：CBIR,图像检索,特征,相关反馈
参考文献
[1]田卉,覃团发,梁琳.综合颜色、纹理、形状和相关反馈的图像检索[J].计算机应用研究,2007,(11):292-294,314.
[2]孙即祥.图像分析[M].北京:科学出版社,2005,07:72-85.
[3]冯国光,齐影虹,肖扬波.基于内容的图像检索技术综述[J].科技广场,2007,(03):233-236.
[4]刘砚.基于内容图像检索的相关反馈技术[J].天津职业院校联合学报,2008,(05):128-130.
[5]孟繁杰,郭宝龙.CBIR关键技术研究[J].计算机应用研究,2004,(7):21-24,27.
[6]张毅,赵捧未,刘怀亮,张治国,马志辉.基于语义的图像检索相关反馈技术[J].情报杂志,2006,(10):43-44,47.
基于内容的图像检索技术 篇8
1 图像检索理论
图像经过采样、量化、编码之后, 首先以图像文件的形式存储在计算机中, 然后才能进行图像处理、分析和识别。本文研究的图像为位图文件 (BMP, Bitmap File) , 所以任何处理都可以归结为对像素点的颜色进行处理。在颜色模型上本文的实验系统采用了HSV颜色模型。
按特征查询是基于内容的图像检索系统的基本查询方式, 颜色、纹理和形状是图像最基本的特征, 也是人们研究基于内容的图像检索的切入点, 本文实验系统综合了颜色、纹理和形状三种特征进行检索并且获得了较好的效果。
2 图像检索技术
颜色表达的是图像的全局特征, 是图像的主要视觉性质, 在人们对图像的印象中, 颜色占了很大的比重;纹理也是一种全局特征, 它描述了图像的表面性质, 在检索粗细和疏密等方面有较大差别的图像时, 利用纹理特征是一种有效的方法;形状特征更接近于目标的语义特征, 具有一定的语义信息, 可以帮助用户避开不相关的背景或不重要的目标, 直接搜索与目标图像相似的图像。事实上, 基于内容的图像检索方法需要综合颜色、纹理和形状的特征才能获得较好的效果。
2.1 基于颜色的检索算法
存在众多的CBIR系统颜色信息提取和表示方法, 例如颜色直方图、直方图相交方法、颜色矩方法、基于参考颜色表 (RCT) 的方法、颜色对表示方法等等。但经实验发现直方图不变特征矩函数以及前三阶颜色中心矩函数, 因为它们具有良好的线性不变性, 两种矩函数的结合使用使本文系统检索结果更精确。下文给出直方图不变特征量:
记S (xi) 为图像P中某一特征 (如Hue) 值为xi的像素的个数, undefined为P中的总像素数。对S (xi) 作归一化处理, 即
undefined
图像P的该特征的直方图为:
H (p) =[h (x1) , h (x2) , …, h (xn) ] (2)
式 (2) 中, n为某一特征取值的个数。事实上, 直方图就是某一特征的概率分布。
假设非负函数P (x) 积分为1, 即
∫P (x) dx=1 (3)
否则, 可以对P (x) 进行归一化。把P (x) 看成x的概率密度函数。
x的k阶矩定义为:
mk=∫rkP (r) dr (k=0, 1, …) (4)
k阶中心矩定义为:
uk=∫ (r-m1) kP (r) dr (k=0, 1, …) (5)
从中心矩构造三个矩函数
undefined
式 (6) 定义的三个矩函数对的线性变换具有不变性。若把P (x) 看成图像灰度直方图, 则式 (6) 定义的三个矩函数对图像灰度的线性变换具有不变性。
颜色矩是一种简单有效的颜色特征, 图像的颜色信息主要包含在色彩的低阶矩中, 他们对图像的每个色彩分量分别计算一阶、二阶和三阶中心矩, 分别代表颜色分量的平均值、方差和不对称度。对于k阶中心矩当时可表示如下:
其中, N为像素的个数。类似地, 可以定义另外两个分量的颜色矩。
设查询图像Q和库中图像D, 它们各有r个颜色分量, 他们的三个颜色矩分别是Ei和Fi, σi和ζi, Si和Ti则两图像间的距离为:
其中, ω是用户定义的权值矩阵。通常在HSV颜色空间中进行颜色矩计算, 并且人们通常对色度相似性的要求要高于饱和度和亮度的相似性, 这个要求可以通过设置适当的权值矩阵来实现。另外, 权值矩阵也可以通过相关反馈加以调整, 以求最佳的检索效果。
2.2 基于纹理的检索算法
纹理可认为是灰度 (颜色) 在空间以一定的形式变化而产生的图案 (模式) , 是真实图像区域固有的特征之一 (纹理是一种区域性质) 。常用的纹理模型有:共生矩阵方法 (co-matrix) 、对应于人眼视觉感受的Tamura纹理特征、基于频率域的纹理分析方法以及其它纹理特征检索。本文在提取纹理特征时, 选用了灰度共生矩阵生成的三个不变矩函数, 理由在于它们是较合理的纹理描述符, 并且得到的不变矩对线性变换不敏感。共生矩阵就是用来描述纹理中灰度基元之间空间联系的基础。基于共生矩阵的模型充分利用了纹理中灰度分布的性质。灰度共生矩阵或灰度—平滑共生矩阵也可定义不变特征量, 对灰度的线性变换不敏感。
对于共生矩阵或灰度—平滑共生矩阵[Pij], (l, k) 阶数矩定义为:
(l, k) 阶中心矩定义为:
定义二维直方图的3个不变矩函数
2.3 基于形状的检索算法
形状是刻画物体的基本特征之一, 用形状特征区别物体非常直观, 利用形状特征检索图像可以提高检索的准确性和效率。形状特征通常和目标联系在一起, 因而含有一定的语义信息, 可以有效地对图像中感兴趣的目标进行检索。本文在提取形状特征时, 选用了几何矩描述子方法, 组合二阶和三阶中心矩得到了七个不变矩特征, 这些矩特征都具有平移和旋转不变的特性。
假设f (x, y) 为二值图像, 表示形状区域, 在区域边界上取1, 其他地方取0。
p+q阶矩定义为:
当图像发生平移变化时, mpq也将发生改变。为使mpq具有平移不变性, 定义p+q阶中心矩为:
式中:
(x0, y0) 为形状区域的质心。upq具有平移不变性, 但是upq依然对旋转敏感。组合二阶和三阶中心矩, 可得7个对平移和旋转不变的矩特征, 定义如下
但是上述几种矩特征的定义都不具有尺度不变性。
3 系统功能与实现
3.1 系统设计与实现
在Windows XP平台下, 采用C++Builder6.0语言编写了一个基于内容的图像检索的实验系统。后台采用Paradox7数据库存储图像及其对应的特征信息。实验系统中构建了一个图像库, 选择不同的阈值和权重对检索结果进行了比较和分析, 取得了较为理想的效果。实验系统的检索工作是可视化的, 便于操作和管理。系统主要分为两大模块:存入图像库 (建立图像库) 模块和图像检索模块。主界面如图1所示。
如果用户希望向图像库中添加图像, 在登陆系统后选择“存入图像库”弹出如图2所示。用户在此模块中可以通过“打开图像文件”选择需要存入的图像, 图像库会自动生成编号同时用户输入图像名称。当“确定”后, 图像特征和聚类号会被提取出来, 图像与其特征分别被存入相应的图像库和特征库中。
在图像检索对话框如图3所示, 可以实现基于颜色、纹理、形状和混合四种图像检索功能, 并且在混合图像检索中可以选择不同特征的权值。如果反馈的结果不够满意, 用户还可以更改阈值大小或相似个数的值, 来进行进一步的检索。实验系统能与用户互动, 既使检索过程灵活方便又提高了检索的准确性。
3.2 实验结果分析
实验过程中, 在图像库中存入了200幅图像, 既包括比较相似的图像又包括相差较大的图像, 通过各种方式检索取得了较为理想的效果。在实验中发现, 采用阈值方法处理检索结果, 检索精度较高, 但是当阈值设定过大时, 可能返回大量满足阈值条件却不太相关的图像, 给定阈值过小时可能会检索不到任何图像;而采用给定相似个数法处理检索结果, 会返回确定个数的图像, 保证检索的实现, 但结果不够精确。所以专业用户可以采用阈值法, 而非专业用户对图像库把握不太好时, 建议采用给定相似个数法进行检索。
4 结束语
本系统将三种特征综合起来进行检索, 并可根据不同的需要选择不同的权重值。经过测试, 这种综合检索的方法可以取得良好的检索结果。
今后还将改进图像特征提取算法。特别是改善特征提取方法, 使其更能体现图像各点在空间分布的规律。要实现以多媒体数据库的方式管理图像数据, 这种以多媒体数据库管理的方式有许多优点。一个真正实用的系统需要为用户充分考虑, 良好的人机界面和操作流程是使用户满意的重要因素, 未来的系统准备提供分类浏览和基于内容查询相结合的检索方式。同时, 要保证检索的等待时间不超过用户可以忍耐的极限。另外, 数据挖掘中聚类等思想的引入对大型、超大型图像数据库的检索很有意义, 尤其有利于与相关领域的技术相结合, 这必将促进多媒体数据库的标准化描述。
参考文献
[1]顾燕.基于内容的图像检索方法及其实验系统设计[D].河海大学硕士论文, 2002.
[2]韦娜.基于纹理特征的图像检索技术研究与实现[D].西北大学硕士学位论文, 2003.
[3]李鹏杰, 杨树元.一种基于内容的图像检索系统[J].微电脑应用, 2001, 22 (3) :138-142.
[4]Aki Kobayashi, Toshiyuki Yoshida, Yoshinori Sakai.Image Retrieval by Estimating Parameters of Distance Measure SPIE[Z].2000, 3972:432-441.