模板图像（共6篇）
模板图像 篇1
1 前言
随着计算机技术和互联网的成熟, 图像的绘制和传输已经经历了前所未有的发展。近年来, 图像已成为多媒体数据最重要的类型之一, 并已在各个领域广泛应用。特别是, 随着数字成像器件例如智能手机和带摄像头的平板电脑的快速发展, 互联网中可用的图像数量显著增加。面对如此多的图片, 如何进行高效准确的图像检索逐渐引起研究者的关注。
现有的图像检索方法包括基于文本的图像检索和基于内容的图像检索。传统的基于文本的图像检索方法在二十世纪七十年代被提出来。这种检索方法基于用户提供的关键词, 然后在图像数据库中进行实例匹配。这种方法需要在数据库中的每个图像有一个标签, 但随着图像数量的快速增长, 人工标记每一个图像已经变得越来越不现实。为了检索无标签的图像, 科学家们提出了基于内容的图像检索方法。这种检索方法根据颜色, 纹理和其他特征进行图像的相似性匹配。该方法可以有效地检索数据库中未标记的图像, 但它需要用户在检索图像时提供了一个模板。目前, 现有的图像检索系统需要用户在检索前手动绘制轮廓, 比如IBM的QBIC。在这种情况下, 当用户绘制一个具有比较大误差的轮廓模板时, 检索效率和精度会大大降低。所以用户更习惯于传统的基于关键词的图像检索方法。
考虑到基于文本的图像检索方法和基于内容的图像检索方法的问题, 本文提出了一种基于模板的图像检索系统, 该系统使用模板库来结合基于文本的图像检索方法和基于内容的图像检索方法, 而且只要求用户输入查询关键词。它将首先根据关键字自动提取模板库中的模板, 并用这个提取的模板来检索用户需要的图像。
此外, 为了获得更高的查全率和查准率, 在系统中基于内容的图像检索 (CBIR) 的这个系统模块中, 本文提出了一种基于分裂的主颜色特征和颜色布局特征提取方法 (DCCLI) 来进行图像检索。DCCLI利用分裂聚类来提取主颜色特征, 在迭代聚类过程中逐步降低计算复杂度, 然后将主颜色特征提取的结果与传统的颜色布局特征 (CL) 提取的结果进行整合。我们对DCCLI和CL方法的查准率和查全率进行了比较研究。性能的比较研究表明, DCCLI较于CL获得了更高的查全率和查准率。
本文的结构安排如下:第2部分对现有的基于内容的图像检索方法作了简要的介绍, 这个方法被称为基于颜色布局 (CL) 的图像检索, 这种方法在后来被用于和稳重所提出的算法DCCLI进行比较。第3部分给出了系统的描述, 介绍了系统的四个组成部分:基于文本的图像检索, 模板选择, 基于内容的图像检索和模板库更新。第3.3部分详细介绍了主要算法DCCLI。第4部分讨论了在本文中该系统的实现环境和测试数据集。第5部分是算法的展示。第6部分对DCCLI算法和颜色布局 (CL) 算法进行了比较研究, 然后对结果进行讨论。第7部分是本文最后的结论。
2 现有的基于内容的图像检索方法
2.1 颜色布局特征提取
在本文中, 我们利用在提出的方法来提取颜色布局特征。
2.1.1 颜色模型转换
为了把RGB颜色空间转换到YCb Cr颜色空间, 提出的公式如下:
2.1.2 将图像划分成块
整个图像被划分成64块 (每一个尺寸 (W/8) * (H/8) , 其中W是整个图像的宽度, H是整个图像的高度。然后计算在每个块中的所有像素在YCb Cr的三个颜色通道上的平均值。所得到的值作为每一块具有代表性的颜色。
2.1.3 离散余弦变换
对于每个块中的所有像素在YCb Cr的三个颜色通道上的平均值采用离散余弦变换 (DCT) 。DCT变换是一个单独的变换, 它是国际静态图像压缩标准JPEG的基础。由于大多数的图像的高频分量相对较小, 导致高频成分系数通常最终零, 再加上人眼对高频分量的失真不敏感, 我们可以应用更粗的量化。因此, 在一般的图像检索中, 图像DCT系数的部分可以作为特征向量。DCT变换的计算公式如下:
当在其他情况下得到的DCT系数表示为f (u, v) 。
2.1.4 使用三通道创建颜色布局描述符
对在第2.1.3部分得到的DCT系数矩阵进行锯齿扫描和量化。基于第2.1.3节的解释, 我们提取了一些低频系数作为颜色布局的特征参数。在这个过程中, 使用多少低频系数通常由人工决定。在本文中, 我们在Y通道提取六个低频系数, 这六个低频系统分别是:F (0, 0) , F (0, 1) , F (1, 0) , F (2, 0) , F (1, 1) , F (0, 2) 。我们可以看到, 这个序列顺序是根据锯齿扫描得到的。对于通道Cb和Cr, 我们分别提取三个低频系数:F (0, 0) , F (0, 1) , F (1, 0) 。因此这三个通道在创建图像的颜色布局描述符的过程中总共贡献了十二个参数。
2.2 颜色布局特征描述符的相似性测量
对于两个颜色布局描述符K={Y, r, b}和L={Y’, r’, b’}, 这两个颜色布局描述符的距离计算公式如下
在上面的公式中, Wy, Wcb, Wcr是三个分量的权值, Yp, Cbp, Crp是对应三个颜色分量中的每个分量的第p个DCT系数。
一般来说, 我们赋予低频系数更大的权值, 赋予高频系数更小的权值。在本文中, 如第2.1.4部分所描述的, 我们将Yp的前六个DCT系数设为0, 将Cbp和Crp的前三个DCT系数设为1, 将Cbp和Crp的其他DCT系数设为0。
3 基于自学习模板的图像内容检索
基于模板的图像检索系统的基本思想如下:首先, 通过所有用户输入的关键词检索有标签的图像并把检索出的图像作为模板。然后通过此模板, 该系统进一步进行基于内容的图像检索来从图像数据库中获取图像。最后, 根据用户的意愿, 用户可以更新模板库来提高以后的检索效率。
3.1 基于文本的图像检索
基于文本的检索方法的发展在多年来已经趋于稳定。本文实现的方法分两个步骤: (1) 该系统访问图像数据库, 扫描数据库中的所有图像文件, 提取每一个图像文件的名称并将他们存储到表中。 (2) 将用户输入的关键词和表中存储的所有文件名进行匹配, 将成功匹配上的图像存入结果数据库。
3.2 模板选择
模板选择的过程包括以下步骤:系统访问模板库, 遍历所有的模板图像并提取每个图像的标签。然后匹配提取的标签和用户提供的关键词, 如果有模板库中的图像与用户的关键词匹配成功, 该系统将把该模板图像作为基于内容的图像检索的模板。相反, 如果模板图像没有匹配成功, 该算法对模板库中的图像使用基于文本的图像检索, 将第一张得到的图像作为后来的基于内容的图像检索的模板。
3.3 整合主颜色特征和颜色布局特征
为了进行有效准确的基于内容的图像检索, 本文提出了一种新的整合主颜色特征和颜色布局特征 (DLLCI:Dominant Color and Color Layout Integration) 的特征提取方法。DCCLI利用分层自式自顶向下的思想, 在每次迭代中提取主颜色特征并且逐步降低问题的规模。然后将结果与在第2节介绍的传统颜色布局特征提取的结果整合。DCCLI的主要部分在于如何提取主颜色特征。该方法将在第3.3.1节到第3.3.3节介绍, 提取的主颜色特征的相似性度量以及主颜色特征和颜色布局特征的整合将在第3.3.4节和第3.3.5节介绍。模板的更新将在第3.3.6节介绍。
3.3.1 颜色模型转换
为了将RGB颜色空间转换到CIE XYZ颜色空间, CIE XYZ空间可以用以下公式计算:
将CIE XYZ颜色空间转换到LUV颜色空间, LUV颜色空间可以用下面的公式计算:
在这里u'和v'是色度坐标
3.3.2 颜色量化
有许多方法来进行颜色的量化, 如矢量量化, 聚类方法或神经网络。最常见的做法是将各分量均等分割。相反, 聚类算法将考虑整个空间中图像颜色特征的分布, 因此避免了在一定的垃圾箱中, 像素的数目非常少的情况, 从而使量化更有效。
在图像检索领域, 考虑数据库中的图像检索量巨大, 检索算法的计算复杂度是非常重要的。采用自顶向下的分割聚类方法, 在每一次聚类的迭代中, 该算法只关注“最大”的聚类。在这里, “最大”的聚类定义为目前拥有最高颜色距离的聚类。这个“最大”的聚类会被分割成两个更小的的聚类。最大聚类的缩小会导致在下一次迭代中一个较小的计算成本, 因为不用考虑在自底向上的方法的情况下不同选择的组合数。在下一次迭代中, 最大的聚类继续被分割, 直到聚类的数目达到阈值。该阈值是在聚类执行之前被设定的。在本文中, 阈值被设置为8。
聚类包括下面四个主要步骤:
(1) 初始化聚类中心, 公式如下:
当li, ui, vi是第i个像素的L, U, V系数, n是像素的数目
(2) 分裂最大的聚类。
从现有的颜色聚类, 我们选择“最大”的集群, 即拥有最大的颜色距离D的聚类。聚类颜色距离D的计算公式如下:
假设已有的聚类是M1, M2, …….Mn, 聚类的中心分别是 (l1, u1, v1) , (l2, u2, v2) , ………... (ln, un, vn) , 那么第i个聚类的颜色距离D如下计算:
其中M是第i个聚类的像素数。假设被分割聚类的两个中心分别是C1和C2。C1和C2的计算方法如下:
L, U, V是聚类中心的原始分量的坐标。M是被分割聚类的像素数, FAC的缩放因子, 它是根据特定的应用设置。
(3) 重复聚类过程。
扫描整个图像中的每个像素, 并确定每个像素所属的聚类再次进行聚类。假设现有的聚类是M1, M2, …….Mn, 聚类的中心是: (l1, u1, v1) , (l2, u2, v2) , ………... (ln, un, vn) 。第pi个像素和第j个聚类中心的距离定义为dj, 这个公式可以通过如下公式计算得到:
查全率百分比
我们选择最小dj所对应对应的聚类并把pi加入这个聚类中。然后算法会重新计算这个聚类的中心。
(4) 对比聚类数目和阈值。
是否聚类数等于其预先设定的阈值, 如果相等则终止该算法, 如果不相等则重复步骤2。
3.3.3 主颜色描述符
根据3.3.2节的结果, 聚类百分比是在每个聚类中像素的数目在总像素数目中的比例。主色描述符FC由主颜色和百分比组成。
N是主颜色数目, 即聚类的数目。ci是第i个聚类的中心, pi是第i个聚类的聚类百分比。
3.3.4 相似性度量
假设两个主颜色色描述符:
FC1和FC2的相似性度量可以由以下公式得到:
当ak, l是两个颜色ck和cl的相似度。ak, l=1–dk, l/dmax, 当dk, l是ck和cl的欧几里得距离。对于LUV空间中的两个颜色 (li, ui, vi) 和 (lj, uj, vj) , di, j由如下公式计算:
3.3.5 主颜色和颜色布局特征提取的整合
通过实验结果, 两个图像特征之间的距离被定义为以下公式:
其中w1和w2都被设为0.5。
3.3.6 数据库更新
在基于文本的图像检索完成后, 如果在模板库中的模板图像没有找到, 那么算法将自动选择基于内容的图像检索结果的第一张图像作为新的模板。此外, 为了保持算法灵活性, 该算法允许用户在检索结果中选择一图像, 将图像添加入模板库中, 并用这张图像来更新模板库。
查全率百分比
4 系统实现
第3节中描述的系统在以下环境中实现和测试:Java JDK 1.6, Eclipse JDK 3.6.2, 英特尔 (R) TM i7 CPU q720 1.6GHz, RAM 6G。另一方面, 该系统在数据集下进行测试。这个数据集含有十类共1000张图片, 数据集的样本图像如图1所示。十个类别包括人类, 大象, 恐龙, 公共汽车, 海滩等, 而且每个类别分别有100张图像。
此外, 为了验证的基于文本的图像检索, 我添加了一些标记的图像, 即, 有意义的文件名的图像。这些图像包括恐龙的20张图片, 大象的20张图像, 高山的20张图像, 和马的6张图像。
一个性能研究是比较DCCLI算法和颜色布局 (CL) 特征提取算法d的查准率和查全率。这是判断在图像检索领域中一种算法的性能优于其他算法最重要的统计测量。查准率和查全率的定义如下:
5 性能讨论
我们用标准测试数据集对我们的算法:整合主颜色特征和颜色布局特征 (DLLCI:Dominant Color and Color Layout Integration) 和传统的颜色布局特征提取 (CL) 算法在两个关键性能度量“查准率”和“查全率”上面进行了比较。测试使用了数据集, 并记录下每种算法的查全率和查准率。例如, 表3中的第二行显示“公交车45%, 30%”, 因为在测试数据集, 有100个图像属于“公交车”, 在进行DCCLI算法后, 系统检索到120个图像, 其中有45个图像属于“公交车”, 所以根据查全率的定义, 查全率是45/100=45% (返回的“公交车”图像数目除以“公交车”图像的总数) 。另一方面, 执行CL算法后, 系统返回30个“公交车”图像, 所以CL算法在“公交车”图像上的查全率是30/100=30%。表3中其他数据的计算与上面所讨论类似。根据查准率的定义 (返回的“公交车”图像数目除以算法返回图像的总数) , 我们可以生成表4, 这代表DCCLI算法和CL算法之间的准确度比较。
我们在表3中可以看到, DCCLI在十类图像中有七类优于或等于CL。此外, DCCLI在两个低于CL的类别:“玫瑰”, “海滩”差距也是非常小的, 60%对63%, 35%对39%, 只有在最后一行的“马”, 差距是比较大的。然而, 在前面七行, DCCLI都优于CL, 差距比较大的有大象:45%对30%, 公交车:45%对31%, 高山:39%对32%, 部落:50%对45.8%。所以最后三行不具有统计学意义。因此, 我们可以说, 我们的算法DCCLI在数据集上的查全率优于标准的CL算法。表4中的查准率也显示了同样的结论, 即DCCLI算法在以上标准数据集上优于CL算法。
6 结论
本文提出的算法提供了一个用户友好的方式来进行基于内容的图像检索, 因为用户不需要绘制模板的轮廓, 而只需输入他/她想搜查全率百分比索的关键词, 然后算法将自动匹配这个关键词与标记的图像, 并使用标记的图像作为进一步检索的模板图像。在基于内容的图像检索阶段, 本文提出了一种新的算法DCCLI, 这个算法利用分割聚类方法来提取主颜色特征, 在每一次迭代聚类中逐渐减少计算的复杂度, 然后结合传统的颜色布局 (CL) 特征提取的结果来进行图像检索。性能研究表明, DCCLI算法在查全率和查准率上都优于传统的颜色布局 (CL) 特征提取算法。
摘要：与传统的基于文本的图像检索方法相比, 基于内容的图像检索要求用户在检索图像时提供了一个模板。当用户绘制的模板轮廓有比较大的误差时, 检索效率和精度会大大降低。为了解决这个问题, 本文提出了一种利用模板库来结合基于文本的图像检索方法和基于内容的检索方法的系统。该系统只要求用户首先输入查询关键词, 然后它将自动提取模板库中的模板以及使用提取的模板来检索用户需要的图像。此外, 本文提出了一种新的算法DCCLI来进行分割聚类以提取主颜色特征, 然后将提取的结果与传统的颜色布局特征提取的结果进行整合。该系统比现有的基于内容的图像检索系统更加人性化。实验结果表明, 实现了DCCLI算法的图像检索系统比实现了基于内容的图像检索方法的图像检索系统拥有更高的查全率和查准率。
关键词：模板库,基于内容的图像检索,基于文字的图像检索,分割聚类
基于多模板方向的图像修复方法 篇2
关键词：图像修复,Criminisi算法,模板方向,样本匹配
数字图像修复是按照一定的规则, 根据原图像中的有效信息, 对图像中破损的区域进行信息的填充和修正, 以期达到视觉上的修复效果, 最终恢复原图像连续、完整、自然的视觉效果[1,2]。目前存在两大类卓有成效的图像修复技术:一类是基于偏微分方程 (PDE) 的图像修复技术, 该技术适用于修补图像中的小尺度缺损;另一类是基于纹理合成的图像修复技术, 该技术适用于填充图像中大面积的破损区域。
基于纹理合成的图像修复技术借鉴了纹理合成的方法来寻找最佳匹配块并进行复制, 是目前主流的方法, 它有效地结合了偏微分方程和纹理合成的优点, 相对其他算法而言, 可以处理大面积的图像破损, 获得较好的视觉效果。在这类算法中, 最具有代表性的是Criminisi等人提出的基于模板和优先权函数的图像修复算法[3], 该算法在保持图像纹理信息的同时也保持了结构信息, 其实现简单且修复精确, 不会导致模糊, 因而得到大量的应用[4—6]。
但是由于Criminisi算法采用单一方向、固定大小模板寻找最佳匹配块, 容易产生错误匹配甚至查找失败问题, 目前出现了一些Criminisi算法的改进算法。文献[7]分析了Criminisi算法中的优先权函数, 由于置信度值很快下降至零, 使得优先权计算不可靠。通过提出一个更加合理的优先权函数计算公式, 保证了图像中的结构信息和纹理信息被准确的填充, 最终使修复效果更加优化。文献[8]提出了一种“基于可变大小模板的改进图像修复算法”, 在Criminisi算法基本框架下, 采用大小可变的模板来提高搜索准确率。文献[9]通过分析图像的梯度域变化, 提出自适应确定待修复样本块大小的修复算法, 该算法针对具有明显结构变化的图像有着理想的修复效果。
现则根据自然图像中存在大量对称或有规则的物体的特点, 针对Criminisi算法采用单一模板方向的不足, 提出了一种基于自适应模板方向的图像修复算法。该算法在进行模板的搜索时, 通过对待修复块或样本块进行不同角度的旋转和/或映射变换, 来提高最相似模板的搜索成功率, 防止错误匹配的发生, 进而有效改善了图像的修复效果。
1 Criminisi算法
Criminisi算法是Criminisi等人[3]在2003年提出的一种基于样本块的修复算法, 该算法兼顾了图像纹理信息和简单的结果信息, 保持了纹理的自然过度和主要结构的连贯性, 达到了非常震撼的效果, 成为目前主流的图像修复算法。Criminisi算法的主要思想是:首先从待修复区域的边界上选取一个像素点, 同时以该点为中心, 根据图像的纹理特征, 选取大小合适的样本块, 然后在待修复区域的周围寻找与之最相近的最佳匹配块来代替该样本块。
图1为利用Criminisi算法的图像修复过程图[10], I表示输入的待修复图像, Ω表示待修复区域, Φ=I-Ω表示已知区域, ∂Ω为待修复区域与已知区域的边界。图1 (b) 中p是边界上的任意点, np是边界线在p点的单位法向量, ▽Ip⊥是p点等照度线强度和方向 (即梯度方向的垂直方向) 。图1 (c) 中ψp为以p点为中心的待修复块, p点通常选取处于边界的延长线上的点, 且要求被高置信度像素包围。ψq'和ψq″分别为以q'点和q″点为中心的样本块。
Criminisi算法的目的是在Φ的边缘∂Ω上选择合适的像素点p, 按照优先权函数定义的顺序向待修复区域填充修复信息。通过比较图1 (c) 图中ψq'和ψq'的优先权大小得到与待修复块最近似的样本块, 如图1 (c) 所示, 最后将此最佳匹配块复制到待修复块中, 如图1 (d) 所示[11]。
Criminisi算法大致可以分为以下三个步骤
1.1 优先权计算
Criminisi算法首先要确定破损区域的优先权, 通过计算得到具有最高优先权的待修复块。优先权函数P (p) 由下式给出[12]
式中C (p) 为置信度项, D (p) 表示数据项。初始化时, 当p∈Φ时, C (p) =0, 当时, C (p) =1。α为归一化系数, 对于典型的灰度图像, α取值255。np是边界∂Ω在p点的单位法向量, |ψp|为以p点为中心的待修复块ψp的面积。
1.2 最佳匹配块的确定
当算法查找到具有最高优先权的待修复块ψp后, 下一步则要在图像的已知区域内寻找与待修复块最近似的样本块ψq[13]。根据匹配代价函数, ψp和ψq应满足如下条件
对于灰度图像, d (ψp, ψq') 是对应各点的灰度值的方差和
式 (5) 中Vip表示待修复块ψp里第i个像素的颜色值, Viq'表示匹配块中对应的第i个像素的颜色值, m为ψp里已知像素点的个数。
根据式 (4) ~式 (6) 即可找到与待修复块最近似的样本块ψq。
1.3 置信度更新
确定了最佳匹配块后, 将最佳匹配块对应点复制到待修复块中, 此时图像的边缘部分发生变化, 置信度值也需要及时更新[14]:
重复以上三个步骤, 直到修复边缘为0, 完成图像修复。
2 基于多模板方向的图像修复算法
由于Criminisi算法采用单一方向模板搜索最佳匹配块, 得到的最佳匹配块与待修复块难免会产生误差, 经过多次迭代匹配后, 误差不断累计, 使得最终的修复效果不理想。考虑到大自然中大多数图像是有规则的图像, 如人脸、建筑物等对称图像, Criminisi算法没有利用这种规则性, 可能导致最佳匹配块的匹配错误, 造成误差累计, 因此Criminisi算法针对真实的自然图像处理得不够合理。本节针对Criminisi算法的不足进行改进, 提出一种基于自适应模板方向的图像修复算法, 充分利用大自然的特性并加以应用, 从而获得理想的修复效果。
2.1 自适应模板方向的原理
Criminisi算法中关键步骤之一为确定最佳匹配块。通常采用大小为5×5的模板, 利用此模板在原图像中的信息完整区域按照中心像素逐像素进行查找, 当找到与待修复块最近似的样本块时, 拷贝最佳匹配块对应点的像素信息进行当前待修复块未知信息的复制, 即信息填充。由于最佳匹配块与待匹配块之间可能会有误差, 经过多次迭代匹配后, 误差不断累计, 最终造成与原图像的偏差。
图2 (a) 为一个对称的原图像, 图2 (b) 为待修复图像, 对图2 (b) 使用Criminisi算法进行修复, 得到结果图2 (c) 。图中可以看出, 图像的左边部分出现明显的错误, 和原图差距较大。
以图3作为一个典型的错误匹配的例子来进行说明。图3 (1) 为Y轴对称图形, 假设a方块为待修复块, b、c为随机的两个样本块。经观察可见, 此图中无法找到与a待修复块完全一样的样本块。但b样本块与a样本块对称相同, c样本块旋转180°后则与a图相同。这一变换过程如图3 (2) 所示。如果选择的最佳匹配块是b样本块沿Y轴对称的样本块或者是c样本块顺时针旋转180°后的样本块, 则所得到的最佳匹配块与待修复块a完全相同, 此时待修复块a将会得到最完美的修复, 不会出现图2 (c) 所示的误差。
对于图像中存在某些规则或者对称时, 通过样本块的旋转或者映射等可以找到与待修复块完全相同的匹配块, 这样就不存在误差, 也就不会产生累计误差, 得到的修复效果将会是最完美的。本文提出的基于自适应模板方向的图像修复算法正是基于这一原理。
2.2 基于自适应模板方向的匹配
在本文的算法中, 根据自适应模板方向的原理, 对模板的方向进行改进, 使其在一定的范围内进行多方向查找, 从而提高了最佳匹配块的查找成功率, 防止了错误匹配。模板的方向可以在0°~360°之间变化, 变化范围越大, 查找效率越低。为了均衡图像修复的效率及速度问题, 设最佳匹配块的可能状态为以下8种, 分别为旋转0°、90°、180°、270°, 以及映射得到的0°、90°、180°、270°。以图3 (a) 中待修复块a为例, 得到的最佳匹配块可能状态的查找方向如图4所示。
通过模板的多方向匹配改进后, 在求最佳匹配块时的匹配式就有以下八种情况, 分别对应图4中可能状态的查找方向, 假设所用模板大小为m×m
旋转0° (方向1) :
旋转90° (方向2) :
旋转180° (方向3) :
旋转270° (方向4) :
映射0° (方向5) :
映射90° (方向6) :
映射180° (方向7) :
映射270° (方向8) :
式中, Vijp表示待修复块ψp里第i行j列像素的颜色值, Vijq'表示匹配块中对应的第i行j列像素的颜色值, m×m为ψp里已知像素点的个数。
根据以上8种情况, 计算每个匹配块与待修复块之间的差值, 并根据匹配代价函数, 由式 (4) 计算找到最佳匹配块, 然后进行逐像素填充。通过模板多方向的查找, 最佳匹配块的查找成功率有效地提升, 当匹配的错误率降低之后, 累计误差的概率也降低了。因此最终的图像修复效果也得以增强。
3 实验结果及分析
图像修复算法的衡量标准通常有两个方面:图像修复后的视觉效果和修复消耗时间。本文主要针对图像的修复效果进行分析和研究。目前的图像修复评测标准中, 针对图像的修复效果, 最常见的是均方差测度 (MSE) 算法, 其计算量较少, 定义如下所示
式 (15) 中M、N分别为图像的行数和列数, f (i, j) 为原图像中点 (i, j) 的像素值, 是修复后图像中点 (i, j) 的像素值。实验是在配置为2.0 GHz处理器、2 GB内存的计算机上运行的, 利用Visio studio 2010进行仿真实验。图5和图6为分别使用Criminisi算法和本文的改进算法对同一对称图像进行修复的过程图。对比图5、图6, 从图5 (c) 、5 (d) 、5 (e) 可以看出, Criminisi算法逐渐产生错误累积, 最终修复结果图5 (f) 和待修复图像 (a) 差距较大。而本文提出的算法则获得令人满意的修复结果。图7是自然图像分别用Criminisi算法和本文算法进行修复的过程图。从图中可以直观地看出, Criminisi算法采用默认的模板进行搜索, 修复不彻底, 出现了明显的不相容的“垃圾块”, 而改进算法自然地还原了原图像, 从视觉效果上来看比Criminisi算法更好。
图8 (a) 是纹理信息丰富的彩色图像, 图8 (b) 中绿色破损区域为待修复区域, 图8 (c) 是利用Criminisi算法进行修复的结果图, 图8 (d) 是利用本文算法进行修复的结果图。从图8 (c) 、图8 (d) 中可以看出, 本文算法修复的结果非常自然, 而Criminisi算法修复的结果有轻微的人工痕迹, 视觉效果上不连贯, 能看到砖块的变形部分。
为了进一步比较本文改进算法与原Criminisi算法的优劣, 下面采用均方差测度算法, 对图7和图8进行计算, 计算结果如表1所示。
从表1可知, 在均方差这个指数上, 改进算法的结果相比原算法有较为明显的提升, 图7的改进算法的MSE是原算法的65%, 提升了35%, 图8提升了33%, 说明改进算法在匹配精度方面具有明显的优势。在理论分析方面, 因为改进算法在候选模板的数量上增加了7倍, 由原算法的一个模板, 根据上文分析的8个方向, 可以演变为8个模板, 这样大大地增加了匹配的概率, 使得到的最佳匹配块与待修复块的相似性提高, 降低了MSE指数, 图像修复效果得到改善。
4 结论
模板图像 篇3
指纹特征提取是建立在指纹预处理基础之上, 细化指纹图像中需要的细节特征信息, 可以直接在灰度指纹图像或者是二值化指纹图像中提取细节特征信息。得到的细节特征信息越多, 匹配越容易。但是, 这些细节特征信息并不都是可靠的。为了提高匹配的准确性, 必须要甄别出伪细节特征点并去除之, 高效进行指纹比对与识别。
首先, 应该明确指纹特征的类型, 即全局特征和局部特征。它们分别适用于指纹的分类和匹配。本文的侧重点是指纹的细节提取, 因此重点关注指纹的局部特征。对于局部特征, 一般有四种:末梢点 (端点) 、分叉点、复合点 (三分岔或交叉点) , 与未定义 (由美国国家标准局 (NIST) 提出) 。其中, 由于末梢点和分叉点数量多而且存在较稳定, 是分析一些伪细节特征点的基本细节特征点, 因此现在被广泛使用于美国联邦调查局 (FBI) 提出的细节点匹配模型。图1所示为末梢点和分叉点的局部放大示意图。
一个好的细节提取算法应该既可靠又高效。细节提取算法的可靠性指的是:不会提取出伪特征点;不会遗漏真实特征点;能准确地计算细节特征点的位置和方向。然而, 从指纹图像中准确地提取细节特征点是相对困难的。当指纹图像的质量很好时, 脊线和谷线的纹理清晰分明, 这种情况下可以很容易地提取出端点和分叉点, 并能够准确定位。但是, 当指纹图像的质量不佳时, 脊线和谷线的区别十分模糊, 真实细节特征点不能被准确地提取出来, 因此会产生相当多的伪特征点, 并且对于特征点的位置和方向的计算也有很大的影响, 产生较大误差。
1 模板检测法的提取原理
模板检测法的基本思路是在一个3X3的模板中以中心点为待检测点, 找到端点和分叉点的分布规律, 通过该规律可以检测出中心店的细节特征类型[1]。该方法通常用于细化指纹图像。由于细化后的指纹图像中的所有像素点的灰度值只能为0或1 (分别用白色表示北京, 黑色表示前景) , 因此在细化指纹图像中可较快速得到端点和分叉点的信息。3X3检测模板如表1所示:
表1中, P是需要判断其为端点还是分叉点的像素点, P1~P8依次为他的八个领域点。当它的八个领域点灰度值满足式 (1) 所示的条件时[2], P为端点。
当它的八个领域点灰度值满足式 (1) 所示的条件时, P为分叉点。
式中k为八个领域的索引;I为每个领域点的灰度值。
2 模板检测法的实现
对细化指纹图像进行从上到下、从左至右的遍历[3], 满足式 (1) 或式 (2) 的P点即为端点或分叉点, 并保存它们的类型和位置。要想进行指纹特征比对, 除了要获得每个细节特征点的类型和位置, 更重要的是, 获得其所在的局部脊线的方向及脊线的采样点信息等。该算法的模板简单, 对于完全细化的指纹图像是能够正确提取到细节特征点的位置和类型的。
3 实验结果分析
实验选取FVC2000中的指纹图像, 利用模板检测法将全部的细节特征点的类型和位置信息提取出来。
图4-1、4-2、4-3分别为特征提取之前的细化效果图:图4-4、4-5、4-6为使用模板检测法得到的特征点图。
从实验结果可以看出, 模板检测法可以很高效率的将细节特征点提取出来, 对比1、2、3与4、5、6可以知道, 模板检测法将指纹大部分的特征可以很快提取出来, 可以尽多地保留细节特征, 准确率高, 为之后的指纹匹配打下良好的基础。
4 结语
本文使用的是模板检测法来提取指纹图像的细节特征。根据模板检测法的3X3检测板可以很快得到端点和交叉点的信息。实验中利用FVC2000中的指纹图像如图4-1、4-2、4-3快速获取其端点交叉点信息如图4-4、4-5、4-6。
参考文献
[1]紫海燕.两种指纹特征提取办法的对比研究[J].西安邮电学院学报, 2009, 14 (1) :88-90.
[2]周海徽.低质量指纹图像增强与特征提取技术[D].长沙:国防科技大学, 2011:47-52.
模板图像 篇4
数字彩色人头图像在档案管理、身份识别、证件制作等系统中被愈来愈广泛地使用, 而且有逐步取代数字灰度人头图像的趋势, 对彩色人头图像的压缩编码研究意义重大。在相关文献中, 虽然对静止灰度人头图像压缩编码有多种多样方法, 但是对彩色人头图像的压缩编码, 大都采取同一编码方法对三个色彩分量分别进行编码, 如FC2VQ算法[1]等。
实质上彩色人头图像的三个色彩分量之间存在密切的相关性, 并具有很强的特性, 它有别于普通的彩色图像。我们通过大量实验发现彩色人头图像的各个特征区域如背景、头发、脸、眼、鼻和嘴等, 不仅同一幅彩色人头图像三个色彩分量之间存在密切的相关性, 不同彩色人头图像之间这种相关性也很紧密。对于标准化的彩色人头图像这种相关性更强。
当我们把彩色人头图像各个特征区域提取出来, 利用作者在文献[2,3]中提出的分析和计算每个特征区域三个色彩分量之间相关系数的方法, 将一幅彩色人头图像在各个特征区域相关系数顺序组合得到相关模板。对同类人种 (肤色、发色、眼色基本相同) 的彩色人头图像进行灰度标准化后, 我们发现求得的相关模板系数是非常接近的。对这些相关模板系数进行优化综合, 得到一个可以作为它们共同使用的相关模板, 称之为公用模板。采用公用模板对同一类型彩色人头图像进行编码, 将大大提高对人头图像库的编码效率。
1 面部特征的提取
提取彩色人头图像的面部特征区域是对其实现分级编码的前提, 同时对图像的分析与识别也有着重要的意义。如公安机关的大型居民身份证人头图像数据库及认证识别系统, 需要一个快速和准确的面部特征区域提取方法。在文献[4,5,6,7] 中大都将RGB彩色空间的图像转换成灰度图像或其它色彩空间图像, 然后对整幅图像使用单一的算法进行面部特征的提取, 而不是针对人头图像不同区域特征采用相适合的算法, 其运算量不可避免的大, 提取面部特征的精度也难以达到满意的效果。
文献[8]中提出了一种专门针对彩色人头图像面部特征区域的精确提取方法, 该方法对彩色人头图像进行了必要的灰度标准化预处理和背景色彩一致化处理;针对彩色人头图像的结构特点, 通过对二值图像的积分投影分析, 同时对图像不同特征区域采用不同的面部特征边缘轮廓提取算法, 以减少运算量和提高精度。提取的面部特征是包含眼睛、嘴、鼻、颧骨和面部皮肤的整个面部轮廓区域。图1是对部分具有代表性的彩色人头图像提取面部特征区域的结果, 该方法对52 幅彩色人头图像的实验表明, 速度快是该方法的主要特征, 其中对94%的图像提取的面部特征能得到满意的效果。
2 彩色人头图像的编码
2.1 相关模板的建立
通过对文献[8]中纵向积分投影图相应的一维序列数组分析, 很容易能够得到鼻梁的纵向位置, 将其换算成相对面部特征区域过鼻梁水平线的位置记作YM, 并用它将面部特征区域分割成F1和F2上下两部分, 如图2 (a) 所示。对人头图像除去面部特征的剩余区域图像, 直接从该图像纵向的中间将图像分割成B1和B2上下两部分如图2 (d) 所示。如此分割是因为上下部分存在着较大的色彩与纹理差异, 分割后能使区域内的色彩分量相关性更为密切。至此, 人头图像面部特征区域及剩余区域共被分割成4个区域。
分割后的每个区域主要包含了两种区别较大的灰度, 如F1区域的眼睛眉毛和皮肤, F2区域的嘴鼻和皮肤。为将它们分离开来, 能够更有效和合理地利用区域内色彩分量的相关性, 并降低构建相关模板的计算复杂度, 我们将分割得到的4个区域进行二值化处理结果如图2 (b, c, e, f) 所示, 依据每个区域色彩分量G图像和其对应的二值图像, 将每个区域色彩分量G的像素分为2组:某区域二值图像像素值为0的位置, 所对应色彩分量G图像在同一位置的像素为第一组, 如F1区域这一组像素主要是眼睛和眉毛部分, 而F2区域这一组像素主要是嘴巴和鼻子部分;第二组则为色彩分量G图像中像素值非255的像素和其二值图像中像素值非0的位置对应的像素, 如F1和F2区域的这组像素主要是皮肤部分。现以F1区域为例, 来建立该区域色彩分量G与R之间相关模板。假设F1区域的二值图像用AF1表示, 该区域对应的R和G色彩分量的灰度图像分别用AR和AG表示。由文献[3]提供的算法可计算出该区域色彩分量G与R两组像素之间的相关系数。
第一组相关系数:
第二组相关系数:
上述相关系数计算式中, i和j分别为像素在该区域的行列位置坐标, N1和N2分别为第一组和第二组的像素总数。
这4个相关系数的组合就称为该区域色彩分量G与R之间的相关模板, 4个区域的相关模板包含共计16个相关系数, 它们的组合就构成了彩色人头图像色彩分量G与R之间的相关模板。同理我们可以建立起彩色人头图像色彩分量G与B的相关模板。这样彩色人头图像另两个色彩分量的编码, 就只需对两个相关模板中共计32个相关系数, 另加3个位置参量 (XL, YT, YM) 的编码 (其中XL和YT为提取的面部特征矩形区域的左边界X坐标和右左边界Y坐标) 。我们对相关系数采用平均8位码字量化, 可直接算出对彩色人头图像M1 (图像尺寸为128×174) 色彩分量R与B编码后的压缩比为:
CR=CB=174×128÷ (16+1.5) ≈1273
表1 给出对M1建立的相关模板系数和位置参数。图3是在没有对色彩分量G编码时, 由此表中的数据和AG (色彩分量G) 重构的色彩分量R与B图像的结果, PSNR为重构图像的峰值信噪比。图3 (a) ～ (d) 中左为原图像, 右是重构图像, 从图中看得出在如此大的压缩比前提下, 重构的图像和信噪比是令人满意的。
由图3 (e) 和 (f) 的比较结果看得出, 用相关模板编码重构的图像几乎不造成彩色人头图像的边缘轮廓失真、模糊性失真或块效应, 只是重构的图像与原图像发生了轻微的色彩偏差, 这非常有利于标准彩色人头图像库的编码及图像的识别与分析等处理。
2.2 相关模板与色彩分量G的编解码
对相关模板的编码, 我们按照4个区域块的顺序, 将相关模板系数及位置参数用7到9码字直接进行标量量化编码, 在实验中平均采用的约为8码字。
对色彩分量G的编码可采用JPEG2000或H264标准对静止图像编码等经典方法, 实验中我们采用的是JPEG2000方法对其进行分级编码。第一级对去除面部特征的剩余图像采取低信噪比的粗犷编码, 第二级对面部特征区域图像进行高信噪比的细致编码。
图像的解码是通过JPEG2000的逆变换分别得到重构色彩分量G的面部特征图像和剩余图像, 按2.1节的方法将它们分解成4个区域块图像, 并作二值化处理。通过反量化得到重构的相关模板, 然后按编码顺序从重构的相关模板读取每组相关模板的系数和位置参数。以重构F1区域色彩分量R图像
重构各区域的色彩分量
2.3 彩色人头图像公共相关模板的应用
表2和表3分别是图1中部分图像提取的F1和F2区域的相关模板, 从表中可以看出各面部特征图像色彩分量之间的相关性是接近的, 尤其是它们眼睛、眉毛、鼻子和嘴巴的相关系数相差很小。而皮肤部分的相关性则要差些, 实质上面部特征相关模板系数的差异, 主要是由于采集图像的环境光源不同和各人的皮肤本身存在差异造成的。我们把在表2和表3中所列图像的相关模板系数的平均值作为它们的公共相关模板, 然后用公共相关模板与它们相应的色彩分量G (G不编码) 来重构它们彩色图像, 结果如图4 (c) 所示, 相比它们采用各自相关模板编码结果如图4 (b) 所示, 虽然信噪比都有所下降, 但图像的视觉效果并没有发生大的变化, 只是采用公共模板编码结果它们的肤色更趋于雷同。如果身份证件照片图像采用同一的标准和规范采集, 相关模板系数会更相近, 得到的公共相关模板会更具通用性。可见对相近的面部特征采用公共相关模板进行编码是可行的, 能大大提高编码的效率。
3 实验结果与分析
本文的实验均在MATLAB系统中完成。表4是对M1图像色彩分量G不编码时, 利用其相关模板重构的各区域色彩分量R和B的峰值信噪比。从图3 (e) 和 (f) 可以看出, 重构的彩色人头图像的信噪比和视觉效果是令人满意的, 此时对色彩分量R和B的压缩比都超过了1200多倍。
图5是对M1图像色彩分量G采用了JPEG2000进行编码, 结合相关模板对色彩分量R和B进行编码的中间结果。用JPEG2000对色彩分量G分级编码, 第一级是对去除面部特征的剩余图像作粗略编码, 编码后的字节数为616 bytes, 重构的图像和信噪比如图5 (a) 所示;第二级是对面部特征图像作细致编码, 编码后的字节数为684 bytes, 重构的图像和信噪比如图5 (b) 所示。按2.2节的方法由重构的色彩分量G和重构的相关模板, 重构的面部特征和剩余部分的彩色图像和信噪比分别如图5 (c) 和 (d) 所示, 最后合成彩色人头图像及编码结果见图6 (a) , 此时的压缩比为:
C=174×128×3÷ (616+684+35) ≈50
本文对52幅尺寸为 (150～180) × (124～138) 的彩色人头图像进行编码实验。图像压缩比约50倍左右, 重构的图像的信噪比在28至30之间, 其中面部特征图像的信噪比在30至32之间, 剩余图像的信噪比在27至29之间。图6给出了部分图像的实验结果。
4 结 论
本文将提取的彩色人头图像面部特征与剩余背景图像分割成4个特征区域, 利用三个色彩分量之间的相关性, 建立起各区域色彩分量G与R和B之间的相关模板, 对色彩分量R和B的编码变成只需对少量的相关模板系数的编码, 并结合JPEG2000对色彩分量G的编码实现对彩色人头图像的混合分级编码, 使得重要的面部特征具有较好的编码质量和视觉效果, 同时能够获得较高的压缩比。运用公共模板对同类型彩色人头图像编码, 可使编码过程更为简化、编码效率更高, 有利于大型彩色人头图像库处理系统的应用, 对具有共性的医学彩色图像的编码也具有很强的实用价值。
摘要：基于彩色人头图像RGB色彩模型色彩分量之间的相关性, 提出一种针对彩色人头图像压缩编码的方法。该方法将彩色人头图像的面部特征区域用一种快速且较精确的方法提取出来, 对色彩分量G面部特征区域进行细致编码, 而对面部特征以外的区域进行粗犷编码, 结合在色彩分量R、B与G之间建立的相关模板, 实现对彩色人头图像的分级编码。实验结果表明该方法既能获得较满意的重构图像效果, 又可大大提高编解码的效率和压缩比。
关键词：特征区域提取,相关系数,相关模板,分级编码
参考文献
[1]Huang Jincheng, Wang yao.Compression of color facial images usingfeature correction two-stage vector quantization[J].IEEE Trans OnImage Processing, 1999, 8 (1) :102-108.
[2]陈宇拓, 余英林.利用色彩分量相关性的彩色图像压缩编码[J].中国图像图形学报, 2001, 6 (2A) :123-128.
[3]陈宇拓, 韩旭里, 余英林.基于RGB色彩空间的彩色图像混合编码[J].计算机科学, 2008, 35 (1) :240-245.
[4]Jorgen Ahlberg.An Active Model for Facial feature Tracking[J].EURASIP Journal on Applied Signal Processing, 2002 (6) :566-571.
[5]Chibelushi C C, Bourel F.Hierarchical multistream recognition of facialexpressions[J].IEEE Proceedings on Vision, Image and Signal Pro-cessing, 2004, 151 (4) :307-313.
[6]Pantic M, Rothkrantz L J M.Facial Action Recognition for Facial Ex-pression Analysis From Static Face Images[J].IEEE Transactions onSystems, Man and Cybernetics, Part B, 2004, 34 (3) :1449-1461.
[7]Hirayama Y, Nakamura O.Personal identification system through facialimages based on themodified HSV color system and isodensity maps[C]//Electrical and Computer Engineering, 1997.IEEE 1997 Cana-dian Conference on.1997, 2:823-826.
模板图像 篇5
图像修复的方法主要分为两类:(1)是基于偏微分方程(PDE)的修复方法,即依据图像特征沿特定的方向将周边已知的图像信息逐个像素扩散填充到未知区域中[1],故能很好地保留图像的线性结构,因此该方法适用于修复划痕等一些较小尺度的损伤;(2)是基于块的纹理合成技术,该算法的主要思想[2]是,从待修复区域的边界上选取一个像素点,以这个像素点为中心确定一个一定大小的模块,然后在已知区域中寻找与之最相近的纹理匹配块来代替该模块,故这种算法适用于修复大面积缺损图像。近几年来,Bertalmio等又提出了同时进行纹理合成和图像修补的算法[3],该算法首先将图像分解成结构子图像和纹理子图像,采用Bertalmio之前提出的图像修补算法[4]修复结构子图像,通过纹理合成来修复纹理子图像,然后将修复后的两幅子图像相加得到最终修复结果,但是由于模糊效果仍存在,该算法局限于小面积缺损图像的修复。后来,Criminisi[5]首先将上述两种方法统一起来,结合两者的优点在一个修复过程中同时修复纹理和结构信息。文献[5]指出在修复时计算边界上每个块的优先值,按优先值从大到小来确定修复顺序,实验证明此方法能够提高图像的修复质量。但在计算优先值及搜索匹配时,每个块都是固定大小,无法反应图像的局部特征信息,修复误差比较大。
在文献[5]的基础上提出一种新的自适应的修复方法,在本算法中搜索匹配块的大小可以根据图像的局部特征自适应地变化;另外为了避免误差的累积传递和“不相容块”的产生,文中还提出了一种新的置信度更新的方法,使得更新后的置信度值与累积误差成反比。实验结果证明文中算法能得到比原算法更好的修复效果。
1 基于样本的图像修复方法
用Φ表示一个完整的图像区域,设其是R2空间上的一个有限Lipschitz域[6]。由于受一些因素的影响,如在传输过程中信息的丢失或从图像中移走目标物体等,Φ中会有一部分图像数据丢失,这部分子集可以用Ω表示。图像修复的方法就是根据图像中没有丢失的部分
真实世界的图像通常由线性结构和复合纹理组成,不同图像区域之间的边界是不同纹理之间相互影响的复杂产物。基于样本的图像修复算法包括了既复制纹理又复制结构的必要过程,纹理和结构信息的同时传播由一个单独的、有效的算法实现,需要依赖待修复区域边缘各点的优先级逐渐向区域内部填充[7]。
2 基于自适应模板和置信度更新的图像修复算法
算法分3个步骤:计算得到填充前缘上所有点的自适应模板,据此模板计算各点的优先值;选择优先值最大的点,传播纹理及结构信息;采用新的方法进行置信度的更新。
2.1 采用自适应的方法计算优先值
对∀p∈∂Ω点,取Ψp为以p为中心,大小为w的模板。
定义点p的优先值为
P(p)=C(p)D(p) (1)
其中,
置信度C(p)可以被认为是像素点p周围可靠信息的度量,周围已知点越多,置信度越高,就越早被修复;数据项D(p)反映了图像边缘信息∇I⊥p在边界∂Ω的法向np上的投影。
模板Ψp的大小应当根据图像的局部特征自适应地变化,因为对于纹理丰富区域,Ψp应该采用小窗口,这样可以尽量避开投影畸变的影响,即当图像块中包含丰富的细节和边缘时,填充该区域时,为减少畸变,应该选择较小的窗口以捕获较多的细节;对于低纹理区域应该采用更大的窗口,这样能够包容更多的灰度变化,可获得更加可靠的匹配结果[7],即在平滑区,可以选择较大的窗口来填充,而不会产生明显的假象。确定每个模板的尺寸后,再由式(1)来计算p点的优先值。
自适应地确定模板大小。首先用Canny算子检测图像的边缘,然后在边缘图像中进行如下操作:
(1) 设定Ψp模板的初始大小;
(2) 在边缘图像中,将Ψp模板上、下、左、右边沿分别向外移动1个像素;
(3) 判断边缘边界图像在模板窗口内部的边界像素(灰度值为1)个数是否大于一定阈值,如果大于一定阈值或者模板窗口达到规定的最大尺寸,进入下一步,否则回到步骤(2);
(4) 记录此时模板大小w,即为Ψp的尺寸,由式(1)计算中心p点的优先值。
另外考虑到原方法每次只填充优先值最大的一个块,速度太慢,效率也比较低。文中进行了优先值的排序,具体方法是:首先计算填充前缘所有点的优先值,将优先值由大到小排序放入数组x中,当有新的点加到填充前缘时,就利用上述自适应方法计算该点处方窗的尺寸,继而计算其优先值,再按其大小插入x中;然后将x中的已填充的元素删除。
采用此策略不需要每次都重新计算填充前缘的优先值,可以节省时间,起到降低运算复杂度和时间复杂度的作用。
2.2 传播纹理和结构信息
填充前缘所有Ψp的尺寸及优先值计算完后,找到了具有最高优先级的块
找到了源样本
2.3 采用新方法更新置信度值
当
C(p′)=C(q′)×exp((-1)×EMS) (5)
其中,
yi为
式(5)中更新的置信度表示,当替代块
3 实验仿真结果
如图1,图2所示,白色部分为修复的区域,圆圈部分为文中算法修复结果和文献[5]修复结果的对比之处,Ψp的初始大小设为3×3。
图1是Jump图像修补的仿真结果,从图1(c)图可以看出文献[5]的修复结果有多余的“不相容块”产生,而文中算法没有产生“不相容块”,且边缘保持得较好。
图2为张学良公馆图像修补仿真结果,可以看出文中算法没有产生“不相容块”。
图3为Handsome图像修补的仿真结果,图3(c)图中箭头所指的边角处,文献[5]算法的修补效果不太好,而图3(d)图中可以看出本文算法能更好的修复边角。
图4和图5的仿真结果为去除图像中大面积的物体,因为此操作完全将图像中的某物体去除掉了,故计算与原图的EMS并无意义,从图中可以看出本文算法比原算法效果更加自然,更好地保持了图像边缘,不会引起模糊。
表1中的R,G,B这3个通道利用式(6)计算修补前后的EMS,此时yi为修复后的图像在待修复区域Ω各点处的颜色值,xi为原始图像中对应位置处的颜色值,N为Ω中的像素数,丢失比率为待修复区域像素数与图像总像素数的比值;可以看出使用文中方法后,修复图和原图的EMS更小,且EMS与丢失比率成正比,丢失比率越大,EMS越大。
4 结束语
文中提出了一种新的基于样本的自适应图像修复算法,搜索匹配模板可以根据图像的局部特征而变化,实验证明了这种方法比固定模板的算法修复效果更好,误差更小;另外考虑到累计误差对置信度的影响,文中还提出了一种新的置信度更新方法,从实验结果可以看出减少了“不相容块”的产生。另外,文中的修复区域是事先利用图像处理工具人为确定的,属于一种半自动的修复方法。今后需作进一步深入研究的问题包括自动确定修复区域,实现完全自动的图像修复;研究图像的纹理特征,合成与图像缺损区周围性质相匹配的自适应纹理;以及计算图像中的纹理走向,缩小搜素范围等。
摘要：去除图像背景中的部分目标,是图像修复技术应用之一。为了修补去除目标后留下的大面积空白区域,文中在基于样本图像修复方法的基础上,引入了自适应思想。首先利用Canny算子检测图像的边缘,再根据图像边缘特征自适应地改变模板块的大小;为了避免误差的累积传递,提出了新的置信度更新方法,使更新后的置信度与累积误差成反比。实验结果证明,文中方法比原方法能更好地修复图像边缘、复杂纹理,并且保留边角,使效果更自然。
关键词：图像修复,自适应,Canny算子,边缘检测,置信度
参考文献
[1]Bertalmio M,Sapiro G,Caselles V,et al.Image Inpaint-ing[C].NewYork:International Conference on Computer Graphics and Interactive Techniques,ACMPress,2000:417-424.
[2]Efros A,Freeman W T.Image Quilting for Texture Synthe-sis and Transfe[C].Proc,ACM Conf,Computer Graph-ics(SIGGRAPH),2001:341-346.
[3]Bertalmio M,Vese L,Sapiro G,et al.Simultaneous Struc-ture and Texture Image Inpainting[J].IEEE Transaction on Image Processing,2003,12(8):882-889.
[4]Chan T,Shen J.Non-texture Inpainting by Curvature-driven Diffusions(CDD)[J].Journal of Visual Communi Cation and Image Representation,2001,12(4):436-449.
[5]Criminisi A,P′erez P,Toyama K.Region Filling and Ob-ject Removal by Exemplar-based Image Inpainting[J].IEEE Transactions on Image Processing,2004,13(9):1200-1212.
[6]许威威,潘志庚,张明敏.一种基于整体变分的图像修补算法[J].中国图像图形学报,2002,7(4):351-355.
模板图像 篇6
在医学临床检查中,用CT、核磁共振、X光、超声、红外等技术手段获取的图像本质上都是灰度图像。高精度的灰度图像可达1 024个灰度级,需要价格昂贵的专用显示器才能输出。在通常的个人计算机显示器上,输出的灰度图像只能划分成256个灰度级。实际上,医学图像中的病灶区域与正常组织的灰度差别往往是非常微小的,要确认病灶部位的准确位置和大小,对图像判读人员是一种很高的要求。
但是,人的眼睛对色彩的敏感程度比对灰度要高得多,更容易从彩色图像中找出具有某些特征的颜色区域[1]。正因为如此,许多检测仪器利用技术手段将原始的灰度图片转换成伪彩色图片输出,例如医院里常用的彩色B超。
2 伪彩色编码的实现与问题提出
将灰度图像转换成伪彩色图像实际上就是把不同灰度值的像素用相应的彩色表示[2]。在实际应用中,通常是先设计一个颜色查看表(color look-up table,CLUT),又称为伪彩色编码表,将256个灰度等级一一对应地映射到一组彩色上,示例如表1。然后,用查表的方法将灰度图像中每个像素的灰度值f(x,y)用对应的R(x,y)、G(x,y)、B(x,y)三基色值的组合替代(其中x,y是像素在图像中的坐标位置),就得到了伪彩色图像。
为了突出图像中感兴趣的有用信息,达到图像判读的最佳效果,人们在进行灰度图像的伪彩色转换时,需要根据具体工作的特点,设计出适用于不同场合的伪彩色编码表,常用的如彩虹编码表、热金属编码表等。
但是,实际应用的情况千变万化,不可能用一种方法解决所有的问题。如何根据实际工作需要设计出最合适的伪彩色编码表,一直是人们努力探索的问题。有些算法虽然针对某种具体应用效果较好,但相当复杂,对于不熟悉图像处理的医学专业人员来说尤其困难。
3 利用自定义的基准颜色模板实现伪彩色转换
伪彩色转换的效果主要是靠用户的主观感觉来评价的,没有一种能够严格量化的评价标准[3]。在医学检查中,利用自定义的基准颜色条作为模板就能起到伪彩色编码表的作用,从而实现了灰度图像到伪彩色图像的转换。这种做法具有形象直观、灵活多变、便于医务人员自行设计的特点。只要初步掌握Photoshop等图像处理软件,任何人都可以自行设计、修改适合自己需要的伪彩色编码表。
笔者利用Photoshop的线性渐变工具设计了一个基准颜色模板,并运用C#语言编写的伪彩色转换示例应用程序代码如下:
4 讨论
(1)在本程序中,笔者利用Photoshop的线性渐变工具设计了一个大小为256×30的彩条图像文件“基准颜色.jpg”,如图1所示。这个文件是可以任意更换的,也可以利用渐变编辑器做进一步的修改,或者利用图像调整工具改变其色阶、曲线、色相位、饱和度等特性。在应用程序窗体加载过程(Form1_Load)中,为了可靠起见,可利用Bitmap对象refbmp的Get Pixel(x,y)方法读取位于彩条图像文件垂直方向中间一行(第15行)的256个像素,把它们的颜色值保存到一个名为“ref Color”的Color结构数组中,将这个数组作为伪彩色编码表。
(2)在应用程序命令菜单“伪彩色转换”按钮单击事件过程(menu Pseudo_Click)中,根据灰度图像中的坐标x、y,利用Bitmap对象refbmp的Get Pixel(x,y)方法逐个读取原始灰度图像中的像素值(由于灰度图像文件中同一像素三基色的值总是相同的,所以可以任意选择一个通道读取,本例选择了R[4]),也就是本文前面提到的f(x,y),然后利用Bitmap对象bmp的Set Pixel(x,y,color)方法,把查表得到的R(x,y)、G(x,y)、B(x,y)三基色值写到伪彩色图像中的对应位置。伪彩色转换前后的效果如图2所示。
(3)为了简化程序,本程序中调用了GDI+提供的Get Pixel(x,y)和Set Pixel(x,y,color)方法进行像素操作,虽然代码简单,但运行速度较慢。为了实现更好的效果,还需要对程序做进一步的优化。
5 该算法的临床意义
现今,伪彩色技术已广泛应用于各种医学影像设备,如X线机、CT、B超、磁共振、内窥镜、红外成像等所获取图像的处理中。以往对于伪彩色处理的颜色标注大多采用系统默认或者修改伪彩色编码表的方式来进行颜色的分类标识。默认的方式虽然可以达到特定条件下方便影像诊断的效果,但由于医生视觉习惯、诊断目标变化的影响,使临床应用改进的需求不断被提出,仅通过亮化、饱和度值域的调整并不能从根本上解决问题[5]。为此诞生的使医生具有伪彩色编码表修改权限的处理方式受到了极大的欢迎。然而,其抽象的伪彩色编码表结构要求具有相当经验的医生经过反复调试才能达到某种诊断条件下的理想值,应用并不是特别方便。本文提出的建立自定义基准颜色模板图像(SRCP)可以根据不同的需要,方便地建立灰度级、颜色的色调、饱和度和亮度不同的对应关系,使医生可以直观地建立起伪彩色编码表,从而确保产生的伪彩色图像更符合人们的视觉习惯。
6 结论
本算法利用自定义的基准颜色模板作为伪彩色编码表,实现了灰度图像到伪彩色图像的转换,并且避免了复杂的数学计算,具有直观、灵活、实用的特点。只要根据专业经验和初步的图像编辑技能,就可以自行设计出适合具体工作需要的伪彩色编码表,从而具有较高的实用价值。
参考文献
[1]李今秀,李均利,魏平.基于梯度的医学图像伪彩色编码[J].光学技术,2008,34(4):576.
[2]蓝鹏,蓝春生.伪彩色处理在口腔医学影像中的效用[J].中国体视学与图像分析,2008,13(4):286.
[3]赵永峰,郭玉森,季娥,等.螺旋CT图像伪彩后处理技术的应用[J].实用放射学杂志,2007,23(4):566.
[4]李全越,王芳.基于流域分割的医学图像伪彩色处理[J].现代电子技术,2008,22(5):118.