图像修复（精选8篇）
图像修复 篇1
引言
图像修复是对图像上信息缺损部分进行填充的过程, 其主要目的是对图像进行修复, 或者移除目标, 并使观察者无法察觉图像曾经缺损或已经修复, 目前, 图象修复技术包括基于偏微分和基于纹理两种修复技术。针对大面积破损区域的修复, 主要应用的是纹理合成算法, 目前纹理修复代表性的成果为文献[2]提出的Criminisi算法, 该算法通过自定义的优先级函数, 结合受损区域周围块像素灰度值变化的整体趋势, 将源区域中的像素点填充到目标区域中, 从而使纹理修复的视觉质量达到了满意的效果。本文通过人为选择匹配区域来改进Criminisi算法, 提出了一种新的图像修复技术, 实验证明, 改进算法的修复结果更加真实可信。
一、Criminisi区域填充算法
给定一个图像I, 如图1所示, Ω是待修复的区域 (即目标区域) , δΩ是Ω的边界, Φ是已知区域 (即源区域, Φ=I-Ω) , p为修复边界δΩ上的点, ψp是以点p为中心的块其优先权P (p) 为:P (p) =C (p) D (p)
式中, , |ψp|是ψp的面积, C (q) 为模块内像素点的置信值, 初始时, 待修复区域中的点值设为1, 源区域中的点的值设为0;, α是归一化因子, np是p点的法向量, 是与边缘梯度相垂直的向量。在目标区域边界δΩ上找到优先权值最大的点, 以SSD (颜色平方差的和) 计算与匹配区域中所有的匹配块ψq存在的像素之间颜色的差距, 计算公式如下:
寻找一个匹配块, 使得为最小。最后, 用中的相应点替代中的未知点, 在填充了新像素之后, 对于, 更新置信度C (q) , 即
二、改进算法
Criminisi图像修复算法中, 对每个待修复块都是对整个源区域进行全局式的搜索, 导致算法耗时大、效率低。通常一幅图像, 具有很强的空间冗余度, 相邻像素值的变化小, 很多这样的具有相关性的点便形成了一个图像的结构和纹理, 根据马尔科夫随机场模型 (MRF) , 假设一张图像可以由MRF来描述, 即由于图像具有局部统计特征, 其任一部分可以由周围部分 (邻域) 完全决定, 据此得出, 本文提出人为选择目标区域周围部分作为匹配区域, 来缩短搜索时间和使匹配块搜索更加精确。如下图所示, 我们所要做的工作是将图2中绿色区域修复, 图3中红色区域是人为选择的匹配区域, 可以看出匹配区域在目标区域的周围。
三、实验结果
通过实验表明, 本文的修复结果耗时少, 修复效果更加自然可信。
四、结束语
本文提出新的匹配区域选择方法, 缩小了匹配空间并使修复更加真实可信修复效果更加真实可信。文中的修复区域是事先人为确定的, 属于一种半自动修复算法。今后需进一步研究的问题包括缩短搜索时间和加强对边缘的修复等。
参考文献
[1]谢成军, 檀结庆.一种改进的基于样本块的图像修补方法[J].系统仿真报, 2008, 20 (10) :2606-2613.
[2]朱霞, 李宏, 张卫.一种基于颜色区域分割的图像复算法[J].计算机工程, 2008, 34 (14) :191-193.
[3]付绍春, 楼顺天.基于区域合成的图像修补算法[J].电子与信息学报, 2009, 31 (6) :1319-1322.
图像修复 篇2
关键词：图像自动修复技术；应用
中图分类号：TP311文献标识码：A 文章编号：1009-3044(2007)15-30819-02
The Theory of Digital Image Inpainting and Application in Prepress
CHEN Hong-yan
(Institute of Jingmen Vocational Education,Jingmen 448000,china)
Abstract：The image inpainting technology is a complex work which needs the experienced engineer to process by hand operation. Now, the hot discussion of image inpainting technology in computer image process area provides the new methods and orientation. This paper introduces the inpainting technology and its development, and the application in printing industry.
Key words:image inpainting;application
1 引言
图像修复是一项起源于欧洲文艺复兴时期古老的艺术行为，起初是为了恢复美术作品中丢失或被损坏的部分，同时保持作品的整体效果，通过手工描绘来填补美术品上所出现的裂痕，使图画得到翻新。这种工艺手法叫做“Retouching(润饰)”或者“Inpainting”(修补或修复)。如图1所示。
图1 手工修复艺术作品
随着计算机技术的飞速发展，数字图像作为视觉信息获得和传播的主要载体，已经得到飞速发展，而数字图像修复技术则是数字图像处理技术的一个重要分支，图像修复是指恢复图像中破损区域的颜色信息或除去图像中的多余物体，在文物保护、影视特技制作、虚拟现实、多余物体剔除（如视频图像中删除部分户物、文字、小标题等）等方面有着重大的应用价值。其主要工作原理是利用数字图像待修复区域的邻域或前后帧信息填充数字图像待修复区。研究者们现在正在开发自动的图像修复技术，用户只需简单的选择要恢复的区域，计算机就会自动完成余下的工作。这样就能够显著地减少处理数字图像的时间和精力。虽然一些强大的数字图像处理软件（Photoshop等），也可以完成这样的处理工作，但却需要有经验的技术人员进行复杂的手工处理，用户必须区分要修复的区域，并要仔细考虑要填充什么样的颜色、格式和纹理。
2 图像修复的方法与技术
在设计Disocclusion(遮蔽物去除)修复算法之前，首先考虑一下人的视觉是如何来修复图像的。计算机视觉中有一个结论，即人是根据其生活中积累的经验来感知世界的。人们经常根据其经验对周围环境中被遮蔽物体的形状做出一个最佳猜测，如图2所示。
对于图2(b)，人们的感觉是一个字母E，而对图2(a)，人们的感觉可能是两个字母E，同理，人们对被遮挡物的猜测也存在这样不确定的结果，这就说明人的猜测是通过尽量延长图像中的边缘来恢复被遮蔽物体的形状，同时，遮蔽物体的大小也可能影响人的判断，因此，修复算法应该尽量模拟这种效果。
图2 被遮挡物体的猜测
计算机图像Inpainting技术正是从人的视觉心理学角度模拟这种效果，根据被遮物体的边缘信息，按照一定的方向进行延伸扩散、边界连接，填充遮蔽部分，达到视觉上的连通。当然，由图中我们也看出图像的被损信息大小（障碍物大小）也直接影响人们视觉上的连通判断，从数学的角度看，这种由于被损图像周围信息不充分情况下导致的图像修复结果不唯一的现象属于病态问题，因此，图像Inpainting技术还需根据计算机视觉理论，通过一定假设条件的限定设计修复算法，来解决这个问题。
数字图像恢复技术就是建立模拟的图像退化模型，根据被遮物体的边缘信息，按照一定的方向进行延伸扩散、边界连接，填充遮蔽部分，达到视觉上的连通，获得原始影像的估计值。
根据图像信息特征，目前，现有的图像修复技术主要可以分为基于扩散（Diffusion）的修复和基于纹理合成（Texture Synthesis）的修复两种方法。
2.1 基于扩散的修复方法
基于扩散的修复的方法己经有了很多，对去除图像中的裂缝、污点和覆盖在图像上的文字有比较好的效果。这些算法的主要思路是利用物理学中计算热流的偏微分方程来做图像修复。通过求解偏微分，计算出要填补的空洞处的线性结构（在图像修复中称作等光强线(Isophote) )，然后通过扩散把周围的颜色填入空洞中。这种基于扩散的方法的主要缺点是会使填补的部分产生一定的模糊，而且填补的空洞越大，模糊的效果越明显，不能对很大的空洞进行修复，或去除图像中比较大的物体。Bertalmio等采用偏微分方程的方法进行图像修复，取得了较好的效果。用户需指定需要修复的区域，该算法将图像分为三个独立的通道，对每个通道，算法将待修复的区域边界的等值线外部的信息沿轮廓法向扩散到中间待修复的象素上。该算法用2D拉普拉斯算子方法估计局部颜色的光滑度，利用这个光滑度沿着等值线扩散，考虑了各向异性的扩散和轮廓的几何信息，以保证边缘处的边界连续。基于扩散的修复的方法的缺点就是对大面积的破损区域修复效果还不够理想。
2.2 基于纹理的图像修复方法
基于纹理的图像修复方法可以弥补基于扩散的修复算法无法较好地修复大面积破损区域的缺陷，但是往往需要很多的人工交互，对于单一纹理结构的图像，如岩石，土地，花纹等，其核心思想是仿真并生成局部纹理进行填充。因为纹理是物质构成成分的分布或特征的反映，它的局部性状信息能够表现相同纹理的共性。对一张纹理图，任取其中两小块纹理都是相似的，所以利用纹理合成的方法修复图像；对于多种纹理并存的图象上，修复的顺序十分重要，一般不同纹理的交界处是一些线性的结构(等光强线Isophote)，如果能优先修复这些地方，结构信息就能比较好的保持下来。如果考虑样本纹理的颜色信息和结构信息对纹理块相似度的影响，就能更好地保证合成图像在结构上的一致性，取得较好的修复效果。
3 图像自动修复技术的应用
图像自动修复技术的对于印前图像处理有很好的应用价值。
3.1较好的修复效果
在印前，对于存在裂纹、破损、划痕的静态图像，如破损或折叠过旧照片，有划痕或被污染的透射原稿和反射原稿，或是要复制再现一些美术作品或古玩图像等资料，这些资料往往由于年代久远，保存条件、人为或其他种种原因，遭到部分损坏，对这些资料进行修复具有非常重要的意义，这时就可以通过图像修复技术自动修复。（见图3）
图3 基于扩散的修复方法修复划痕
3.2 提高修复效率
在一些资料中，经常由于一些特效原因，需要隐藏其中的某个目标或者去除其中的多余物体，或是在图像中去掉与图像内容无关的障碍物，以达到一定目的的，都可以通过图像自动修复技术简单的修复，用户只需要简单的选择修复范围，计算机就会自动完成对划痕、空白区域的填充，或是去掉障碍物后填充背景图案，可以很大程度减少印前图像处理的时间和手工工作量，也可根据修复的结果进行更进一步的图像处理。（见图4）
图4 划痕填充、障碍物去除效果
在上面的修复的修复实例中，需要强调的是，用户只需要简单的选择要恢复的区域，图像修复软件就会自动完成填充，修复等处理的工作，这样显著地减少了人为处理图像的时间和精力。
3.3 解决远程传输问题
图像修复技术可以解决用户在向印刷企业远程传输印刷内容时，由于网络或其他原因，导致图像信息在远程无线传输中发生图像信息残缺，或是数据解压后发生损失等问题。
3.4 图像高分辨率的应用。
一般情况下，当图像从低分辨率放大到高分辨率时，会出现严重的马赛克现象，图像修复技术可以将低分辨率的图像，经过处理后得到高分辨率的图像，并且能够有效减少由于放大过程中必要的插值引起的图像模糊的方法。图5中，运用图像修复技术，将左边的小图放大4倍成为右图，图像的质量基本没发生变化。
图5 图像修复的高分辨率处理
4 结束语
总之，图像修复技术作为图像处理的一个活跃的研究领域，在考古、军事、政治、科研、印刷、影视业，广告业等领域都有着重要的应用，INPAINTING的技术优势势必能很好地改善人的视觉效果，大幅度地降低成本，减少工作量，提高经济效益。
参考文献：
[1]许威威 ，潘志庚，张学敏. 一种基于整体变分的图像修复算法. 中国图像图形学报[J]. 2002.4
[2]王毅，周世生. 图像INPAINTING自动修复技术及其应用探讨[J]. 印刷杂志. 2005.5
[3]Bertalmio, M., A.L. Bertozzi, and G. Sapiro. 2001, "Navier-Stukes, fluid dynamics, and image and video inpainting". 2001 IEEE Conference on Computer Vision and Pattern Recognition. Decemben Kauai, Hawaii.
基于分形的图像修复算法 篇3
关键词：分形,图像修复,搜索
0 引 言
图像修复是图像处理中的一项实用技术,可将图像中某些缺失区域依据一定算法进行填补,以收取良好的视觉效果。图像修复技术主要用于历史图片破损修复,图像中的物体或文字移除等。
图像修复的主流算法有两大类。第一类基于偏微分方程(PDE)[1],主要思想是将图像建模为分片光滑函数,通过边界区域向缺失区域内部扩散,用边界区域的梯度控制扩散参数,完成图像修复。这类方法对于修复小范围光滑图像区域效果良好,但在修复纹理区域时,则难以保证纹理的一致性,同时也容易产生过度平滑,影响视觉效果。第二类算法基于纹理合成[2](Texture Synthesis),主要思想是在图像中寻找与边界内容相似的图像块,填充到缺失区域中。此类算法应用更为广泛,但该算法在搜索时对相似性的界定还不够全面,一方面对图像内容比较能力仍显不足,难以找到最佳匹配的图像块,另一方面容易发生误匹配,造成修复错误。
本文算法基于纹理合成的实现原理,引入了分形思想对其进行改进。该算法首先对图像进行分割,确定不同位置的搜索区域。在搜索时,将候选块的多个仿射变换结果与边界块进行比较,寻找最优匹配的结果用于填充。这一算法减少了误匹配的概率,提高了修复的视觉效果,同时由于控制了搜索区域,增大了填充尺度,也保持了较低的运算量。
1 纹理合成算法简介
图像修复中,纹理合成算法的基本实现主要分为四步,分别是:修复区域标记、优先度计算、块搜索和填充。
首先,需要手动标注原始图像待修补区域,标注后的图形区域如图1所示。
由图1可知,Y表示原始图像区域,X表示待修补区域,δΩ为两个区域的边界线。
标注修复区域后,对该区域所有边界点计算优先度,优先度最高的那一点将作为参考块的中心。文献[2]中,优先度P(p)计算公式为:
P(p)=C(p)D(p) (1)
其中,C(p)为信心值,用以表示图像块ψp中已知信息的比例,C(p)的计算方法为:
其中,|ψp|为图像块ψp的面积,I为整幅图像,X为图像的待修复部分。D(p)为数据项,计算方法为:
其中,∇Ip⊥为p点的等照度线,np为p点的法线方向,α为归一化因子,这里α=255。
确定优先修复的位置后,在整个图像中搜索与参考块最为接近的图像块,搜索过程中匹配度的评价使用最小均方误差准则(Sum of Squared Differences,SSD)。搜索到最高匹配度的图像块后将其复制到待修复位置。
将上述步骤运行一次后,即更新修复区域边缘点的优先度,而后重复这一过程,直到图像修复结束。
2 算法描述
2.1 分形理论简介
分形的概念可表达为一种由多个与整体有某种相似性的局部堆叠累加而构成的形体。分形可以使用迭代函数系统(Iterated Function System,IFS)生成,而由拼贴定理[3]可知,任何图像都可以表示为一个IFS。
分形的思想已经应用于图像压缩中[4],分形图像压缩编码的过程是依据拼贴定理,通过给定的图像寻找一组压缩映射,使其组成的迭代函数系统的吸引子逼近给定图像,并记录得到相应参数。解码过程则由对应参数确定迭代函数系统,再根据迭代函数系统定理反复迭代生成图像。
分形图像压缩的基本步骤为:
(1)将待压缩图像进行K×K分块,记为Ri。
(2)将图像进行重叠的L×L分块,记为Di.通常L=2K。
(3)根据最小均方误差准则,在Di中搜索最佳的分割块和合适的压缩映射变换ωi,满足Ri=ωi(Di),即对每个像素点:
其中,ai～fi是放射变换系数,si是亮度变换系数,oi是亮度偏移。
上述过程表示Di经过一组仿射变换和亮度调整后,收敛于Ri。
由以上论述可以推知,图像内部存在的自相似性和仿射变换是分形图像处理的核心。本文也即借鉴分形思想,利用仿射变换,提高图像修复算法的性能。
2.2 算法步骤
算法的实现过程主要分为以下几个步骤:
(1)手动标注原始图像待修补区域。
(2)对图像进行分割,并标注缺失区域对应的背景区域。
(3)对原始图像进行仿射变换,生成仿射变换集。仿射变换参数为缩放50%、80%、120%、150%,旋转30°～180°,间隔30°。
(4)采用第1节介绍的纹理合成算法计算,如图1中,δΩ边界上所有点的修补优先度。
(5)在仿射变换集中搜索候选解。首先,对放射变换集中的图像进行不重叠分块,计算所有子块的平均灰度。然后,在与待修复区域对应的图像局部空间中找出接近于待修复块平均灰度的块作为候选块。接下来,在两倍于侯选块的范围内展开像素级搜索,并基于最小均方误差准则得到用于修复的图像块。
(6)重新计算下次修补的优先度。重复第(5)步,直到图像修复结束。
3 实验结果与讨论
算法采用VC 2010实现,在Thinkpad T420上运行。本文选取了USC-SIPI Miscellaneous 图像库[5]中的20幅图像,并从网络上节选了20幅图像作为测试样本,图像类别涉及人物、风景、遥感图像等广泛门类在内。在将图像中物体删除后,利用本文算法与Criminisi原始算法分别进行修复。原始算法典型结果如图2(b)所示,本文算法结果如图2(c)所示。由图中比较得出,本文算法具有更好视觉效果。
4 结束语
本文提出了一种基于分析的图像修复算法,与传统基于纹理合成的图像修复算法相比,取得了更好的视觉效果,同时也实现了较高的效率。但算法为减小搜索空间,还需要一定的手工标注,下一步需对算法进行优化,增加自动分割与区域标注功能以提高算法的灵活性。
参考文献
[1]CHAN T,SHEN J.Mathematical models for local non-texture in-painting[J].SIAM J.Appl.Math,2001,62(3):1019-1043.
[2]CRIMINISI A,PEREZ P,TOYAMA K.Region filling and object re-moval by exemplar-based image inpainting[J].IEEE Transactionson Image Processing,2004,13(9):1200-1212.
[3]JACQUIN A E. Image coding based on a fractal theory of iterated contractive image transformations[J]. IEEE Transactions on Image Processing, 1992, 1(1):18-30.
[4]DAN C P , DIMCA A, YAN H. A nonlinear model for fractal image coding[J]. IEEE Transactions on Image Processing, 1997, 6(3):373-38.
基于样本的数字图像修复技术研究 篇4
1.1 技术原理
图像修复技术属于半自动图像智能处理技术, 并且它是当前计算机图形学科技术中的一个研究热点。图像修复在一定程度上, 是利用计算机技术对图片当中出现的污点以及划痕等进行修复, 使经过修复后的图片能够在一定程度上, 不被人眼察觉的一种图像处理技术。当下, 现有的图像处理软件, 在一般情况下均能对图片进行后期处理, 例如, Photoshop、光影魔术手等图像修复软件。
1.2 特征
图像修复技术在当前计算机图像学科中已被广泛应用, 这种修复技术对文物保护、广播电视后期特效, 以及想要表现虚拟现实, 具有十分重要的作用。一般情况下, 图像修复在一定程度上会受到很多因素的影响, 使其局部信息出现损伤。例如:在某种条件下, 为了某种特殊要求而利用图像修复技术, 将完整的图片或者图像中的信息移动到另外的地方, 又如:某些图片或者图像在数字媒体技术下, 进行获取、处理、压缩, 在这个过程中由于信息丢失, 最终导致图像所留下的信息出现缺损区域等。由此可见, 为了保证图像信息的完整性, 这就需要图像修复技术在一定基础上为图像重新扫描、处理, 从而使图像恢复完整性[1]。
2 基于样本的数字图像修复技术应用的重要性
首先, 它是对静态图像的裂痕以及污点进行修复。数字图像修复技术, 在一定基础上对污点以及有损伤的图像进行清理, 从而利用数字化技术对这些污点图像进行整合, 最后呈现给人们一个视觉“完整”并且合理的图像。当下在我国印刷行业, 对于一些破损的老照片或者有划痕的照片均可以利用这种技术进行简单的修复。
其次, 数字图像修复也是动态影像修复。如今, 我国计算机技术的发展越来越迅猛, 因此图像修复技术, 不仅能对一些静态的图片进行简单修复, 而且这种技术在我国乃至全世界的影视行业也应用广泛。例如:这种技术可以在一定基础上对制作好的影视进行修复。
最后, 图像修复技术在其他的一些领域也被广泛使用, 例如:摄影领域, 在摄影中, 人们可以利用这种技术对照片中的“红眼”现象进行处理, 除此之外, 在一定基础上我们还可以利用数字图像技术, 生成自己所要的特殊艺术效果图像, 总而言之, 这种修复技术已经涉及到多个领域, 并且在不同领域中的应用均得到了很好的发展[2]。
3 基于样本的数字图像修复技术
3.1 基于样本的快速图像修复算法
Criminisi提出了基于样本块的图像修复的快速算法, 其算法具体步骤如下:
3.1.1 计算修复区的优先权
设输入图像已知区域H, 待修补区域K, 边界为N, 如图1所示。p为破损区域边缘上点, 对于给定中心在p点的修复块Jp, 优先权P (p) 定义如下:P (p) =C (p) D (p) 。优先权P (p) 的值综合反映了待修复块的置信度和结构强弱, 由此来决定图像修复顺序。其中置信度C (p) 衡量p处信息可靠程度;数据项D (p) 反映目标结构信息的强弱, 分别定义如下:
3.1.2搜索最佳的匹配块并填充
3.1.3更新置信度
当Jp中未知区域填充完后, 更新Jp内像素点的置信度。
3.2基于局部平均灰度的快速图像修复方法
一般情况下, 在进行精确的SSD匹配之前, 先用平均灰度值对其进行筛选并在一定基础上淘汰一部分灰度差异较大的匹配模块, 这样一来便可以有效的提升图像修复和算法的效率。如图2所示, 考虑到待修复块只包含了部分的已知像素 (图中白色背景部分) , 为使匹配更加精确, 引入二级匹配项———局部平均灰度值 (LAGV) 。
设平均灰度值阈值为Tagv, 局部平均灰度值阈值为Tlagv, 其算法的主要步骤为:
3.2.1提取用户选定的待修复区域Ω的边界SΩ
(2) 将所有候选块q按照AVGq值从小到大排列成有序链表L。
3.2.2重复下述步骤直到结束: (t为迭代变量)
(4) 在背景区域中搜索最优匹配块Ψp, 使用平均灰度值阈值Tagv筛选候选块;使用局部平均灰度值阈Tlagv筛选候选块。
4结束语
总而言之, 图像已经成为人们获取信息的重要途径和重要方式, 因此在近几年来, 图像修复这一技术在各个媒体行业不仅广受欢迎, 而且在一定程度上还受到更多数字媒体对其的关注, 在日常生活中, 图像信息的不完整是一种普遍现象, 因此这就需要我们对受损的图片进行处理和填充。例如, 利用图像修复技术可以有效清除图像上的污点和划痕, 因此对图像修复技术的研究与推广是当前研究人员以及推广人员首要的做的一件事情。
摘要：数字图像修复一般是利用计算机技术对图像所丢失的信息或者丢失信息的区域进行修复或者填充。文章从图像修复的技术原理以及特征两个方面概述了它的含义, 并论述了基于样本的数字图像修复技术应用的重要性, 最后对基于样本的数字图像修复技术进行了深入的分析。
关键词：样本,数字图像,图像修复技术
参考文献
[1]张晴.基于样本的数字图像修复技术研究[D].华东理工大学, 2012.
[2]杨秀红.基于结构张量的数字图像修复技术研究[D].西安电子科技大学, 2014.
基于改进的纹理合成图像修复算法 篇5
数字图像虚拟修复是指对那些局部数据信息完全丢失的图像进行修补, 以恢复其完整性和原有的视觉效果, 并使观察者无法觉察到图像曾经缺损或己被修复。由于该技术不需要直接处理原作, 可以根据需求反复调整, 最终再确定采用何种修复方法, 因此安全可靠, 具有很高的实用价值。近年来研究表明, 计算机辅助的数字化保护和修复古代艺术作品取得了一定进展, 这种方法在排除损坏文物的危险性的基础上, 还具有效率高、可重复性等传统方法所没有的优点。计算机的操作不仅提高了工作效率, 甚至可以完成以前某些无法完成的工作。随着计算机技术的发展, 数字图像修复技术可以应用到很多方面。首先, 文物在保存时, 不可避免会受到环境、人为等因素的影响, 进而产生霉斑、划痕、破损等, 为了保持作品完好的视觉效果, 要对这些文物和艺术作品进行修复, 以往主要通过专业人士进行手工修复, 这对人们的技术性要求非常高, 同时它也是一项具有高风险的任务, 因为文物和艺术作品极其珍贵, 如果修复失误, 将造成难以弥补的损失。加之修复大量有损伤的文物需要耗费大量的时间和人力财力, 传统修复方法的特殊性和局限性, 使得文物的保护修复工作进展缓慢。我们可以借助于数字图像修复技术对这些文物数字照片先进行虚拟修复, 为文物的实物修复提供参考。另外, 在一些档案老照片的保护上, 老照片存放时间过长会存在一些折痕或乌迹, 也可以借助数字图像修复技术进行修复, 当然还有一些计算机特效处理以及一些富含玟理特征的照片的生成, 都可以利用数字图像修复技术得到很好的修复效果。所以将数字图像修复技术应用到文物修复领域中, 成为传统文物修复算法的一个新趋势。
在当前图像修复技术中, 比较经典的两大类是:图像润饰 (inpainting) 的方法和基于纹理合成的图像修复方法[1,2,3,4]。图像润饰方法首先由Bertalmio[5]等人引入到数字图像, 使用基于偏微方程 (PDE) 的修复模型[6]。基于此思想的方法还有Chan[7]提出的整体变分 (YV) 模型以及基于曲率驱动扩散 (CCD) 模型等[8]。图像润饰适合修复有小瑕疵的图像, 但修复较大区域效果模糊, 且对纹理较强的破损区域修复效果差。本文所使用的是基于纹理合成的图像修复算法。基于纹理合成的图像修复方法中最经典的算法是由Criminisi[9]等人提出, 该算法在基于样本的纹理合成算法[10]基础上再融合图像润饰结构扩散的特点, 修复效果较好, 适用于修复大面积的破损。在此基础上的改进主要有小波变换的图像修复[11], 利用邻域特性的图像修复和基于匹配块的图像修复算法等。本文在分析了图像修复技术中的Criminisi算法后, 针对它的不足, 提出一种新的改进算法。
1 Criminisi算法简介及存在问题
1.1 Criminisi算法简介
Criminisi算法核心是基于样本的纹理合成, 该算法主要包含以下4个步骤:
1.1.1 计算优先级
优先级的大小取决于两部分因素:一部分是该模板的数据值, 它反映了模板的结构信息强弱, 从而保证线性结构部分的优先合成;另一部分是模板的置信度值, 要求优先填充那些含已填充像素较多部分的模板, 因为填充这样的模板可以依赖更多的已知像素。公式如下:
C (p) 表示模板的置信度值, D (p) 表示模板的数据值, C (q) 表示模板内像素点的置信值
1.1.2 扩散纹理和结构信息
从源区域取样, 寻找和该模板最匹配的模板, 搜索整幅图像的已知信息区域后, 找到SSD (颜色平方差的和) 最小的模板即为最优匹配模板, 将相应的像素点复制填充到目标区域的模板中
1.1.3 更新置信值
第一优先级的计算, 随着填充过程的进行, 模板数据值会迅速下降零, 这样使得计算出的优先级不可靠。
第二采用全局搜索算法来寻找最优匹配块, 这样不但会产生错误匹配, 而且还会使填充速度变慢。
第三置信值的计算, 对破损区域内原有的像素点和填充上去的像素点进行相同处理, 算法容易导致修复效果越来越差, 从而形成它的贪婪性。
1.2 算法存在的问题
Criminisi算法的缺陷主要表现在三个方面:第一优先级的计算, 随着填充过程的进行, 模板数据值会迅速下降到零, 这样计算出的优先级不可靠。因此, 会出现错误的填充顺序, 并且会影响修复效果。第二采用全局搜索算法来寻找最优匹配块, 这样不但会产生错误匹配, 而且还会使其填充速度变慢。第三置信值的计算, 对破损区域内原有的像素点和填充上去的像素点进行相同处理, 也就是说破损区域原有的像素点和填充上去的像素点可靠性一样高, 没有考虑到本次修复的效果, 该算法容易导致修复效果越来越差。
2 算法改进
2.1 优先级计算的改进
原算法用乘积的形式决定优先权, 在修复的过程中, 如果数据为0, 那么置信值信度项很高由于优先级为零也不能得到优先修复。并且在修补过程中如果多个范本块的D (p) 同时为零, 会使它们的优先级也都为零, 从而使C (p) 值失去了意义。
综上所述, 使用原算法计算优先值并不准确, 所以将优先级的计算改为如下公式:
公式中α和β为调节参数 (实验中, 取α=0.382, β=0.618) , 不考虑C (p) 为零的情况 (实际p点位于填充轮廓在线, 待修复模版置信度值不会为零) 。这样能保证当数据项为零时, 只要置信度项足够高, 也可以得到优先修复。
2.2 匹配区域及最优匹配块的改进
对于根据优先权值确定的当前待修复点p, 它在上述确定的匹配区域中搜索匹配点的方式为, 以点p为中心, 顺序搜索与p的棋盘距离为n (1≤n≤max, n∈N) 的各点作为匹配点, 并依次以这些点为中心生成候选块与待修复块做SSD计算, 直至搜索完匹配区域。这样的搜索方式使得匹配块搜索是由近及远, 对于最优匹配块的选择也是优先考虑距离p点最近的颜色差距值最小的匹配块。搜索中, 直接对第一次搜索到的颜色差距值最小的候选块作记录, 并将其作为最优匹配块, 复制其信息到待修复块相应位置, 得到的修复结果与其邻域的相关性较大, 也更加符合视觉上的效果。
2.3 置信值的改进
Criminisi算法在对破损图像的模板更新时, 只要是已经修复的区域, 就将修复好的像素置信值置为1。这也意味着在下次计算模版的C (p) 时, 不论是原图像上的非破损像素点还是经过修补之后的像素点的C (q) 都是1, 这样也就相当于修补之后的像素点和原图的非破损区域的像素点同样可靠。算法修补一个模板后更新边界, 极有可能导致新边界上优先级最大的点就处于刚填充的范本中, 然后继续向内部延伸。算法循环中如果某个模板被填充了不符合视觉效果的颜色信息, 会导致不合理的颜色信息继续延伸下去, 最终导致修复的视觉效果不佳。
为了克服以上不足, 本算法特设定一颜色阈值T。阈值T的确定, 根据计算具体图像修复模板对应的SSD的值来确定。
上述公式中, 如果最优匹配范本对应的SSD值小于阈值T, 说明其可信度高, 则待修补像素的置信值, 用源图像模板对应像素点的置信值直接更新。如果SSD的值大于T, 说明其相对于源区域中的信息来说可信度值进行更新。如匹配前某优先级最大的范本置信度值为0.68, 则匹配后其剩余待修补像素点的置信值都置为0.68。这样保证在不断修补的过程中越是深入待修补区域的内部, 可信度就越低, 这符合一般规律。可信度越低, 最后得到的优先级P (p) 就越低, 填充时应该尽量寻找整体置信度比较高的匹配模块对待修复区域进行填充, 这就保证了图像修复的顺序基本上是从外围向中间修复。
3 实验结果分析
本文算法采用Visual C++6.0开发平台, 算法中取α=0.382, β=0.618, 颜色阈值T取为11, 以下是效果图对比:
图1 (a) 这幅照片因年代久远, 有明显的白色折痕, 以照片中中间那位女士为修复对象, 将折痕部分标记出来, 如图1 (b) , 图1 (c) 则是应用Criminisi算法修复后的图片, 图1 (d) 是本文算法修复后的效果图。经过对比, 可以明显看出本文算法修复效果比较完整, 无明显折痕。
图2 (a) 是一个破损文物的图像, 我们将其裂痕标记出来如图2 (b) , 采用两种算法进行修复, 图2 (c) 是Criminisi算法修复后的效果图, 可以明显看出有一处裂缝没有修复好, 本文算法修复效果如图2 (d) , 修复效果比较自然, 无明显瑕疵。
实验中分别统计了图1、图2中图像缺失像素的个数和两种箅法修复需要的时间, 如表1所示。
4 结论
数字图像修复技术是当下较新的研究课题, 本文主要研究了基于纹理合成的数字图像修复, 通过实验结果的数据列出以下几点总结: (1) 系统采用基于Criminisi的图像修复算法进行改进, 算法先进, 修复效果好; (2) 算法从优先级的运算、匹配区域及最优匹配块的搜索和置信值更新三个方面进行改进;改进算法的修复效果会比原算法有进一步的提高, 更符合人类视觉系统的特征; (3) 算法采用Visual C++6.0开发平台, 便于图像处理, 同时改进算法由于只是在局部进行修复运算, 大大减少了修复时间;对于缺损区域在10000像素以内的真彩图像, 修复时间基本控制在10秒内; (4) 系统接口直观, 交互性好, 能实时显示图像修复过程, 突破了以往图像修复软件只显示图像最终修复结果的局限性。
参考文献
[1]Tang F, Ying Y, Wang J, et al.A novel texture synthesis based algorithm for object removal in photographs[M].Advances in computer science-ASIAN 2004.Higher-level decision making.Spring Berlin Heidelberg, 2005:248-258.
[2]Borikar S, Biswas K K, Pattanaik S.Fast algorithm for completion of images with natural scenes[J].graqhics.cs.ucf.edu/borikar/Borikar Paper.pdf, 2005-04-20, 2004.
[3]Cheng W H, Hsieh C W, Lin S K, et al.Robust algorithm for exemplar-based image inpainting[C].Proceedings of the International Conference on Computer Graphics, Imaging and Visualization.2005.
[4]Chuang Y Y, Curless B, Salesin D H, et al.Abayesian appraoch to digital matting[C].Computer Vision and Pattern Recognition, 2001.CVPR 2001.Proceedings of the 2001 IEEE Computer Society Conference on.IEEE, 2001.
[5]M.Bertalmio, G.Sapiro, V.Caselles, C.Ballester.Image inpainting[J], Computer Graphics (SIGGRAPH2000) , pp.417-424, July2000.
[6]岳坚飞, 钱玲.基于偏微方程 (PDE) 的图像修复[D].南京理工大学, 2006.
[7]CHAN T F, SHEN J H.Non-texture inpainting by curvature driven diffusions[J], Journal of Visual Communication and Image Representation, 2001, 12 (4) :436-449.
[8]CHAN T F, KANG S H, SHEN J H.Euler’s elastic and curvature based inpainting[J], SIAM Journal on Applied Mathematics, 2002, 63 (2) :564-592.
[9]Criminisi A, Perez P, Toyama K.Region filling and Object removal by exemplar-based image inpainting[J], IEEE Transactions on Image Processing, 2004, 13 (9) :1200-1212.
[10]朱霞, 基于纹理合成的数字图像和是视频修复研究[D].长沙:中南大学.
数字图像修复技术的研究与应用 篇6
数字图像修复技术是从人们的心理以及视觉的角度出发,通过对被遮物体的边缘信息进行适当地分析处理并且按照一定的方向进行延伸扩展、边界连接,从而对图像被遮蔽部分进行正确合理地填充,从而实现视觉上的连续,能够达到与人工修复类似的效果。现代的图像修复的建模过程通常依赖于Helmholtz最佳猜测原理,这一基本原理明确指出:在已经确定传感数据的前提下,人们所感觉到的一切都是在现实世界状态的基础上而做出的一种最佳推测与猜测。因此,一个具有实用价值的图像修复模型必须能够从含有噪声的图像中加以分析并提取出纯净的图像信息,同时还能够从余下的图像信息中合理推测出最佳的丢失信息。
2 数字图像修复技术的一些方法
2.1 基于BSCB的图像修复模型
图像修复过程需要依赖于专业修复人员的主观感受,这就使得图像的修复过程是一个非常主观的过程,它并不具备一套修复的标准方法。BSCB修复模型采取的是偏微分方程,它与人的手工修复过程十分相似,通过将待修复区域边界部分的等照度线进行合理地延伸来实现修复的过程。在BSCB模型的算法中,是根据等照度线将待修复的区域进行区域划分的,使得各区域能够与其边缘外的颜色严格地保持一致。然而该修复算法对于细节纹理和图像的完整性方面有一定的损害。由于BSCB模型和一般的基于各向同性的修复过程并不相同,它考虑了等照度线,不会使边缘结构发生失真现象,属于一种各向异性扩散的修复过程,因此通过这一技术恢复的数字图像的修复效果能够更接近人的视觉感受。
2.2 基于整体整体变分的图像修复模型
整体变分(TV,total variation)图像处理模型的最初引入目的是为了解决图像的去噪问题。使用整体变分模型能够充分利用自然图像内在的正则性,例如图像边缘的平滑性等。整体变分模型的算法属于一种各向异性的算法,这种算法能够对数字图像进行一定程度的去噪处理。另外,图像去噪技术与图像修复技术之间有着很大的区别,虽然它们本质上都是属于图像恢复的相关技术,但是被噪声污染过的图像像素仍然包含了图像中的有用信息,而图像的待修复区域通常情况下是图像某块信息的完全丢失,并不能能从中获取到任何有价值的图像信息。所以,面向图像去噪的图像恢复技术并不能够直接推广或应用到图像修复技术中来,经常需要经过一定程度上的变形或者融入图像的先验知识和几何模型才能行得通。
2.3 基于曲率驱动扩散的图像修复模型
在基于整体变分的图像修复模型提出之后,TV修复模型由于受到一定的修复区域大小的限制而不能够满足图像的连通原理,进而提出了基于曲率驱动扩散(curvature-driven diffusion CDD)的图像修复模型。在CDD图像修复模型中通过曲率来调整各向异性扩散的系数,使得在利用CDD模型进行图像修复的工作中,不仅能够考虑到整体图像的长度规格,还能够充分考虑到图像中曲率信息的变化,从而能够实现对图像中细长线段的合理修复与填充。
2.4 基于分形纹理合成的图像修复算法。
图像的修复和合成是两个非常相似的概念,但是它们之间仍然存在着一些区别,其区别主要体现在以下两点:一是受损图像在修复之前并不存在完整的样图,而只能够从待修复区域的边界处取样来从而对未知的图像区域进行修复;二是图像合成的输出是一幅完整的图像,而图像修复则只需要对图像的受损区域进行合理填充即可。分形纹理修复算法的基本原理是先在待修复区域边界处进行取样,计算样图的分形维度,并且按照给定的搜索路径在图像的己知区域中搜索分形维度等于或者接近于样图分形维度的图像块,再将其复制到相应的待修复区域中。进行该算法的关键是进行相似度度量以及邻域搜索,纹理相似度的度量和搜索路径的关系十分密切,在数字图像修复的整个过程中有着十分重要的作用。
3 数字图像修复技术的应用
3.1 修复古代字画
由于古代字画保管环境的不当,再加上历史人为原因等多种因素的影响,使得一些具有极高收藏价值和极高艺术价值的历史艺术作品经常会出现不同程度的损坏现象。因此,对这类文物进行必要的图像修复工作就具有十分重要的现实意义。利用现代的数字图像修复技术,只需要确定文物中需要修复的区域,使用计算机就可以方便、快捷地按照确定的算法进行图像修复工作,并且修复效果十分理想,能够避免传统手工修复工作所需要的大量时间问题,减少修复人员的修复工作。
3.2 修复照片、文字等丢失的信息
在实际的生活中,照片经常会被不小心地折叠或者被不同程度的划伤,或者照片、胶片等受到多种原因的污染,这时就需要利用数字图像修复技术。对于文字、遮挡物或者是特定图标的去除也可以利用数字图像修复技术进行修复。比如某些电影画面中加入的字幕,利用数字图像修复技术可以轻而易举地去除这些字幕,另外,由于一些实际的原因需要隐藏图像中某个特定目标时,就可以利用图像修复技术达到预期的修复效果。
3.3 对失真图像的修复以及高分辨率研究
在图像传输过程中,由于网络故障或者其他的种种原因导致传输过来的图像具有不同程度的残缺部分,利用数字图像修复技术可以完美地处理这些问题。另外,一般情况下当将图像从低分辨率放大到高分辨率时就会出现不同程度的马赛克现象,图像修复技术能够解决这一过程所产生的问题,并在不影响图片质量的前提下提高图像的分辨率。
随着电子智能产品的逐渐普及与应用,它们的广泛应用使得数字图像的数量急剧增加,人们迫切需要一种对数字图像修复以达到对图像进行改进的新型技术。因此,数字图像修复技术的应用领域也将会有更大的突破,它必定会对人们今后的生活产生更加积极的影响。
摘要：图像修复技术是图像复原领域中的一项非常重要的修复技术,它是通过对图像的现有信息进行分析处理从而推测出其所丢失的图像信息数据。伴随着计算机技术的迅速发展,数字图像修复技术又有了新的发展方向以及更加广泛的应用领域,它是图像处理技术中的一个重要组成部分,有着极其重要的研究与应用价值。
关键词：图像修复,图像处理,数字图像
参考文献
[1]孙玉刚.数字图像修复技术研究[D].南京:南京航空航天大学,2011.
基于多模板方向的图像修复方法 篇7
关键词：图像修复,Criminisi算法,模板方向,样本匹配
数字图像修复是按照一定的规则, 根据原图像中的有效信息, 对图像中破损的区域进行信息的填充和修正, 以期达到视觉上的修复效果, 最终恢复原图像连续、完整、自然的视觉效果[1,2]。目前存在两大类卓有成效的图像修复技术:一类是基于偏微分方程 (PDE) 的图像修复技术, 该技术适用于修补图像中的小尺度缺损;另一类是基于纹理合成的图像修复技术, 该技术适用于填充图像中大面积的破损区域。
基于纹理合成的图像修复技术借鉴了纹理合成的方法来寻找最佳匹配块并进行复制, 是目前主流的方法, 它有效地结合了偏微分方程和纹理合成的优点, 相对其他算法而言, 可以处理大面积的图像破损, 获得较好的视觉效果。在这类算法中, 最具有代表性的是Criminisi等人提出的基于模板和优先权函数的图像修复算法[3], 该算法在保持图像纹理信息的同时也保持了结构信息, 其实现简单且修复精确, 不会导致模糊, 因而得到大量的应用[4—6]。
但是由于Criminisi算法采用单一方向、固定大小模板寻找最佳匹配块, 容易产生错误匹配甚至查找失败问题, 目前出现了一些Criminisi算法的改进算法。文献[7]分析了Criminisi算法中的优先权函数, 由于置信度值很快下降至零, 使得优先权计算不可靠。通过提出一个更加合理的优先权函数计算公式, 保证了图像中的结构信息和纹理信息被准确的填充, 最终使修复效果更加优化。文献[8]提出了一种“基于可变大小模板的改进图像修复算法”, 在Criminisi算法基本框架下, 采用大小可变的模板来提高搜索准确率。文献[9]通过分析图像的梯度域变化, 提出自适应确定待修复样本块大小的修复算法, 该算法针对具有明显结构变化的图像有着理想的修复效果。
现则根据自然图像中存在大量对称或有规则的物体的特点, 针对Criminisi算法采用单一模板方向的不足, 提出了一种基于自适应模板方向的图像修复算法。该算法在进行模板的搜索时, 通过对待修复块或样本块进行不同角度的旋转和/或映射变换, 来提高最相似模板的搜索成功率, 防止错误匹配的发生, 进而有效改善了图像的修复效果。
1 Criminisi算法
Criminisi算法是Criminisi等人[3]在2003年提出的一种基于样本块的修复算法, 该算法兼顾了图像纹理信息和简单的结果信息, 保持了纹理的自然过度和主要结构的连贯性, 达到了非常震撼的效果, 成为目前主流的图像修复算法。Criminisi算法的主要思想是:首先从待修复区域的边界上选取一个像素点, 同时以该点为中心, 根据图像的纹理特征, 选取大小合适的样本块, 然后在待修复区域的周围寻找与之最相近的最佳匹配块来代替该样本块。
图1为利用Criminisi算法的图像修复过程图[10], I表示输入的待修复图像, Ω表示待修复区域, Φ=I-Ω表示已知区域, ∂Ω为待修复区域与已知区域的边界。图1 (b) 中p是边界上的任意点, np是边界线在p点的单位法向量, ▽Ip⊥是p点等照度线强度和方向 (即梯度方向的垂直方向) 。图1 (c) 中ψp为以p点为中心的待修复块, p点通常选取处于边界的延长线上的点, 且要求被高置信度像素包围。ψq'和ψq″分别为以q'点和q″点为中心的样本块。
Criminisi算法的目的是在Φ的边缘∂Ω上选择合适的像素点p, 按照优先权函数定义的顺序向待修复区域填充修复信息。通过比较图1 (c) 图中ψq'和ψq'的优先权大小得到与待修复块最近似的样本块, 如图1 (c) 所示, 最后将此最佳匹配块复制到待修复块中, 如图1 (d) 所示[11]。
Criminisi算法大致可以分为以下三个步骤
1.1 优先权计算
Criminisi算法首先要确定破损区域的优先权, 通过计算得到具有最高优先权的待修复块。优先权函数P (p) 由下式给出[12]
式中C (p) 为置信度项, D (p) 表示数据项。初始化时, 当p∈Φ时, C (p) =0, 当时, C (p) =1。α为归一化系数, 对于典型的灰度图像, α取值255。np是边界∂Ω在p点的单位法向量, |ψp|为以p点为中心的待修复块ψp的面积。
1.2 最佳匹配块的确定
当算法查找到具有最高优先权的待修复块ψp后, 下一步则要在图像的已知区域内寻找与待修复块最近似的样本块ψq[13]。根据匹配代价函数, ψp和ψq应满足如下条件
对于灰度图像, d (ψp, ψq') 是对应各点的灰度值的方差和
式 (5) 中Vip表示待修复块ψp里第i个像素的颜色值, Viq'表示匹配块中对应的第i个像素的颜色值, m为ψp里已知像素点的个数。
根据式 (4) ~式 (6) 即可找到与待修复块最近似的样本块ψq。
1.3 置信度更新
确定了最佳匹配块后, 将最佳匹配块对应点复制到待修复块中, 此时图像的边缘部分发生变化, 置信度值也需要及时更新[14]:
重复以上三个步骤, 直到修复边缘为0, 完成图像修复。
2 基于多模板方向的图像修复算法
由于Criminisi算法采用单一方向模板搜索最佳匹配块, 得到的最佳匹配块与待修复块难免会产生误差, 经过多次迭代匹配后, 误差不断累计, 使得最终的修复效果不理想。考虑到大自然中大多数图像是有规则的图像, 如人脸、建筑物等对称图像, Criminisi算法没有利用这种规则性, 可能导致最佳匹配块的匹配错误, 造成误差累计, 因此Criminisi算法针对真实的自然图像处理得不够合理。本节针对Criminisi算法的不足进行改进, 提出一种基于自适应模板方向的图像修复算法, 充分利用大自然的特性并加以应用, 从而获得理想的修复效果。
2.1 自适应模板方向的原理
Criminisi算法中关键步骤之一为确定最佳匹配块。通常采用大小为5×5的模板, 利用此模板在原图像中的信息完整区域按照中心像素逐像素进行查找, 当找到与待修复块最近似的样本块时, 拷贝最佳匹配块对应点的像素信息进行当前待修复块未知信息的复制, 即信息填充。由于最佳匹配块与待匹配块之间可能会有误差, 经过多次迭代匹配后, 误差不断累计, 最终造成与原图像的偏差。
图2 (a) 为一个对称的原图像, 图2 (b) 为待修复图像, 对图2 (b) 使用Criminisi算法进行修复, 得到结果图2 (c) 。图中可以看出, 图像的左边部分出现明显的错误, 和原图差距较大。
以图3作为一个典型的错误匹配的例子来进行说明。图3 (1) 为Y轴对称图形, 假设a方块为待修复块, b、c为随机的两个样本块。经观察可见, 此图中无法找到与a待修复块完全一样的样本块。但b样本块与a样本块对称相同, c样本块旋转180°后则与a图相同。这一变换过程如图3 (2) 所示。如果选择的最佳匹配块是b样本块沿Y轴对称的样本块或者是c样本块顺时针旋转180°后的样本块, 则所得到的最佳匹配块与待修复块a完全相同, 此时待修复块a将会得到最完美的修复, 不会出现图2 (c) 所示的误差。
对于图像中存在某些规则或者对称时, 通过样本块的旋转或者映射等可以找到与待修复块完全相同的匹配块, 这样就不存在误差, 也就不会产生累计误差, 得到的修复效果将会是最完美的。本文提出的基于自适应模板方向的图像修复算法正是基于这一原理。
2.2 基于自适应模板方向的匹配
在本文的算法中, 根据自适应模板方向的原理, 对模板的方向进行改进, 使其在一定的范围内进行多方向查找, 从而提高了最佳匹配块的查找成功率, 防止了错误匹配。模板的方向可以在0°~360°之间变化, 变化范围越大, 查找效率越低。为了均衡图像修复的效率及速度问题, 设最佳匹配块的可能状态为以下8种, 分别为旋转0°、90°、180°、270°, 以及映射得到的0°、90°、180°、270°。以图3 (a) 中待修复块a为例, 得到的最佳匹配块可能状态的查找方向如图4所示。
通过模板的多方向匹配改进后, 在求最佳匹配块时的匹配式就有以下八种情况, 分别对应图4中可能状态的查找方向, 假设所用模板大小为m×m
旋转0° (方向1) :
旋转90° (方向2) :
旋转180° (方向3) :
旋转270° (方向4) :
映射0° (方向5) :
映射90° (方向6) :
映射180° (方向7) :
映射270° (方向8) :
式中, Vijp表示待修复块ψp里第i行j列像素的颜色值, Vijq'表示匹配块中对应的第i行j列像素的颜色值, m×m为ψp里已知像素点的个数。
根据以上8种情况, 计算每个匹配块与待修复块之间的差值, 并根据匹配代价函数, 由式 (4) 计算找到最佳匹配块, 然后进行逐像素填充。通过模板多方向的查找, 最佳匹配块的查找成功率有效地提升, 当匹配的错误率降低之后, 累计误差的概率也降低了。因此最终的图像修复效果也得以增强。
3 实验结果及分析
图像修复算法的衡量标准通常有两个方面:图像修复后的视觉效果和修复消耗时间。本文主要针对图像的修复效果进行分析和研究。目前的图像修复评测标准中, 针对图像的修复效果, 最常见的是均方差测度 (MSE) 算法, 其计算量较少, 定义如下所示
式 (15) 中M、N分别为图像的行数和列数, f (i, j) 为原图像中点 (i, j) 的像素值, 是修复后图像中点 (i, j) 的像素值。实验是在配置为2.0 GHz处理器、2 GB内存的计算机上运行的, 利用Visio studio 2010进行仿真实验。图5和图6为分别使用Criminisi算法和本文的改进算法对同一对称图像进行修复的过程图。对比图5、图6, 从图5 (c) 、5 (d) 、5 (e) 可以看出, Criminisi算法逐渐产生错误累积, 最终修复结果图5 (f) 和待修复图像 (a) 差距较大。而本文提出的算法则获得令人满意的修复结果。图7是自然图像分别用Criminisi算法和本文算法进行修复的过程图。从图中可以直观地看出, Criminisi算法采用默认的模板进行搜索, 修复不彻底, 出现了明显的不相容的“垃圾块”, 而改进算法自然地还原了原图像, 从视觉效果上来看比Criminisi算法更好。
图8 (a) 是纹理信息丰富的彩色图像, 图8 (b) 中绿色破损区域为待修复区域, 图8 (c) 是利用Criminisi算法进行修复的结果图, 图8 (d) 是利用本文算法进行修复的结果图。从图8 (c) 、图8 (d) 中可以看出, 本文算法修复的结果非常自然, 而Criminisi算法修复的结果有轻微的人工痕迹, 视觉效果上不连贯, 能看到砖块的变形部分。
为了进一步比较本文改进算法与原Criminisi算法的优劣, 下面采用均方差测度算法, 对图7和图8进行计算, 计算结果如表1所示。
从表1可知, 在均方差这个指数上, 改进算法的结果相比原算法有较为明显的提升, 图7的改进算法的MSE是原算法的65%, 提升了35%, 图8提升了33%, 说明改进算法在匹配精度方面具有明显的优势。在理论分析方面, 因为改进算法在候选模板的数量上增加了7倍, 由原算法的一个模板, 根据上文分析的8个方向, 可以演变为8个模板, 这样大大地增加了匹配的概率, 使得到的最佳匹配块与待修复块的相似性提高, 降低了MSE指数, 图像修复效果得到改善。
4 结论
改进的图像总变分修复算法 篇8
图像修复修从数学角度来理解就是就是用受损图像区域周围的已知信息来对受损图像部分按照一定的方法进行填补、插植, 使修复后的图像接近或达到原始图像的视觉效果。常用的图像修复方法有偏微分方程修复法[1]、理纹合成修复法[2]及极小化变化模型。极小化变化模型又称为TV模型, 目前TV修复模型在众多方面得到应用。
用经典TV模型进行图像修复时, 一般是利用梯度来检测边缘, 实现方法简单, 容易计算。但此模型也存在不足, 如修复时易受噪音干扰, 特别是用经典TV模型来修复纹理丰富图像以及修复不能用边缘刻画细小特征的图像时, 很容易造成修复效果不理想, 细节丢失。本文针对这些不足, 提出了一种改进的TV模型修复算法[3], 实验结果表面, 改进的TV模型更好地保护图像的边缘, 修复效果更好。
2 经典TV模型图像修复算法
如图1所示, 假设受损图像的受损区域为图像部分D;受损区域D的环形外邻域完好部分为E, 即E为受损图像修复的已知信息区。现假设把破损图像u0的先验模型u的能量定义为, 其中▽u为图像的梯度, |▽u|表示图像梯度的模值, 则图像修复TV模型可定义为:
模型中的参数λ是拉格朗日乘子, 为TV模型的半范数。如果用A (E) 表示受损图形完好环形外邻域E的像素点总数, 则可以用σ2表示破损图像u0上噪声的方差。用常规TV模型对受损图像修复时, 其实就是在约束条件为的情形下, 对u进行求解。为了保证求得的u值代入公式 (1) 使建立的模型有极小点。现用变分方法对式 (1) 进行求极小值, 经过变换, 可得到如下形式的方程:
其中, 。如果使用最快时间t下降法对式 (2) 进行求解, 可得:
3 基于TV模型图像修复的改进算法
3.1 改进TV模型的加权算法
针对常规的TV模型中正则项的不足, 在TV模型正则项中加入权函数g (|▽u|) , 其中0≤g (x) ≤1为一个非增可导函数, 满足g (0) =1, g (x) ≥0且lim g (x) =0。因此, 在梯度值大的地方, g (|▽u|) 的值变小, 平滑程度降低, 从而能较好的保护边缘。在梯度小值较小的地方, g (|▽u|) 的值就变大, 使强平滑得到实现, 除去噪声。本改进算法中取:
式 (4) 中的参数k为边缘阈值, 当|▽u|<k时为图像受损区域, 此时g (|▽u|) 较大, 从而修复实现较大的平滑;当|▽u|≥k时, 认为是理纹突出的的图像信息块或是边缘刻画细小特征的图像细节信息, 此时g (|▽u|) 的值较小或者趋于零, 从而使平滑得到抑制, 更好的保持边缘。改进的TV模型中, 算法每迭代一次, 模型中的权函数g (|▽u|) 也发生改变。加权后改进的TV修复模型为:
式 (5) 中的相应的Euler-Lagrange方程为:
其中g′ (x) 表示g (x) 对x的一阶导数, 记dg=g′ (x) , g=g (x) 。
3.2 数值计算
如图2所示, 假设点为图像的待修复点, E、W、S以及N则分别为受损图像待修复点O水平和垂直方向上的相邻像素点。现设定, 用e、w、s、n分别表示水平方向和垂直方向上的半像素邻域点。将▽u/|▽u|在受损区域水平方向和垂直方向上的分量分别设定为v1和v2, 可得。根据半点差分法求法, 可计算得到v的散度为:
现把式 (7) 中步长h设定为h=1。为了求式 (7) 的解, 必须先求得ve1、vw1、vn2和vs2的值。半像素邻域点e在水平方向上的梯度值ve1可由公式 (8) 计算得到。
其中,
根据半像素邻域点e在水平方向上的梯度值ve1计算方法, 可求得另外三个半像素邻域点的梯度值分别为:
其中,
将求得梯度值ve1、vw1、vn2和vs2代入式 (2) 中, 可将式 (2) 转化为如下形式:
其中, p∈{e, n, w, s} (e, n, w, s分别为四个半像素邻域点) 。式 (16) 中的可能存在无限接近零的可能性, 此时它会使得式 (16) 中的值趋于无穷大。为了解决值趋于无穷大带来的问题, 用来代替, 其中, a为一个取值较小的正数。此时, 改进的TV模型修复算法的已知信息的扩散系数改为了。从已知信息的扩散系数可以看出, 该扩散系数的大小取决于邻域像素点的梯度大小。根据本文TV模型加权修复改进算法的思想, 在该扩散系数的基础上, 引入用来表示邻域像素点与待修复点相关依赖程度的加权系数wi, i=1, 2, 3, 4。为了减少计算, 进一步简化式 (16) , 可进行如下定义:
此时, 实现了等照度线方向距离和间隔像素距离所设定的加权系数wi与梯度模值的倒数相结合, 同时考虑了间隔像素距离的大小、梯度模值的大小及方向上新的扩散系数Wp。将该式 (17) 代入式 (16) 中, 可将式 (16) 变换为:
其中, 。对式 (18) 使用Gauss-Jacobi方法[44]进行迭代运算, 可得到如式 (19) 所示的图像修复结果:
因为, 从式 (19) 中可以知道改进算法的该修复结果是稳定的。利用图像受损外环邻域内的已知信息, 按式 (19) 进行迭代计算, 修复的结果直到满足改进算法给定的终止条件为止。
如果进行修复的像素点处于待修复区域D中, 根据可知, 此时的。代入式 (17) 中, 可以得到, 。此时, 可以将式 (18) 变换为:
此时的是环形外邻域E内已知信息的扩散系数。由式 (20) 可知, 通过对待修复点的邻域像素点的已知信息进行加权处理, 使图像修复视觉效果更好。
3.3 改进算法的实现过程
Step1:读入受损图像u0, 并确定受损图像信息丢失区域D及环外区域信息E, 给定模型的初始化参数, 迭代最大次数为N, 正则参数为λ, 另n=1, 。
Step2:计算出左、右、上、下方向上待修复点邻域像素点的加权系数。
Step3:将step2中得到的邻域像素点加权系数和式 (6) 至式 (15) 的计算结果代入式 (21) 中, 不断修复图像信息缺失的区域, 并计算迭代次数n=n+1。
Step4:判断此时的迭代次数n≥N, 如果是停止迭代;若n<N则重复进行步骤step2和step3的处理, 继续对受损区域进行迭代修复, 直到满足要求, 输出修复结果图。
4 小结
针对原TV模型修复算法修复有丰富理纹或边缘及轮廓细节突出图像的缺陷, 本文在分析原TV模型修复算法的基础上, 对原TV模型进行了相应的完善和改进, 提出了一种加权的TV模型图像修复算法。改进的TV模型不但对对像的修复具有更好的鲁棒性, 并且能根据图像的特征来进行平滑。
摘要：提出了改进的加权TV模型图像修复算法, 用于拟补原TV模型图像修复算法在修复纹理丰富的图像及边缘细节突出图像的不足, 改进TV模型图像修复算法能根据受损图像区域特征进行很好的平滑, 且较强的抗噪能力, 能很好地保护受损区域边缘。
关键词：改进,TV模型,修复,图像,算法
参考文献
[1]Weickert.J.Coherence-enhancing diffusion filtering, Int.J Comput.Vis.1999, 31 (2) :111-127.
[2]MaDY, ChenYM, LiQM, etal.Regiongrowing by exemplar-based hand segmentation under complex backgrounds[J].International Journal of Advancements in Computing Tec-hnology, 2012, 4 (1) :432-437.