视频图像修复（精选7篇）
视频图像修复 篇1
摘要：随着我国社会经济及科学技术的不断发展与提高, 图像及视频处理技术被逐渐运用到各个行业, 而图像视频的修复技术也在此过程中得到不断进步与发展。本文以修复技术的概念为切入点, 对图像及视频的技术修复背景进行描述, 探讨图像视频处理中的修复技术的应用。
关键词：图像,视频,修复技术
图像的修复技术具有源远流长的历史, 它最早出现在文艺复兴时期, 艺术家们为了恢复被破坏的物作品, 依据人们的想象力对受损部分进行修复。随着科学技术水平的提升人们将艺术作品的修复观念应用在现代图像与视频处理技术上, 得以广泛应用并取得良好的修复效果。
1 修复的概念
图像视频的处理包括很多方面, 其中数字及视频的修复技术就是图像视频处理的重要组成部分。图像视频修复技术是运用科学计算的方法, 通过对图像视频中的受损信息进行补充, 以达到恢复图像或视频的原来面貌的目的。
为了使观察者察觉不到图像或视频的修复, 需要做好以下两方面的工作, 一是确定修复区域。采用人工统计的方法进行确定, 对视频或图像需要修补的部分进行明确标注, 以确定需要修补的范围。二是对确定的区域进行重点修复, 对图像或视频已经标注的修复的范围, 采用可用、有效的信息, 进行重点恢复与重建。
2 修复技术的发展
图像与视频的修复技术的运用, 源于文艺复兴时期艺术家对艺术作品的修复。它与艺术作品的修复技术不同, 不仅能去除图像的干扰与模糊影像, 改善图像的质量, 还能对图像的受损甚至空白区域进行填补与修复。
最早将修复的概念引入图像与视频的处理技术中的是M.Bertalmio, 他通过偏微分方程的使用, 建立了图像修复算法模型, 将图像的信息与构造按一定的方法传递到需要修复的区域。这种算法虽然能对视频内的噪声干扰进行有效去除, 但由于它使用的范围较小, 对大面积的纹理或复杂的区域修复效果不理想, 甚至出现模糊影像的现象。
随后, 经过多个科学家对视频修复技术的完善, 已逐渐形成较为完善的修复概念。由于视频修复是图像修复在时间上的扩充与完善, 因此, 在整个运动修复的过程中, 视频修复是最优的选择, 它不仅可以将图像进行动态背景与静态背景区分, 还可以增强修复过程中的连续性, 在实践过程中具有很好的修复效果。
3 修复技术在图像视频处理的应用
图像的修复步包括以下几方面的内容。一是静态图像修复。静态修复是指对照片或胶片丢失的信息恢复、无线传输信息的修复、图像压缩及马赛克部分的图像处理技术等。二是动态图像修复。动态修复也叫视频修复, 是指对序列中指定标记的去除、划痕污染区的修复处理及视角空白区域的填充等。
3.1 对现存修复算法的改进
随着科学技术的发展, 现存的修复算法技术被广泛应用到各个行业。虽然在应用过程中, 取得了较好的修复效果, 但其自身的缺陷也被逐渐暴露出来。这些缺陷主要分为以下几个方面。一是现存的修复算法修复只能对较小或构造较为简单的一些区域进行修复, 对于面积较大或结构纹理较复杂的区域修复效果不理想。二是空域或时域的承接连续性不强, 尤其在不同的区域进行匹配衔接操作时, 在连续播放过程中会出现模糊甚至闪烁不停的现象, 对视觉效果造成严重的影响。三是复杂性不高。在实际视频修复过程中, 对复杂性较高的序列不能有很好的处理效果。
因此, 针对这种情况, 可以对以下几个方面进行改进。一是在使用微偏分的基础上, 通过引入有效的微偏分方程及约束方程, 对构造特征区域的细节信息进行特殊处理, 使线性结构具有较强的连续性。二是采用纹理合成的方法, 对尺寸及模板进行匹配择优选择。三是在视频修复过程中, 通过对运动轨迹的概念进行引入, 选择更快速的修复算法进行修复处理。
3.2 运用修复算法对视频进行压缩
由于视频的编码端采用的编码方式不同, 一部分编码端在压缩前通常对某些结构和特征信息进行去除处理, 而这些区域通常采用直流分量的方式, 进行MPEG2进行编码。这种方法虽然可以将视频进行压缩, 但效果不佳。因此为了更好的提升恢复效果, 需要对视频丢弃的区域进行重点选择, 从而使视频的压缩效率与压缩质量达到平衡状态。
3.3 对DTV视觉修复度的修复
修复技术对DTV视觉修复度的修复, 主要是指对视频中影响人们观感的标识及字幕进行移除处理。一般情况下, 视频中呈现的字幕或标识只出现在屏幕的特定位置, 通常采用修复方法对需要移除的区域进行重建和保存, 使移除的信息既不会丢失, 也不会受到影响, 更不会产生模糊的影像, 对提高人们的视觉观感效果有很大的帮助作用。
3.4 在三维视频重建的应用修复
近年来, 随着三维电视的出现, 极大的改善了人们观看电视的视觉效果。三维视频的应用是指通过对二维主视觉视频与相应的深度图像进行结合处理, 从而产生三维视频或是其他新视角视频。在二维视频生成三维视频或其他新视角视频过程中, 主要依据深度信息与二维图像映射, 对产生的重复覆盖区域和空白填充区域进行修复处理。修复技术对视频空白区域进行填充, 是一项具有广阔发展前景的应用技术。
4 结束语
随着科学技术的发展与人们生活水平的提高, 图像与视频在生活中随处可见, 但随之也出现了类似于视频的播放不流畅, 图像画面不清晰问题的问题, 严重影响了人们的视觉观感。其他国家相比, 我国的图像视频处理技术还不够发达, 因此, 利用修复技术对视频及图像损坏部分或空白部分进行填充与修复, 对提升图像视频的处理水平具有十分重要的意义。
参考文献
[1]张欢欢.修复在图像视频处理中的应用[D].上海交通大学, 2010, 01 (11) :20-25.
[2]赵明.数字图像及视频修复方法研究[D].湖南大学, 2011, 10 (10) :11-13.
[3]霍星.数字视频、图像修复中的若干方法研究[D].合肥工业大学, 2013, 06 (12) :121-123.
基于小波分析的视频图像修复算法 篇2
由于年代久远、保存不当等各种原因,很多历史影像资料存在不同程度的损坏,如何修复这些影像资料,更好地保存和复用这些内容非常重要。此外,有些视频资料由于技术限制,字幕或标志被固化于视频中,成为视频的一部分。但固化的字幕和标志严重阻碍了这些视频资料在后期应用中的复用。针对视频或图像中损坏或者遗失的部分,利用视频段中未被损坏的视频图像信息,按照一定的算法和规则来恢复图像中破损区域的颜色信息或者去除图像中的多余物体,使得整幅图像达到视觉上的连续和完整的技术,被称为视频图像修复技术。待修复区域指视频图像中的受损区域或多余物体,如斑点、文字、褶痕、障碍物等。
视频图像修复在图像处理、视频分析、电影工业、图像传输等中有着广泛的应用。目前,视频图像的修复技术主要集中在两个领域:1)偏微分方程的修复模型[1,2,3],最早由Bertalmio等[1]提出的,利用待修补区域的边缘信息,从区域边界各向异性地向边界内扩散,从而确定边缘的扩散信息和扩散方向。这种方法对图像中的线结构具有较好的修复效果,但是无法恢复图像的纹理细节;2)纹理合成的修复模型[4,5,6,7],其主要思想是将图像分解为结构部分和纹理部分,其中纹理部分使用纹理合成方法填充,结构部分用第一类修补算法修补。本文采用基于小波变换的纹理分析方法,并与文本或特征区域检测跟踪算法相结合,提高算法的运算速度。
1 基于小波分析的视频图像修复
1.1 视频图像损坏特征分析
引起视频图像损坏的原因有很多,文献[8]通过对大量被损坏的电影视频资料进行分析,将视频资料的损坏情况大致总结为10个方面:视频图像噪声严重,亮度与对比度失衡,白平衡失衡,锯齿效应,图像闪烁,水平或垂直条带,随机斑点,局部颜色失真,视频图像块效应,完全损坏等。
其中比较难修复的损坏特征是水平和垂直条带,因为损坏的面积比较大,修复过程中易引起块效应。
另一类比较难以修复的特征是视频中的文本或遮挡物,有一些重要和珍贵的材料会经常被多家媒体使用,那些视频图像上无法分割的台标等标志将成为破坏图像完整性的主要区域。因此,首先要定位到待去除特征区域的位置,然后利用视频图像的时间连续性特征进行跟踪和修复。
1.2 图像的小波分析
1.2.1 小波变换
设ψ(t)∈L2(R),其傅里叶变换为满足下述允许条件
时,称ψ(t)为一个基小波或母小波[3]。将ψ(t)经伸缩和平移后就可得到一个小波序列
式中:a和b为伸缩平移因子。这是连续小波的定义,但是在实际应用中通常使用离散化小波,将连续小波的尺度参数a和b进行离散化[7],即a=a0j,b=ka0jb0,这里j∈Z,扩展步长为固定值,且a0≠1,对应的离散化的小波变换系数则可表示为
当尺度参数a和b的大小改变时,可以调节小波时间和频率分辨率,以适应待分析信号的非平稳性。
在实际图像处理过程中,由于图像可以看成是二维信号,利用已有的一维小波函数和尺度函数,采用可分离变量方法来构造所需的二维小波,它们是
由小波函数分离变量性质可知,二维分解过程可以通过2步完成:首先对图像进行行分解,即信号f(x,y)的每一行作为一维信号进行分解;然后再对上一步分解后得到的中间结果进行列分解,即将每一列看成一维函数再作一次分解。这样,二维图像信号被分解为4个不同频率的子波段。因此,二维小波变换具有对图像进行多分辨率分析的特性[9],分解效果如图1所示。
1.2.2 视频图像修复算法
为了提高修复的正确率,首先要准确找到视频中的受损部分,也就是需要修复的内容。首先,对视频文本等标志区域进行分析,一般台标等标志信息位于视频帧图像的上1/4处,而字幕等文本信息则位于视频帧图像的下1/4左右的位置,具体的文本提取跟踪算法可参考前期的研究工作[10]。对已确定文本区域的视频帧进行3层小波分解,分别对高频子带和低频子带进行修复,最后将修复后的子图像进行重构,从而得到完整的修复后视频图像。视频图像修复流程如图2所示。
2 实验结果及分析
2.1 小波基的选择
小波基ψ(t)的选择不是唯一的,对小波基进行选择应该满足小波定义域紧支撑条件和容许条件。信号t的正则性、小波函数的消失矩阶数和支撑的大小是影响小波基特性的主要因素。实际应用中,如果减小小波函数的支集长度,能够减小高幅值的小波系数的数目。此外,较短的支撑还有利于减小计算量。
因此,综合考虑滤波的实时性和效果,期望所选的小波能同时具有下列性质:1)为避免信号失真,应使小波具有对称性或反对称性;2)为减少运算时间,采用较短的支撑;3)为便于应用Mallat快速算法,小波应具有正交性;4)具有较高的消失矩将有利于更好地匹配待分析的信号。事实上,一个小波基不可能同时具备以上特性,因为这些特性本身存在互相的制约,例如较短的支撑和较高的消失矩是一对矛盾。Haar小波是所有正交紧支撑小波中唯一具有对称(反对称)性小波,但由于其过于简单而不实用。从综合角度出发,Daubechies系列小波是实际使用中的较好选择。
2.2 实验结果分析
本文选择db4小波对视频图像进行多分辨率分解,分解层数为4,利用实验室环境自行录制的视频和网上的视频段进行测试。由于自行录制的图像无文本等要去除区域,首先人为加入损坏区域,然后利用本文算法进行修复,修复结果如图3所示。
对于网上的视频段检测视频中台标文本区域的去除效果,如图4所示。
对于算法效果,目前还没有一个定量的评价标准,仍是用主观的方法来判断修复结果的好坏。本文也只进行了一些简单的实验比较,没有作更多的定量分析。小波分析在水平和垂直方向就有很好的沿边缘特性和多尺度多分辨率分析的优点,实验结果表明该系统能较好地实现视频图像恢复。
摘要：图像修复是指恢复图像中破损区域的颜色信息或者去除图像中的多余物体。针对视频图像损坏特征中较复杂的水平与垂直条带,利用视频图像时间连续性的特点,提出基于小波分析理论的修复方法。实验结果表明,该系统能够较好地恢复视频图像和有效去除文字。
关键词：视频图像修复,小波变换,视频处理,文字提取
参考文献
[1]CHAN T,SHEN J.Non-texture inpainting by curvature driven diffusions(CCD)[J].Journal of Visual Communication and Image Representation,2003,12(4):436-449.
[2]赵静,唐晓静.小波变换及骨架提取在图像边缘检测中的应用[J].宁夏大学学报:自然科学版,2004,25(4):328-331.
[3]BERTALMIO M,SAPIRO G,CASELLES V,et al.Image inpainting[C]//A KELEY K.Proc.ACM Conf.Comp.Graphics(SIGGRAPH2000).N ew Orleas,LA:ACM Press,2000,417-422.
[4]刘志成,陈祥光,李宇峰,等.传感器输出时间序列的实时小波滤波方法[J].北京化工大学学报:自然科学版,2007,34(1):71-75.
[5]CRMNISIA,PEREZ P,TOYAMA K.Region filling and object removalb y exemplar-based image inpainting[J].IEEE Trans.Image Processing,2004,13(9):1200-1212.
[6]IDDO D,DANIEL C,HEZY Y.Fragment based image completion[J].A CM Trans.Graphics,2003,22(3):303-312.
[7]魏琳,陈秀宏.基于纹理方向的图像修复算法[J].计算机应用,2008,28(9):2315-2317.
[8]韩军,闵有刚,宋海华,等.视频图像修复算法研究[J].电视技术,2007,32(7):72-74.
[9]MALLAT S G.A theory for multiresolution signal decomposition:Thew avelet representation[C].IEEE Trans.Pattern Anlysis and MachineI ntelligenc,1989,674-683.
基于分形的图像修复算法 篇3
关键词：分形,图像修复,搜索
0 引 言
图像修复是图像处理中的一项实用技术,可将图像中某些缺失区域依据一定算法进行填补,以收取良好的视觉效果。图像修复技术主要用于历史图片破损修复,图像中的物体或文字移除等。
图像修复的主流算法有两大类。第一类基于偏微分方程(PDE)[1],主要思想是将图像建模为分片光滑函数,通过边界区域向缺失区域内部扩散,用边界区域的梯度控制扩散参数,完成图像修复。这类方法对于修复小范围光滑图像区域效果良好,但在修复纹理区域时,则难以保证纹理的一致性,同时也容易产生过度平滑,影响视觉效果。第二类算法基于纹理合成[2](Texture Synthesis),主要思想是在图像中寻找与边界内容相似的图像块,填充到缺失区域中。此类算法应用更为广泛,但该算法在搜索时对相似性的界定还不够全面,一方面对图像内容比较能力仍显不足,难以找到最佳匹配的图像块,另一方面容易发生误匹配,造成修复错误。
本文算法基于纹理合成的实现原理,引入了分形思想对其进行改进。该算法首先对图像进行分割,确定不同位置的搜索区域。在搜索时,将候选块的多个仿射变换结果与边界块进行比较,寻找最优匹配的结果用于填充。这一算法减少了误匹配的概率,提高了修复的视觉效果,同时由于控制了搜索区域,增大了填充尺度,也保持了较低的运算量。
1 纹理合成算法简介
图像修复中,纹理合成算法的基本实现主要分为四步,分别是:修复区域标记、优先度计算、块搜索和填充。
首先,需要手动标注原始图像待修补区域,标注后的图形区域如图1所示。
由图1可知,Y表示原始图像区域,X表示待修补区域,δΩ为两个区域的边界线。
标注修复区域后,对该区域所有边界点计算优先度,优先度最高的那一点将作为参考块的中心。文献[2]中,优先度P(p)计算公式为:
P(p)=C(p)D(p) (1)
其中,C(p)为信心值,用以表示图像块ψp中已知信息的比例,C(p)的计算方法为:
其中,|ψp|为图像块ψp的面积,I为整幅图像,X为图像的待修复部分。D(p)为数据项,计算方法为:
其中,∇Ip⊥为p点的等照度线,np为p点的法线方向,α为归一化因子,这里α=255。
确定优先修复的位置后,在整个图像中搜索与参考块最为接近的图像块,搜索过程中匹配度的评价使用最小均方误差准则(Sum of Squared Differences,SSD)。搜索到最高匹配度的图像块后将其复制到待修复位置。
将上述步骤运行一次后,即更新修复区域边缘点的优先度,而后重复这一过程,直到图像修复结束。
2 算法描述
2.1 分形理论简介
分形的概念可表达为一种由多个与整体有某种相似性的局部堆叠累加而构成的形体。分形可以使用迭代函数系统(Iterated Function System,IFS)生成,而由拼贴定理[3]可知,任何图像都可以表示为一个IFS。
分形的思想已经应用于图像压缩中[4],分形图像压缩编码的过程是依据拼贴定理,通过给定的图像寻找一组压缩映射,使其组成的迭代函数系统的吸引子逼近给定图像,并记录得到相应参数。解码过程则由对应参数确定迭代函数系统,再根据迭代函数系统定理反复迭代生成图像。
分形图像压缩的基本步骤为:
(1)将待压缩图像进行K×K分块,记为Ri。
(2)将图像进行重叠的L×L分块,记为Di.通常L=2K。
(3)根据最小均方误差准则,在Di中搜索最佳的分割块和合适的压缩映射变换ωi,满足Ri=ωi(Di),即对每个像素点:
其中,ai～fi是放射变换系数,si是亮度变换系数,oi是亮度偏移。
上述过程表示Di经过一组仿射变换和亮度调整后,收敛于Ri。
由以上论述可以推知,图像内部存在的自相似性和仿射变换是分形图像处理的核心。本文也即借鉴分形思想,利用仿射变换,提高图像修复算法的性能。
2.2 算法步骤
算法的实现过程主要分为以下几个步骤:
(1)手动标注原始图像待修补区域。
(2)对图像进行分割,并标注缺失区域对应的背景区域。
(3)对原始图像进行仿射变换,生成仿射变换集。仿射变换参数为缩放50%、80%、120%、150%,旋转30°～180°,间隔30°。
(4)采用第1节介绍的纹理合成算法计算,如图1中,δΩ边界上所有点的修补优先度。
(5)在仿射变换集中搜索候选解。首先,对放射变换集中的图像进行不重叠分块,计算所有子块的平均灰度。然后,在与待修复区域对应的图像局部空间中找出接近于待修复块平均灰度的块作为候选块。接下来,在两倍于侯选块的范围内展开像素级搜索,并基于最小均方误差准则得到用于修复的图像块。
(6)重新计算下次修补的优先度。重复第(5)步,直到图像修复结束。
3 实验结果与讨论
算法采用VC 2010实现,在Thinkpad T420上运行。本文选取了USC-SIPI Miscellaneous 图像库[5]中的20幅图像,并从网络上节选了20幅图像作为测试样本,图像类别涉及人物、风景、遥感图像等广泛门类在内。在将图像中物体删除后,利用本文算法与Criminisi原始算法分别进行修复。原始算法典型结果如图2(b)所示,本文算法结果如图2(c)所示。由图中比较得出,本文算法具有更好视觉效果。
4 结束语
本文提出了一种基于分析的图像修复算法,与传统基于纹理合成的图像修复算法相比,取得了更好的视觉效果,同时也实现了较高的效率。但算法为减小搜索空间,还需要一定的手工标注,下一步需对算法进行优化,增加自动分割与区域标注功能以提高算法的灵活性。
参考文献
[1]CHAN T,SHEN J.Mathematical models for local non-texture in-painting[J].SIAM J.Appl.Math,2001,62(3):1019-1043.
[2]CRIMINISI A,PEREZ P,TOYAMA K.Region filling and object re-moval by exemplar-based image inpainting[J].IEEE Transactionson Image Processing,2004,13(9):1200-1212.
[3]JACQUIN A E. Image coding based on a fractal theory of iterated contractive image transformations[J]. IEEE Transactions on Image Processing, 1992, 1(1):18-30.
[4]DAN C P , DIMCA A, YAN H. A nonlinear model for fractal image coding[J]. IEEE Transactions on Image Processing, 1997, 6(3):373-38.
基于遗传匹配追踪的图像修复算法 篇4
本文结合GMP提出一种采用混合选择算子的图像修复算法,该算法在使用GMP对图像进行稀疏表示的过程中,使用精英保留策略、竞标赛选择方法和轮盘赌方法[15]相结合的选择算子,在变异过程中采用动态变异的方式,通过仿真实验验证算法的可行性。
1 基于GMP的图像修复算法
1. 1 GMP算法原理
Mallat和Zhang引入的MP是一个通过选取字典向量来优化逼近的贪婪算法。信号f的最佳逼近原子 φp0∈ D( D是过完备字典库) 为
逼近残差为
通过从字典里选取另一最优原子 φp1,进一步用MP逼近误差R ,继续这一过程,得到l阶误差Rl( l = 1,2,…,K) ,最后得到信号的分解式
GMP将MP中的参数空间投影到编码空间进行编码,编码采用实数编码,设定初始种群规模Size 、种群代数G 、参数编码长度n ,并形成初始种群pm,解码并计算种群中个体的适应值,得到本代最优个体,但不是全局最优的个体,判断m是否小于G ,小于则进行遗传操作,在保留上一代优良基因的同时又加入了新的基因,大于G则跳出遗传算法,并带回最优个体的原子、残差及投影系数,判断原子个数是否小于K ( 稀疏度) ,小于则继续进行迭代,否则停止,得到最终的原子及投影系数。
1. 2 基于GMP的图像修复算法
图像修复是利用损坏图像的未被损坏信息,按照一定规则对损坏区域进行填补,利用压缩感知理论对损坏区域进行修复是一种新颖的方法。设图像的完整信息为f ,未被损坏区域为yobs,则yobs= Mf ,M是掩模算子,损坏区域为y = f - yobs,图像具有稀疏性,所以f在字典D中可以稀疏表示
根据图像的全局稀疏性,未被损坏区域yobs和损坏区域y共用稀疏系数 α ,则图像修复问题可定义为
基于GMP的图像修复算法就是通过GMP求解式( 5) 得到系数 α ,然后利用式( 6) 恢复损坏区域y的过程。
2 改进的GMP图像修复算法
2. 1 改进的选择算子
选择算子具有降低种群多样性和保护种群收敛性的双重作用,使用单一的选择算子会导致早熟并且降低种群的多样性。为了解决这个问题,在进化的前后阶段分别使用不同的选择算子来达到选择压力的改变,并且保留精英个体,将每代中最优的个体直接复制到下一代,而不经过交叉和变异操作,把最差的个体替换为最优的个体,在进化初期为了保护种群的多样性使用锦标赛选择方式来降低选择压力,而在后期为了加快收敛使用轮盘赌方法来提高选择压力。
2. 2 基于改进的GMP图像修复算法
基于改进的GMP图像修复算法的具体实现步骤如下:
1) 给定待修复图像的未被破损区域yobs和掩模算子M ,选择合适的字典D ,设置种群规模Size ,种群代数G ,参数编码长度n ,稀疏度K ,交叉率pc,变异率pm,迭代次数l = 0 ,随机产生初始种群。
2)计算种群中每个个体的适应值eval(vi),i=1,2,…,Size,即个体所对应字典D中的原子φpl与残差R或yobs的内积,最高的适应值即为原子与残差内积的最大值。
3) 选择运算: 采用改进的选择算子对种群进行选择,即保留适应值最高的个体,直接复制到下一代,把适应值最低的个体替换为最高的个体,前G1代选择锦标赛方式进行选择操作,后G - G1代选择轮盘赌方式进行选择操作。锦标赛方式为随机两两一组进行竞赛,选择适应值最大的个体。轮盘赌方式为先计算选择概率pi及累计概率qi,即
然后在[0,1]区间产生一个均匀分布的伪随机数r ,若r < q1,则选第一个个体v1; 若qi -1< r ≤ qi,则选第i个个体,依次进行下去。
4) 交叉运算: 采用算术交叉的方式,根据交叉率pc选出交叉个体,将交叉个体两两随机配对,根据以下方式产生后代。设双亲为v1和v2,交叉产生的后代为
5) 变异运算: 根据变异率pm选出变异个体,设变异个体为v ,则变异后的个体vm按如下方式产生
式中: vU为字典D变量的上界; r是[0,1]间的随机数; G是最大代数; g为代数; b为确定不均匀度的参数,取2。
6) 判断种群是否收敛,若收敛转至步骤7) ,否则,转至步骤3) 。
7) 通过解码得到最优个体对应的原子参数,并由参数计算出最优原子 φpl,再将原子与残差作内积运算得到原子的系数 αl。判断l是否小于K ,是则转至步骤2) ,否则转至步骤8) 。
8) 最后得到式( 6) 的稀疏系数 α = { αl,l = 1,2,…,K} ,对应的原子D = { φpl,l = 1,2,…,K} ,通过式( 6) 计算出损坏区域y 。
3 实验结果及分析
3. 1 图像修复的评价
本文对图像修复效果采用客观评价法进行评价,评价指标为信噪比,计算方法为
式中: I0,I1分别表示原图与修复后的图像,信噪比越高,修复的效果越好。
3. 2 仿真结果
本节在小区域修复和文字去除等方面做实验验证算法的可行性,并与FOE方法、TV方法、CDD方法进行比较。表1 给出了基于本文GMP图像修复算法的参数设置,字典D采用文献[16]中的2D几何字典。表2 给出了3 种算法修复3 幅图像的信噪比。
图1 为对Lena图字母掩模后的修复,图1a为掩模后的图像,图1b为字母掩模,掩模率为22. 75% ,从图1c、图1d、图1e和图1f中可以看出: FOE方法在肩膀部位出现锯齿,帽子和图像左边界有阴影; TV方法在边缘部分的修复效果不是很理想; CDD方法有个别像素在修复时出现错误,边缘部分有些模糊; 而本文方法无论在平滑还是边缘区域修复效果都很好,并且信噪比高。
图2 为对Peppers图随机掩模50% 的修复,即有一半的信息丢失,从图2c、图2d、图2e和图2f中可以看出:FOE方法在某些边缘部分出现了锯齿; CDD方法对于边缘部分基本发生了模糊; TV和本文方法修复效果都很好,但是本文方法的信噪比更高一些。
图3 为对Boat图用棋子格掩模后修复的图像,图3a和图3b中黑色区域为宽度2 个像素的掩模区域,掩模率为11. 38% ,从图2c、图2d、图2e和图2f中可以看出:FOE,TV和CDD方法对船上的桅杆和船身修复时有阴影出现,而本文方法修复后的阴影很少,且信噪比高。
4 结论
基于改进的纹理合成图像修复算法 篇5
数字图像虚拟修复是指对那些局部数据信息完全丢失的图像进行修补, 以恢复其完整性和原有的视觉效果, 并使观察者无法觉察到图像曾经缺损或己被修复。由于该技术不需要直接处理原作, 可以根据需求反复调整, 最终再确定采用何种修复方法, 因此安全可靠, 具有很高的实用价值。近年来研究表明, 计算机辅助的数字化保护和修复古代艺术作品取得了一定进展, 这种方法在排除损坏文物的危险性的基础上, 还具有效率高、可重复性等传统方法所没有的优点。计算机的操作不仅提高了工作效率, 甚至可以完成以前某些无法完成的工作。随着计算机技术的发展, 数字图像修复技术可以应用到很多方面。首先, 文物在保存时, 不可避免会受到环境、人为等因素的影响, 进而产生霉斑、划痕、破损等, 为了保持作品完好的视觉效果, 要对这些文物和艺术作品进行修复, 以往主要通过专业人士进行手工修复, 这对人们的技术性要求非常高, 同时它也是一项具有高风险的任务, 因为文物和艺术作品极其珍贵, 如果修复失误, 将造成难以弥补的损失。加之修复大量有损伤的文物需要耗费大量的时间和人力财力, 传统修复方法的特殊性和局限性, 使得文物的保护修复工作进展缓慢。我们可以借助于数字图像修复技术对这些文物数字照片先进行虚拟修复, 为文物的实物修复提供参考。另外, 在一些档案老照片的保护上, 老照片存放时间过长会存在一些折痕或乌迹, 也可以借助数字图像修复技术进行修复, 当然还有一些计算机特效处理以及一些富含玟理特征的照片的生成, 都可以利用数字图像修复技术得到很好的修复效果。所以将数字图像修复技术应用到文物修复领域中, 成为传统文物修复算法的一个新趋势。
在当前图像修复技术中, 比较经典的两大类是:图像润饰 (inpainting) 的方法和基于纹理合成的图像修复方法[1,2,3,4]。图像润饰方法首先由Bertalmio[5]等人引入到数字图像, 使用基于偏微方程 (PDE) 的修复模型[6]。基于此思想的方法还有Chan[7]提出的整体变分 (YV) 模型以及基于曲率驱动扩散 (CCD) 模型等[8]。图像润饰适合修复有小瑕疵的图像, 但修复较大区域效果模糊, 且对纹理较强的破损区域修复效果差。本文所使用的是基于纹理合成的图像修复算法。基于纹理合成的图像修复方法中最经典的算法是由Criminisi[9]等人提出, 该算法在基于样本的纹理合成算法[10]基础上再融合图像润饰结构扩散的特点, 修复效果较好, 适用于修复大面积的破损。在此基础上的改进主要有小波变换的图像修复[11], 利用邻域特性的图像修复和基于匹配块的图像修复算法等。本文在分析了图像修复技术中的Criminisi算法后, 针对它的不足, 提出一种新的改进算法。
1 Criminisi算法简介及存在问题
1.1 Criminisi算法简介
Criminisi算法核心是基于样本的纹理合成, 该算法主要包含以下4个步骤:
1.1.1 计算优先级
优先级的大小取决于两部分因素:一部分是该模板的数据值, 它反映了模板的结构信息强弱, 从而保证线性结构部分的优先合成;另一部分是模板的置信度值, 要求优先填充那些含已填充像素较多部分的模板, 因为填充这样的模板可以依赖更多的已知像素。公式如下:
C (p) 表示模板的置信度值, D (p) 表示模板的数据值, C (q) 表示模板内像素点的置信值
1.1.2 扩散纹理和结构信息
从源区域取样, 寻找和该模板最匹配的模板, 搜索整幅图像的已知信息区域后, 找到SSD (颜色平方差的和) 最小的模板即为最优匹配模板, 将相应的像素点复制填充到目标区域的模板中
1.1.3 更新置信值
第一优先级的计算, 随着填充过程的进行, 模板数据值会迅速下降零, 这样使得计算出的优先级不可靠。
第二采用全局搜索算法来寻找最优匹配块, 这样不但会产生错误匹配, 而且还会使填充速度变慢。
第三置信值的计算, 对破损区域内原有的像素点和填充上去的像素点进行相同处理, 算法容易导致修复效果越来越差, 从而形成它的贪婪性。
1.2 算法存在的问题
Criminisi算法的缺陷主要表现在三个方面:第一优先级的计算, 随着填充过程的进行, 模板数据值会迅速下降到零, 这样计算出的优先级不可靠。因此, 会出现错误的填充顺序, 并且会影响修复效果。第二采用全局搜索算法来寻找最优匹配块, 这样不但会产生错误匹配, 而且还会使其填充速度变慢。第三置信值的计算, 对破损区域内原有的像素点和填充上去的像素点进行相同处理, 也就是说破损区域原有的像素点和填充上去的像素点可靠性一样高, 没有考虑到本次修复的效果, 该算法容易导致修复效果越来越差。
2 算法改进
2.1 优先级计算的改进
原算法用乘积的形式决定优先权, 在修复的过程中, 如果数据为0, 那么置信值信度项很高由于优先级为零也不能得到优先修复。并且在修补过程中如果多个范本块的D (p) 同时为零, 会使它们的优先级也都为零, 从而使C (p) 值失去了意义。
综上所述, 使用原算法计算优先值并不准确, 所以将优先级的计算改为如下公式:
公式中α和β为调节参数 (实验中, 取α=0.382, β=0.618) , 不考虑C (p) 为零的情况 (实际p点位于填充轮廓在线, 待修复模版置信度值不会为零) 。这样能保证当数据项为零时, 只要置信度项足够高, 也可以得到优先修复。
2.2 匹配区域及最优匹配块的改进
对于根据优先权值确定的当前待修复点p, 它在上述确定的匹配区域中搜索匹配点的方式为, 以点p为中心, 顺序搜索与p的棋盘距离为n (1≤n≤max, n∈N) 的各点作为匹配点, 并依次以这些点为中心生成候选块与待修复块做SSD计算, 直至搜索完匹配区域。这样的搜索方式使得匹配块搜索是由近及远, 对于最优匹配块的选择也是优先考虑距离p点最近的颜色差距值最小的匹配块。搜索中, 直接对第一次搜索到的颜色差距值最小的候选块作记录, 并将其作为最优匹配块, 复制其信息到待修复块相应位置, 得到的修复结果与其邻域的相关性较大, 也更加符合视觉上的效果。
2.3 置信值的改进
Criminisi算法在对破损图像的模板更新时, 只要是已经修复的区域, 就将修复好的像素置信值置为1。这也意味着在下次计算模版的C (p) 时, 不论是原图像上的非破损像素点还是经过修补之后的像素点的C (q) 都是1, 这样也就相当于修补之后的像素点和原图的非破损区域的像素点同样可靠。算法修补一个模板后更新边界, 极有可能导致新边界上优先级最大的点就处于刚填充的范本中, 然后继续向内部延伸。算法循环中如果某个模板被填充了不符合视觉效果的颜色信息, 会导致不合理的颜色信息继续延伸下去, 最终导致修复的视觉效果不佳。
为了克服以上不足, 本算法特设定一颜色阈值T。阈值T的确定, 根据计算具体图像修复模板对应的SSD的值来确定。
上述公式中, 如果最优匹配范本对应的SSD值小于阈值T, 说明其可信度高, 则待修补像素的置信值, 用源图像模板对应像素点的置信值直接更新。如果SSD的值大于T, 说明其相对于源区域中的信息来说可信度值进行更新。如匹配前某优先级最大的范本置信度值为0.68, 则匹配后其剩余待修补像素点的置信值都置为0.68。这样保证在不断修补的过程中越是深入待修补区域的内部, 可信度就越低, 这符合一般规律。可信度越低, 最后得到的优先级P (p) 就越低, 填充时应该尽量寻找整体置信度比较高的匹配模块对待修复区域进行填充, 这就保证了图像修复的顺序基本上是从外围向中间修复。
3 实验结果分析
本文算法采用Visual C++6.0开发平台, 算法中取α=0.382, β=0.618, 颜色阈值T取为11, 以下是效果图对比:
图1 (a) 这幅照片因年代久远, 有明显的白色折痕, 以照片中中间那位女士为修复对象, 将折痕部分标记出来, 如图1 (b) , 图1 (c) 则是应用Criminisi算法修复后的图片, 图1 (d) 是本文算法修复后的效果图。经过对比, 可以明显看出本文算法修复效果比较完整, 无明显折痕。
图2 (a) 是一个破损文物的图像, 我们将其裂痕标记出来如图2 (b) , 采用两种算法进行修复, 图2 (c) 是Criminisi算法修复后的效果图, 可以明显看出有一处裂缝没有修复好, 本文算法修复效果如图2 (d) , 修复效果比较自然, 无明显瑕疵。
实验中分别统计了图1、图2中图像缺失像素的个数和两种箅法修复需要的时间, 如表1所示。
4 结论
数字图像修复技术是当下较新的研究课题, 本文主要研究了基于纹理合成的数字图像修复, 通过实验结果的数据列出以下几点总结: (1) 系统采用基于Criminisi的图像修复算法进行改进, 算法先进, 修复效果好; (2) 算法从优先级的运算、匹配区域及最优匹配块的搜索和置信值更新三个方面进行改进;改进算法的修复效果会比原算法有进一步的提高, 更符合人类视觉系统的特征; (3) 算法采用Visual C++6.0开发平台, 便于图像处理, 同时改进算法由于只是在局部进行修复运算, 大大减少了修复时间;对于缺损区域在10000像素以内的真彩图像, 修复时间基本控制在10秒内; (4) 系统接口直观, 交互性好, 能实时显示图像修复过程, 突破了以往图像修复软件只显示图像最终修复结果的局限性。
参考文献
[1]Tang F, Ying Y, Wang J, et al.A novel texture synthesis based algorithm for object removal in photographs[M].Advances in computer science-ASIAN 2004.Higher-level decision making.Spring Berlin Heidelberg, 2005:248-258.
[2]Borikar S, Biswas K K, Pattanaik S.Fast algorithm for completion of images with natural scenes[J].graqhics.cs.ucf.edu/borikar/Borikar Paper.pdf, 2005-04-20, 2004.
[3]Cheng W H, Hsieh C W, Lin S K, et al.Robust algorithm for exemplar-based image inpainting[C].Proceedings of the International Conference on Computer Graphics, Imaging and Visualization.2005.
[4]Chuang Y Y, Curless B, Salesin D H, et al.Abayesian appraoch to digital matting[C].Computer Vision and Pattern Recognition, 2001.CVPR 2001.Proceedings of the 2001 IEEE Computer Society Conference on.IEEE, 2001.
[5]M.Bertalmio, G.Sapiro, V.Caselles, C.Ballester.Image inpainting[J], Computer Graphics (SIGGRAPH2000) , pp.417-424, July2000.
[6]岳坚飞, 钱玲.基于偏微方程 (PDE) 的图像修复[D].南京理工大学, 2006.
[7]CHAN T F, SHEN J H.Non-texture inpainting by curvature driven diffusions[J], Journal of Visual Communication and Image Representation, 2001, 12 (4) :436-449.
[8]CHAN T F, KANG S H, SHEN J H.Euler’s elastic and curvature based inpainting[J], SIAM Journal on Applied Mathematics, 2002, 63 (2) :564-592.
[9]Criminisi A, Perez P, Toyama K.Region filling and Object removal by exemplar-based image inpainting[J], IEEE Transactions on Image Processing, 2004, 13 (9) :1200-1212.
[10]朱霞, 基于纹理合成的数字图像和是视频修复研究[D].长沙:中南大学.
基于压缩感知的图像修复技术研究 篇6
关键词：压缩感知,图像修复,修复技术
0 前言
运用缩感知进行图像的修复主要是利用信号的稀疏特性, 可以通过少量的能够采样数据来来对图像的信号进行重构。针对这种特性, 可以利用破损图像中其他部分的信息为压缩感知提供采样数据, 进而对图片破损部分或是需要去除水印的部分进行重构技术, 从而实现对图像的修复。
1 压缩感知技术的基本理论
对于图像信号采集和处理主要包括数据采样、数据压缩、数据传输和解压等工作。在以往我们对图像的信号进行采集的时候, 要保证图像的信号频率带宽比奈奎斯特采样率低, 只有这样才能保证采样点最终可以恢复出图像的原信号。一旦图像信号带与奈奎斯特频率相同或是高于奈奎斯特频率, 就会使采样出现混叠现象, 采样点也不能完整的恢复出原信号, 图片就是产生一定的损坏。
压缩感知是新产生的一项采集和处理图像信号的技术。其主要的优势在于能够在确保不损坏图像信息的的基础上, 利用信号稀疏性的特点, 实现采集信号与压缩信号的步骤相结合, 并以极大地低于奈奎斯特采样率的信号频率带宽进行信号的采集工作, 最终运用重构技术使原始信号能够被完全恢复出来。压缩感知理论能够有效的降低对信号进行采样时的频率, 极大的减少传输过程中信号损坏的情况, 降低处理数据的时间和计算成本。
自从压缩感知理论摆被提出以来, 受到了相关领域包括信息论、图像处理、通信传播等许多行业的广泛关注。发展至今, 压缩感知技术已经在图像和数据的采集、处理、压缩和传输等领域进行了十分广泛的应用。同时, 压缩感知的稀疏性以及信号重构技术还可以对图像中进行去噪处理、图像修复并对图像的分辨率进行修改和重构, 有进一步促进了压缩感知技术的发展和应用。
2 基于压缩感知技术的图像修复算法
在对压缩感知技术进行研究的过程中, 可以发现, 压缩感知技术能够利用较少的数据采样完整的重构或是恢复出原信号, 基于此压缩感知技术也逐渐的被应用于图像修复领域。通过先进的修复算法, 在图像修复的过程中将压缩感知的稀疏表示以及信号重构技术与传统的图像修复技术进行有机的结合, 进一步发展图像修复技术。其中, 最为常见的就是在将压缩感知技术与纹理的修复算法相结合, 将线性逆问题进行规则化的处理。
块纹理重构算法是图像修复技术中应用较为广泛的, 其主要是对破损面积较大的图像进行修复, 块纹理重构算法主要是对破损区域进行填充式修复, 根据这以特点, 将压缩感知中的稀疏表示以及信号重构技术与块纹理重构算法相结合, 能够更好的对图像中大面积的损坏进行修复和重构以及去除目标对象等工作。
3 基于压缩感知图像修复技术中存在的不足以及未来的发展方向
随着压缩感知技术的提出和应用, 图像修复的工作得到了进一步的发展。因此我们可以说压缩感知技术是推动图像修复领域不断进步的巨大动力, 其在图像修复领域中发挥着不可替代的作用。但是我们不能满足于这种发展并止步不前, 而是应该加大对于图像修复相关技术的研究, 发展新的算法, 以满足实际生活中人们对于图像修复工作更高的要求, 实现相关领域的可持续发展。基于压缩感知图像修复技术未来的发展情况主要可以从以下三个方面来进行分析:
3.1 提高对于图像的认知
当前所发展的图像修复技术并没与对图像的规律有一个科学而全面的认知, 因此并没能充分的应用相关的规律来进行图像的修复。因此在修复的过程中, 也仅仅只是单一的对一部分的图像信息进行运用, 缺乏综合性的考量[4]。那么今后的研究重心就要放在如何对图像进行全面系统的认识, 充分的了解图像的规律, 并在此基础上对图像的信息和规律进行利用, 针对不同的情况选择合适的算法, 以确保各个算法都能发挥自身的优势。
3.2 简化算法
基于压缩感知技术的图像修复算法虽然能够很好的对破损图像进行修护, 但是在不断迭代的过程中, 修复图像所使用的算法就有一定的难度, 因此会消耗较多的时间。那么就需要在未来的研究重, 寻找简化算法的方式, 从而有效的提高信号重构的速度, 进一步提高图像修复的效率。
3.3 与先进科学技术相结合
基于压缩感知理论的图像修复技术, 并不是独立存在的, 例如利用块纹理重构法进行图像修复时, 就是与贝叶斯理论相结合, 从而发挥出巨大的作用。因此在未来的发展中, 要注意将更多的先进科学技术融入基于压缩感知的图像修复技术中, 从而促进图像修复技术的发展。
4 总结
基于压缩感知的图像修复技术是当前应用最为广泛的图像修复技术, 它可以利用较少的数据采样还原出原始信号, 从而实现对图像的修复。因此应当加大对于这项技术的研究, 促进图像修复技术的进一步发展。
参考文献
[1]崔国庆.基于压缩感知的图像修复技术研究[D].上海交通大学, 2013.
[2]张湃.可实现图像自修复的压缩感知超分辨率成像算法的研究[D].燕山大学, 2013.
[3]党宏社, 张娜.一种基于贝叶斯压缩感知的图像修复方法[J].河南大学学报 (自然科学版) , 2014, 05:601-607.
[4]周亚同, 王丽莉, 唐红梅.基于压缩感知的稀疏度自适应图像修复[J].铁道学报, 2014, 09:52-59.
基于多模板方向的图像修复方法 篇7
关键词：图像修复,Criminisi算法,模板方向,样本匹配
数字图像修复是按照一定的规则, 根据原图像中的有效信息, 对图像中破损的区域进行信息的填充和修正, 以期达到视觉上的修复效果, 最终恢复原图像连续、完整、自然的视觉效果[1,2]。目前存在两大类卓有成效的图像修复技术:一类是基于偏微分方程 (PDE) 的图像修复技术, 该技术适用于修补图像中的小尺度缺损;另一类是基于纹理合成的图像修复技术, 该技术适用于填充图像中大面积的破损区域。
基于纹理合成的图像修复技术借鉴了纹理合成的方法来寻找最佳匹配块并进行复制, 是目前主流的方法, 它有效地结合了偏微分方程和纹理合成的优点, 相对其他算法而言, 可以处理大面积的图像破损, 获得较好的视觉效果。在这类算法中, 最具有代表性的是Criminisi等人提出的基于模板和优先权函数的图像修复算法[3], 该算法在保持图像纹理信息的同时也保持了结构信息, 其实现简单且修复精确, 不会导致模糊, 因而得到大量的应用[4—6]。
但是由于Criminisi算法采用单一方向、固定大小模板寻找最佳匹配块, 容易产生错误匹配甚至查找失败问题, 目前出现了一些Criminisi算法的改进算法。文献[7]分析了Criminisi算法中的优先权函数, 由于置信度值很快下降至零, 使得优先权计算不可靠。通过提出一个更加合理的优先权函数计算公式, 保证了图像中的结构信息和纹理信息被准确的填充, 最终使修复效果更加优化。文献[8]提出了一种“基于可变大小模板的改进图像修复算法”, 在Criminisi算法基本框架下, 采用大小可变的模板来提高搜索准确率。文献[9]通过分析图像的梯度域变化, 提出自适应确定待修复样本块大小的修复算法, 该算法针对具有明显结构变化的图像有着理想的修复效果。
现则根据自然图像中存在大量对称或有规则的物体的特点, 针对Criminisi算法采用单一模板方向的不足, 提出了一种基于自适应模板方向的图像修复算法。该算法在进行模板的搜索时, 通过对待修复块或样本块进行不同角度的旋转和/或映射变换, 来提高最相似模板的搜索成功率, 防止错误匹配的发生, 进而有效改善了图像的修复效果。
1 Criminisi算法
Criminisi算法是Criminisi等人[3]在2003年提出的一种基于样本块的修复算法, 该算法兼顾了图像纹理信息和简单的结果信息, 保持了纹理的自然过度和主要结构的连贯性, 达到了非常震撼的效果, 成为目前主流的图像修复算法。Criminisi算法的主要思想是:首先从待修复区域的边界上选取一个像素点, 同时以该点为中心, 根据图像的纹理特征, 选取大小合适的样本块, 然后在待修复区域的周围寻找与之最相近的最佳匹配块来代替该样本块。
图1为利用Criminisi算法的图像修复过程图[10], I表示输入的待修复图像, Ω表示待修复区域, Φ=I-Ω表示已知区域, ∂Ω为待修复区域与已知区域的边界。图1 (b) 中p是边界上的任意点, np是边界线在p点的单位法向量, ▽Ip⊥是p点等照度线强度和方向 (即梯度方向的垂直方向) 。图1 (c) 中ψp为以p点为中心的待修复块, p点通常选取处于边界的延长线上的点, 且要求被高置信度像素包围。ψq'和ψq″分别为以q'点和q″点为中心的样本块。
Criminisi算法的目的是在Φ的边缘∂Ω上选择合适的像素点p, 按照优先权函数定义的顺序向待修复区域填充修复信息。通过比较图1 (c) 图中ψq'和ψq'的优先权大小得到与待修复块最近似的样本块, 如图1 (c) 所示, 最后将此最佳匹配块复制到待修复块中, 如图1 (d) 所示[11]。
Criminisi算法大致可以分为以下三个步骤
1.1 优先权计算
Criminisi算法首先要确定破损区域的优先权, 通过计算得到具有最高优先权的待修复块。优先权函数P (p) 由下式给出[12]
式中C (p) 为置信度项, D (p) 表示数据项。初始化时, 当p∈Φ时, C (p) =0, 当时, C (p) =1。α为归一化系数, 对于典型的灰度图像, α取值255。np是边界∂Ω在p点的单位法向量, |ψp|为以p点为中心的待修复块ψp的面积。
1.2 最佳匹配块的确定
当算法查找到具有最高优先权的待修复块ψp后, 下一步则要在图像的已知区域内寻找与待修复块最近似的样本块ψq[13]。根据匹配代价函数, ψp和ψq应满足如下条件
对于灰度图像, d (ψp, ψq') 是对应各点的灰度值的方差和
式 (5) 中Vip表示待修复块ψp里第i个像素的颜色值, Viq'表示匹配块中对应的第i个像素的颜色值, m为ψp里已知像素点的个数。
根据式 (4) ~式 (6) 即可找到与待修复块最近似的样本块ψq。
1.3 置信度更新
确定了最佳匹配块后, 将最佳匹配块对应点复制到待修复块中, 此时图像的边缘部分发生变化, 置信度值也需要及时更新[14]:
重复以上三个步骤, 直到修复边缘为0, 完成图像修复。
2 基于多模板方向的图像修复算法
由于Criminisi算法采用单一方向模板搜索最佳匹配块, 得到的最佳匹配块与待修复块难免会产生误差, 经过多次迭代匹配后, 误差不断累计, 使得最终的修复效果不理想。考虑到大自然中大多数图像是有规则的图像, 如人脸、建筑物等对称图像, Criminisi算法没有利用这种规则性, 可能导致最佳匹配块的匹配错误, 造成误差累计, 因此Criminisi算法针对真实的自然图像处理得不够合理。本节针对Criminisi算法的不足进行改进, 提出一种基于自适应模板方向的图像修复算法, 充分利用大自然的特性并加以应用, 从而获得理想的修复效果。
2.1 自适应模板方向的原理
Criminisi算法中关键步骤之一为确定最佳匹配块。通常采用大小为5×5的模板, 利用此模板在原图像中的信息完整区域按照中心像素逐像素进行查找, 当找到与待修复块最近似的样本块时, 拷贝最佳匹配块对应点的像素信息进行当前待修复块未知信息的复制, 即信息填充。由于最佳匹配块与待匹配块之间可能会有误差, 经过多次迭代匹配后, 误差不断累计, 最终造成与原图像的偏差。
图2 (a) 为一个对称的原图像, 图2 (b) 为待修复图像, 对图2 (b) 使用Criminisi算法进行修复, 得到结果图2 (c) 。图中可以看出, 图像的左边部分出现明显的错误, 和原图差距较大。
以图3作为一个典型的错误匹配的例子来进行说明。图3 (1) 为Y轴对称图形, 假设a方块为待修复块, b、c为随机的两个样本块。经观察可见, 此图中无法找到与a待修复块完全一样的样本块。但b样本块与a样本块对称相同, c样本块旋转180°后则与a图相同。这一变换过程如图3 (2) 所示。如果选择的最佳匹配块是b样本块沿Y轴对称的样本块或者是c样本块顺时针旋转180°后的样本块, 则所得到的最佳匹配块与待修复块a完全相同, 此时待修复块a将会得到最完美的修复, 不会出现图2 (c) 所示的误差。
对于图像中存在某些规则或者对称时, 通过样本块的旋转或者映射等可以找到与待修复块完全相同的匹配块, 这样就不存在误差, 也就不会产生累计误差, 得到的修复效果将会是最完美的。本文提出的基于自适应模板方向的图像修复算法正是基于这一原理。
2.2 基于自适应模板方向的匹配
在本文的算法中, 根据自适应模板方向的原理, 对模板的方向进行改进, 使其在一定的范围内进行多方向查找, 从而提高了最佳匹配块的查找成功率, 防止了错误匹配。模板的方向可以在0°~360°之间变化, 变化范围越大, 查找效率越低。为了均衡图像修复的效率及速度问题, 设最佳匹配块的可能状态为以下8种, 分别为旋转0°、90°、180°、270°, 以及映射得到的0°、90°、180°、270°。以图3 (a) 中待修复块a为例, 得到的最佳匹配块可能状态的查找方向如图4所示。
通过模板的多方向匹配改进后, 在求最佳匹配块时的匹配式就有以下八种情况, 分别对应图4中可能状态的查找方向, 假设所用模板大小为m×m
旋转0° (方向1) :
旋转90° (方向2) :
旋转180° (方向3) :
旋转270° (方向4) :
映射0° (方向5) :
映射90° (方向6) :
映射180° (方向7) :
映射270° (方向8) :
式中, Vijp表示待修复块ψp里第i行j列像素的颜色值, Vijq'表示匹配块中对应的第i行j列像素的颜色值, m×m为ψp里已知像素点的个数。
根据以上8种情况, 计算每个匹配块与待修复块之间的差值, 并根据匹配代价函数, 由式 (4) 计算找到最佳匹配块, 然后进行逐像素填充。通过模板多方向的查找, 最佳匹配块的查找成功率有效地提升, 当匹配的错误率降低之后, 累计误差的概率也降低了。因此最终的图像修复效果也得以增强。
3 实验结果及分析
图像修复算法的衡量标准通常有两个方面:图像修复后的视觉效果和修复消耗时间。本文主要针对图像的修复效果进行分析和研究。目前的图像修复评测标准中, 针对图像的修复效果, 最常见的是均方差测度 (MSE) 算法, 其计算量较少, 定义如下所示
式 (15) 中M、N分别为图像的行数和列数, f (i, j) 为原图像中点 (i, j) 的像素值, 是修复后图像中点 (i, j) 的像素值。实验是在配置为2.0 GHz处理器、2 GB内存的计算机上运行的, 利用Visio studio 2010进行仿真实验。图5和图6为分别使用Criminisi算法和本文的改进算法对同一对称图像进行修复的过程图。对比图5、图6, 从图5 (c) 、5 (d) 、5 (e) 可以看出, Criminisi算法逐渐产生错误累积, 最终修复结果图5 (f) 和待修复图像 (a) 差距较大。而本文提出的算法则获得令人满意的修复结果。图7是自然图像分别用Criminisi算法和本文算法进行修复的过程图。从图中可以直观地看出, Criminisi算法采用默认的模板进行搜索, 修复不彻底, 出现了明显的不相容的“垃圾块”, 而改进算法自然地还原了原图像, 从视觉效果上来看比Criminisi算法更好。
图8 (a) 是纹理信息丰富的彩色图像, 图8 (b) 中绿色破损区域为待修复区域, 图8 (c) 是利用Criminisi算法进行修复的结果图, 图8 (d) 是利用本文算法进行修复的结果图。从图8 (c) 、图8 (d) 中可以看出, 本文算法修复的结果非常自然, 而Criminisi算法修复的结果有轻微的人工痕迹, 视觉效果上不连贯, 能看到砖块的变形部分。
为了进一步比较本文改进算法与原Criminisi算法的优劣, 下面采用均方差测度算法, 对图7和图8进行计算, 计算结果如表1所示。
从表1可知, 在均方差这个指数上, 改进算法的结果相比原算法有较为明显的提升, 图7的改进算法的MSE是原算法的65%, 提升了35%, 图8提升了33%, 说明改进算法在匹配精度方面具有明显的优势。在理论分析方面, 因为改进算法在候选模板的数量上增加了7倍, 由原算法的一个模板, 根据上文分析的8个方向, 可以演变为8个模板, 这样大大地增加了匹配的概率, 使得到的最佳匹配块与待修复块的相似性提高, 降低了MSE指数, 图像修复效果得到改善。
4 结论