修复算法（共7篇）
修复算法 篇1
引言
图像修复是对图像上信息缺损部分进行填充的过程, 其主要目的是对图像进行修复, 或者移除目标, 并使观察者无法察觉图像曾经缺损或已经修复, 目前, 图象修复技术包括基于偏微分和基于纹理两种修复技术。针对大面积破损区域的修复, 主要应用的是纹理合成算法, 目前纹理修复代表性的成果为文献[2]提出的Criminisi算法, 该算法通过自定义的优先级函数, 结合受损区域周围块像素灰度值变化的整体趋势, 将源区域中的像素点填充到目标区域中, 从而使纹理修复的视觉质量达到了满意的效果。本文通过人为选择匹配区域来改进Criminisi算法, 提出了一种新的图像修复技术, 实验证明, 改进算法的修复结果更加真实可信。
一、Criminisi区域填充算法
给定一个图像I, 如图1所示, Ω是待修复的区域 (即目标区域) , δΩ是Ω的边界, Φ是已知区域 (即源区域, Φ=I-Ω) , p为修复边界δΩ上的点, ψp是以点p为中心的块其优先权P (p) 为:P (p) =C (p) D (p)
式中, , |ψp|是ψp的面积, C (q) 为模块内像素点的置信值, 初始时, 待修复区域中的点值设为1, 源区域中的点的值设为0;, α是归一化因子, np是p点的法向量, 是与边缘梯度相垂直的向量。在目标区域边界δΩ上找到优先权值最大的点, 以SSD (颜色平方差的和) 计算与匹配区域中所有的匹配块ψq存在的像素之间颜色的差距, 计算公式如下:
寻找一个匹配块, 使得为最小。最后, 用中的相应点替代中的未知点, 在填充了新像素之后, 对于, 更新置信度C (q) , 即
二、改进算法
Criminisi图像修复算法中, 对每个待修复块都是对整个源区域进行全局式的搜索, 导致算法耗时大、效率低。通常一幅图像, 具有很强的空间冗余度, 相邻像素值的变化小, 很多这样的具有相关性的点便形成了一个图像的结构和纹理, 根据马尔科夫随机场模型 (MRF) , 假设一张图像可以由MRF来描述, 即由于图像具有局部统计特征, 其任一部分可以由周围部分 (邻域) 完全决定, 据此得出, 本文提出人为选择目标区域周围部分作为匹配区域, 来缩短搜索时间和使匹配块搜索更加精确。如下图所示, 我们所要做的工作是将图2中绿色区域修复, 图3中红色区域是人为选择的匹配区域, 可以看出匹配区域在目标区域的周围。
三、实验结果
通过实验表明, 本文的修复结果耗时少, 修复效果更加自然可信。
四、结束语
本文提出新的匹配区域选择方法, 缩小了匹配空间并使修复更加真实可信修复效果更加真实可信。文中的修复区域是事先人为确定的, 属于一种半自动修复算法。今后需进一步研究的问题包括缩短搜索时间和加强对边缘的修复等。
参考文献
[1]谢成军, 檀结庆.一种改进的基于样本块的图像修补方法[J].系统仿真报, 2008, 20 (10) :2606-2613.
[2]朱霞, 李宏, 张卫.一种基于颜色区域分割的图像复算法[J].计算机工程, 2008, 34 (14) :191-193.
[3]付绍春, 楼顺天.基于区域合成的图像修补算法[J].电子与信息学报, 2009, 31 (6) :1319-1322.
基于分形的图像修复算法 篇2
关键词：分形,图像修复,搜索
0 引 言
图像修复是图像处理中的一项实用技术,可将图像中某些缺失区域依据一定算法进行填补,以收取良好的视觉效果。图像修复技术主要用于历史图片破损修复,图像中的物体或文字移除等。
图像修复的主流算法有两大类。第一类基于偏微分方程(PDE)[1],主要思想是将图像建模为分片光滑函数,通过边界区域向缺失区域内部扩散,用边界区域的梯度控制扩散参数,完成图像修复。这类方法对于修复小范围光滑图像区域效果良好,但在修复纹理区域时,则难以保证纹理的一致性,同时也容易产生过度平滑,影响视觉效果。第二类算法基于纹理合成[2](Texture Synthesis),主要思想是在图像中寻找与边界内容相似的图像块,填充到缺失区域中。此类算法应用更为广泛,但该算法在搜索时对相似性的界定还不够全面,一方面对图像内容比较能力仍显不足,难以找到最佳匹配的图像块,另一方面容易发生误匹配,造成修复错误。
本文算法基于纹理合成的实现原理,引入了分形思想对其进行改进。该算法首先对图像进行分割,确定不同位置的搜索区域。在搜索时,将候选块的多个仿射变换结果与边界块进行比较,寻找最优匹配的结果用于填充。这一算法减少了误匹配的概率,提高了修复的视觉效果,同时由于控制了搜索区域,增大了填充尺度,也保持了较低的运算量。
1 纹理合成算法简介
图像修复中,纹理合成算法的基本实现主要分为四步,分别是:修复区域标记、优先度计算、块搜索和填充。
首先,需要手动标注原始图像待修补区域,标注后的图形区域如图1所示。
由图1可知,Y表示原始图像区域,X表示待修补区域,δΩ为两个区域的边界线。
标注修复区域后,对该区域所有边界点计算优先度,优先度最高的那一点将作为参考块的中心。文献[2]中,优先度P(p)计算公式为:
P(p)=C(p)D(p) (1)
其中,C(p)为信心值,用以表示图像块ψp中已知信息的比例,C(p)的计算方法为:
其中,|ψp|为图像块ψp的面积,I为整幅图像,X为图像的待修复部分。D(p)为数据项,计算方法为:
其中,∇Ip⊥为p点的等照度线,np为p点的法线方向,α为归一化因子,这里α=255。
确定优先修复的位置后,在整个图像中搜索与参考块最为接近的图像块,搜索过程中匹配度的评价使用最小均方误差准则(Sum of Squared Differences,SSD)。搜索到最高匹配度的图像块后将其复制到待修复位置。
将上述步骤运行一次后,即更新修复区域边缘点的优先度,而后重复这一过程,直到图像修复结束。
2 算法描述
2.1 分形理论简介
分形的概念可表达为一种由多个与整体有某种相似性的局部堆叠累加而构成的形体。分形可以使用迭代函数系统(Iterated Function System,IFS)生成,而由拼贴定理[3]可知,任何图像都可以表示为一个IFS。
分形的思想已经应用于图像压缩中[4],分形图像压缩编码的过程是依据拼贴定理,通过给定的图像寻找一组压缩映射,使其组成的迭代函数系统的吸引子逼近给定图像,并记录得到相应参数。解码过程则由对应参数确定迭代函数系统,再根据迭代函数系统定理反复迭代生成图像。
分形图像压缩的基本步骤为:
(1)将待压缩图像进行K×K分块,记为Ri。
(2)将图像进行重叠的L×L分块,记为Di.通常L=2K。
(3)根据最小均方误差准则,在Di中搜索最佳的分割块和合适的压缩映射变换ωi,满足Ri=ωi(Di),即对每个像素点:
其中,ai～fi是放射变换系数,si是亮度变换系数,oi是亮度偏移。
上述过程表示Di经过一组仿射变换和亮度调整后,收敛于Ri。
由以上论述可以推知,图像内部存在的自相似性和仿射变换是分形图像处理的核心。本文也即借鉴分形思想,利用仿射变换,提高图像修复算法的性能。
2.2 算法步骤
算法的实现过程主要分为以下几个步骤:
(1)手动标注原始图像待修补区域。
(2)对图像进行分割,并标注缺失区域对应的背景区域。
(3)对原始图像进行仿射变换,生成仿射变换集。仿射变换参数为缩放50%、80%、120%、150%,旋转30°～180°,间隔30°。
(4)采用第1节介绍的纹理合成算法计算,如图1中,δΩ边界上所有点的修补优先度。
(5)在仿射变换集中搜索候选解。首先,对放射变换集中的图像进行不重叠分块,计算所有子块的平均灰度。然后,在与待修复区域对应的图像局部空间中找出接近于待修复块平均灰度的块作为候选块。接下来,在两倍于侯选块的范围内展开像素级搜索,并基于最小均方误差准则得到用于修复的图像块。
(6)重新计算下次修补的优先度。重复第(5)步,直到图像修复结束。
3 实验结果与讨论
算法采用VC 2010实现,在Thinkpad T420上运行。本文选取了USC-SIPI Miscellaneous 图像库[5]中的20幅图像,并从网络上节选了20幅图像作为测试样本,图像类别涉及人物、风景、遥感图像等广泛门类在内。在将图像中物体删除后,利用本文算法与Criminisi原始算法分别进行修复。原始算法典型结果如图2(b)所示,本文算法结果如图2(c)所示。由图中比较得出,本文算法具有更好视觉效果。
4 结束语
本文提出了一种基于分析的图像修复算法,与传统基于纹理合成的图像修复算法相比,取得了更好的视觉效果,同时也实现了较高的效率。但算法为减小搜索空间,还需要一定的手工标注,下一步需对算法进行优化,增加自动分割与区域标注功能以提高算法的灵活性。
参考文献
[1]CHAN T,SHEN J.Mathematical models for local non-texture in-painting[J].SIAM J.Appl.Math,2001,62(3):1019-1043.
[2]CRIMINISI A,PEREZ P,TOYAMA K.Region filling and object re-moval by exemplar-based image inpainting[J].IEEE Transactionson Image Processing,2004,13(9):1200-1212.
[3]JACQUIN A E. Image coding based on a fractal theory of iterated contractive image transformations[J]. IEEE Transactions on Image Processing, 1992, 1(1):18-30.
[4]DAN C P , DIMCA A, YAN H. A nonlinear model for fractal image coding[J]. IEEE Transactions on Image Processing, 1997, 6(3):373-38.
基于改进的纹理合成图像修复算法 篇3
数字图像虚拟修复是指对那些局部数据信息完全丢失的图像进行修补, 以恢复其完整性和原有的视觉效果, 并使观察者无法觉察到图像曾经缺损或己被修复。由于该技术不需要直接处理原作, 可以根据需求反复调整, 最终再确定采用何种修复方法, 因此安全可靠, 具有很高的实用价值。近年来研究表明, 计算机辅助的数字化保护和修复古代艺术作品取得了一定进展, 这种方法在排除损坏文物的危险性的基础上, 还具有效率高、可重复性等传统方法所没有的优点。计算机的操作不仅提高了工作效率, 甚至可以完成以前某些无法完成的工作。随着计算机技术的发展, 数字图像修复技术可以应用到很多方面。首先, 文物在保存时, 不可避免会受到环境、人为等因素的影响, 进而产生霉斑、划痕、破损等, 为了保持作品完好的视觉效果, 要对这些文物和艺术作品进行修复, 以往主要通过专业人士进行手工修复, 这对人们的技术性要求非常高, 同时它也是一项具有高风险的任务, 因为文物和艺术作品极其珍贵, 如果修复失误, 将造成难以弥补的损失。加之修复大量有损伤的文物需要耗费大量的时间和人力财力, 传统修复方法的特殊性和局限性, 使得文物的保护修复工作进展缓慢。我们可以借助于数字图像修复技术对这些文物数字照片先进行虚拟修复, 为文物的实物修复提供参考。另外, 在一些档案老照片的保护上, 老照片存放时间过长会存在一些折痕或乌迹, 也可以借助数字图像修复技术进行修复, 当然还有一些计算机特效处理以及一些富含玟理特征的照片的生成, 都可以利用数字图像修复技术得到很好的修复效果。所以将数字图像修复技术应用到文物修复领域中, 成为传统文物修复算法的一个新趋势。
在当前图像修复技术中, 比较经典的两大类是:图像润饰 (inpainting) 的方法和基于纹理合成的图像修复方法[1,2,3,4]。图像润饰方法首先由Bertalmio[5]等人引入到数字图像, 使用基于偏微方程 (PDE) 的修复模型[6]。基于此思想的方法还有Chan[7]提出的整体变分 (YV) 模型以及基于曲率驱动扩散 (CCD) 模型等[8]。图像润饰适合修复有小瑕疵的图像, 但修复较大区域效果模糊, 且对纹理较强的破损区域修复效果差。本文所使用的是基于纹理合成的图像修复算法。基于纹理合成的图像修复方法中最经典的算法是由Criminisi[9]等人提出, 该算法在基于样本的纹理合成算法[10]基础上再融合图像润饰结构扩散的特点, 修复效果较好, 适用于修复大面积的破损。在此基础上的改进主要有小波变换的图像修复[11], 利用邻域特性的图像修复和基于匹配块的图像修复算法等。本文在分析了图像修复技术中的Criminisi算法后, 针对它的不足, 提出一种新的改进算法。
1 Criminisi算法简介及存在问题
1.1 Criminisi算法简介
Criminisi算法核心是基于样本的纹理合成, 该算法主要包含以下4个步骤:
1.1.1 计算优先级
优先级的大小取决于两部分因素:一部分是该模板的数据值, 它反映了模板的结构信息强弱, 从而保证线性结构部分的优先合成;另一部分是模板的置信度值, 要求优先填充那些含已填充像素较多部分的模板, 因为填充这样的模板可以依赖更多的已知像素。公式如下:
C (p) 表示模板的置信度值, D (p) 表示模板的数据值, C (q) 表示模板内像素点的置信值
1.1.2 扩散纹理和结构信息
从源区域取样, 寻找和该模板最匹配的模板, 搜索整幅图像的已知信息区域后, 找到SSD (颜色平方差的和) 最小的模板即为最优匹配模板, 将相应的像素点复制填充到目标区域的模板中
1.1.3 更新置信值
第一优先级的计算, 随着填充过程的进行, 模板数据值会迅速下降零, 这样使得计算出的优先级不可靠。
第二采用全局搜索算法来寻找最优匹配块, 这样不但会产生错误匹配, 而且还会使填充速度变慢。
第三置信值的计算, 对破损区域内原有的像素点和填充上去的像素点进行相同处理, 算法容易导致修复效果越来越差, 从而形成它的贪婪性。
1.2 算法存在的问题
Criminisi算法的缺陷主要表现在三个方面:第一优先级的计算, 随着填充过程的进行, 模板数据值会迅速下降到零, 这样计算出的优先级不可靠。因此, 会出现错误的填充顺序, 并且会影响修复效果。第二采用全局搜索算法来寻找最优匹配块, 这样不但会产生错误匹配, 而且还会使其填充速度变慢。第三置信值的计算, 对破损区域内原有的像素点和填充上去的像素点进行相同处理, 也就是说破损区域原有的像素点和填充上去的像素点可靠性一样高, 没有考虑到本次修复的效果, 该算法容易导致修复效果越来越差。
2 算法改进
2.1 优先级计算的改进
原算法用乘积的形式决定优先权, 在修复的过程中, 如果数据为0, 那么置信值信度项很高由于优先级为零也不能得到优先修复。并且在修补过程中如果多个范本块的D (p) 同时为零, 会使它们的优先级也都为零, 从而使C (p) 值失去了意义。
综上所述, 使用原算法计算优先值并不准确, 所以将优先级的计算改为如下公式:
公式中α和β为调节参数 (实验中, 取α=0.382, β=0.618) , 不考虑C (p) 为零的情况 (实际p点位于填充轮廓在线, 待修复模版置信度值不会为零) 。这样能保证当数据项为零时, 只要置信度项足够高, 也可以得到优先修复。
2.2 匹配区域及最优匹配块的改进
对于根据优先权值确定的当前待修复点p, 它在上述确定的匹配区域中搜索匹配点的方式为, 以点p为中心, 顺序搜索与p的棋盘距离为n (1≤n≤max, n∈N) 的各点作为匹配点, 并依次以这些点为中心生成候选块与待修复块做SSD计算, 直至搜索完匹配区域。这样的搜索方式使得匹配块搜索是由近及远, 对于最优匹配块的选择也是优先考虑距离p点最近的颜色差距值最小的匹配块。搜索中, 直接对第一次搜索到的颜色差距值最小的候选块作记录, 并将其作为最优匹配块, 复制其信息到待修复块相应位置, 得到的修复结果与其邻域的相关性较大, 也更加符合视觉上的效果。
2.3 置信值的改进
Criminisi算法在对破损图像的模板更新时, 只要是已经修复的区域, 就将修复好的像素置信值置为1。这也意味着在下次计算模版的C (p) 时, 不论是原图像上的非破损像素点还是经过修补之后的像素点的C (q) 都是1, 这样也就相当于修补之后的像素点和原图的非破损区域的像素点同样可靠。算法修补一个模板后更新边界, 极有可能导致新边界上优先级最大的点就处于刚填充的范本中, 然后继续向内部延伸。算法循环中如果某个模板被填充了不符合视觉效果的颜色信息, 会导致不合理的颜色信息继续延伸下去, 最终导致修复的视觉效果不佳。
为了克服以上不足, 本算法特设定一颜色阈值T。阈值T的确定, 根据计算具体图像修复模板对应的SSD的值来确定。
上述公式中, 如果最优匹配范本对应的SSD值小于阈值T, 说明其可信度高, 则待修补像素的置信值, 用源图像模板对应像素点的置信值直接更新。如果SSD的值大于T, 说明其相对于源区域中的信息来说可信度值进行更新。如匹配前某优先级最大的范本置信度值为0.68, 则匹配后其剩余待修补像素点的置信值都置为0.68。这样保证在不断修补的过程中越是深入待修补区域的内部, 可信度就越低, 这符合一般规律。可信度越低, 最后得到的优先级P (p) 就越低, 填充时应该尽量寻找整体置信度比较高的匹配模块对待修复区域进行填充, 这就保证了图像修复的顺序基本上是从外围向中间修复。
3 实验结果分析
本文算法采用Visual C++6.0开发平台, 算法中取α=0.382, β=0.618, 颜色阈值T取为11, 以下是效果图对比:
图1 (a) 这幅照片因年代久远, 有明显的白色折痕, 以照片中中间那位女士为修复对象, 将折痕部分标记出来, 如图1 (b) , 图1 (c) 则是应用Criminisi算法修复后的图片, 图1 (d) 是本文算法修复后的效果图。经过对比, 可以明显看出本文算法修复效果比较完整, 无明显折痕。
图2 (a) 是一个破损文物的图像, 我们将其裂痕标记出来如图2 (b) , 采用两种算法进行修复, 图2 (c) 是Criminisi算法修复后的效果图, 可以明显看出有一处裂缝没有修复好, 本文算法修复效果如图2 (d) , 修复效果比较自然, 无明显瑕疵。
实验中分别统计了图1、图2中图像缺失像素的个数和两种箅法修复需要的时间, 如表1所示。
4 结论
数字图像修复技术是当下较新的研究课题, 本文主要研究了基于纹理合成的数字图像修复, 通过实验结果的数据列出以下几点总结: (1) 系统采用基于Criminisi的图像修复算法进行改进, 算法先进, 修复效果好; (2) 算法从优先级的运算、匹配区域及最优匹配块的搜索和置信值更新三个方面进行改进;改进算法的修复效果会比原算法有进一步的提高, 更符合人类视觉系统的特征; (3) 算法采用Visual C++6.0开发平台, 便于图像处理, 同时改进算法由于只是在局部进行修复运算, 大大减少了修复时间;对于缺损区域在10000像素以内的真彩图像, 修复时间基本控制在10秒内; (4) 系统接口直观, 交互性好, 能实时显示图像修复过程, 突破了以往图像修复软件只显示图像最终修复结果的局限性。
参考文献
[1]Tang F, Ying Y, Wang J, et al.A novel texture synthesis based algorithm for object removal in photographs[M].Advances in computer science-ASIAN 2004.Higher-level decision making.Spring Berlin Heidelberg, 2005:248-258.
[2]Borikar S, Biswas K K, Pattanaik S.Fast algorithm for completion of images with natural scenes[J].graqhics.cs.ucf.edu/borikar/Borikar Paper.pdf, 2005-04-20, 2004.
[3]Cheng W H, Hsieh C W, Lin S K, et al.Robust algorithm for exemplar-based image inpainting[C].Proceedings of the International Conference on Computer Graphics, Imaging and Visualization.2005.
[4]Chuang Y Y, Curless B, Salesin D H, et al.Abayesian appraoch to digital matting[C].Computer Vision and Pattern Recognition, 2001.CVPR 2001.Proceedings of the 2001 IEEE Computer Society Conference on.IEEE, 2001.
[5]M.Bertalmio, G.Sapiro, V.Caselles, C.Ballester.Image inpainting[J], Computer Graphics (SIGGRAPH2000) , pp.417-424, July2000.
[6]岳坚飞, 钱玲.基于偏微方程 (PDE) 的图像修复[D].南京理工大学, 2006.
[7]CHAN T F, SHEN J H.Non-texture inpainting by curvature driven diffusions[J], Journal of Visual Communication and Image Representation, 2001, 12 (4) :436-449.
[8]CHAN T F, KANG S H, SHEN J H.Euler’s elastic and curvature based inpainting[J], SIAM Journal on Applied Mathematics, 2002, 63 (2) :564-592.
[9]Criminisi A, Perez P, Toyama K.Region filling and Object removal by exemplar-based image inpainting[J], IEEE Transactions on Image Processing, 2004, 13 (9) :1200-1212.
[10]朱霞, 基于纹理合成的数字图像和是视频修复研究[D].长沙:中南大学.
改进的图像总变分修复算法 篇4
图像修复修从数学角度来理解就是就是用受损图像区域周围的已知信息来对受损图像部分按照一定的方法进行填补、插植, 使修复后的图像接近或达到原始图像的视觉效果。常用的图像修复方法有偏微分方程修复法[1]、理纹合成修复法[2]及极小化变化模型。极小化变化模型又称为TV模型, 目前TV修复模型在众多方面得到应用。
用经典TV模型进行图像修复时, 一般是利用梯度来检测边缘, 实现方法简单, 容易计算。但此模型也存在不足, 如修复时易受噪音干扰, 特别是用经典TV模型来修复纹理丰富图像以及修复不能用边缘刻画细小特征的图像时, 很容易造成修复效果不理想, 细节丢失。本文针对这些不足, 提出了一种改进的TV模型修复算法[3], 实验结果表面, 改进的TV模型更好地保护图像的边缘, 修复效果更好。
2 经典TV模型图像修复算法
如图1所示, 假设受损图像的受损区域为图像部分D;受损区域D的环形外邻域完好部分为E, 即E为受损图像修复的已知信息区。现假设把破损图像u0的先验模型u的能量定义为, 其中▽u为图像的梯度, |▽u|表示图像梯度的模值, 则图像修复TV模型可定义为:
模型中的参数λ是拉格朗日乘子, 为TV模型的半范数。如果用A (E) 表示受损图形完好环形外邻域E的像素点总数, 则可以用σ2表示破损图像u0上噪声的方差。用常规TV模型对受损图像修复时, 其实就是在约束条件为的情形下, 对u进行求解。为了保证求得的u值代入公式 (1) 使建立的模型有极小点。现用变分方法对式 (1) 进行求极小值, 经过变换, 可得到如下形式的方程:
其中, 。如果使用最快时间t下降法对式 (2) 进行求解, 可得:
3 基于TV模型图像修复的改进算法
3.1 改进TV模型的加权算法
针对常规的TV模型中正则项的不足, 在TV模型正则项中加入权函数g (|▽u|) , 其中0≤g (x) ≤1为一个非增可导函数, 满足g (0) =1, g (x) ≥0且lim g (x) =0。因此, 在梯度值大的地方, g (|▽u|) 的值变小, 平滑程度降低, 从而能较好的保护边缘。在梯度小值较小的地方, g (|▽u|) 的值就变大, 使强平滑得到实现, 除去噪声。本改进算法中取:
式 (4) 中的参数k为边缘阈值, 当|▽u|<k时为图像受损区域, 此时g (|▽u|) 较大, 从而修复实现较大的平滑;当|▽u|≥k时, 认为是理纹突出的的图像信息块或是边缘刻画细小特征的图像细节信息, 此时g (|▽u|) 的值较小或者趋于零, 从而使平滑得到抑制, 更好的保持边缘。改进的TV模型中, 算法每迭代一次, 模型中的权函数g (|▽u|) 也发生改变。加权后改进的TV修复模型为:
式 (5) 中的相应的Euler-Lagrange方程为:
其中g′ (x) 表示g (x) 对x的一阶导数, 记dg=g′ (x) , g=g (x) 。
3.2 数值计算
如图2所示, 假设点为图像的待修复点, E、W、S以及N则分别为受损图像待修复点O水平和垂直方向上的相邻像素点。现设定, 用e、w、s、n分别表示水平方向和垂直方向上的半像素邻域点。将▽u/|▽u|在受损区域水平方向和垂直方向上的分量分别设定为v1和v2, 可得。根据半点差分法求法, 可计算得到v的散度为:
现把式 (7) 中步长h设定为h=1。为了求式 (7) 的解, 必须先求得ve1、vw1、vn2和vs2的值。半像素邻域点e在水平方向上的梯度值ve1可由公式 (8) 计算得到。
其中,
根据半像素邻域点e在水平方向上的梯度值ve1计算方法, 可求得另外三个半像素邻域点的梯度值分别为:
其中,
将求得梯度值ve1、vw1、vn2和vs2代入式 (2) 中, 可将式 (2) 转化为如下形式:
其中, p∈{e, n, w, s} (e, n, w, s分别为四个半像素邻域点) 。式 (16) 中的可能存在无限接近零的可能性, 此时它会使得式 (16) 中的值趋于无穷大。为了解决值趋于无穷大带来的问题, 用来代替, 其中, a为一个取值较小的正数。此时, 改进的TV模型修复算法的已知信息的扩散系数改为了。从已知信息的扩散系数可以看出, 该扩散系数的大小取决于邻域像素点的梯度大小。根据本文TV模型加权修复改进算法的思想, 在该扩散系数的基础上, 引入用来表示邻域像素点与待修复点相关依赖程度的加权系数wi, i=1, 2, 3, 4。为了减少计算, 进一步简化式 (16) , 可进行如下定义:
此时, 实现了等照度线方向距离和间隔像素距离所设定的加权系数wi与梯度模值的倒数相结合, 同时考虑了间隔像素距离的大小、梯度模值的大小及方向上新的扩散系数Wp。将该式 (17) 代入式 (16) 中, 可将式 (16) 变换为:
其中, 。对式 (18) 使用Gauss-Jacobi方法[44]进行迭代运算, 可得到如式 (19) 所示的图像修复结果:
因为, 从式 (19) 中可以知道改进算法的该修复结果是稳定的。利用图像受损外环邻域内的已知信息, 按式 (19) 进行迭代计算, 修复的结果直到满足改进算法给定的终止条件为止。
如果进行修复的像素点处于待修复区域D中, 根据可知, 此时的。代入式 (17) 中, 可以得到, 。此时, 可以将式 (18) 变换为:
此时的是环形外邻域E内已知信息的扩散系数。由式 (20) 可知, 通过对待修复点的邻域像素点的已知信息进行加权处理, 使图像修复视觉效果更好。
3.3 改进算法的实现过程
Step1:读入受损图像u0, 并确定受损图像信息丢失区域D及环外区域信息E, 给定模型的初始化参数, 迭代最大次数为N, 正则参数为λ, 另n=1, 。
Step2:计算出左、右、上、下方向上待修复点邻域像素点的加权系数。
Step3:将step2中得到的邻域像素点加权系数和式 (6) 至式 (15) 的计算结果代入式 (21) 中, 不断修复图像信息缺失的区域, 并计算迭代次数n=n+1。
Step4:判断此时的迭代次数n≥N, 如果是停止迭代;若n<N则重复进行步骤step2和step3的处理, 继续对受损区域进行迭代修复, 直到满足要求, 输出修复结果图。
4 小结
针对原TV模型修复算法修复有丰富理纹或边缘及轮廓细节突出图像的缺陷, 本文在分析原TV模型修复算法的基础上, 对原TV模型进行了相应的完善和改进, 提出了一种加权的TV模型图像修复算法。改进的TV模型不但对对像的修复具有更好的鲁棒性, 并且能根据图像的特征来进行平滑。
摘要：提出了改进的加权TV模型图像修复算法, 用于拟补原TV模型图像修复算法在修复纹理丰富的图像及边缘细节突出图像的不足, 改进TV模型图像修复算法能根据受损图像区域特征进行很好的平滑, 且较强的抗噪能力, 能很好地保护受损区域边缘。
关键词：改进,TV模型,修复,图像,算法
参考文献
[1]Weickert.J.Coherence-enhancing diffusion filtering, Int.J Comput.Vis.1999, 31 (2) :111-127.
[2]MaDY, ChenYM, LiQM, etal.Regiongrowing by exemplar-based hand segmentation under complex backgrounds[J].International Journal of Advancements in Computing Tec-hnology, 2012, 4 (1) :432-437.
修复算法 篇5
近年来,在化石能源逐渐枯竭和生态环境不断恶化的双重制约下[1],风力发电作为可再生清洁能源得到了大力发展。然而,随着装机容量的迅猛增长,风电机组的故障率及运行维护成本也在不断增加。为了提高风电场的经济效益,有必要对风电机组的运行状态进行监测。
风电机组状态监测系统能通过对风电机组各个部件的实时监测及早发现并排除其存在的故障隐患,有效降低风电机组的故障率,提高风电场的经济效益[2]。目前较为成熟的风电机组监测系统大多采用有线监测技术,能够实时监测风电机组的运行状态,诊断及分析故障并给出初步诊断结果,但其通信设备存在价格昂贵、安装不便、维护困难等问题[3,4]。 近年来,随着传感器技术和无线通信技术的快速发展,无线传感 器网络 (wireless sensor network, WSN)因具有功耗小、成本低、自组织和节点微型化等优点在状态监测领域的应用优势逐渐显现。基于WSN的风电机组状态监测方法已成为当前的研究热点[5]。
风电机组多建设在环境恶劣、可进入性差的地区,极易导致监测系统中的传感器节点因发生硬件故障而失效;此外,当监测系统运行一段时间后,传感器节点也会因能量耗尽而失效[6]。传感器节点失效极有可能导致监测系统产生监测盲区,破坏监测系统网络的连通性,影响监测数据的可靠传输。当监测系统的部分传感器节点失效时,如果采用停复机操作进行节点更换,将造成较大的经济损失。针对上述问 题,文献 [7]提出了NETCRP(network lifetime enhanced tri-level clustering and routing protocol)路由算法,该算法能有效提高监测系统传感器节点的能效及延长监测系统的生存周期,但该算法假设部署在风电机组中的节点能量无限及传输距离无限制,不符合实际。同时,该算法只部署了3个节点,并不能有 效监测风 电机组的 运行状况。 文献[5]根据风电机组具体的结构特点和故障特征, 提出基于覆盖度的能量均衡节点部署方案(energy balance deployment strategy of cluster heads based on the coverage,EBDS-C)来构建风电机组状态监测系统。该方案能有效提高监测系统的生存周期, 但其未考虑监测系统中出现失效节点时,节点路由链路的数据传输可靠性。
针对出现传感器节点失效的情况下,风电机组状态监测系统中节点之间路由链路可靠性降低的问题,本文提出基于父节点及兄弟节点替代的节点路由修复算法(node’s routing repair algorithm based on alternate of father and brother nodes,RRAFB)。该算法利用监测系统自身条件,通过控制监测数据的传输路径来解决数据原传输路径上因存在失效节点而导致数据传输失败的问题。
1基于WSN的风电机组状态监测系统
WSN中的传感器节点之间直接进行单跳和多跳的无线通信,将数据传输给基站;有线传感器网络中的传感器节点之间需要通过通信总线进行手拉手式连接,最后通过 通信总线 将数据传 输给通信 主机[8]。由于风电机组主要由风轮、机舱和塔架等构成,故障率较高的部件为机舱内的主轴轴承、齿轮箱和发电机等转动部件[9,10,11,12,13],而在这些转动部件上部署通信线路不仅困难、成本高,而且占空间,因此,本文采用WSN构建风电机组状态监测系统。传感器节点主要部署在这些故障率较高的部件上。所有节点构成风电机组状态监测系统,见附录A图A1。 监测系统通过所部署的传感器节点对机舱内主要部件进行实时监测,监测数据通过节点之间的路由传送到基站,基站将数据进行融合后最终传送到中央控制中心,供工作人员查看分析。
2RRA-FB原理
RRA-FB的核心思想是,当监测数据在传输过程中遇到失效节点时,数据传输失败的节点通过查询该算法所建立的路由表获取自己的有效父节点及兄弟节点路由链路信息,优先利用其有效父节点进行数据传输,只有当其父节点全部失效时才启用其有效兄弟节点替代失效节点进行数据传输。
2.1节点路由链路的建立
监测系统节点的主要任务之一就是通过路由链路将所采集到的数据可靠地传送到基站。因此,在监测系统运行过程中必须保证节点路由链路的可靠性。根据具体监测要求的不同,监测系统节点的部署情况也不同。本文所提出的算法适用于确定性节点部署,即节点的部署位置预先设定。
下文将基于图1中确定性节点部署对算法进行具体说明。
图中实线圆形为监测区域,位于圆心的节点为基站,其他节点均为普通节点。本文假设基站采用有线方式供电,能量不受限制,并且具有很强的数据处理能力;普通节点均由能量有限的电池供电,并且具有一定的数据处理和转发能力。以基站为圆心, 不同的半径R构成多个圆环,称离圆心最近的圆环为第1轮,依次向外为第2轮,第3轮,…,第r轮[5]。 路由链路的建立主要是通过各节点搜索自己的子节点、父节点和兄弟节点[14],并记录其ID、位置等信息来实现。
RRA-FB定义第i轮到基站的距离为第r轮的轮半径,具体定义如下。
假设第r轮上任意一点P的坐标为(xr,yr),基站节点Pbs的坐标为(x0,y0),则节点P到基站节点Pbs的距离称为第r轮的轮半径,记作Rr,轮半径Rr可通过具体的节点部署方案来确定,其数学表达式为:
为了确定节点之间的父子关系和兄弟关系,本文给出了梯度环和节点方位角的概念。
梯度环的定义如下:第r轮与第r-1轮两相邻轮所围成的环形区域(包含第r轮)称为第r级梯度环,记作Gr,其数学表达式为:
式中:P′为圆形监测区域中的任意一点,其坐标为 (x,y);d(P′,Pbs)表示点P′与基站节点Pbs的距离。
为了便于表达和计算,本文设置基站坐标为原点,建立虚拟正交坐标系,见附录A图A2。本文定义αi为节点Si的方位角,附录A图A2即为αi的计算示意图。可知:
式中:(xi,yi)为节点Si的坐标。
由节点所在梯度环的级数和节点与基站所构成的方位角大小,给出某节点Si的父节点、子节点和兄弟节点的计算公式。
节点Si的父节点集合Sif为:
节点Si的子节点集合Sis:
节点Si的兄弟节点集合Sib:
式中:S为系统中所有节点所构成的集合;Gm和Gn分别为m级、n级梯度环;m-n为节点Si与节点Sj所在梯度环的级别差,通过判断该级别差来确定节点Sj与节点Si的链路关系;[αi-β,αi+β]为α= αi-β与α=αi+β两条射线(包含两条射线)所构成的扇形区域;角度β为算法参数,它的取值决定了扇形区域的大小,β越大则扇形区域越大,即数据传输替代链路越多,节点路由链路可靠性越高,但β越大则选中远距离的有效节点替代失效节点进行数据传输的概率越大,而远距离通信必然会增加节点的能耗,导致监测系统的使用寿命缩短。因此,需要结合具体的节点部署方案综合考虑监测系统节点路由链路的可靠性和节点的平均能耗来确定合适的β值。
下文仿真分析中将对β值的确定方法进行具体说明。若取β=π/6时,根据式(4)至式(6)计算可知,在图1中,红色虚线所框出的扇形区域是节点b的父节点、子节点及兄弟节点所在的区域,然后根据节点b所处的梯度环可进一步确定其父节点、子节点及兄弟节点。所在梯度环比节点b小1级的节点e是节点b的父节点,所在梯度环比节点b大1级的节点f是节点b的子节点,与节点b处于同一梯度环的节点a,c,d是节点b的兄弟节点。
对于某节点Sj与节点Si的路由链路的确定, 本文给出了具体的计算方法。
如附录A图A3所示,节点Sj的方位角αj相对于节点Si的方位角αi的差值θ 为:
式中:(xj,yj)为节点Sj的坐标。
在已知Si∈Gm,Sj∈Gn情况下,若m-n=1且 θ∈[αi-β,αi+β],则Sj∈Sif;若m-n=-1且θ∈ [αi-β,αi+β],则Sj∈Sis;若m-n=0且θ∈[αi-β, αi+β],则Sj∈Sib。
2.2RRA-FB流程设计
根据已建立的路由链路信息,设计RRA-FB的路由表(route table,RT),将所有的路由链路信息都存储在RT中,以便后续的信息查询。RT由各个节点的子路由表(sub-route table,SRT)构成。每个SRT包含某节点Si的父节点Sif、子节点Sis、兄弟节点Sib以及自身的地址信息、梯度信息和状态信息。地址信息包括节点在监测系统中的地址编号ID以及横、纵坐标xd和yd;梯度信息包括用于存储节点所在梯度环等级的梯度级G;状态信息包括标识节点是否死亡的状态标识flag_dead,该标识只有0和1两个值,0表示节点正常工作,1表示节点失效。
当监测系统中某节点需要传输数据时,首先通过查询RT查出失效节点的SRT信息,以避开失效节点,然后将数据传送给基站。
图2所示为RRA-FB的数据传 输流程,其中Imax和Jmax分别表示父节点、兄弟节点数目的上限阈值。
在网络初始化时,所有节点均默认通过自己的第1个父节点进行数据传输,只有在第1个父节点失效时才实施节点路由修复算法。当传输数据的节点探测到自己的第1个父节点失效后,将优先利用自己的其他有效父节点进行路由替代,当其所有的父节点均失效时才启用其兄弟节点进行路由替代, 重新进行数据传输。这是因为优先利用数据传输失败节点的有效父节点进行数据传输,则数据传输过程所通过的节点均在不同的梯度环,即所通过的总节点数与路由初始化时数据传输所通过的总节点数相同,只是传输链路不同;如果优先利用数据传输失败节点的有效兄弟节点进行数据传输,则数据将在数据传输失败节点所在的梯度环多传输一次数据, 即所通过的总节点数比路由初始化时数据传输所通过的总节点数多1,因而增加了监测系统的能耗。
3仿真分析
本文将数据传输成功率作为RRA-FB的评价指标,其定义为:基站确认收到的数据包个数与源节点发送的数据包个数的比值[15]。数学表达式如下式所示:
式中:PR为基站确认收到的数据包个数;PS为源节点发送的数据包个数。
为了验证RRA-FB的有效性,以华锐风 电SL3000型风电机组为例,采用文献[5]中的节点部署方案EBDS-C(见附录A图A4),并与其所述节点路由算法(本文称之为EBDS-C算法)在MATLAB仿真平台中 进行仿真 比较。 该风电机 组机舱长12.3m,宽5m,轮毂长5.8m。在仿真试验中,假设节点的通信半径为4.5m,初始能量为0.5J,设置数据传输的轮数为5 000轮。
3.1β值的选取
β值直接影响监测系统节点路由链路的可靠性和节点的平均能耗。如果取值不当,会导致监测系统的数据传输成功率低或者节点的平均能耗高。
图3所示为在EBDS-C节点部署方案中存在10个失效节点时,β的取值对监测系统数据传输成功率及节点平均剩余能量的影响。
从图3可以看出,当β<π/6时,监测系统的数据传输成功率随着β值的增大而迅速上升,这是因为β值较小时,随着β值的增加,数据的传输替代链路增长率较大,从而使得数据传输成功率迅速增长; 当β>π/6时,监测系统的数据传输成功率随着β值的增大缓慢上升,节点的平均剩余能量下降却很迅速。这是因为当β=π/6时,数据的传输替代链路已经较多,基本能够替代失效节点进行数据传输;当 β>π/6时,数据的传输替代链路增长率较小,选中距离较远的有效节点替代失效节点进行数据传输的概率却很大,而远距离通信会增加节点能耗,导致监测系统的数据传输成功率增长缓慢而节点的平均能耗增大迅速,也即未显著提高监测系统节点路由链路的可靠性,却明显缩短了监测系统的使用寿命。
因此,经过权衡监测系统节点路由链路的可靠性和节点的平均能耗,对于EBDS-C节点部署方案, 取β=π/6。
3.2节点路由链路的建立过程
初始化链路中的每个节点将默认把数据传输给其第1个父节点,因此,每个节点的初始化链路只有一条。如附录A图A5所示,当节点1有数据需要传输时,数据将会沿着初始化链路1→2→3→4→ 5→6→7→Pbs进行数据传输。
在监测系统存在失效节点的情况下,传输失败的节点将优先利用其有效的父节点进行数据传输, 只有当其父节点全部失效时,才启用其有效兄弟节点进行数据传输。如附录A图A6(a)所示,由于节点5的第1个父节点6失效,节点1所采集的数据只能传输到节点5而无法成功传输给基站。当运行RRA-FB之后,如附录A图A6(b)所示,节点1所采集的数据会优先通过节点5的有效父节点12进行传输,然后节点12将数据传输给其第1个父节点7,最终成功传输到基站。在此过程中,数据通过节点2,3,4,5,12,7共6个节点进行传输。如果优先利用节点5的有效兄弟节点(如节点13)替代失效节点6进行数据传输,数据需要通过节点2,3,4, 5,13,12,7共7个节点进行传输,优先利用兄弟节点进行节点路由替代会增加节点13的能耗。因此, 优先利用有效父节点进行节点路由替代能够节约节点的能耗,从而延长了监测系统的使用寿命。
3.3数据传输成功率的比较
从图4中可以看出,RRA-FB在失效节点数较少时数据传输成功率下降缓慢,在失效节点较多时数据传输成功率下降较快。这是因为在失效节点较少时,失效节点的分布比较分散,RRA-FB能够有效利用某节点的有效父节点或兄弟节点进行数据传 输;在失效节点较多时,失效节点分布比较集中,有可能遇到某节点的父节点及兄弟节点全部失效的情况,导致数据传输失败。
由图4可以看出,EBDS-C算法的数据传输成功率在失 效节点数 为2时就开始 显著降低,而RRA-FB的数据传输成功率在节点失效数为12时仍能保持在0.8以上。
表1所示为不同失效节点数目下RRA-FB与EBDS-C算法的数据传输成功率的具体数值。可以看出,对于EBDS-C算法而言,当节点失 效数只有8个时,监测系统的数据传输成功率已经降到0.4以下,根本不能保证监测系统节点路由链路的可靠性。这是因为EBDS-C算法的节点路由链路单一, 只要某条路由链路上存在一个节点失效,则该链路上比失效节点离基站距离更远的所有节点所采集及转发的数据均无法传到基站,导致系统中存在少量失效节点 时数据传 输成功率 就明显降 低。 对于RRA-FB而言,当节点失效数达到12个时,监测系统的数据传输成功率仍然能够保持在0.8以上,当节点失效数高达24个时,数据传输成功率仍能保持在0.4以上。这是因为RRA-FB的节点路由链路较多,当某条路由链路上存在若干个失效节点时,该链路上数据传输失败节点将利用其有效父节点或兄弟节点进行数据传输,保证了系统中存在较多失效节点时仍有较高的数据传输成功率。
图5反映了RRA-FB较EBDS-C算法数据传输成功率差值的变化情况。图中曲线呈现出先增加后减小的趋势,这是因为刚开始随着失效节点数的增多,EBDS-C算法采用的单一节点路由链路很难保证监测系统数据的可靠传输,而RRA-FB采用的节点路由替代机制能够保证监测系统有较高的数据传输成功率,因此,两种算法的数据传输成功率差值逐渐增大;当失效节点达到一定数目继续增加时, RRA-FB中的某些路由替代链路将陆续出现无效的情况,也即存在某些节点的各父节点及兄弟节点均失效的情况,节点路由修复能力有所降低,因此,两种算法的数据传输成功率差值逐渐减小。当失效节点数为8个时,RRA-FB与EBDS-C算法的数据传输成功率的差值达到最高点,约为0.5。
4结语
本文针对风电机组状态监测系统因节点失效而产生节点路由链路可靠性降低的问题,提出了节点路由修复算法RRA-FB。当监测系统存在失效节点时,待传输数据的节点通过查询并获取自己的父节点及兄弟节点路由链路信息,在无人干预的情况下建立新的数据传输路径,实现节点路由链路的自我修复。仿真结果表明,在监测系统存在节点失效的情况下,RRA-FB能够显著提高监测系统数据传输路由的可靠性。
基于小波分析的视频图像修复算法 篇6
由于年代久远、保存不当等各种原因,很多历史影像资料存在不同程度的损坏,如何修复这些影像资料,更好地保存和复用这些内容非常重要。此外,有些视频资料由于技术限制,字幕或标志被固化于视频中,成为视频的一部分。但固化的字幕和标志严重阻碍了这些视频资料在后期应用中的复用。针对视频或图像中损坏或者遗失的部分,利用视频段中未被损坏的视频图像信息,按照一定的算法和规则来恢复图像中破损区域的颜色信息或者去除图像中的多余物体,使得整幅图像达到视觉上的连续和完整的技术,被称为视频图像修复技术。待修复区域指视频图像中的受损区域或多余物体,如斑点、文字、褶痕、障碍物等。
视频图像修复在图像处理、视频分析、电影工业、图像传输等中有着广泛的应用。目前,视频图像的修复技术主要集中在两个领域:1)偏微分方程的修复模型[1,2,3],最早由Bertalmio等[1]提出的,利用待修补区域的边缘信息,从区域边界各向异性地向边界内扩散,从而确定边缘的扩散信息和扩散方向。这种方法对图像中的线结构具有较好的修复效果,但是无法恢复图像的纹理细节;2)纹理合成的修复模型[4,5,6,7],其主要思想是将图像分解为结构部分和纹理部分,其中纹理部分使用纹理合成方法填充,结构部分用第一类修补算法修补。本文采用基于小波变换的纹理分析方法,并与文本或特征区域检测跟踪算法相结合,提高算法的运算速度。
1 基于小波分析的视频图像修复
1.1 视频图像损坏特征分析
引起视频图像损坏的原因有很多,文献[8]通过对大量被损坏的电影视频资料进行分析,将视频资料的损坏情况大致总结为10个方面:视频图像噪声严重,亮度与对比度失衡,白平衡失衡,锯齿效应,图像闪烁,水平或垂直条带,随机斑点,局部颜色失真,视频图像块效应,完全损坏等。
其中比较难修复的损坏特征是水平和垂直条带,因为损坏的面积比较大,修复过程中易引起块效应。
另一类比较难以修复的特征是视频中的文本或遮挡物,有一些重要和珍贵的材料会经常被多家媒体使用,那些视频图像上无法分割的台标等标志将成为破坏图像完整性的主要区域。因此,首先要定位到待去除特征区域的位置,然后利用视频图像的时间连续性特征进行跟踪和修复。
1.2 图像的小波分析
1.2.1 小波变换
设ψ(t)∈L2(R),其傅里叶变换为满足下述允许条件
时,称ψ(t)为一个基小波或母小波[3]。将ψ(t)经伸缩和平移后就可得到一个小波序列
式中:a和b为伸缩平移因子。这是连续小波的定义,但是在实际应用中通常使用离散化小波,将连续小波的尺度参数a和b进行离散化[7],即a=a0j,b=ka0jb0,这里j∈Z,扩展步长为固定值,且a0≠1,对应的离散化的小波变换系数则可表示为
当尺度参数a和b的大小改变时,可以调节小波时间和频率分辨率,以适应待分析信号的非平稳性。
在实际图像处理过程中,由于图像可以看成是二维信号,利用已有的一维小波函数和尺度函数,采用可分离变量方法来构造所需的二维小波,它们是
由小波函数分离变量性质可知,二维分解过程可以通过2步完成:首先对图像进行行分解,即信号f(x,y)的每一行作为一维信号进行分解;然后再对上一步分解后得到的中间结果进行列分解,即将每一列看成一维函数再作一次分解。这样,二维图像信号被分解为4个不同频率的子波段。因此,二维小波变换具有对图像进行多分辨率分析的特性[9],分解效果如图1所示。
1.2.2 视频图像修复算法
为了提高修复的正确率,首先要准确找到视频中的受损部分,也就是需要修复的内容。首先,对视频文本等标志区域进行分析,一般台标等标志信息位于视频帧图像的上1/4处,而字幕等文本信息则位于视频帧图像的下1/4左右的位置,具体的文本提取跟踪算法可参考前期的研究工作[10]。对已确定文本区域的视频帧进行3层小波分解,分别对高频子带和低频子带进行修复,最后将修复后的子图像进行重构,从而得到完整的修复后视频图像。视频图像修复流程如图2所示。
2 实验结果及分析
2.1 小波基的选择
小波基ψ(t)的选择不是唯一的,对小波基进行选择应该满足小波定义域紧支撑条件和容许条件。信号t的正则性、小波函数的消失矩阶数和支撑的大小是影响小波基特性的主要因素。实际应用中,如果减小小波函数的支集长度,能够减小高幅值的小波系数的数目。此外,较短的支撑还有利于减小计算量。
因此,综合考虑滤波的实时性和效果,期望所选的小波能同时具有下列性质:1)为避免信号失真,应使小波具有对称性或反对称性;2)为减少运算时间,采用较短的支撑;3)为便于应用Mallat快速算法,小波应具有正交性;4)具有较高的消失矩将有利于更好地匹配待分析的信号。事实上,一个小波基不可能同时具备以上特性,因为这些特性本身存在互相的制约,例如较短的支撑和较高的消失矩是一对矛盾。Haar小波是所有正交紧支撑小波中唯一具有对称(反对称)性小波,但由于其过于简单而不实用。从综合角度出发,Daubechies系列小波是实际使用中的较好选择。
2.2 实验结果分析
本文选择db4小波对视频图像进行多分辨率分解,分解层数为4,利用实验室环境自行录制的视频和网上的视频段进行测试。由于自行录制的图像无文本等要去除区域,首先人为加入损坏区域,然后利用本文算法进行修复,修复结果如图3所示。
对于网上的视频段检测视频中台标文本区域的去除效果,如图4所示。
对于算法效果,目前还没有一个定量的评价标准,仍是用主观的方法来判断修复结果的好坏。本文也只进行了一些简单的实验比较,没有作更多的定量分析。小波分析在水平和垂直方向就有很好的沿边缘特性和多尺度多分辨率分析的优点,实验结果表明该系统能较好地实现视频图像恢复。
摘要：图像修复是指恢复图像中破损区域的颜色信息或者去除图像中的多余物体。针对视频图像损坏特征中较复杂的水平与垂直条带,利用视频图像时间连续性的特点,提出基于小波分析理论的修复方法。实验结果表明,该系统能够较好地恢复视频图像和有效去除文字。
关键词：视频图像修复,小波变换,视频处理,文字提取
参考文献
[1]CHAN T,SHEN J.Non-texture inpainting by curvature driven diffusions(CCD)[J].Journal of Visual Communication and Image Representation,2003,12(4):436-449.
[2]赵静,唐晓静.小波变换及骨架提取在图像边缘检测中的应用[J].宁夏大学学报:自然科学版,2004,25(4):328-331.
[3]BERTALMIO M,SAPIRO G,CASELLES V,et al.Image inpainting[C]//A KELEY K.Proc.ACM Conf.Comp.Graphics(SIGGRAPH2000).N ew Orleas,LA:ACM Press,2000,417-422.
[4]刘志成,陈祥光,李宇峰,等.传感器输出时间序列的实时小波滤波方法[J].北京化工大学学报:自然科学版,2007,34(1):71-75.
[5]CRMNISIA,PEREZ P,TOYAMA K.Region filling and object removalb y exemplar-based image inpainting[J].IEEE Trans.Image Processing,2004,13(9):1200-1212.
[6]IDDO D,DANIEL C,HEZY Y.Fragment based image completion[J].A CM Trans.Graphics,2003,22(3):303-312.
[7]魏琳,陈秀宏.基于纹理方向的图像修复算法[J].计算机应用,2008,28(9):2315-2317.
[8]韩军,闵有刚,宋海华,等.视频图像修复算法研究[J].电视技术,2007,32(7):72-74.
[9]MALLAT S G.A theory for multiresolution signal decomposition:Thew avelet representation[C].IEEE Trans.Pattern Anlysis and MachineI ntelligenc,1989,674-683.
修复算法 篇7
关键词：数字图像修复,Criminisi,优先权,置信度,数据项
数字图像修复技术对信息和网络安全有着非常重要的意义:随着互联网的高速发展, 信息在网络中的传输尤其是图像信息和视频信息在网络中的传输越来越频繁, 然而在有限带宽的情况下, 压缩的图像信息和视频信息受到信道干扰等影响, 经常会出现丢包、数据块损失等现象, 然而常规的重传机制很难满足实时性要求, 图像和视频的修复技术就可以在接收端对传输过程中发生的错误进行处理。出于政治和军事目的, 有时会在图像信息的安全显示和图像信息的网络安全传输时把图像中的某个对象或者文字进行移除, 这正是图像修复技术所擅长的。另外, 图像修复技术在保护文物、制作影视特效、修补陈旧照片、抠出图像中的文字和物体等领域也都有着十分重要的理论价值和应用意义。
数字图像修复技术是利用图像中的已知信息对图像中的受损区域进行信息的填充或是移除图像中的多余物体, 从而使观察者觉察不出图像曾经破损或是感觉不到有多余物体存在的一种技术。图像修复的目的并非是要“恢复”图像的原来信息, 而是最大限度地使得修复后的图像看不出破损的痕迹。
数字图像修复的算法主要分为2类:基于偏微分方程的数字图像修复和基于纹理合成的数字图像修复。前者主要用于修复图像中的小尺度破损问题, 后者主要用于图像中的较大面积破损区域的修复。而基于纹理合成的图像修复算法主要分为2类:基于图像分解的修复算法和基于样本块的图像修复算法, 前者的修复过程是基于分解的思想, 首先将待修复图像的纹理和结构分离, 然后以单个像素点为对象分别对纹理和结构进行修复, 最后再把修复结果进行合并;后者的修复原理是首先人为地确定待修复区域的边缘, 以边缘上优先权最高的像素点为中心构成的9×9的像素块为对象, 在完好区域进行匹配, 然后用匹配得到的误差最小的像素块填充模板块的待修复部分, 最后更新已修复像素点的优先权并开始下一次迭代修复。基于样本块的图像修复算法最初是由Criminisi[1]等人于2003年提出的, 是迄今为止最为经典的基于纹理合成的图像修复算法。由于该算法优先权中的置信度会随着图像的不断修复迅速变为零, 并且数据项也有为零的可能, 这些都会导致优先权的计算出现错误, 从而导致修复顺序出现错误, 引起修复误差的累积, 最终影响修复的效果。后来国内外的很多学者都在该算法上进行不同程度的改进。李爱菊[2]、吴亚东[3]通过直接增大数据项在优先权公式计算中的权重, 使得纹理较为丰富的区域优先修复, 在一定程度上增强了修复后的视觉效果;韩明珠[4]则通过减小置信度对优先权的影响, 间接增大数据项对优先权的作用;刘业妃[5]引入了自然指数, 平缓了置信度的急剧变化;李尊[6,7]则通过引入正规化函数, 通过减小噪声的影响, 以达到较好的修复效果。
1 Criminisi算法
1.1 算法基本原理
Criminisi算法通过在待修复区域边缘上选取优先权最高的像素点p, 然后以p为中心构造一个n×n大小的像素块, 然后在完好区域寻找与该模板块最相似的样本块, 并用找到的样本块更新模板块中的待修复信息, 最后更新已修复块块中像素点的置信度, 并开始下一次迭代修复, 直至修复完成。
1.2 算法的运行步骤
Criminisi算法的运行步骤如图2所示。
1.3 算法中的优先权
Criminisi算法中计算优先权的公式如 (1) 所示:
在公式 (1) 中, C (p) 为置信度项, 表示的含义是样本块中包含的已知像素点的多少。C (p) 越大, 说明中包含的已知信息所占有的比例越大, 即置信度越大, 应优先修复。D (p) 是数据项, 表示结构信息量。D (p) 越大, 说明表面线性结构越复杂, 应优先修复。其中, C (p) 和D (p) 的计算公式如 (2) (3) 所示:
2 优先权的改进
2.1 Criminisi算法存在的问题
问题1:在Criminisi算法中, 优先权的计算公式是像素块的置信度和像素点的数据项的乘积的形式。然而在修复的过程中, 置信度值C (p) 会随着迭代的进行迅速下降为零, 导致P (p) 为零, 从而即使线性结构复制的区域也不能被优先修复;当等照度的方向和像素点p的法线方向垂直时, 会出现D (p) 为零的情况, 并且就某块单一颜色的区域而言D (p) 的值总是零, 导致P (p) 为零, 从而置信度很高的区域不能被优先修复。这些都会使优先权的计算变得不可靠, 进而导致错误的修复顺序, 最终影响修复的效果。
问题2:在Criminisi算法中, 使用的是固定大小的9×9的像素块。然而无法预料到图像待修复区域中纹理和结构的情况, 针对待修复区域是纹理比较单一的, 使用的像素块的大小有可能使用大于9×9的像素块, 使用9×9的像素块有可能就会造成过长的修复时间, 增加算法的时间复杂度;而对于结构性比较复杂的待修复区域, 使用9×9的像素块可能显得过大, 而像素块太大会导致检索到的不是最佳匹配块, 从而导致错误信息的累积, 最终影响修复效果。
问题3:Criminisi算法采用的是基于像素差值的平方和SSD (Sum of Squared Difference) 的全局搜索, 对于较大的待修复图像, 使用全局搜索就会导致搜索匹配占用更多的时间, 增加算法的时间复杂度。
2.2 算法的改进方向
基于Criminisi算法, 现有的很多改进算法主要从3个方面进行某种程度的改进:第1个方面是待修复边缘上像素点优先权的确定, 因为优先权的计算直接影响到修复顺序的确定, 而不好的修复顺序将导致修复错误的累积, 最终影响修复效果;第2个方面是像素块的大小的选择, 针对结构复杂性差异较大的像素块, 应该考虑使用不同大小的像素块进行修复, 孟春芝等[8,9,10,11]在此方面进行了研究;第3个方面是搜索时所用的匹配算法和搜索范围的改进, 戚曹等[12,13,14,15,16]在此方面进行了相关的探索研究。
2.3 本文的改进思路
本文主要研究待修复像素块优先权的确定。由于在修复的过程中, 置信度值C (p) 会随着迭代的进行迅速下降为零, 导致P (p) 为零, 从而即使线性结构复制的区域也不能被优先修复;当等照度的方向和像素点p的法线方向垂直时, 会出现D (p) 为零的情况, 并且就某块单一颜色的区域而言D (p) 的值总是零, 导致P (p) 为零, 从而置信度很高的区域不能被优先修复。这些都会引起优先权的计算变得不可靠, 进而导致错误的修复顺序, 最终影响修复的效果。
本文提出的优先权的改进公式为:
其中,
其中, C (p) D (p) 与公式 (1) 中的相同;由于随着修复的不断迭代, 置信度会骤降, 使用指数形式使置信度的变化更加平缓;由于图像在一个像素点梯度值较大时, 该点附近图像的纹理较为丰富, 通过优先修复纹理较为丰富的像素点, 使得图像的边缘结构更加平滑, 故结构性较为复杂的边界点应该优先修复;是非负常数, 分别决定着优先权中占已知区域的比例、结构信息量的权重, 。当图像平滑, 纹理简单时, 使增大, 减小;当图像纹理结构比较复杂, 边缘信息比较突出时, 使增大, 减小。对于 (6) 式, 引入正规化函数, 平滑数据项D (p) , 从而增强图像边缘修复的鲁棒性, 其中, w取0.7。同时将P (p) 的表达式由乘改为相加, 避免了由于C (p) 和D (p) 突然减小为零所引起的优先权的不可靠所导致的错误修复顺序。
3 实验结果分析比较
本文在Intel Core (TM) 2Duo CPU T6400, RAM 4GB, Windows7的测试机上, 采用Matlab7.10编程测试改进后算法的修复效果, 并和标准的Criminisi算法进行对比, 测试图像分别为:bungee1.png, seaside.png。实验结果如图3-4所示。图中 (a) 表示待修复图像, (b) 表示Criminisi修复后的图像, (c) 表示文献[5]的修复结果, (d) 表示文献[6]的修复结果, (e) 表示本文算法修复后的图像。
由图3可以看出, 仿真实验是为了移除背景中跳水的人和跳板, 得到所需的前景图像。经过对比可以看出: (b) 图中Criminisi算法的修复结果效果不够好, 水泥墙壁的裂缝太大; (c) 图是文献[5]的修复结果, 边缘平滑性不够好; (d) 图是文献[6]的修复结果, 由于置信度的骤减引起的修复顺序不当, 导致水泥墙的修复后中间出现裂缝; (e) 图是优先权改进后的修复结果, 可以看出不会出现置信度骤减的情况, 线性结构的平滑性较好, 基本满足人眼的视觉效果。
图4是seaside图像的修复结果, 其中, 图 (a) 是待修复图像;图 (b) 是算法Criminisi的图像修复结果, 修复结果中有黑色小点存在;图 (c) 是文献[5]的修复结果, 可以明显看出图像修复结果不够好;图 (d) 是文献[6]的修复结果, 图 (e) 是优先权改进后图像的修复结果, 可以看出, 即使对于结构性比较单一的待修复区域, 图 (e) 也能具有相对较好的修复效果。
4 结语