图像修补

图像修补（共4篇）

图像修补 篇1

图像已经成为人们日常交流信息的一种常用载体,越来越多的人们使用图像来记录和存储信息。然而,由于各种原因容易造成图像部分信息缺损,图像的整体视觉效果都会受到影响。为了有效地使用图像,有必要对其污损区进行填充、修补,这一过程被称为图像修补。

数字图像修复技术就属于图像修补的研究范畴,是图像处理领域的一个分支,也是当前的一个研究热点,在文物保护、影视特技制作、虚拟现实、多余物体剔除(如视频图像中删除部分人物、文字、小标题等)等方面有很高的应用价值。

数字图像处理的研究已经发展了很多成熟的模型,主要包括基于偏微分方程图像修补模型和基于整体变分模型。比较有代表性的前者如Bertalmio提出的BSCB模型,后者如T.Chan等人于2002年提出基于TV模型。本文通过对上述两种模型的研究,然后综合考虑BSCB模型、TV模型的扩散方向,并结合方向扩散提出同时考虑法向及切向扩散的多方向性统一修补模型。

1 基于偏微分方程的BSCB模型

受到专业人士手工修补方法的启示,Bertalmin等人在2000年的SIGGRAPH会议上提出BSCB图像修补模型,并发表了他们的研究成果,明确地提出图像修补的定义、预期目的及应用分类,并使用了基于偏微分方程的分析方法,促进了这个领域的研究。

在BSCB方法中,修补的过程是一个基于扩散的过程。它的主要思想是将到达修补区域的边缘以原有的角度延伸到区域里面,即沿边缘做切向扩散。

假设待修补的图像为I0(i,j),图像修补的过程就是不断对污损图像的迭代、改善过程,将该迭代过程产生的一系列中间结果看作一组图像序列I(i,j,n),其中I0(i,j)=I(i,j,n),该迭代过程用数学语一言描述如下:

其中,上标n表示当前修补次数,(i,j)表示像素坐标,⊿t是迭代的速率,表示本次图像的更新量。需要注意的是,该迭代过程只对待修补区域Ω内的像素进行,不改变其它区域的像素值,即只对待修补区域内部的点进行修补。随着迭代过程的进行,图像的修补效果越来越好,下一幅迭代图像都是以相应的更新量对本幅图像进行更新的结果。因此,如何设计更新量就显得至关重要。

依据人工修补的原则,我们需要将Ω外部的有用信息平滑地传播到内部。令Ln(i,j)表示需要传播的信息,并按拉普拉斯算式计算。令表示传播的方向,随着迭代次数n的增加,传播量Ln(i,j)就逐渐地扩散进待修补区域内,直至相邻的两次修补效果相差不大时停止,此时,。

接下来要确定的是传播方向。在该模型中,传播方向取等照度线方向。我们知道,梯度对应于图像灰度变化最大的方向,而垂直于梯度的方向则是灰度变化最小的方向。因此,使用梯度方向的90度旋转作为等照度线方向。修补过程中,只要沿着等照度线的方向进行修补即可,修补效果跟对梯度方向进行顺时针还是逆时针旋转关系不大,只要保证是灰度值变化最小的方向即可。

为了修补过程中图像的正确演化,需要在修补过程中穿插进行扩散。同时为保持边缘的锐利性,在扩散过程中采取各向同性非线性扩散方程。

其中,Ωε表示对Ω区域以半径为ε的结构元进行形态学膨胀后的区域;k(x,y,t)表示等照度线的欧几里德曲率;当(x,y)∈Ω时,gε(x,y)取值为1,当时,gε(x,y)取值为0,这就相当于只更新待修补区内的像素值。

2 基于整体变分的TV模型

图像修补的目的就是要借助待修补区的邻域信息来修补该图像,并使修补后的图像尽可能的逼真,使观察者不易察觉。TV模型主要是寻找代修补区域及周边区域上的一个代价函数,然后通过最小化该代价函数来实现对图像的修补。

将原图记为u。,修补后的图像记为u,定义代价函数为:

满足如下噪声约束条件:

其中,A(E)为区域E的面积,E内初始图像值uo被高斯噪声污染,σ是白噪声的标准方差。可见上述公式式是为了使待修补区域及其边界尽可能地平滑,同时保证该模型对噪声的鲁棒性。

为了保证能够修补断裂的边缘,需要选择合适的r(.)函数形式。在边缘上▽u是一个一维冲击函数δ,因此要求代价函数R[u]有限。通过变换展开可得出经典TV图像修补模型,形式如下:

上式同样受到噪声条件约束。

根据变分理论,无约束条件的极值问题更容易求解。因此,为将有约束条件的极值问题转化为无约束条件的极值问题,我们采用Lagrange数乘法,推得新的代价函数为:

根据计算函数极值的变分方法可知,求解能量泛函极值的问题可以归结为求解相应的Euler方程:

其中,F为二维函数,E为所求解的能量泛函。

当于取F=|▽u|,最终使得E达到最小的u应该满足条件:

这就是图像修补的整体变分模型。

3 多方向统一修补模型

上述两个模型的修补方法都是非线性扩散方法,其区别就在于扩散方向以及传导系数的取值方式。我们应考虑两个方向的修补,对图像先进行m次沿着ε方向的扩散,再进行n次沿着η方向的扩散,然后再重复这两个过程,直到图像变化不大为止。

因而,我们从两个方向分别选取修补模型:

3.1 ε方向的扩散

从基于BSCB修补模型出发,修补过程主要是收集信息并沿等照度线方向修补,扩散过程则是为了防止等照度线的交叉。修补过程可看作沿ε方向的信息扩散过程,而扩散过程采取非线性扩散方程:

上式中所有参数含义与BSCB修补模型公式式相同。上述公式实质上相当于沿着方向(垂直于梯度方向)的扩散。

3.2 η方向的扩散

从基于TV方法的模型出发,考虑到对修补速率以及修补效果的影响,直接使用TV模型完成ε方向的扩散。

综上所述,我们对ε方向和η方向交织扩散的多方向统一修补模型包括三个步骤:

1)对污损区进行“相关随机初始化”;

2)使用TV模型对图像进行m次n方向的扩散修补;

3)使用方向扩散对图像进行n次ε方向的扩散修补。

实际计算过程中,需注意以下事项:

1)m和n的次数可以根据需要选取

2)迭代阂值的设定

多方向统一修补模型的数值离散化方案:

它主要是基于方向扩散的一种离散化方案,根据方向扩散方程,代入参数值可得:

其中I为代修补图像,x、y为图像坐标。

采用中心差分进行离散化近似,根据时间t和空间x、y的一阶偏导数可得出相应二阶偏导数为:

以上各式中的Δx、Δy表示空域采样间隔。在图像处理中不失一般性可令Δx=Δy=1。于是,显式方案可表达为:

式中表示利用n层数据的中心差分求得的方向扩散公式右边在(i,j)网格点上的值。

4 实验结果

统一模型在文字去除、污损图片修补方面整体修补效果比较自然,但由于该模型使用扩散方程来实现,因此个别污损较大的区域也会存在模糊的痕迹。

下面我们比较对于同一污损图,使用的多方向统一修补模型和基于整体变分的TV修补模型在停止修补时的相关数据如表1。

由上表可以看出,在设定同一迭代停止条件(指数均方差条件)MSE=e0.0012的前提下,两种模型停止迭代时的修补次数相差不大,但统一模型用时较短。

另外,将两种模型分别对污损图进行50次修补的MSE值表示如图1。

图1中实线表示统一模型,虚线表示TV模型

可以看出,两个模型的MSE变化曲线有着如下规律:在修补开始的一段时间内,统一模型具有较大的MSE值,由于MSE衡量的是每两次修补结果之间的均方差异,表明该模型在这段时间内扩散速度较快,经过一段短暂的非稳定期后,前后两次修补结果之间的MSE越来越小,修补结果趋于稳定,而此时,TV模型对应的MSE也比较稳定,但其MSE值却比统一模型的MSE值大。可进一步得出结论:与TV模型相比,统一模型的修补效率较高。

5 结束语

本文提出的模型结合了方向扩散理论,综合了基于偏微分方程和整体变分方程模型的修补方法,具备了更高的修补效率和修补效果。不足之处在于修补污损区域较大时,容易造成模糊现象,因此下一步工作要在此模型基础上采用基于图像分解的修补技术,同时要多考虑其它方向上的相关性,比如45°,135°方向。从而在修补大范围污损区域时到达更好的效果。

参考文献

[1]Bertalmio M,SaPiro G,CasellesV,etal,lmage inPainting[C]//Proceedings of International Conference on ComPuter GraPhics and Interac-tive Techniques.NeOrleans,Luisiana,USA,2000:417-424.

[2]Rudin L,Osher S,Fatemi E,Nonlinear total variation based noise removal algorithms[J].Physica D,1992,60:259-268.

[3]Chan T F,Shen J H,Mathematical models for local non-exture inPainting[J].SIAM Journal of Applied Mathematics,2001,62(3):1019-1043.

[4]王大凯.图像处理中的偏微分方程方法[M].北京:科学出版社,2005,

[5]Perona P,Malik J.Scale一space and edge detection using anisotropic diffusion[J].IEEE PAMI,1990,12:629-639.

[6]Catte F,Lions P L,Morel J M,et al.Image selective smoothing and edge detection by nonlinear diffusion[J].SIAM J.Numer.Anal.,1992(29):182-193.

[7]Osher S,Sethian J.Fronts Propagating with curvature dependent speed:algorithms based on Hamilton-Jacobi for mulations[J].Joumal ofComputational Physies,1988,79:12-49.

[8]Marquina A,Osher S.Explicit algorithms for a new time dependent model based on level set motion for nonlinear debluring and noiseremoval[R].UCLA CAM Report99-5,1999.

[9]Sapiro G,Caselles V.Histogram modification via differential equations[J].Diff,Equat,1997,135:238-268.

[10]Caselles V.Shape一Preserving local contrast enhancement[J].IEEE IP,1999,8:220-230.

[11]Chan T F,Shen J H.Morphologically Invariant PDE InPaintings[R].UCLA CAM Report 2001-15,2001.

基于MSFM的快速图像修补算法 篇2

近年来, 图像修补技术得到了广泛的研究和应用,在电影胶片修复和受损图像还原方面取得了不少有价值的成果,如折皱照片的修复、视频或图像中广告语和文字的移除等。

图像修补技术可分为两个研究方向:结构修复和纹理合成。其中,基于结构修复的图像修补算法,主要有两个方法:高阶偏微分方程(PDE)和变分(Variations)模型。基于偏微分方程的图像修补方法是基于模拟微观的修补机制,它通过传递、扩散、以及它们的结合等过程,将受损区域周围的信息按照一定的规律延伸至受损区域内部,如M.Bertalmio, G. Sapiro, V. Caselles,以及C.Ballester一同提出的偏微分方程模型:BSCB模型[1],以及T. Chan和J. Shen.提出的曲率驱动扩散(CDD )模型[2],均产生很好的效果,而所有的变分模型,则遵循独特的宏观修补机制:最佳猜测原理或者说贝叶斯框架。Rudin, Osher及Fatemi提出的整体变分模型[3](Chan和Shen最早应用于图像修补领域[4])、Masnou和Morel[5], Chan, Kang和Shen[6]提出并研究的弹性函数图像修补模型、Tsai, Yezzi和Willsky[7],Chan和Shen[4],Esedoglu和Shen[8]应用于图像重绘的Mumford-Shah图像模型、Esedoglu和Shen为图像修补提出的Mumford-Shah-Euler图像模型[8]等模型都属于这一类。

无论是基于PDE或变分模型,在数值实现时都要引入迭代,产生一个跟步进大小h相关的时间变量τ∝hν。采用迭代算法解高阶偏微分方程,运算复杂度高,并随着阶数的增大而增大。要实现快速图像修复,必须避免大量的迭代运算。

Telea[10]提出了一种基于FMM (Fast Marching Method)[9]的修补算法。这个方法通过FMM来建立近似的边界距离场,然后沿该方向通过对已知图像值的局部加权平均得到待修补区域的值。这个方法无需迭代,可以快速实现图像修补,效果不错,但是有两个主要缺点:修补信息只沿着修补区域D的几何结构方向传播,FMM行进时只采用垂直和水平方向上距离场的信息,而且没有考虑图像的信息;权重函数对边缘保持不是很好,如果修补半径过大,就会产生相当可观的图像模糊。Sabry[11]介绍了一种多模板快速行进算法(MSFM),比较好地解决了行进顺序的问题。Bornemann[12]采用一致性传播(Coherence Transport)的方法对Telea[10]的权重函数进行了改进来替代Bertalmio[1]中边缘导向的传播机制。

本文主要在两个方向上进行改进:采用MSFM(Multi-Stencils Fast Marching)来替换Telea[10]中用到的FMM;修改权重函数,使其能够更好地保持图像的边缘信息。

1 FMM和MSFM

FMM是一种各向同性的扩散,其实质上是解Eikonal方程的一个非迭代方法[9]。

$\text{■}\nabla {\rm T}\text{■}F=1{\rm T}(\Gamma {}_0)=0(1)$

T是到达时间,在前端初始位置设为0。在二维情况下,方程(1)可转化为

$\begin{array}{l}\max (D{}_{ij}^{-x}{\rm T},-D{}_{ij}^{+x}{\rm T},0){}^2+\\ \max (D{}_{ij}^{-y}{\rm T},-D{}_{ij}^{+y}{\rm T},0){}^2=\frac{1}{F{}_{ij}^2}(2)\end{array}$

其中D-ij和D+ij分别是在点(i,j)上的后向和前向有限差分。

如果$\text{■}\nabla$T采用一阶有限差分逼近时,式(2)可以重写为

${\displaystyle \sum _{i=1}^n\max }\left(\frac{{\rm T}-{\rm T}{}_{\nu }}{\text{Δ}{}_{\nu }},0\right){}^2=\frac{1}{F{}^2}(3)$

其中,Δ1=Δx,Δ2=Δy,T=Ti,j,F=Fi,j

T1=min(Ti-1,j,Ti+1,j),

T2=min(Ti,j-1,Ti,j+1)

该方程的解为:

①当T>max(T1,T2)时,T为

${\displaystyle \sum _{\nu =1}^2\left(\frac{{\rm T}-{\rm T}{}_{\nu }}{\text{Δ}{}_{\nu }}\right)}{}^2=\frac{1}{F{}^2}$的解的较大值。

②T2>T>T1:${\rm T}={\rm T}{}_1+\frac{\text{Δ}{}_1}{F}$

③T1>T>T2:${\rm T}={\rm T}{}_1+\frac{\text{Δ}{}_2}{F}$

FMM算法的思想是在计算网点的解(到达时间或距离)时,提供了一种类似最短路径算法的选择顺序。该顺序是基于因果关系的,任意点的到达时间只取决于有较小值的周围点。在前端推进的过程中,任一点都被标记为以下三种可能的标记之一:

①known: 到达时间已知,不会被修改。

②narrow-band: 到达时间可能被修改。

③far:到达时间未被计算。

FMM算法的流程如下:

初始化时,所有的边界点都标记为known,然后它们最近的点在用式(3)算得到达时间后标记为narrow-band。

①LOOP: 在所有的narrow-band点中将最小到达时间的点从中删除,并标记为known。

②找到该点最近的属于far或narrow-band的邻近点。

③用式(3)更新这些点的到达时间。

④回到LOOP。

直到Narrow-Band 为空。

虽然FMM提供了Eikonal 方程的一各稳定一致的解,但是存在两个局限:一是因为对narrow-band中的点采用堆排序的方法,运算复杂度为O(n1gn);二是在每个网点,该方法只使用了邻近4个点的信息而忽略了对角点的信息,因此在对角方向上会导致数值错误。

MSFM[11]对此进行了改进。

如图1所示,在2维情况下,将坐标轴旋转角θ度,(x,y)点坐标变为($\overline{x},\overline{y})$

记

$\begin{array}{l}U{}_1=\overrightarrow{r}{}_1\cdot \nabla ?{\rm T}(x)=r{}_{11}{\rm T}{}_x+r{}_{12}{\rm T}{}_y\\ U{}_2=\overrightarrow{r}{}_2\cdot \nabla \end{array}$

T(x)=r21Tx+r22Ty

其中$\overrightarrow{r}{}_1=\frac{p{}_{2}p{}_1}{\text{■}p{}_{2}p{}_1\text{■}}‚\overrightarrow{r}{}_2=\frac{q{}_{2}q{}_1}{\text{■}q{}_{2}q{}_1\text{■}}$,这样

$U=R\nabla$${\rm T},\nabla$

$\begin{array}{l}{\rm T}=R{}^{-1}U\\ \text{■}\nabla \end{array}$

${\rm T}\text{■}{}^2=U{}^{{\rm T}}(RR{}^{{\rm T}}){}^{-1}U=\frac{1}{F{}^2(x)}(4)$

化简得:

$U{}_1^2-2\cos \phi U{}_{1}U{}_2+U{}_2^2=\frac{\sin {}^2\phi }{F{}^2}(5)$

φ为$\overrightarrow{r}$1和$\overrightarrow{r}$2的夹角。当各向同向扩散时,

$\text{Δ}x=\text{Δ}y,\phi =90°,U{}_1^2+U{}_2^2=\frac{1}{F{}^2}(6)$

计算T值时,分别从原坐标系旋转45°后的坐标系两种情况下求解,在更新时取两者中较小的值。

2 结构张量和一致性增强扩散

相对梯度向量,结构张量提取局部方向信息更为有效。对于一个梯度经过高斯平滑的图像,它的结构张量[13]定义为:

$J{}_{\rho }(\nabla$$\mu {}_{\sigma })={\rm K}{}_{\rho }*(\nabla$μσ⨂$\nabla$μσ) (7)

其中${\rm K}{}_{\rho }(x)=\frac{1}{2\text{π}\rho {}^2}e{}^{-\frac{\text{■}x\text{■}{}^2}{2\rho {}^2}}‚\mu {}_{\sigma }={\rm K}{}_{\sigma }*u$

Kρ是一个标准差ρ≥0的高斯核,结构张量Jρ为半正定的2×2矩阵。为半正定的2×2矩阵

其特征值为

λ1=12(J11+J22-(J11-J22)2+4J212)

λ2=12(J11+J22+(J11-J22)2+4J212) (8)

λ1对应的特征向量α1为:

$\left(\begin{array}{l}2J{}_{12}\\ J{}_{22}-J{}_{11}-\sqrt{(J{}_{11}-J{}_{22}){}^2+4J{}_{12}^2}\end{array}\right)(9)$

取该特征向量作为一致方向。

由于λ1为较小的特征值,扩散强度小。因此,在做一致性增强扩散时,需要增强在α1方向上的扩散强度,而保持方向为Jρ的特征向量。

3 图像修补算法

基于MSFM的快速修补算法流程如下:

根据图像中的受损信息,建立距离场,采用MSFM方法行进,将narrow-band中距离值最小的点取出,标记为known,对其进行修复,并更新其相邻点的距离值。修复公式如下:

${\rm I}(p)=\frac{{\displaystyle {\sum }_{q\in B{}_{\epsilon }(p)}w}(p,q)[{\rm I}(q)+\nabla ?{\rm I}(q)(p-q)]}{{\displaystyle {\sum }_{q\in B{}_{\epsilon }(p)}w}(p,q)}(10)$

p点为要修补的点,q点为p点邻域内已知像素值的点,w(p,q)为权重函数。

$w(p,q)=\sqrt{\frac{\text{π}}{2}}\frac{\mu }{\text{■}p-q\text{■}}\exp \left(-\frac{\mu {}^2}{2\epsilon {}^2}\left|\overrightarrow{c}{}^{\perp }(p)\cdot (p-q)\right|{}^2\right)(11)$

其中$\overrightarrow{c}$为归一化的结构张量Jρ特征值λ1对应的特征向量α1,μ是与Jρ的特征值相关的一个参数。

$\mu =\{\begin{array}{l}1\lambda {}_1=\lambda {}_2,\\ 1+\kappa \exp \left(\frac{-C}{(\lambda {}_1-\lambda {}_2){}^2}\right)\text{其}\text{他}‚\end{array}$

当λ1=λ2时为图像的平滑区域,μ值较小,当λ1,λ2差异较大时,μ值较大。这样,当q点位于边缘信息比较丰富的区域,并在p点的一致性方向上,就能取得较大的权重。

4 实验结果与分析

对于一般的图像修复,可以采用默认参数(ε,κ,σ,ρ)=(5,25,1.4,4)。对于不同的受损情况,可以适当地调整参数,来达到最佳的效果。

这里列举了本文的算法与Telea算法的比较结果。采用Telea的算法由于对图像的边缘信息保持的不好,修复后的图像存在比较明显的刮痕,如图2(c)中头发部分和图3(c)中的眉毛和眼睛部分,而采用本文的算法,则可以达到让人比较满意的效果。

5 结束语

MSFM方法比起FMM,因为考虑了周围8个点的距离信息,能够建立更加准确的行进方向;采用一致性增强扩散,使得修补的图像更好地保持了原图中的边缘信息。从实验结果来看,本算法达到了较好的修补效果,并保持了原有算法的快速性。由于本算法属于结构修复的方法,对于纹理信息比较丰富图片的修复,本方法并不适宜。另外,对于受损区域比较宽(大于15 pixel)的图像,用该方法修复时会产生一定程度的模糊。

摘要：近年来,基于非线性高阶偏微分方程的高质量图像修补算法已经得到了发展,但这些方法需要大量的迭代,时间开销大,复杂度高。Telea提出的基于FMM的修补算法可以快速完成修补,但存在行进方向和边缘信息保持的问题。对此进行了改进,采用MFM方法,并引入扩散张量。实验结果表明提出的方法可以达到较高的质量,而且速度快。

改进的基于样本块的图像修补方法 篇3

对破损的古老艺术品和绘画作品进行修复是图像修复技术最早的应用, 而这种技术第一次是被Berlalmio等人应用到图像处理领域中, 多用于对破损图像的修补, 对目标物进行移除等等。随后, Chen和Shen提出一种TV模型, 之后Criminisi等人又提出了一种基于样本区域进行破损图像修补的新算法。图像修复技术发展到今天大致被分为3大类:

(1) 基于偏微分方程 (PDE) 的图像修复算法。这类算法主要用于受损区域较小的图像修复, 虽然能保持图像的结构信息, 但是不适合受损区域较大的图像。

(2) 基于纹理合成技术的图像修复算法。将图像的纹理信息复制到待填充的区域内用于大面积破损区域的修复, 但对于纹理较复杂或者结构信息比较多的图像效果也不是很好。

(3) 基于分开处理的图像修复算法技术。用先分解再修复的方法, 即将图像中的破损区域分为纹理和结构这两个块, 之后再用各自不同的算法进行修复。此种算法效果虽然不错, 但却增加了修复所用的时间。其中Criminisi等人提出的算法更容易实现, 实验速度较快, 处理结果较好等优点, 但是这种方法也有其缺点:

(1) 优先级的定义没有考虑到C (p) (置信度) 值的问题, 因为C (p) 易衰减, 进而使优先权的值会随之极迅速衰减。

(2) 对于待修补区域的填充并没有考虑已知与填充的区域之间的过度问题, 如果直接拷贝最佳匹配块信息, 填充后常常会出现块效应。

本文对这两个方面做出了改进, 实验结果表明, 改进的算法取得到了良好的效果。

2 算法描述

2.1 Criminisi算法

如图1所示, I为整幅图像;Ω为待修复的区域, δΩ代表其轮廓;φ为图像中未破损的区域, 即已知信息的部分;φ=I-Ω。

其中, C (p) 为置信度, D (p) 为数据项, 定义如下:

式 (1) 中D (p) 定义为:

其中, α为归一化系数。

(2) 合成匹配的SSD标准, 搜索最佳匹配块φq, 填充φp。

(3) 完成填充后, 按 (5) 更新图像的置信项。当目标块修补完成后, 更新已修复完的点P的C (p) :

重复上述三个步骤, 直至图像中破损区域被全部修复完成。

2.2 优先级的改进

对优先级的计算方法的改进, 如图2所示, 块φp优先级为

公式中的C (p) 意义不变, 仍为置信度项。D (p) 仍为数据项。新增加的V (p) 代表梯度信息。a, b是调节因子 (均属于0-1之间) 且a+b=1。a和b用于控制各项为优先权作贡献的比重, 在不同的情况下控制a和b两者的大小会有不同的效果。例如, 当纹理简单, 图像平滑时, 增大a, 减小b;相反, 纹理、边缘信息较为复杂时, 减少a, 增大b。因此, 为使修复更接近完美, 不同的图像, 应对应不同的权系数。

2.3块效应去除

为达到更好的修复效果, 搜索最佳匹配块填充到待修复块后应进行块效应去除。找到最优匹配块φp, 要用φp中的相应像素来填充未知像素。φp虽然和φp之间的欧几里得距离在其搜索方向上是最小的, 但是, 因为用任何距离的函数都很难判断图像的相似性, 所以在边界处易引起块效应。本文用一种平滑方法来降低块效应, 将边界点左、右两边的领域点的平均值作为该边界点的值。

2.4 改进后的算法

步骤1确定图像的待修补区域并标记;

步骤2检测待修补区域轮廓δΩ, 若δΩ=φ则修补结束, 输出修补结果。否则进行下一步;

步骤3由式 (2) 、 (3) 、 (6) 计算出以δΩ上的点为中心点的每个目标块的优先权, 并确定优先权最高的点。确定最佳匹配块 (以此点为中心的块) ;

步骤4将已知区域内的最佳匹配块中相应的像素值复制到目标块的未知像素中, 并对边界处进行块效应去除;

步骤5利用式 (5) 更新置信度项C (p) , 返回步骤2。

3 实验结果分析

本文以Matlab7.11 (R2010b) 为平台进行仿真实验, 并做比较分析。所用的微机环境是主频1.70GHz, 4GB内存。

实验一: (a) 是原图, 大小为308*206像素, (b) 是标记了待移除目标图像, (c) 是用Criminisi算法修复结果, 修补时目标块的大小选为9*9, , (d) 是用本文改善后的算法修复的结果, 是本文改进算法, 增加多个已知像素的梯度信息, 并且用加法代替乘法, a=0.88, b=0.12时的修复结果。由 (c) , (d) 图两者比较可知, 在两幅图中虽然目标物都被完全移除但效果却并不相同。在 (c) 中, 屋檐下虽然有被修复但却将部分草地修复到屋顶, 并肉眼可以清晰捕捉, 效果并不理想;同时对比后可以清晰看出 (c) 中草地明显延伸到水面上来, 而 (d) 图对这两点的处理的更好, 更符合真实情况。见图3。

实验二:同实验一, (a) 是原图, 大小为433*367像素, (b) 是标记了待移除目标图像, (c) 是用Criminisi算法修复结果, 修补时目标块的大小选为9*9, (d) 是用本文改善后的算法修复的结果。比较 (c) (d) 可以明显看出:画中人物左上角头发明显 (d) 比 (c) 更接近原图像, 更符合人类视觉系统。见图4。

综上, 本文提出的改进算法与原算法相比效果更好。不仅在视觉上有显著变化更符合实际情况, 在PNSR值方面也有改善。根据峰值信噪比很容易看出, 本文的方法很好的改善了修补效果。如表1所示。

4 结论

本文的算法是对Criminisi算法的一种改进, 从算法优先级着手, 打破常规, 针对原有算法C (p) (置信度) 的值很容易衰减, 在计算优先权方面增加多个已知像素的梯度信息, 将相乘变成相加运算, 加入调节因子, 另外, 增加最佳匹配块的限制条件进行块效应的去除来提高修补的效果, 使修复的图像更加自然, 更符合人眼的视觉系统。大量的实验后表明, 运用本文算法修复后的图像结果优于原算法的修复结果。 (通信作者:刘雅楠)

摘要：图像修复的主要目的是改善有缺损的图像, 并使观察者无法察觉出修补痕迹。Criminisi提出的基于样本块的图像修补方法, 对于优先级的定义没有考虑到置信度的值很容易衰减这个问题, 本文提出一种改进的基于样本块的图像修复方法, 在计算优先权方面增加多个已知像素的梯度信息, 并加入调节因子防止衰减。另外, 在搜索最佳匹配块时增加了块效应去除。实验结果表明, 本文方法比Criminisi算法效果更好。

关键词：图像修复,优先级,块效应去除,峰值信噪比

参考文献

[1]Bertalmio M, Sapiro G, CasellesV, et al.Image inpainting[C]//Proc.ACM Conf.Comp.Graphics (SIGGRAPH) , NewO rleans, LA.July2000:417-424.

[2]Chan T F, Kang S H, Shen J H.Euler’s elastica and curvature based inpainting[J].SLAM Journal of Appl.2002, 63 (2) :564-592.

[3]Chan T.F Shen J H.Non-texture inpainting by curvature-driven diffusions (CDD) [J].Jounmal of Visual Communication and Image Representation, 2001, 12 (4) :436-449

[4]李亮, 郭树旭, 陈国法.基于偏微分方程的图像修复算法[J].吉林大学学报 (信息科学版) 2012, 30 (1) :72-77.

[5]汪忠庆, 檀结庆, 何蕾.方向性纹理图像修复算法[J].计算机工程与应用2006, 42 (34) :29-32.

图像修补 篇4

随着化学计量学与计算机技术的发展,近红外分析与计算机图像处理技术相结合的近红外图像技术得到了迅速发展。近红外图像检测技术已在食品分析[1]、农作物生长状态监测[2]、农产品的分类[3]和品质的无损检测[4,5]、作物病虫害检测[6]以及杂草识别[7,8]等众多领域得到广泛应用。近红外图像检测技术的广泛应用促进了近红外图像处理技术的研究和发展,在近红外图像去噪[9]、图像融合[10]和图像分割[11]等多方面都有新的进展。

小波变换具有时频域表征信号局部特征和多分辨分析的特点,是一种新的信号和图像分析工具[12]。Chan等[13]针对小波域系数缺损问题提出了基于全变差的小波图像修补技术,对一般的图像进行了修补实验。修补后的图像保持了原始图像中的图像边缘形状和曲率等几何特征。为修补图像中的纹理和局部几何结构,Zhang等[14]提出了基于非局部的全变分小波修补。快速优化算法的提出,提升了小波图像修补的实现速度[15]。

在应用近红外图像技术检测小麦时会获得大量图像,存储和传输这些数据量极大的图像成本会很高,因此需要对图像进行压缩和解压缩等处理。在近红外图像处理技术中用小波变换对小麦近红外图像进行压缩、解压缩等处理以及在小波系数传输的过程中(包括数据采集和远程网络传输等),都不可避免地会丢失部分小波系数,导致小麦图像数据缺损,不能完整地包含原始小麦近红外图像的信息,这样就需要在剩余数据的基础上进行处理,在一定程度上恢复丢失的小波系数。

对于检测过程中的小麦近红外图像小波系数缺损问题,针对小麦种子特征,本文引入了基于全变差的小波图像修补技术,对小麦种子的近红外图像进行了修补实验,探讨小波图像修补技术用于修补小麦种子近红外图像的效果。

本文首先介绍了小波图像修补技术的基本原理;然后,利用近红外图像采集系统采集小麦种子的近红外图像;最后,引入小波图像修补技术对小麦近红外图像进行了修补实验,并对其修复效果和优缺点进行了分析讨论。

1 基于TV的小波图像修补基本原理

设标准的图像模型为z(x)=u0(x)+n(x)。其中,u0(x)是原始无噪声图像,n(x)为高斯白噪声。设图像尺寸大小为n×m,z(x)的标准小波变换表示为z(a,x)=j,∑kαj,kψj,k(x),j∈Z,k∈Z 2。小波域的数据缺损即部分系数{αj,k}丢失,导致图像部分信息丢失。小波图像修补的目的就是恢复丢失的小波系数。

对没有噪声或者噪声大小可忽略的图像,只要填充缺失小波系数并保持其他系数即可。利用TV极小化方法来填充小波系数的模型为[13]

其中,u(β,x)有小波变换。u(β,x)=,∑jkβj,kψj,k(x),β=(βj,k),j∈Z,k∈Z 2,并使得βj,k=αj,k,(j,k)I。其中,I={(j,k)}αj,k为缺失的小波系数}。模型所对应Euler-Lagrange方程为

因为在数据处理或传输等过程中,数据中产生噪声是不可避免的,{βj,k,(j,k)∈I}可能完全丢失,其余的系数{βj,k,(j,k)I}可能也被噪声破坏,这种情况下的小波修补模型为

其中,当(j,k)∈I时,参数λj,k=0。模型对应Euler-Lagrange方程为

文献[13]详细地讨论了以上模型的解存在性及唯一性。只要了解模型所对应的Euler-Lagrange方程,即可得到模型的解。以下是基于有限差分方法的小波图像修补模型的数值解法。

1)初始化n=0,βj,knew=αj,kχj,k,βj,kold=0,设置误差为E=‖βnew-βold‖2。

2)当i≤N或者E≤δ时,βj,knew=βj,kold,u=IWT(β),对所有(i,j)计算,即

-2λ(βj,k-αj,k)χj,k。当(j,k)∈I时,参数λ=0。

其中,IWT为逆小波变换,FWT是向前小波变换,D+1uk,l=uk+1,l-uk,l,D+2uk,l=uk,l+1-uk,l,D-1uk,l=uk,l-uk-1,l,D-1uk,l=uk,l-uk,l-1,正数ε是用于当D+1ui,j2+D+2ui,j2=0时数值算法也能够顺利进行,Δt为时间步长,Δt为空间网格,Δx=1/n。

2 实验部分

近红外图像采集系统由卤钨灯光源(北京赛凡光电仪器有限公司,7ILT75卤钨灯光源,300～2 500nm)、双CCD摄像机(JAI,AD-080CL,可见光区感光范围为400～700nm,近红外通道感光范围为700～1 000nm)、可调焦距镜头(ComputarM 2514-MP,焦距1.4～11mm)和计算机等组成,见图1所示。

从2009年8-9月收获的中育3号小麦种子中,选择大小、形状和纹理等特征尽量多样的种子,样品置于0℃无光照条件下储存。在采集小麦种子的近红外图像时,选择白纸作为背景,使得小麦样品和背景对比明显。摆放小麦种子样品时,单层铺放避免重叠,这样腹沟有朝上的和朝下的。腹沟朝上时候可以观察到种子的果毛,腹沟朝下时可以较好地观察到小麦种子的胚以及表面的褶皱。

在可见光条件下,根据镜头的焦距、光圈及景深,调整CCD和镜头的高度及样品台的位置,当采集到符合标准的图像时,确定CCD、镜头和样品台位置及其他各个参数值。在暗室条件下,用卤钨灯光源,按以上所确定的各装置和各个参数,采集样品的近红外图像如图2所示。采用CCD的近红外通道采集图像,所采集到的图像只包含了700～1 000nm波段的近红外信息。

本文的图像修补算法实验使用MATLAB软件实现,其版本为Matlab7.0.0.19920(R 14),计算机操作系统为MicrosoftWindowsXPProfessional,处理器为Intel(R)Core(TM)2DuoCPU E 8400@3.00Ghz,内存为1.98GB。

3 结果与讨论

小麦近红外图像修补中采用Daubechies 7双正交小波分解图像,其中图像边界处采用对称延拓。实验通过计算图像的标准峰值信噪比(PeakSignaltoNoise Ratio,PSNR)来评估小波图像修补的效果,即

式中u0—原始图像;

u—处理后的图像;

‖·‖2—标准L2范数。

PSNR越大时,修补效果越好。

对图2进行小波分解,随机去掉5%的小波系数,以此来模拟在处理或者传输过程中发生的小波系数缺损。使用剩余小波系数重构,得到图3(a),其PSNR为23.83dB。可以发现,图3(a)已经丢失了大量的原始图像所包含的信息。利用本文介绍的小波图像修补算法,仅进行6次迭代,逆小波变换重构后得到图3(b),其PSNR达到36.81dB。图3(b)中,种子轮廓已经基本恢复到图2的效果。与图3(a)相比较,图3(b)已经包含了原始图像的大部分信息。由于该方法可以保持图像中的形状等几何特征,小麦种子的轮廓部分修补效果好,小麦种子之间可以分辨,种子的腹沟部分也得到了修补。由于种子果毛和胚部分的纹理特征较多,所以修补结果中丢失了大部分的纹理和细节,修补效果不够理想。

为进一步检验小波图像修补算法对近红外图像的修补效果,随机去掉小波分解(图2)后的50%的小波系数,模拟系数缺损,重构到的图像如图3(c),PSNR仅为9.96dB。图2中,小麦种子的轮廓已经不能辨识,种子腹沟等信息已全部丢失,图像已经遭到严重破坏,不能够用来做进一步的数据分析。采用本文算法迭代计算13次后,重构得到结果如图3(d),其PSNR可以达到33.20dB,数据已经得到显著地恢复,可以用来作为更进一步分析的数据。修补后图像中的种子轮廓部分仍然得以较好的修补,种子的腹沟部分仅有少许的模糊,种子的果毛和胚的细节信息恢复较少。图3(e)和图3(f)分别是图3(c)和图3(d)的局部修补效果实验结果说明在图像的小波系数缺损较多时,小麦种子的轮廓及腹沟部分也有好的修补效果,果毛和胚部分所包含的信息大部分属于纹理,因而该部分的修补效果就不够理想。

不同程度丢失小波系数时,近红外图像修补前后的峰值信噪比变化趋势见图4所示。从图4可以看出,随着小波系数缺损程度的增大,图像的PSNR急剧下降,对不同程度缺损的图像进行修补后,其PSNR都增大,说明修补算法对于近红外图像的修补是有效的。在缺损50%小波系数以内时,修补后图像的信噪比还可以保持较高的信噪比;当再有更多系数缺损时,算法修补的效果急剧下降,说明在缺损大到一定程度,算法没有足够的与图像有关信息来完成修补。

4 结论

近红外图像技术检测小麦种子时常用到小波工具来处理图像。在图像压缩或者传输小波系数数据的过程中,不可避免地会有部分小波系数丢失,数据因不完整易引入误差,甚至导致数据不能使用。本文引入了基于全变差的小波图像修补技术,通过对小麦近红外图像的实验结果表明,小波图像修补算法可以在很大程度上恢复小麦的近红外图像缺损的小波系数,修补后的近红外图像具有较高的峰值信噪比。修补后的近红外图像中,小麦的轮廓以及腹沟部分,即使在数据严重缺损的情况下,其修补效果也十分显著,基本接近原始图像。种子的果毛和胚的部分纹理细节特征丰富,修补效果不够理想。从修补的效果可以看出,该算法对近红外图像中的几何特征和结构部分修补效果明显,纹理部分却不能很好地修补。纹理部分的修补也是各种图像修补技术亟待解决的重要问题还需要进一步的研究。