图像超分辨率重建

图像超分辨率重建（通用8篇）

图像超分辨率重建 篇1

引言

超分辨率 (Super Resolution, SR) 技术就是对一组属于同一场景下的低分辨率 (Low Resolution, LR) 图像序列进行处理, 通过提取它们之间的时域和空域冗余信息, 采用图像配准、运动参数估计等操作对其进行融合, 最终重建得到一幅高分辨率 (High Resolution, HR) 图像, 其核心思想是用时间分辨率 (同一场景的图像序列) 换取更高的空间分辨率。目前, 超分辨率重建大致可分为两个方向:基于重构的方法和基于学习的方法。

1 基于重构的超分辨率技术

基于重构的方法可分为频域法和空域法两类。

1.1 频域方法

式中:Y-R×1的列向量, 其第r个元素是观测图像yr[m, n]的离散傅里叶变换Yr[k, l];

F-4LuLv×1的列向量, 表示未知的f (x, y) 的连续傅里叶变换的采点;

Φ-矩阵, 表示Y与F间的对应关系。

1.2 空域方法

空域重建方法就是在空间域中进行图像的SR重建。空域方法能够将帧间复杂运动、光学模糊、欠采样等降质因素与图像插值算法、图像滤波算法及迭代运算方法融合在一起, 使空域重建方法更加灵活, 适用于更广阔的范围, 且具有较强的结合空域先验知识的能力。其主要包括基于非均匀采样的插值法、集合论方法 (如凸集投影:POCS) 、统计复原方法 (最大后验概率估计MAP和最大似然估计ML) 、迭代反投影方法 (IBP) 、混合MAP/POCS方法以及自适应滤波方法, 人工神经网络法、基于最优化技术的方法等。

1.2.1 基于非均匀插值法

非均匀插值法是空域SR重建算法中最直观的方法, 其基本思想是将原始高分辨率图像看作连续函数, 而低分辨率的观测图像则是在高分辨率图像的连续函数上进行位置不均匀的采样形成的, 因此, 高分辨率图像的重建过程就可以看作将低分辨率观测图像的采样点重新插回原函数。

1.2.2 凸集投影法 (POCS)

凸集投影 (POCS) 算法具有很好地包含空域先验信息的能力, 能够将这些先验信息融入到重建过程中。其基本思想是将高分辨率图像的某些特性, 如数据可靠性、能量有界性、平滑性、正定性等定义为不同的约束凸集合, 利用这些凸集合的交集所形成的投影交替作用, 搜索满足所有约束凸集合的解, 重建得到高分辨率图像。

假设一低分辨率图像序列g (n1, n2, k) 可以写成

在这个公式中

其中h (n1, n2;m1, m2, l) 为脉冲响应系数, δ0是对观察中的可信度, 设置为δ0=cδv, 其中δv是噪声的标准偏差, c≥0是由适当的可信度边界决定。这些参数的物理意义是如果在一定范围内与低分辨率相关的高分辨率图像, 其可信度边界与噪音偏差成一定比例。

1.2.3 最大后验概率估计

根据MAP估计基本原理, 低分辨率观测图像、理想高分辨率图像及加性噪声都可以假设为随机信号。而未知高分辨率图像Z的MAP估计的过程为:在给定观测图像y的条件下, 使理想图像的条件概率密度函数P{z|y}达到最大。根据贝叶斯原理, P{z|y}的最大化等价于函数P{y|z}P{z}的最大化。如果Z具有均匀的概率分布, 则MAP估计与最大似然估计等价。

假设低分辨率观测图像的加性噪声是零均值高斯随机过程, 其自相关矩阵为W-1, Z也是零均值高斯随机过程, 其自相关矩阵为Q, 因此MAP估计变成了最小均方差估计。经过几个代数步骤的推导, MAP简化成如下形式:

关于Z求微分并使其为零, 得到如下伪逆结果:

1.2.4 迭代反投影法 (IBP)

1.2.5 正则化法

假定图像退化模型为:

其中, y为退化图像, x'为原始图像, N为加性噪声, H为模糊算子 (退化矩阵) , 它是由空间退化点扩展函数 (PSF) 生成的矩阵。

然后利用最小二乘法求解上式最优解的过程就是令如下式取最小值, 即:

求解上式, 可得到其最佳解为

其中:x为高分辨率后的重建图像。

为进一步获得稳定解, 可引入如下方程来求解最小值解:

其中, 第一项是最小均方误差代价函数, 为数据逼近项, 它反映了观测图像对原始图像的逼近程度;第二项为附加的约束条件即正则化项, 它集成了待求解的高分辨率图像应保持的某种先验信息;α为正则化参数, 它用来平衡近似解的逼近程度和平滑性;C为正则算子, 即为使解具有某种期望性能的约束运算。

1.2.6 混合方法 (MAP/POCS)

将最大后验概率方法和凸集投影方法相结合的算法是由Elad等提出的, 即同时考虑序列低分辨率图像的统计特征和凸集约束, 在以最大后验概率框架为基础的迭代求解过程中添加凸集投影算法的各种凸集约束条件, 从而获得两种算法各自的优点。该方法的特点是可以方便地将各种先验约束知识结合实用, 其重建图像的质量优于单独的算法。但是该算法只有采用梯度下降最优化方法才能保证收敛。

2 基于学习的超分辨率重建

基于学习的SR重建算法的主要思想是, 在及其经验学习思想的指导下, 对训练数据中的高分辨率图像和序列低分辨率图像进行学习, 得到二者间的映射关系模式, 并将这种对应模式以先验约束的形式引入重建过程中或者根据模式建立马尔科夫网络来恢复图像的相关信息。该方法可以分为以下三个步骤: (1) 按照观测模型的定义, 对高分辨率图像进行模拟降质获得一组低分辨率图像, 作为训练集; (2) 根据高分辨率图像和序列模拟低分辨率的对应关系, 运用神经网络技术训练和学习; (3) 将学习模型引入重建过程中, 或者通过马尔科夫网络恢复图像。

2.1 流形学习方法

假设高分辨率和低分辨率图像块可以构成具有相似局部几何结构的流形, 借助于由一组低分辨率图像及其对应的高分辨率图像组成的训练集来估计未知的SR图像。理想情况下, 每一个高分辨率图像块不仅和其对应的低分辨率图像块有关, 而且和其邻域块也应该保持某种块间联系。第一个特性决定了重建的准确性, 而后一个特性则决定了重建图像的局部保持特性和平滑性。为了满足这两点需要, 该算法具有以下3个特性: (1) 每一个高分辨率图像块由训练集中的多个图像块有关; (2) 低分辨率图像块间的局部关系在对应的高分辨率图像块中保持不变; (3) 高分辨率图像块间的邻居关系通过交叠来保持, 以增局部保特性和平滑性。

2.2 基于支持向量机

其基本思想是假设模糊函数类型已知, 且可由某一参数来表征, 从模式识别的角度出发, 参数辨识可以看作多类分类问题, 即从模糊图像中提取出可以代表该图像模糊程度的特征向量, 然后采用机器学习的方法训练这些特征矢量与对应的模糊参数的映射关系, 最后用于盲超分辨率重建。

2.3 基于独立分量分析

独立分量分析 (Independent Component Analysis, ICA) 是在研究盲源分离过程中出现的一种新兴的信号处理和数据分析方法, 基于独立分量分析的超分辨率重建技术其基本思想是, 假设P个独立分量张成空间, 则每幅图像可以看作空音中的一点, 即可以由这些独立分量线性组合而成。利用ICA从高分辨率训练图像中提取出独立分量, 同时估计ICA系数的先验。给定一幅低分辨率图像, 结合最大后验概率 (MAP) 估计理论求出ICA系数, 然后ICA反变换得到高分辨率图像的近似估计。该算法有效实现了人脸超分辨率重建, 保持了人脸整体结构特征, 且对光照、表情、姿态等具有一定的鲁棒性。

3 结束语

随着图像超分辨率技术的进一步发展, 必将导致这一技术拓宽到一些新的应用领域, 图像超分辨率技术更广泛地应用会进一步加快该技术的发展。此外, 超分辨率技术的理论研究结果还可为未来我国新型传感器的硬件设计与实现提供理论指导与参考, 图像超分辨率技术会有更广阔的前景。

参考文献

[1]张正贤.正则超分辨率图像复原算法研究[J].西北工业大学学报, 2006 (6) .

[2]张晓玲, 沈兰荪.超分辨率图像复原技术的研究进展[J].测控技术, 2005 (5) .

[3]刘丁峰.超分辨率图像复原技术综述[J].软件导刊, 2009 (12) .

[4]李桐.超分辨率图像重建技术[J].哈尔滨师范大学自然科学学报, 2006 (5) .

[5]杨庆怡, 黄灿, 张琼.基于POCS算法的超分辨率图像重建技术计算机光盘软件与应用[J].2012 (16) .

[6]刘梓, 宋晓宁, 於东军, 等.基于多成分字典和稀疏表示的超分辨率重建算法[J].南京理工大学学报, 2014 (2) .

[7]邓乾国, 游志胜.基于凸集投影算法的超分辨率图像重建技术[J].成都信息工程学院学报, 2005 (6) .

图像超分辨率重建 篇2

关键词：数字图像；超分辨率技术

中图分类号：TP391.41

图像是信息载体，是我们人类信息的主要来源。但是并非所有图像都如人意，就拿我们常见的数字图像来说，在信息的采集过程中，由于投备的硬件条件限制，拍摄过程中操作人员的素质，信息传输过程中信号的干扰等，都会造成信息的丢失，最终影响图像的质量。超分辨率重建技术是利用一幅或多幅低分辨图像的额外或互补信息来恢复出一幅具有更高分辨率的图像。这种技术可以打破图像在形成过程中的限制，得到具有较好的视觉效果。因此该技术在许多领域（如卫星侦察、数字高清等）都有着良好的应用前景。

超分辨率重建技术主要分为两大类：基于重建的方法和基于学习的方法。基于重建的方法是超分辨率技术发展早期的算法，这些算法计算相对简单，复杂度也较低，但是存在重建倍数的限制，目前更多是作为学习算法的辅助算法。

1 基于学习的超分辨率技术

在基于学习的超分辨率技术中，学习方法的通常作法是构建一个训练样本的学习库，在库中包含某种低分辨率图像与其对应的图像的映射关系，然后利用这种映射关系，求出测试样本图像对应的高频细节的最优解。由于学习库的引入，待重建低分辨率图像有更多的先验信息可以利用，因此，基于学习的重建方法能够比基于重建的方法取得更好的视觉效果和图像质量。基于学习的超分辨率技术最早是由freeman等[1]提出的，该方法一经提出迅速成为数字图像超分辨率技术研究领域的热点，吸引了大批专家学者参与其中。目前主流的基于学习的方法主要有基于范例学习的方法、LLE方法、虚幻脸方法和稀松表示法。

1.1 基于范例学习的方法

基于范例学习的方法是freeman等人[1，2]最先提出的，他们利用马尔可夫网络建立高低分辨率图像之间的映射关系。然后将高分辨率图像经过模糊平滑处理后下采样，得到对应的低分辨率图像，再将低分辨率图像通过双线性插值或三次插值来得到与高分辨率图像大小一致的图像，然后将它们分块，通过学习获得高分辨率块之间和高低分辨率块之间的变换关系，对于用于测试的低分辨率图像块，只要找到其在马尔可夫网络中的位置，根据马尔可夫网络的对应关系找到其对应的一些高分辨率块，再根据训练得到的变换关系计算出高频分量添加进去。

这种方法是基于学习方法中最早被提出来的，也是其他基于学习方法的基础，该方法相较于重建的方法能利用更多的高频信息，在放大倍数和重建质量上都有很大的提升，但是对于训练样本的选择要求较高，算法复杂度也大大提高，并且这种方法对噪声非常敏感。

1.2 领域嵌入法

Chang等[3]创造性地将流形学习方法引入超分辨率重建中，在该方法中，他们假定高低分辨率图像块在特征子空间中具有的相似的流形结构，待重建图像块通过在低分辨率图像块学习库寻找它的k近邻表示，然后用这些系数与这k个近邻对应的高维流形块加权得到高分辨率块。

领域嵌入法相较于基于例子的方法需要更少的训练样本，并且对噪声的敏感性也有所改善，但是领域嵌入方法的领域保持特性并不总是成立，所以这种方法需要选择合适的图像块的特征才能取得好的效果。

1.3 虚幻脸方法

虚幻脸方法最早是由baker和kanade[4]提出的，他们首次将超分辨率重建算法用于人脸这一特定领域，由于图像数据是人脸，可以较多的隐含先验信息使用，他们的算法中仅从学习库中选择与待重建块最相似的块作为输出，且在放大8倍的情况下取得了不错的效果。

虚幻脸方法使用了人脸这一重要的先验知识，在特征脸的帮助下使重建效果大幅提高，但是对于有丰富表情的人脸，重建质量还有待提高。

1.4 稀松表示法

稀松表示是由Yang等人[5]最新提出的图像超分辨率实现方法，这种方法是从训练库的图像中选择图像块组成一个过完备的字典，然后在这个过完备字典中利用线性规划方法求得待重建图像块的稀松表示，最后利用这组系数重建出高分辨率图像块。

稀松表示方法相较于领域嵌入方法来说，不用规定领域的大小，系数的多少是由线性规划求解得到的。但是该方法对于过完备字典的选择问题不易解决，随机选择重建质量不佳。

2 基于学习方法的总结和展望

基于学习的图像分辨率技术虽然打破了传统方法在放大倍数上的限制，能取得很好的重建效果，但是重建质量严重依赖学习库的构建，而且学习方法的样本训练时间较长，计算复杂度很高。未来基于某一领域的重建方法会得到较大发展（如类似虚幻脸的方法），有了某个领域的信息作为先验，构建的学习库与待重建图像的相关性将大大增强。目前大多数关于超分辨率重建的文章都只侧重了算法重建的图像质量，在重建速度方面提及较少，如果能在时间复杂度上有所突破，将大大推进该技术的实用性。现在学者们对超分辨率技术的研究都集中在了算法的提出和改进，而忽略了对这个问题本身的理论研究。

参考文献：

[1]Freeman W .T.，Jones T.R.，Pasztor E.C..Example based super-resolution[J].IEEE Computer Graphics and Applications，2002（02）：56-65.

[2]Freeman W .T.，Pasztor E.C.，Caemichael O.T..Learning low level vision[J].International Journal of Computer Vision，2000（01）：25-47.

[3]Chang H.，Yeung D.Y.，Xiong Y..Super-resolution through neighbor embedding[C].Proceedings of IEEE Conf CVPR. Washington，DC：IEEE Press，2004：275-282.

[4]Baker S.， Kanade T.. Hallucinating faces[C].Fourth International Conference on Automatic Face and Gesture Recognition.Grenoble，France：IEEE Press，2000：83-89.

[5]Yang J.C.，Wright J.，Ma Y.，et al.Image super-resolution as sparse representation of raw image patches[C].Proceedings of IEEE Conf CVPR.Anchorage，Alaska：IEEE Press，2008：1-8.

作者简介：罗喜君（1988-），男，四川南充人，研究生，工学硕士，计算机软件与理论专业，研究方向：数字图像处理。

图像超分辨率重建 篇3

Chang[4]等把流形(manifold)学习中邻域嵌入(NE, Neighbor Embedding)的思想运用到超分辨率图像中,用这种方法较好地解决超分辨率图像重建中的高分辨率信息获取的问题,实验也显示出重建图像较好的主观质量。这种方法假设LR图像块和HR图像块的局部流形是相似的,通过求解待重建图像块在低分辨率训练图像集中k个邻域的重建系数,然后再使用这些重建系数对k个邻近HR图像块进行线性组合得到对应的HR图像块。这种方法虽然可以大大的降低训练集的个数,但是因为每一个待重建的低分辨率图像块都要在训练集中搜索最相似的LR图像块。当训练集较大时,重建一幅图像需要花费很长时间,在实际应用中受到一定的限制。要解决这一问题可以从三个方面加以改进:一是减小邻近图像块的重叠像素个数,二是减少训练集的大小,三是扩大图像块的尺寸。实验结果发现,方案一中当LR像块(3×3)的重叠像素个数为1(HR块的重叠像素个数2)时,图像块之间的兼容性与平滑性不是很好,重建图像的主观质量较差。

为提高图像的兼容性与平滑性,重叠像素个数一般选择2。而方案二中单纯降低训练集的大小虽然重建时间可以降低,但难以保证每个LR块都能够找到适当的重建块,恢复出的图像质量也随之降低。方案三也存在随着搜索图像块变大,如由原来3×3待搜索块扩大为5×5或7×7,在训练集中搜索不精准问题。

针对上述问题,本文提出了一种对于训练集进行分层的方法,可以既不降低训练集的大小,甚至可以增加训练集的大小,又能很好地解决一般方法重建时间过长的问题。同时对待重建的图像块按内容进行分类,对于平坦区域使用插值重建方法(如双立方法);对于包含细节的区域使用邻域线性嵌入的方法重建。最后再对重建图像再进行IBP[5](Iterative Back-Projection)全局后处理,进一步提高图像质量。实验结果表明,利用本文方法超分辨率重建的图像主观和客观质量都很好,且重建时间可以大大缩短。

1 邻域嵌入的超分辨率图像重建

邻域嵌入超分辨率图像重建(Super-Resolution Through Neighbor Embedding,SRNE)一般包含两步工作,第一步是建立训练集(或称字典),第二步是利用训练集进行超分辨率重建。

在建立训练集时,首先选取一些具有代表性的HR图像,按照降质模型,将它们降质为对应的LR图像;然后对LR图像进行特征提取形成LR特征图像,对HR图像进行高频成分提取,形成HR细节图像;最后分别对LR特征和HR细节分块处理,当然HR块要比LR块要大,大的倍数自然就等于超分辨率重建的放大倍数,要注意的是为了保持图像的连续性,分成的小块之间是有重叠部分的。所有的图像块就组成了LR图像训练集DL和HR图像训练集DH,DL中的每个LR块都和DH中的某个HR块存在对应关系。此后,任意一LR图像需要超分辨率重建的话,就可以利用这两个训练集了。

在进行超分辨率重建时,首先为待重建的某一小块xi在LR训练集中寻找k个特征相似的小块,由它们的线性加权构成最接近的待重建LR小块;然后,在HR训练集中取出对应的k个高分辨率图像特征进行加权求和,获得重建HR图像块。其算法的过程如图1所示。

使用欧氏距离定义邻域完成搜索k个最相似图像块。在确定k个相似块的基础上,找到LR图像X中的每个图像块xi最优的重建权重。最优重建权重的实现是通过最大限度地减少xi的局部重建误差。

undefined

约束条件是对于任意dLiNL和wij=0(其中NL是DL中xi的邻域)。

在wij的基础上计算yi的初始值

undefined

最后,通过平均相邻的图像块重叠区域的像素值来保证图像块间的兼容性与平滑性。

2 训练集的分层

2.1 特征选取与训练集的建立

特征的选取在高分辨率图像重建过程中起着至关重要作用,chang等人选用低分辨率图像块的像素值一阶和二阶梯度为特征,然而二阶梯度对噪声非常灵敏,Su K[6,7]等人的实验发现像素值特征优于一阶二阶梯度特征。在笔者的方案中,选用去均值的像素值和一阶梯度作为特征向量。以像素点f(i,j)为例,其位置如图2所示,该点处的一阶梯度为

undefined

对于高分辨率图像块训练集,思路是存储高分辨率图像因降质而丢失的高频图像信息。具体做法是将高分辨率图像与其对应的低分辨率图像的双立方放大图像之间的差值进行分块存储。对于低分辨图像块训练集,笔者的做法是将降质、下采样后的低分辨率图像先进行去均值滤波,将低分辨率图像的直流信息滤除后计算其一阶梯度,再对图像进行分块。低分辨率图像块训练集中存储的是图像块的特征,即去均值的像素值与一阶梯度值。

2.2 训练图像集的分层

在训练图像集建立以后,就可以应用于未知高分辨率图像的低分辨率图像的重建。对于欲重建的任意一个LR块,为确定它的最相似图像块,必须在已经建立的低分辨率训练集中穷尽搜索,这个过程时间耗费较多。为此,我们提出了对训练集进行分层的方法。

对高低分辨率图像块训练集分层的思路:假设有一参照训练图像块其特征值为零,在LR图像块训练集中匹配最相似图像块时,最相似的图像块在空间上它们的位置最靠近,即待匹配图像块与参照训练图像块之间的欧氏距离和训练图像集中的匹配图像块与参照训练图像块之间的欧氏距离最接近。按照与训练图像块与参照训练图像块之间的欧氏距离将训练图像块集进行分层。将与参照训练图像块之间的欧氏距离接近的训练块存储于同一层,本文我们采用统计方法进行分层,分层的原则是尽量使每层中训练块的个数相等,同时对于层间边界进行特殊处理。考虑到当待处理图像块正好处于层边界时,避免最相似的块空间位置在另一层而搜索却在本层执行情况发生,笔者使用了重叠边界。该分层方法抽象示意图如图3所示,在定义每层的边界时是不包含重叠部分的,但实际的每层训练集内容是包括邻近层重叠部分的训练块,与每层接壤的重叠部分能参与到匹配搜索中。

训练集建立的过程如上图4所示,对高分辨率图像进行降质、下采样获得其对应的低分辨率图像。同时对高低分辨率图像特征进行分块生成高低分辨率训练集,最后对训练集进行分层。

3 超分辨率图像的区域分类重建

首先将低分辨率彩色图像转换到YUV颜色空间,由于人眼对于图像亮度分量比彩色分量(U、V分量)更为敏感,因此只对图像的亮度分量利用本文的方法进行超分辨率重建,对于彩色分量采用双立方插值进行重建。对LR图像的亮度分量进行去均值滤波,滤除图像的直流信息,只保留图像的变化部分。

接着对去均值后的图像提取其特征,然后对形成的“特征图像”进行分块,分为若干3×3的小块,为了保证图像块间的兼容性与平滑性,块间重叠2像素。在重建时,对每一个待重建的LR图像块,判断其是否为平坦区域。若是,则对此图像块进行双立方插值重建,不用再到HR训练集中去搜寻;若不是,则到HR训练集中采用分层搜索方法找到对应的HR图像块进行重建。对于利用分层搜索方法重建的图像块,需计算其与参考图像块之间的欧氏距离,再根据此欧式距离判断其属于哪一层,接着在该层中匹配最相似的训练图像块。

利用搜索到得最近的K个邻近的低分辨率块对应的高分辨率图像块和重建权重重建高分辨率图像块的高频图像信息,同时利用双立方放大低分辨率图像块并将二者叠加,再将重建的图像块拼接成目标高分辨率图像。

最后利用IBP进行全局后处理,将其上恢复出的高分辨率图像作为初始迭代图像进行两次迭代。

图5是超分辨率图像非平坦区域重建流程图。

4 实验结果与分析

对上述算法在计算机上进行了仿真实验,这里给出了实验相关的测试环境说明,以及主要的测试图片、实验参数。然后结合重建HR图像的主客观效果,对实验结果加以比较和分析。

4.1 实验参数

本次实验的计算机配置为:Inter(R) Core(TM)2 Duo CPU T5670 @1.8 GHz,主频1.79 GHz,2.0 GB内存,Windows XP操作系统。

编程环境和运行平台为MATLAB7。

用于建立训练集的测试彩色图像共35幅,训练图像的选择原则应使所选图像尽量在内容、分辨率等方面具有代表性,其中5幅的规格和内容如图6所示。

主要采用实验参数为:

1) LR图像块选取3×3大小,重叠像素个数为2;

2) 邻域图像块个数选取5,搜索距离D=Dnormal+Dgrad,Dnormal为像素距离,Dgrad为一阶梯度距离;

3) 训练集总大小:LR和HR训练集各包含172 887块,每个训练集的分层数:100,200。

4.2 结果与分析

以下我们分别从重建图像的主观质量、客观PSNR及重建时间这几方面对本文的方法加以分析。

1) 重建图像的主观效果比较

下面给出了三幅测试图片的SR重建图像的主观结果,依次是人脸图(图7)、建筑图(图8)、动物图(图9)。相应的从左往右依次为输入的低分辨率图像、原始高分辨率图像、双立方放大图像、未加入全局处理的分层方法、加入IBP后处理的本文方法重建的高分辨率图像。

图7～图9中a是输入的低分辨率图像; b是原始高分辨率图像;c是双立方放大结果;d是未加全局处理的分层结果;e是加全局处理的分层结果。图7中f是SRNE方法重建的结果,此外还包括各种重建图像的部分细节,可提供更加清楚的比较。

2) 分层方法对重建质量和速度的影响

表1和表2中,cubic表示双立方放大后的图像,Proposed NE表示本文方法未加全局后处理放大后的图像,Proposed NE+IBP表示本文方法加全局后处理放大后的图像。从表中可以看出本方法分100层时不加全局后处理重建的高分辨率图像的PSNR比三次立方方法放大图像的PSNR平均高1.2 dB;而在本方法中加入全局后处理后的PSNR平均可以高出2 dB左右。

从图10两幅图中可以看出随着分层数的增加,图像重建时间大大缩短,而分层对于图像的重建质量却影响甚微。

在SRNE方法中训练图像块个数为48 260,重叠像素个数为2,其重建出第一幅测试图片(face.bmp)所需时间约为3 351 s;而在本文的方法中训练图像块个数为重建时间172 887,重建时间最短仅约为78 s。SRNE方法中第一幅图像的PSNR约为34.2 dB,而本文的方法可达35.2 dB。

重建的超分辨率图像在主观效果上比双立方方法和SRNE更加清晰,重建时间也可以大大缩短。

5 总结

为了减少在训练集中搜寻匹配块的时间,本文提出了一种对训练图像集进行分层处理的方法,训练图像集的大小可以做到很大,而邻域嵌入超分辨率图像重建的时间很短,而且重建质量能得到保证。同时为进一步缩短重建时间,我们对于图像细节信息不多的平坦区域采用双立方插值放大。对重建后的图像最后采用IBP算法进行全局后处理,进一步提升了重建图像质量。仿真实验的定量结果和主观质量都证明了上述算法的正确性和有效性。

本文对压缩图像和未压缩图像运用相同的算法进行超分辨率重建,没有考虑压缩图像的量化误差,今后可以将压缩图像的量化误差考虑进来对算法进行改进。

摘要：在基于邻域嵌入的图像超分辨率重建中,提出了一种对训练集进行分层的方法,可有效解决待重建图像块在训练集中搜索时间过长问题。同时对待重建的图像区域加以分类,对于平坦区域选择一般的双立方插值的重建方法,对于含有丰富细节的区域则采用邻域嵌入的重建方法。最后对重建图像进行IBP全局后处理,进一步提高图像质量。实验结果表明,利用本文方法重建的图像主观和客观质量都有较大的提高,且重建时间可以大大缩短。

关键词：超分辨率,图像重建,邻域嵌入,训练集分层,区域分类,后处理

参考文献

[1]苏秉华,金伟其,牛丽红,等.超分辨率图像复原及其进展[J].光学技术,2001,27(1):6-9.

[2]HUNT B R.Super-resolution of images:Algorithms,principles,perform-ance[J].International Journal of Imaging Systems and Technology,1995,6(4):297-304.

[3]FREEMAN W T,JONES T R.PASZTOR E C.Example-based super-resolution[J].IEEE Computer Graphics and Applications,2002,22(2):56-65.

[4]CHANG Hong,YEUNG D Y,XIONG Yimin.Super-resolution throughneighbor embedding[C]//Proc.IEEE Computer Society Conference onComputer Vision and Pattern Recognition.Washington,USA,2004:275-282.

[5]WAN Baikun,LIN Meng,DONG Ming,et al.Video Image Super-resolutionRestoration Based on Iterative Back-Projection Algorithm:InternationalConference on Computational Intelligence for Measurement Systems and Ap-plications,May 11-13,2009[C].Hong Kong,China:CIMSA,2009.

[6]SU K,TIAN Q,XUE Q,et al.Neighborhood issue in single-frame im-age super-resolution[C]//Proc.IEEE international conference on multi-media and Expo,Amsterdam,Netherlands,2005:1122-1126.

多正则化形式的超分辨率图像重建 篇4

图像超分辨率重建的任务就是从一系列或一张低分辨率图像当中恢复出高分辨率图像。低分辨率图像可以被视为经平滑或模糊后的高分辨率图像的降采样。由于同一张低分率图像可得到很多张高分率图像解,因此该问题的反过程是“病态的”。因此对于先验知识有效合理的假设可以有效地正则化这一问题。

目前较为流行的是利用学习的思想来实现单张图像超分辨率重建。该方法利用学习低分率与高分辨图像块之间的先验关系或者是通过搜寻最近邻的自然图像块来实现图像超分辨重建。William等人提出了一种基于示例学习的策略,通过马尔科夫随机场建立了低分辨与高分辨率图像块之间的关系[1]。Chang等人利用局部线性嵌入(LLE)求取K近邻点权重的方法,来求取K个最近低分辨图像块的权重,并利用该组权重乘上对应的高分辨率图像块来求得最终的高分辨率图像[2]。Yang等人利用耦合的字典,对高分辨和低分辨率图像进行稀疏表示,并假设同一图像对应的低分辨率和高分辨率在稀疏字典上的稀疏表示系数是相等的。通过这一假设来建立低分辨率与高分辨率图像块之间的关系[3,4]。Wang等人对低分率图像块的中频信息和高分辨图像块中的高频信息进行稀疏编码,利用不同模态下相同的稀疏系数这一假设来估计丢失的高频信息[5]。李民等人在Yang的基础上利用形态分量分析法(MCA)来获取低分辨率图像的纹理和结构特征,提高了图像匹配准确度,降低了训练样本的数目[6]。Wang等人提出了一种半耦合字典的学习方法。高低分辨率字典不再是严格耦合的,而是通过映射关系将低分辨率稀疏表示系数映射到高分辨空间中[7]。陈书贞等人将图像的自相似冗余信息进行稀疏编码,构建了自相似图像字典,并采取逐级放大的策略恢复出了质量较好的超分辨率图像[8]。Zhang等人提出了一种半监督学习邻域嵌入方法。该方法在计算图像块距离时,考虑了类信息的作用,使得近邻块的选取变得更加的准确[9]。

然而基于学习方法重建图像的质量很大程度上依赖于图像训练集的好坏。当图像放大倍数过大时,图像训练集很难提供足够的信息来保持高水平的重建结果,进而使得重建的图像含有伪像以及振铃效应。近些年来,人们开始逐渐关注重构与学习相结合的重建方法[10,11]。该类方法利用重构过程来使得重建的图像与低分率图像尽可能保持一致,利用学习的先验信息正则化图像超分辨重建过程。方法[10]利用局部自相似冗余信息来限制重构过程中产生的伪像以及锯齿振铃效应,然而在图像自相似信息较少时,重建图像的效果并不理想。方法[11]只考虑了图像的边缘先验,重建的图像局部细节描述并没有有效地被恢复。因此,本文在研究前人工作的基础上提出了一种基于自回归与滤波器组先验的图像超分辨重建算法。提出的算法:

1) 为了恢复图像局部的细节描述,本文利用自回归模型来正则化图像重建过程中的局部特征与细节描述,自回归模型的参数利用自然图像块训练得出。

2) 为了更好的保持重建图像的边缘,本文利用水平与垂直方向的滤波器组先验来正则化图像超分辨重建过程,与此同时本文假设图像与滤波器组响应符合学生-T分布的形式。

1 图像降质模型与重构约束项

低分辨率图像与高分辨率图像之间可以被描述为[12]

式中:Y为低分辨率输出图像,X为高分辨率输入图像,H为点扩散函数,D为降采样运算,n为加性噪声。通过式(1)我们不难得出超分辨重建过程中的约束项:

尽管我们可以通过最小化式(2)来重建出高分辨图像,但是由于该约束形式缺乏先验信息,导致重建的图像含有锯齿和振铃效应。如图1,我们将原图1(a)降采样然后在利用bicubic算法升采样作为低分辨率输入,利用式(2)对图像进行重建,得到图1(b)。从图1(b)中能够清晰地看见锯齿以及振铃效应。

因此,应当利用有效的正则化形式来对超分辨率重建解进行合理的约束。由于高分辨图像质量的好坏往往取决于重建图像的边缘和图像的局部细节的描述。所以本文利用滤波器组先验约束重建图像的边缘,进而减少振铃和锯齿效应,使得重建边缘看起来更加锐利。并且为了恢复图像局部细节描述,本文采用了自回归的正则化形式来有效地解决这一问题。

2 自回归正则化项

本文定义的自回归模型,利用局部图像块的周围像素来预测中心像素。由于当局部图像块尺寸选择过大,会导致恢复出的图像出现过于平滑的现象,所以本文利用3×3的图像块的周围8个像素来预测中心像素。本文定义局部图像块的自回归参数为w,我们通过最小化式(3)来计算出w。

式中:zi为中心像素,Z为其对应的训练集,pi为周围的8个像素组成的列向量,P为其对应的训练集。通过计算出的w可以得到自回归正则化项,其简易表述形式:

式中:Rz为提取图像块中心像素因子,Rp为提起图像块周围像素因子,。将一整幅图像训练成相同的自回归参数,会导致自回归模型估计的不准确。因此本文提出一种局部内容自适应自回归参数估计方法。

为了更准确估计自回归参数w,本节提出一种内容自适应自回归参数估计方法。1) 首先将自然图像块分割成重叠的3×3小块,构成自然图像训练集。2) 利用K-Means算法对训练集进行分类(本文分成32类),这样便将自然图像训练集分成多个子集。然后利用式(3)分别训练出对应每个子集的自回归参数w。3) 将低分率图像利用bicubic插值算法插值到输出高分辨率图像的大小,同样也分割成3×3的重叠小块。然后通过与每个对应子训练集的质心进行对比,寻找到最相似的子训练集,并标记上该3×3小块的自回归参数w。

虽然利用自回归模型可以有效的估计图像的局部细节描述,增加图像的纹理信息,但是对于图像边缘约束作用较小,因此本文利用滤波器组先验来正则化图像的边缘信息。

3 滤波器组正则化项

为了使得重建的高分辨图像的边缘更加锐利,减少振铃和锯齿效应。本节利用滤波器组先验来约束图像的边缘。我们采用的滤波器分别是[-1,1], [-1,1]T,分别对应着图像水平和垂直方向。由于自然图像与滤波器进行卷积的对数梯度分布符合重尾的形式,因此本文利用学生-T分布的对数形式来构造滤波器组正则化项[13]。滤波器组正则化项形式如下:

式中α为专家权重决定着每个滤波器响应在图像重建中所占的比例。由于自然图像多方位的性质,本文定义两个滤波器的所对应的专家参数相同且都为0.5。利用上述所定义的滤波器组正则化项,可以对图像进行整体的约束,有效地平滑图像的边缘,减少振铃以及锯齿效应,使图像边缘看起来更加锐利。

4 基于多正则化的图像超分辨问题求解表达式

本节将前几节讨论的重构约束项和正则化先验项进行整合,得到本文的多正则化的图像超分辨问题求解表达式,其对应的能量函数如下:

式中:λ1和λ2为正则化参数。本文利用梯度下降算法来求解式(6),其迭代形式:

式中:t为迭代次数,η为迭代步长。

对式(6)进行求导可以得到能量函数对应的梯度形式如下:

式中:J-1 为J的镜像反转,U代表升采样运算。

通过上述公式,总结具体的算法流程如下:

1) 首先将自然图像块分割成3×3的重叠小块,然后利用K-Means算法将其分割成32个子训练集。利用式(3)训练出每个子集的自回归参数w。与此同时,将低分辨图像利用bicubic插值方法插值到输出高分辨图像的大小,并将其分割成3×3的重叠小块,然后根据自然图像训练集,标记上每个重叠小块所对应的自回归参数。

2) 然后根据式(7)、式(8),将插值后的图像作为初始化图像,进行迭代求得高分辨图像最优解。本文迭代的次数为200次。

3) 由于在迭代的过程中图像质量在不断提升,因此自回归参数也应当有所改变。本文在每迭代20次时,重新与自然图像训练集进行对比,然后更新迭代图像每个3×3小块所对应的自回归参数。

5 实验结果与分析

本文利用六幅测试图像来验证本文算法的优势,并且与bicubic,半监督临域嵌入(CSNE)[9],稀疏字典(SR)[4],多语义稀疏字典(MSSR)[15]算法进行对比。图2给出了六幅实验图。为了定量的分析本文算法的优势,PSNR和SSIM[14]指标用来定性的分析本文算法与其他算法的差异。在实验参数的选择上,为了更好的模拟真实的图像退化降质过程,我们利用大小为5×5,方差为1的高斯模糊核对原始图像进行模糊,然后采用2倍降采样操作,生成相应的低分辨图像。本文选择的正则化参数λ1为0.6,λ2为0.02,迭代步长η为1.5。实验迭代次数为200次。

表1给出了本文六幅图像实验定量分析的对比结果。从表1中不难发现,本文算法的PSNR都要优于其他具有竞争力的算法。然而在SSIM指标结果的对比中,本文算法的Flower和Starfish的重建效果没有优于MSSR和SR算法,但是却与MSSR和SR算法十分接近。在PSNR和SSIM与其他算法的指标平均值对比中,本文算法的PSNR相比于其他算法分别增长了2.598 2 d B,2.381 8 d B,0.394 4 d B,0.184 7d B,SSIM相比其他算法分别增长了0.041 8,0.043 2,0.007,0.004 2。综上所述在PSNR和SSIM指标的对比中,本文算法优于其他算法。

在图3中给出Hat图的不同算法的视觉实验效果对比图,可以看出CSNE算法相比bicubic插值算法减少了一定的锯齿效应,但是从字母B和h中可以看出高频信息的模糊仍是不可避免的。虽然利用SR和MSSR算法重建的图像相比前两种算法显得更加清晰,但是重建的图像中仍可以看出一些伪像和锯齿效应。相比于前几种具有竞争力的算法,本文算法重建出更加清晰的图像。字母B和h显得更加锐利,没有锯齿以及振铃效应。在图4中,给出Bike图的不同算法的视觉实验效果对比图,从局部放大的区域看出,本文算法重建的图像相比于其它几种算法,明显的减少了锯齿效应,使得重建的图像更加接近于原图。

6 结 论

图像超分辨率重建 篇5

在MAP框架下,超分辨率重建是一个基于马尔科夫随机场先验模型的统计推断问题,即在给定低分辨率图像序列的条件下,通过选取与设计合理的马尔科夫随机场先验模型,使得超分辨率重建估计的高分辨率图像的后延概率达到最大。Cheeseman等[3]采用基于高斯分布的先验概率模型,运用雅可比( jacobi) 迭代法求解高分辨率图像,但是这种算法容易使图像中的边缘等重要几何信息产生模糊。Hardie等[4]提出了一种联合估计高分辨率图像和运动参数的MAP参数,但是这种算法收敛速度过慢。Ng等[5]提出一种基于数字全变差模型的图像视频序列的超分辨率重建算法,这种算法的运动估计是基于光流算法,光流估计算法在物体没有发生运动但背景光照发生变化的帧间能观测光流,而对于灰度等级缺乏足够变化的区域就很难检测到实际运动。由Michael Elad提出的传统MAP / POCS混合算法[6]是利用POCS方法容易引入先验约束集合的特点,将MAP估计作为一个凸集约束集加入到POCS的约束集中,从而构造一个新的凸集解空间来进行超分辨率重建,从像素点对图像的局部特征进行重建优化,从而使得锐化效果更佳。但该算法只是简单地将这两者进行串行结合运算,相当于每个算法的运算是独立的,因此这样混合算法无法充分利用各自的优点进行互补,导致效果不如预期的理想。Babacab等[7]采用L1 范数的全变差模型对高分辨率图像进行估计并采用基于高斯光流的光流算法( Lucas—Kanade) 对低分辨率图像序列进行运动估计,虽然从实验结果来看这种算法有较好的效果,但仍存在两个缺点: 一是平坦区域在噪声抑制的过程中容易产生阶梯效应[8]; 二是纹理结构等小尺寸的图像细节在噪声抑制过程中容易损失[9]。

本文根据传统的重建方法,在传统的MAP/POCS混合算法上加入了CPF图像配准方法,并把POCS的残差约束集合加入到基于CPF图像配准的MAP正则化算法中[10],同时在每一次迭代重建过程中利用CPF对低分辨率图像进行配准并且对重建图像的像素点进行约束,且在此过程中几个关键算法都不是独立分开运算,这种改进的方法可以更好地结合这几种算法的优点,从而获得相对传统重建方法更理想的效果。

1 关键点滤波匹配算法研究

关键点滤波配准法[11 - 12]在生成低分辨率图像的同时,保持图像内每一个关键像素点的灰度和位置信息,而且不需包含任何先验知识。

1. 1 多尺度图像的分解

设原始图像的高度与宽度分别为M和N,其中M =N = 2n( n为任意正整数) 。图像任意位置( i,j) 处的灰度值为gi，j。令当前尺度为m层( 0 ≤ m ≤ n ) ,图像大小为2m× 2n,则m层的4 个图像可以由m + 1 层图像分解求得,关键点滤波器的数学表达式[13]为

式中: gim,j,k= gi，j,表示第m层位置( i,j) 点第k类鞍点的灰度值。gi(,jm，0)取的是上一层图像的最小值,gi(,jm，3)取的是上一层图像的最大值,而gi(,jm，1)和gi(,jm，2)分别取的是上一层图像的第一类鞍点和第二类鞍点。

假设 α = minx≤t≤x +1,β = maxx≤t≤x +1,则上述4 种子图像可以表述为

在配准过程中,首先采用g( m，0)对极小值进行匹配,其次是g( m，1)和g( m，2)对两类鞍点进行匹配,最后采用g( m，3)极大值进行匹配。

1. 2 子图像的映射

假设映射方向是从源图像映射到目标图像。映射过程采用自顶向下的方式,从最高层( 最低分辨率) 开始直到最底层( 原始分辨率) 。源图像到目标图像的双射子映射表示为

式中:f(m,s)(i,j)=(k,j)表示源图像的点p(m,s)(i,j)在目标图像内的对应点为q(m,s)(k,l)。

1. 3 映射能量

映射能量也称作为代价函数,主要由3 部分组成: 与像素强度相关的能量、与边缘强度相关的能量、与映射距离相关的能量。

1) 与像素强度相关的能量

该能量由源图像和目标图像之间的像素强度差决定,可以表示为

式中:V(p(m,s)(i,j))和V(q(m,s)(i,j))分别代表了源图像和目标图像对应映射像素的强度;C(m,s)f表示对于子映射f(m,s)的像素强度相关的总能量。

2) 与边缘强度相关的能量

该能量主要是为了保证对图像内物体的边缘更好地匹配,对灰度变化和集合变形具有较强的鲁棒性。边缘图像分为水平边缘图像以及垂直边缘图像,采用Sobel算子进行边缘检测。

该能量可以表示为

式中:p(m,hor)(i,j)和q(m,hor)(i,j)表示水平边缘的映射;p(m,ver)(i,j)和q(m,ver)(i,j)表示垂直边缘的映射。

3) 与映射距离相关的能量

该能量主要是用于保证映射的平滑性,由源图像和目标图像像素点的位置决定,而与像素灰度值无关。该能量定义为

式中: η ≥ 0 是一个实数。

式中: D0由( i,j) 和f( m，s)( i,j) = ( k,j) 的距离决定,防止源图像的像素点被映射到目标图像中距离太远的像素点位置; D1表示为当前像素点和相邻像素点的映射距离差,用来保证映射的平滑性。

1. 4 匹配算法流程

由上文得到映射总能量为

式中: Ef(m，s)是辅助能量,表示边缘的配准程度。在算法的实现中,令 θ 的值为0. 05; Cf(m，s)表示源图像和目标图像像素点强度的配准程度; D(0fm，s)表示源图像到目标图像的变形程度,在配准中对于任意一个子映像Cf(m，s),通过不断搜索可以找到使得Cf(m，s)最小的 λ 和 η 。参数的调节从0 开始,逐渐递增直至找到最佳( Cf(m，s)达到最小)的参数值,即完成整个搜索过程。

2基于CPF图像配准的MAP / POCS算法

传统光流法为了确定物体移动的速度和方向,通过检测图像像素点的强度随时间的变化来进行确定,这样势必存在一定的局限性,特别是对视频序列而言在背景光照变化较大的帧间并不适用。

关键点滤波能不仅有够效地表达各种非平移的运动,同时还可实现图像的自动配准; MAP算法具有解唯一和去噪能力强的特点; POCS算法的边缘和细节保持能力较优,本文结合这3 种算法的优点,在CPF图像匹配算法的基础上,在MAP算法的每次迭代中加入了POCS残差约束集合来进行图像重建,而不是传统算法中仅仅只是将几种算法做串行运算。

2. 1 目标函数的设计

考虑到MAP算法和POCS算法的数据一致性约束[14],因为总变分[15]( Total Variation,TV) 正则化可以克服超分辨率重建问题的病态性,且L1 + TV的约束方法不仅与L2 + TV约束法有同样的边缘保持能力,还提高了算法的运行速度,同时图像重建过程中的中值估计比均值估计更具有鲁棒性[16],因此这里MAP算法采用L1 范数的数据保真度项和总变分算子作为正则化项,可得

式中: k为低分辨率的帧数; 假设低分辨率图像序列的分辨率为M × N ,( m,n) 为坐标值,则1 ≤ m ≤ M ,1 ≤ n ≤m ; yk是低分辨率图像; X是重建的高分辨率图像; Ak是系统矩阵,包含下采样、模糊和形变。MAP算法的先验模型采用全变分的正则化方法。r(ykm，n)是低分辨率图像的每一个像素点与重建帧中对应的区域的像素点经过系统函数作用后的到的低分辨率图像的估计值的残差值。δ0是POCS算法的残差约束,λ 为平衡数据保真项和正则项的正则化参数。ε 是一个极小数,保证了函数的零点可微性,Ω 是图像的支持域或称为图像平面的像素集合,▽x表示可以为不连续的离散像素点。

式( 10) 中的第一个式子是MAP算法的一致性约束,而第二个式子是POCS算法的数据一致性约束,即残差约束。可以看出,MAP算法是对整幅图像的全局残差进行约束,而POCS算法是对图像的每个像素点进行约束。因此在MAP算法的迭代过程中嵌入POCS的凸集投影算子进行约束,可以实现两种方法的紧密结合而不是单纯地串行运算。

2. 2 正则化参数选取

式( 10) 中第一个式子的第二项通常称为正则化项,λ称为正则化参数。由于超分辨率重建问题的不适定性,因此需要正则化来保证以得到稳定的最优解。同时,正则化都是关于原始图像系统先验模型的一种描述,因此在超分辨率重建过程中能够帮助去除结果中的奇异值,以提高算法的速率。本文在基于CPF图像配准的超分辨率重建算法中加入了自适应正则化参数,在重建过程中,以此利用当前重建获得的高分辨率图像来调整正则化参数,使得正则化参数和图像重建结果同时达到最优。

本文的算法是L1 范数数据保真项和总变分正则化项的方式,同时参考基于比例的动态调整法[17 - 18],并对其进行改进,得到适合本文重建算法形式的自适应正则化参数为

式中: Xk是经过第k次迭代后所求的的重建图像; λk +1是第k +1 次迭代后的正则化参数; r是一个极小的数,用于保证分母不为零; ε 是修正因子,通过调整该因子来改变正则化参数的大小,从而达到更好的重建效果,一般可以选一个固定的常数; ψ( Xk) 表示正则化项。

2. 3 目标函数的求解

基于CPF图像配准的MAP/POCS算法的基本思路是在基于CPF图像配准的MAP估计的迭代过程中,加入了POCS的残差约束。

1) 最小值求解

利用求解欧拉—拉格朗日方程,对式( 10) 中第一个式子求解得到

采用迭代方法最速下降( Steepest Desecent,SD) 法,其基本思想是函数沿着梯度方向具有最大变化率,即函数沿着负梯度方向下降得最快。迭代方程为

式中: Gn为梯度,n = 1,2,…,为迭代次数; α 为迭代步长; Ak= BkFkDk为模糊矩阵Bk,形变矩阵Fk,下采样矩阵Dk的累积; Fk= P{ Fkx,Fky} 由关键点滤波匹配法获得。

整个求解过程步骤如下:

( 1) 初始化迭代次数n为0,用插值得方法获取初始值0。

( 2) 采用关键点滤波( CPF) 图像配准算法对低分辨率图像序列进行配准。

( 3) 求梯度方向Gn。

(4)迭代更新

(5)迭代的停止条件,其中η为预设定的阈值。若满足迭代停止条件或者n达到最大迭代次数nmax,则转到下一步骤;否则,继续从步骤3)开始。

(6)当满足迭代停止条件或者n达到最大迭代次数,结束程序;最后即为所求的的超分辨率重建后的高分辨率图像。

2) 残差约束求解

当是重建后的高分辨率图像时,ryk(m,n)则与噪声nk一致。于是ryk(m,n)的大小由噪声的统计过程决定,以此重建的高分辨率图像才会以某种统计置信度来属于某一约束集合。假设系统引入的加性噪声是高斯分布的,且其方差为σG,那么先验边界δ0则等于cσG,且c≥0,由统计置信度决定。

每一次迭代中,将低分辨率图像的每一个像素点与重建帧中对应区域的像素点经过系统函数作用后得到

综上可得该MAP/POCS混合超分辨率重建算法的主要步骤,相比于单独运算式( 10) 的第一个式子有所不同,整个步骤如下:

( 1) 初始化迭代次数n为0,用插值的方法获取初始值 ,采用基于关键点滤波配准算法对低分辨率图像序列进行配准。

( 2) 求梯度方向Gn。

(3)迭代更新,

(4)求残差,并根据残差约束条件修正像素值,同时采用幅度约束条件对重建后的进行约束。

(5)迭代的停止条件为,其中η为预设定的阈值。若满足迭代停止条件或者n达到大迭代次数nmax,则转到下一步骤;否则,继续从第二步开始。

( 6) 若满足迭代停止条件或者达到大迭代次数nmax,结束程序; 最后 即为所求的的超分辨率重建后的高分辨率图像。

3 仿真实验与分析

为了验证本文算法,分别选用了Lena等静态图像、akiyo等视频图像序列的第3 帧来进行仿真实验分析。为了验证本文算法的有效性,采用了3 种方法对低分辨率图像序列进行重建对比:1) L1 + TV + LKOFlow[19]( Lucas - Kanade Optical Flow,卢卡斯卡纳德光流法) 算法; 2) L1 + TV +CPF算法; 3) L1 + TV + CPF + POCS。模拟Lena和pepper等低分辨率图像序列间的运动估计采用第1 帧参考帧,而视频图像序列akiyo等低分辨率序列间的运动估计均采用第3 帧为参考帧,并将第1、2、4 和5 帧作为重建图像的帧[20]。重建结果见图1 ~ 图4 以及表1。

结合重建结果的PSNR和对Lena和pepper等重建图像的观察认识,可以看出,加入了关键点滤波的L1 + TV +CPF方法相对于传统的L1 + TV + LKOFlow方法并没有太多改进,这是因为低分辨率图像序列是通过同一张高分辨率图像生成的,背景里的物体并没有出现局部运动,只存在全局运动,同时相邻低分辨率帧的背景亮度也没有改变,因此加入了CPF和采用LKOFlow计算出来的运动矢量并没有太多差别,从而重建结果比较一致。对结合了POCS的改进算法以后,两幅图像相对于之前的算法而言,PSNR有了明显地提升,且从主观效果上来看,二者的整体锐化清晰度有明显提升,而且局部的细节体现得更明显,例如Lena图像在头像的边缘以及头发的纹理更加凸显,头像也较前方法逼真,pepper图像上来看,在一些图像灰度值变化较大的边界处能够体现得更加明显,使得细节体现得更清晰。

d B

从视频图像重建的结果来看,L1 + TV + CPF算法在加入了CPF配准算法后,在背景物体出现局部较大运动的情况下,依然具有较好的配准性能,从而使得重建后的图像更加清晰。而光流法只实现估计全局运动参数,而视频图像段存在内部局部运动,因此L1 + TV + CPF重建后的高分辨率图像边缘更加凸显,同时也更加逼真。采用L1 + TV + CPF + POCS算法的重建结果图像也好于L1 + TV + CPF算法,从局部放大的效果来看,可以看出改进的MAP/POCS算法对于边缘信息的锐化效果相较于L1 + TV + CPF的效果更清晰明显。例如,akiyo中人物头像边缘较为平滑的hall中柜子的层次条纹也更为明显,能够清楚看到层次,这也凸显了改进的MAP/POCS混合算法能够更好地还原视频序列图像边缘信息以及凸显边缘信息。

以上结果表明,将POCS的残差约束和幅度约束引入到基于关键点滤波图像配准的重建算法的迭代中去,在每一次迭代的过程中,MAP方法全局重建优化,CPF配准算法在背景物体出现局部较大运动的情况下,依然有较好的配准性能,同时POCS对重建的高分辨率图像的像素点进行局部约束,可以更好地保持重建后图像的边缘信息,而且还提升了图像整体清晰度,使锐化效果更好。此外,从客观PSNR而言,都较于以往传统的重建方法有了明显提升,说明了这种混合算法的有效性。

4 总结

图像超分辨率重建 篇6

由于成像系统固有传感器排列密度的限制和成本的昂贵,超分辨率图像重建(SRR)技术成为了提高图像分辨率的重要方法。它利用数字信号处理技术,对同一场景的多帧低分辨率(LR)图像序列信息进行处理,来生成一幅高分辨率(SR)图像。由于SRR技术成本低且可以克服成像系统内在的分辨率限制,因而在图像视频处理等领域具有重要的应用价值。

20世纪80年代初,Tsai&Huang首先提出了基于多帧图像的SR重建问题,并给出了频域重建算法。此后产生了许多SR重建算法,主要包括凸集投影(POCS)法、统计法、混合MAP/POCS法、正则化法和基于学习的重建算法等。其中Farsiu[1]等提出的基于L1范式和BTV正则化项的超分辨率重建算法,不仅适用于高斯和非高斯噪声情况,而且能够保持很好的图像边缘细节,是目前较好的重建算法。本文以此为基础,对于所获LR图像序列较少的情况进行了研究,提出了一种在观察LR图像不足情况下的基于L1范数的双正则项超分辨率重建算法。

1基于L1范数的HR重建算法

为研究超分辨率重建算法,需要先建立观察模型。记M幅低分辨率图像为{yk}${}_{k=1}^{{\rm M}}$,待重建的高分辨率图像为X,则最为常用的观察模型如下[2]:

yk=DkBkFkX+nk 1≤k≤M。 (1)

式中,Fk、Bk、Dk分别代表第k幅低分辨率图像成像过程中经历的几何运动、模糊、抽取过程;nk为成像过程中的随机噪声。考虑大小为L1N1×L2N2的HR图像X,按行方向堆叠成向量形成为X,大小为L1N1L2N2×1。成像过程中水平和垂直方向的下采样因子为L1和L2,则观察到的LR图像大小为N1×N2。第k幅LR图像按行堆叠成向量形式为yk,大小为N1N2×1。位移矩阵Fk与模糊矩阵Bk大小均为L1N1L2N2×L1N1L2N2,抽样矩阵Dk大小为N1N2×L1N1L2N2,噪声矩阵nk大小为N1N2×1。

图像超分辨率重建就是由式(1)中观察到的低分辨率信息y来复原重建出高分辨率信息X。信号超分辨率重建属于典型的逆问题范畴,逆问题求解的一个重要的属性是病态性,即方程的解不能完全满足“存在、唯一和连续依赖于观测数据”3个条件。图像成像过程中的模糊算子通常是病态的,且在实际中往往得不到足够的低分辨率观察图像,因此图像超分辨率重建是典型的病态逆问题,很难利用式(1)直接求解。为了估计高分辨率图像X,通常将问题转换为最小二乘问题求解。同时为了得到稳定的解和消除噪声,通常需要引入正则化约束项。即[3]

$\widehat{\mathit{X}}$$=\underset{X}{{\displaystyle Arg{\rm M}in}}[{\displaystyle \sum _{k=1}^{{\rm M}}\parallel }\mathit{D}{}_k\mathit{B}{}_k\mathit{F}{}_k$X-yk‖${}_p^p$+λγ(X)]。 (2)

式中,p=1和p=2分别代表了L1和L2范数下的数据保真估计。L1范数对应于假设噪声服从拉普拉斯分布时的MAP估计,而L2范数对应于假设噪声服从高斯分布时的MAP估计[1]。二者相比,L1范数下的重建算法更为鲁棒,在不同噪声情况下都能得到较好的重建结果。正则化项通常是对图像性质的约束,基于双边滤波器的BTV正则项能够在约束图像平滑的同时保持较好的边缘信息[4]。最终基于L1范数和BTV正则化的最小化代价函数为:

$\widehat{\mathit{X}}$$=\underset{X}{{\displaystyle Arg{\rm M}in}}$${\displaystyle \sum _{k=1}^{{\rm M}}\parallel }\mathit{D}{}_k\mathit{B}{}_k\mathit{F}{}_k$X-y

$\begin{array}{l}{}_k\parallel {}_1+\\ \lambda \underset{l+m\ge 0}{{\displaystyle {\displaystyle \sum _{l=-p}^{{\rm P}}{\displaystyle \sum _{m=0}^{{\rm P}}}}}}\alpha {}^{|m|+|l|}\parallel \end{array}$

X-SlxS${}_y^m$‖X‖1。 (3)

式中,0<α<1;S${}_x^l$、S${}_y^m$分别为水平和垂直方向平移l和m个像素的操作算子,BTV滤波核的尺寸为P。通常利用迭代法求解上述问题,最终可以得到重建的HR图像。

2基于L1范数的双正则化改进算法

上述算法在有足够LR观察图像的情况下能够得到较好的重建结果,但并未考虑LR图像不足的情况。例如:在抽样率为2的成像过程中,理想情况下可以得到相对位移分别为(0,0)、(0,1)、(1,0)、(1,1)的4幅LR观察图像。但如果由于某种原因,可能仅得到了位移为(0,0)、(1,1)的2幅LR图像,其他2幅LR图像信息丢失,这样造成了配准到高分辨率网格上时相应像素位置的观察信息丢失。在前面的最小化代价式(2)中,第1项反映了重建图像的保真度,但它仅以现有的LR图像为参考,忽略了丢失的LR信息处像素的保真度,导致这些像素点的重建结果正确性无法衡量。为此,设U代表HR网格上观察信息丢失点像素值的集合,在原来代价方程中增加对于U的保真度估计项和正则化项[5]:

J(X,$\mathit{U})=\underset{(\mathit{X},\mathit{U})}{{\displaystyle Arg{\rm M}in}}$${\displaystyle \sum _{k=1}^{{\rm M}}\parallel }\mathit{D}{}_k\mathit{B}{}_k\mathit{F}{}_k$X-yk‖${}_p^p$+

‖FUX-U‖${}_p^p$+λγ(X)+μγ(U)。 (4)

式中,FU为像素集合U对应的变换矩阵,FUX得到对于丢失像素点的估计的观察值的集合;γ(U)为关于U的正则化项。这里讨论L1范数情况,令p=1,利用交替最小的迭代算法求解该最小问题:

$\nabla {}_{\overline{X}}J={\displaystyle \sum _{k=1}^{{\rm M}}\mathit{F}}{}_k^{{\rm T}}\mathit{B}{}_k^{{\rm T}}\mathit{D}{}_k^{{\rm T}}\text{s}\text{i}\text{g}\text{n}(\mathit{D}{}_k\mathit{B}{}_k\mathit{F}{}_k$X-yk)+

F${}_U^{{\rm T}}$sign(FUX-U)+λγ′X(X)=0,

ᐁUJ=-F${}_U^{{\rm T}}$sign(FUX-U)+μγ′u(X)=0。

根据图像成像时的像素值的邻域平均原理,可以认为HR网格中丢失像素点的观察值与其邻域内观察到的像素值相近。为此,可以利用插值算法,根据已有的观察像素值来估计出丢失的观察像素值Uest。同样认为U通常也是平滑的,因此可以定义正则化项:

γ(U)=‖U-Uest‖${}_2^2$, γ′U(X)=2(U-Uest)。

利用交替最小化算法,上述改进的重建算法步骤如下:

设定初始值X0,U0=Uest。

① 利用式(5)迭代求解$\widehat{\mathit{X}}{}_n‚n=1,2\cdots$,

$\widehat{\mathit{X}}$n=$\widehat{\mathit{X}}$${}_{n-1}-\beta \{{\displaystyle \sum _{k=1}^{{\rm M}}\mathit{F}}{}_{{\rm K}}^{{\rm T}}\mathit{B}{}_{{\rm K}}^{{\rm T}}\mathit{D}{}_{{\rm K}}^{{\rm T}}\text{s}\text{i}\text{g}\text{n}(\mathit{D}{}_k\mathit{B}{}_k\mathit{F}{}_k$$\widehat{\mathit{X}}$n-1-yk)+

F${}_U^{{\rm T}}$sign(FU$\widehat{\mathit{X}}$n-1-U

$\begin{array}{l}{}_{n-1}+\\ \lambda \underset{l+m\ge 0}{{\displaystyle {\displaystyle \sum _{l=-{\rm P}}^{{\rm P}}{\displaystyle \sum _{m=0}^{{\rm P}}}}}}\alpha {}^{|m|+|l|}[\mathit{{\rm I}}-\mathit{S}{}_y^{-m}\mathit{S}{}_x^{-l}]\cdot \end{array}$

sign($\widehat{\mathit{X}}$n-1-S${}_x^l$S${}_y^m$$\widehat{\mathit{X}}$n-1)}。 (5)

② 利用式(6)迭代求解Un,n=1,2…,

$\mathit{U}{}_n=\mathit{U}{}_{\text{e}\text{s}\text{t}}+\frac{1}{\mu }\mathit{F}{}_U^{{\rm T}}\text{s}\text{i}\text{g}\text{n}(\mathit{F}{}_U$$\widehat{\mathit{X}}$n-Un-1)。 (6)

重复步骤①、②,直到满足所设定的停止条件:

‖$\widehat{\mathit{X}}$n-$\widehat{\mathit{X}}$n-1‖2/‖$\widehat{\mathit{X}}$n‖2<threshold。

3 实验与结果分析

为了研究上述改进算法在低分辨率信息较少情况下的重建性能,实验中分别利用了原L1范数重建算法和改进算法对相同的LR图像序列进行HR重建。

实验中假定低分辨率图像帧间仅有平移运动,点扩散函数为平移不变的。在实验中利用cameraman和lena图像作为测试图像。根据图像成像的降质模型,对其用5×5的高斯核进行模糊,水平和垂直方向抽样因子均为2,再加入高斯白噪声(SNR为20 dB),这样就得到4幅LR图像。为了满足低分辨率信息不足的情况,假设其中2帧丢失,因此在实验中仅利用剩余的2幅LR图像进行超分辨率重建。最后采用峰值信噪比(PSNR)对重建结果进行评价,PSNR计算方法为${\rm P}S{\rm N}R=101\text{g}(255{}^2\times {\rm M}/\parallel \widehat{\mathit{X}}-\mathit{X}\parallel {}^2)$。X为HR原图,M为HR图像中像素点数,$\widehat{\mathit{X}}$为重建的HR图像。

表1给出了分别利用原L1范数重建算法和改进算法分别对Lena和Cameraman图像进行HR重建结果的PSNR值的比较。从表1中可以看出,原L1重建算法能够有效地提高重建图像的信噪比,而由于引入了对于丢失的低分辨率观察信息的估计,改进算法能够获得比原算法更好的信噪比。

图1为利用原L1范数重建算法和改进算法对cameraman图像进行重建过程中的PSNR的迭代变化曲线图。从中可以看出改进算法的PSNR值比原一阶算法有一定程度的提高。

4 结束语

介绍了一阶范数超分辨率重建算法,针对LR图像获取不足的情况,通过在代价方程中引入关于丢失的LR信息的保真度估计和正则化项,提出了一种改进的一阶范数双正则化重建算法。求解过程采用交替最小化方法,每次迭代中更新对于HR图像和丢失观察信息的估计。实验结果验证了该算法的有效性。

参考文献

[1] FARSIU S,ROBINSON D.Fast and Robust Multiframe Super Resolution[J].IEEE Trans on Image Process,2004,13(10):1327-1344.

[2] PARK S C,PARK M K,KANG M G.Super Resolution Image Reconstruction:A Technical Review[J].IEEE Signal Processing Magazine,2003,20(3):21-35.

[3] ELAD M,FEUER A.Restoration of Single Super-resolution Image from Several Blurred,Noisy and Down-sampled Measured Images[J].IEEE Trans on Image Processing,1997,6(12):646-1658.

[4] TOMASI C,MANDUCHI R.Bilateral Filtering for Gray and Color Images[C].Bombay,India:Proceedings of the Sixth International Conference on Computer Vision,1998:839-846.

图像超分辨率重建 篇7

毫米波成像机理类似于红外成像[1,2], 其成像技术就是结合不同物体间辐射强度的差异, 通过探测物体自身的毫米波辐射能量实现成像。但由于天线馈源尺寸的限制以及衍射受限效应, 使得获取的图像分辨率很低。为了有效恢复衍射受限截止频率之外的图像高频信息, 可以从信号处理的角度进行处理, 即应用超分辨算法[3]来恢复更多被滤掉的高频信息。

在毫米波成像领域, 目前提出了许多具有实用价值的超分辨算法。主要有最大后验 (MAP) 算法[4]、正交匹配追踪 (OMP) 算法[5]、凸集投影 (POCS) 算法[6]等。近年来, 有学者提出了一种快速迭代算法[7], 即两步迭代收缩算法 (Two-step Iterative Shrinkage/Threshold, Tw IST) 。该算法由前两次的迭代结果得到新的估计值, 能够更快速更有效地得到目标解。

为了得到更好的图像复原结果, 可以有效地加入图像的稀疏先验信息, 如近年来新兴的压缩感知 (Compressed Sensing, CS) 理论[8]。一般的重建算法通常选择具有三个方向的正交小波基作为图像的稀疏基, 而正交小波基具有一定的局限性, 不仅方向选择性差, 而且不具备平移不变性, 重构的图像会产生伪吉布斯效应。针对这一缺陷, 本文选择了具有平移不变特性的双树复数小波[9]作为稀疏基对原始信号稀疏表示, 在NCSHI算法基础上引入了两步迭代, 有效地改善了重建图像质量。

2 超分辨算法数学模型

毫米波成像衍射受限系统如图1所示, 其过程主要为:场景目标辐射能量, 天线系统通过检测接收物体的亮温分布, 再进行一系列的信号处理, 如对接收到的信号进行放大、滤波、检波等, 最后进行超分辨复原得到原始场景图像。其数学模型可以抽象为

式中:g (x, y) 表示观测到的图像;f (x, y) 和h (x, y) 分别为原始场景图像和系统的点扩散函数;n (x, y) 是系统的加性噪声。在实际的建模过程中, 如果忽略通道不一致性以及多波束的非均匀性影响因子, 可以得到图1的成像模型。

由该模型可以看出, 毫米波成像系统前端类似于一个低通滤波器, 在成像过程中, 空间频谱的高频分量被滤除。因此, 对所得到的低质量图像进行超分辨复原的目的即利用毫米波图像的稀疏先验信息, 尽可能多地恢复被滤除的截止频率之外的频谱分量, 从而得到与原始图像误差量最小的一个估计值。

依据式 (1) 中的测量模型, 由于系统中存在不可避免的噪声影响, 所以实际的测量为

式中:Φ为测量矩阵, 因为毫米波图像具有一定的稀疏特性, 故式 (2) 中x是稀疏的。对于给定的参数ε, 可以得到目标优化函数

其中, p范数的定义为

式中:参数ε可以根据x的稀疏性和解对于约束条件的满足程度进行相应的调整。

3 基于非凸集阈值收缩迭代图像复原方法

非凸集投影 (NCSHI) 算法[10]是以经典的空域重建算法凸集投影 (POCS) 算法为基础, 通过不断地向一个p (p<1) 范数球 (lp-ball) 进行近似正交投影得到的。该算法在每一次迭代过程中, 相比于POCS算法, 其阈值并不是固定不变的, 而是自适应地根据前一次的迭代结果进行阈值计算, 从而提高了重建精度以及算法的收敛速度。

非凸集投影算法是以任意一个起始点为初始值, 通过不断地向超平面H和一个p (p<1) 范数球进行投影。对于长度为N的信号x来说, 对其目标优化函数求变分, 可以得到变分方程[11]

该算法主要的迭代步骤如下[10]:

步骤1:任意选择一个起始点, 向H超平面进行正交投影

步骤2:通过自适应软阈值过程向非凸集近似正交投影

式中:Sε为当p<1时的软阈值过程, 具体操作如下

式中:i=1, 2, …, N。

由上述可以看出, 非凸集投影算法的阈值过程是自适应的, 并且由式 (7) 可知它是向一个非凸集投影。因此具有更好的收敛速度和重建性能。

4 改进的非凸集投影算法INCSHI

虽然NCSHI算法在投影过程中, 其阈值计算是自适应的, 但是还没有更充分地利用前面的迭代结果, 其对图像的超分辨重建性能有限。改进的INCSHI算法选择具有平移不变特性的双树复数小波基作为图像的稀疏基, 并引入了两步迭代过程, 从而更多地利用了前两次的迭代信息, 能够以更高的精度估计出原始信号。

该算法的核心就是在自适应阈值的基础上, 加入了两步迭代过程, 即利用前两次的迭代结果来估计当前的信号值。两步迭代收缩 (Tw IST) 算法的更新过程如下[7]

式中:x0表示迭代的初值, 且k≥2;Γ (x) 为降噪处理函数, α和β是决定该算法收敛速度的因子。本文中选择这两个参数值分别为

式中:。λ1的选择根据不同的情况而变化, 对于毫米波图像超分辨重构, 在λ1=10-4时有较好的重建效果。

由于毫米波图像具有稀疏性, 可以用稀疏基来表示。本文选取双树复数小波基作为图像的稀疏基, 假设基为Ψ= (Ψ1, Ψ2, Ψ3, …, ΨN) , 则原始信号f可以表示为

进而得到以下投影迭代自适应阈值迭代公式

式中:H表示测量过程中的观测算子;ω为原始信号f在稀疏基Ψ下的表示系数;软阈值过程Sε同式 (8) 。再利用式 (10) 进行两步迭代, 得到

最后利用图像的非负先验信息, 得到最终值

其中

流程图见图2。

5 实验仿真结果与分析

为了验证INCSHI算法的有效性, 本文采用一幅实际的毫米波图像 (图3b) , 它的光学图像为图3a。分别用NCSHI算法和INCSHI算法进行仿真, 将图3b作为原始的场景信号进行输入。为了更充分地说明比较效果, 在实验中采用相同的参数 (如迭代步长、迭代停止条件等) , 迭代次数为30次。超分辨重构的图像及其相对应的频谱如图4所示。通过图4可以看出, NCSHI算法和INCSHI算法都具有明显的超分辨能力, 但在相同的迭代次数下, INCSHI算法相比NCSHI要更平滑一些。由频谱图可以看出, INCSHI算法更有效地抑制了高频噪声, 同时具有更好的频谱外推能力。

目前, 有很多评估超分辨算法性能的客观评价准则, 这里采用最常用的评估准则均方误差 (MSE)

式中:x (i, j) 和x1 (i, j) 分别表示原始信号与重建的信号, 这两种算法迭代次数与MSE之间的关系如图5所示。由图可以看出, 当两种算法迭代次数相同时, INCSHI算法的MSE值要小于NCSHI算法的MSE值, 并且衰减速度要快些。由此可以得出结论, 在同一迭代次数条件下, 本文算法的超分辨能力要优于NCSHI算法, 而且收敛速度相对较快, 从而可以在更短的时间内达到较好的重建效果。

6 结束语

本文从非凸集投影算法出发, 详细分析了其算法原理。在迭代过程中引入了两步迭代步骤, 并结合具有平移不变性的双树复数小波基对图像进行稀疏表示。从实验结果可以看出, 本文的算法进一步改善了超分辨重建性能, 同时提高了算法的收敛速度, 因此, 可以作为一种更有效的超分辨算法。

参考文献

[1]LI L, YANG J.Method of passive MMW image detection and identification for close target[J].Journal of Infrared, Millimeter, and Terahertz Waves, 2011, 32 (1) :102-115.

[2]YUJIRI L, SHOUCRI M, MOFFA P.Passive millimeter-wave imaging[J].IEEE Microwave Magazine, 2003, 4 (9) :39-50.

[3]LETTINGTON A, YALLOP R, DENNIS D.Review of super-resolution techniques for passive millimeter-wave imaging[C]//Proc.SPIE Infrared and Passive Millimeter-Wave Imaging Systems:Design, Analysis, Modeling, and Testing.Bellingham, USA:SPIE Press, 2002:230-239.

[4]HUNT B, SEMENTILLI P.Description of a poisson imagery super-resolution algorithm[J].Astronomical Data Analysis Software and System I, 1992 (25) :196-199.

[5]TROPP J, GILBERT A.Signal recovery from random measurement via orthogonal matching pursuit[J].IEEE Trans.Information Theory, 2007, 53 (12) :4655-4666.

[6]ELAD M, FEUER A.Restoration of a single super resolution image from several blurred, noisy and under-sampled measured images[J].IEEE Trans.Image Processing, 1997, 6 (12) :1646-1658.

[7]JOSE M, BIOUCAS D, MARIO A, et al.A new TwIST:two-step iterative image, processing, shrinkage/thresholding algorithms for image restoration[J].IEEE Trans.Image Processing, 2007, 16 (12) :2992-3004.

[8]BARANIUK R.A lecture on compressive sensing[J].IEEE Signal Processing Magazine, 2007, 24 (4) :118-121.

[9]KINCSBURY N.The dual-tree complex wavelet transform:a new efficient tool for image restoration and enhancement[EB/OL].[2013-06-02].http://citeseerx.ist.psu.edu/viewdoc/summarydoi=10.1.1.47.5647.

[10]ZHOU Changlin, XIONG Jintao, LI Liangchao.Research on passive millimeter wave imaging using compressed sensing architecture[C]//Proc.ICACTE 2010.Chengdu:IEEE Press, 2010:479-483.

图像超分辨率重建 篇8

关键词：多帧图像超分辨率重建,基于学习的方法,图像先验

1 引言

多帧图像超分辨率重建是指从同一场景的多帧低分辨率图像中重建一帧高分辨率图像的处理过程。这一技术在遥感、公共安全、军事、医学成像、消费电子等领域都有广泛的应用前景。超分辨率重建的效果依赖于超分辨率重建过程中能够利用的可用信息。传统的超分辨率重建技术要求关于同一场景且具有亚像素级精度位移的多帧低分辨率图像作为输入[1,2,3]。该技术利用存在于低分辨率图像之间的互补信息来重建高分辨率的图像。如果有足够的可用信息, 超分辨率重建算法能够取得良好的重建效果。然而, 超分辨重建通常是一个不适定问题, 主要用原因在于没有足够的可用信息, 如没有足够数量的低分辨率图像、不精确的图像配准及未知的模糊操作等。因此, 对于超分辨率重建问题来说, 有效的图像先验知识通常是必要的。这样, 大量基于一些合理假设或先验知识的正则化方法被学者建议用于进一步稳定超分辨率重建问题的解[1,2,3]。但是, 随着分辨率增强因子的增加或可用的低分辨率图像的减少, 这些算法的重建效果会迅速地变差。

基于学习的算法已经被建议作为一种非常吸引力的单帧图像超分辨率重建算法。在这种情况下, 仅有一帧低分辨率图像是可用的。这些方法试图从样例图像中学习关于目标高分辨率图像的特征。然后这些特征作为图像先验知识, 被用于超分辨率重建过程。这类算法成功的关键在于图像特征的定义。Freeman等人[4,5]建议了一个基于样例的学习算法, 用于单帧图像超分辨率重建。该算法通过马尔可夫随机场从样例图像中学习高低频率成份之间的关系, 并利用这一关系从输入的低分辨率图像中重建对应的高分辨率图像。孙建等[6]采用同样的思路, 但图像先验知识改为图像基元 (如:边、角等) , 以提高超分辨率重建的质量。常虹等[7]等利用局部线性嵌入 (LLE) 流形学习的思想, 提出一个更一般的使用训练集的方式。这一方法假设由低分辨率及对应的高分辨率图像中小的图像块形成的流形在两个特征空间中具有相似的局部几何结构。因此, 该方法把低分辨率图像块空间的局部几何结构映射到对应的高分辨率图像块空间, 然后, 利用这一局部几何结构从高分辨率图像块空间的邻域中重建目标高分辨率块。杨建超等[8]基于稀疏信号表示理论提出一种新的单帧图像超分辨率学习方法。该方法利用训练集为高低分辨率的图像块学习两个字典。超分辨率重建时, 先在低分辨率的字典上求低分辨率输入块的稀疏表示, 然后把得到的系数应用到高分辨率的字典上产生对应的高分辨率图像块。李明等[9]在杨建超等人工作的基础上, 结合联合稀疏近似和非局部自相似性, 提出一个基于非局部联合稀疏近似的单帧图像超分辨率重建方法。路锦正等[10]采用光滑的递减函数逼近L0范数, 避免了对稀疏度的依赖, 从而实现对图像块的有效稀疏表示。Dong等[11]采用了另一种基于稀疏表示的超分辨率学习算法, 即将稀疏性作为先验知识去正则化不适定的超分辨率重建问题。他们考虑到不同图像及图像块的最优稀疏域的多样性, 建议预先学习多个字典。在超分辨率重建时, 每个局部块能自适应地选择最匹配的字典。

本文研究如何把基于学习的算法用于多帧图像超分辨率问题。为此, 提出一个基于学习的多帧图像超分辨率重建框架。这一框架分为两个阶段:学习阶段, 即从训练图像集中学习关于目标高分辨率图像的先验知识;超分辨率重建阶段, 即利用学习到的先验知识, 重建目标高分辨率图像。

2 传统基于统计理论的多帧图像超分辨率算法

2.1 退化模型

为解多帧图像超分辨率问题, 首先要假设一个低分辨率图像的退化模型, 该模型表达了输入的低分辨率图像与目标高分辨率图像之间的关系。一般假设低分辨率图像是目标高分辨率图像经过运动、模糊、降采样以后的含噪版本。因此, 给定N个低分辨率的输入图像和目标高分辨率图像X, 每个低分辨率的输入图像Yk的退化模型可以用公式表示为:

其中, Fk、Hk、Dk分别表示运动、模糊及降采样操作, Vk表示成像过程中的噪声。

2.2 基于统计理论的多帧图像超分辨率算法

基于统计理论的多帧图像超分辨率算法包括最大似然法和最大后验概率法。一般假设噪声Vk是加性高斯白噪, 从而有如下基于最大似然法的超分辨率重建公式:

然而, 由于可用信息不足, 超分辨率重建问题常常是一个不适定问题。因此, 考虑把关于目标高分辨率图像的先验知识作为补充信息加以利用。从而导致一个最大后验概率 (MAP) 估计公式:

一般, 把公式中的第一项称为重构约束项, 而把第二项称为先验项。重构约束项保证重构后的目标高分辨率图像与输入的低分辨率图像在退化模型下的一致性。先验项则表示关于目标高分辨率图像的先验知识。是拉格朗日乘子, 起到平衡前后两项的作用。传统的超分辨率算法中, 先验知识是基于某种合理假设给出的, 比如常用的平滑性先验知识, 就是假设整个图像是平滑的。但实际应用中, 这些假设常常不被满足, 从而导致超分辨率重建效果恶化。本文则采用学习的方法, 从样例图像中获取先验知识, 能够使先验项更符合实际的图像。

3 基于学习的多帧图像超分辨率算法

3.1 建议框架

本文建议的框架包括两个阶段:学习阶段和超分辨率重建阶段:

学习阶段:这一阶段, 主要是从训练图像集中学习关于目标高分辨率图像的相关特征, 并以学习到的特征为图像先验知识。目前, 对于基于学习算法来说, 特征的选择和表示还是一个尚待解决的问题。在基于学习的单帧图像超分辨率算法文献中, 已建议使用的特征主要包括:原始图像数据、高频信息、图像基元等。因超分辨率重建实际上是要恢复成像过程中丢失的高频信息, 所以本文选取高频信息做为要学习的图像特征。

超分辨率重建:在这一阶段, 利用最大后验概率估计框架, 把重构约束、学习到的先验知识以及平滑性先验知识, 组合到超分辨率重建过程中。因而可以得到如下最大后验概率估计式:

其中, Γ (X) 表示学习到的特征, P则表示一个特征提取操作。公式中的第一项是重构约束项。第二项要求目标高分辨率图像的高频信息与学习到的高频信息保持一致。第三项是平滑性先验项。

这一算法通过两个算子β和λ来调节各项的比重, 因而可以适应不同的给定条件。在有充足可用信息的情况下, 设置小的β值, 以便减弱学习到的先验知识的影响。反之, 设置大的β值, 以增加学习到的先验知识的影响。

3.2 从训练集中学习图像先验知识

生成训练集:训练集的生成由以下几个步骤完成。首先, 收集一个高分辨率的图像集, 并根据退化模型产生对应的低分辨率图像集, 从而生成一个由高低分辨率图像对组成的集合。其次, 通过线性插值, 将低分辨率图像放大成与原始图像同样大小的图像, 但是这些图像的高频信息已经丢失了。插值后生成训练图像对的集合。第三, 为减少数据量, 把训练图像对中, 不需要的信息移除。也就是, 每个高分辨率图像, 只取其高频信息 (称之为图像的高通版本, 用表示) , 它等于与的差。而对应的, 也只取其最高频的信息 (称之为图像的带通版本, 用表示) 。从而形成由高通图像与带通图像组成的集合。第四, 把每一对的高通与带通图像按同样的方式分割成块, 产生图像块对的集合最后, 对每一个块对, 进行对比度规范化, 形成由高通与带通图像块组成的训练集。

学习图像先验知识:从训练集中学习先验知识的基本原理就是模式匹配。给定一个低分辨率的图像集, 首先, 选择其中一幅作为参考图像, 采用与前面训练集生成同样的方法, 对参考图像进行插值、提取最高频信息、分块、对比度规范化等操作, 产生输入的带通图像块。然后, 对每一个输入的带通图像块, 在训练集中搜索与之最相似的带通图像块, 并取与之对应的高通图像块。最后, 对搜索得到的所有高通图像块进行逆对比度规范化操作, 然后由这些高通图像块构建目标高分辨率图像的高频信息, 这就是从训练集中学习到的图像先验知识。

4 实验结果及分析

在这一节, 设计仿真实验来验证本文建议算法的有效性。实验比较了本文算法与传统基于最大后验概率估计的多帧图像超分辨率重建算法 (简称为传统MAP算法) 。评价方法采用峰值信噪比 (PSNR) 。训练集是从Miss America、Gsaleman、Suzie等标准测试图像序列中抽取部份帧来产生的。

实验仿真了没有足够可用信息的情况下, 两个算法的超分辨率重建效果。为此, 实验选取Foreman图像序列的前5帧作为测试图像, 根据退化模型对测试图像实施模糊、降采样操作, 保留图像序列原有的运动, 从而产生5幅低分辨率图像作为输入图像。分辨增强因子设置为3。因输入图像只有5幅, 所以这是在没有足够可用信息的情况下重建目标高分辨率图像。在这个实验中, 本文算法中的两个参数和分别设置为0.3和0.1, 而传统算法的设置为0.1。实验结果如图1所示。从结果可以看出, 本文算法的重建结果要优于传统MAP算法。

5 结论