超分辨重建（精选8篇）
超分辨重建 篇1
人类获取信息的主要途径是视觉,大部分基于视觉的应用效果都依赖于图像的质量。高分辨率(High Resolution,HR)图像有助于在一个监控录像中更好地识别犯罪嫌疑人的脸,在医学X射线照片中更准确定位肿瘤,在高清晰度电视中产生更优质的视频,在工业检查时产生更清晰的图像,获得一个更好的遥感图像等。超分辨率(Super Resolution,SR)技术是一种图像处理程序。将退化的图像或图像序列作为输入,生成更高质量的图像或图像序列。退化图像的定义是主观的,取决于应用程序。低分辨率(Low Resolution,LR)退化图像可能是监控视频,或者在很低辐射量下获得的医学X射线照片,或者压缩比很高的压缩图像。图像质量的概念也可以通过不同的方式定义,例如,在摄影照片中,图像质量取决于人类观察者的鉴赏感知力,而在目标检测任务中图像质量可能是指良好的边缘定位。
超分辨率技术已经被应用于各种领域,如视频监控、医学成像、高清晰度电视、遥感、手机与数码相机等。在视频监控系统中,摄像头监控的兴趣点的位置用于检测异常,视频通常保存到视频片段中,系统可以触发各种警报,如发送电子邮件、引发警报,甚至让用户通过网络来观看视频。由于数据量的庞大和带宽的限制,视频帧通常是在非常低的比特率下捕获的。相机通常设置为广角模式以期能捕捉尽可能多的场景,故而感兴趣的对象分辨率往往都比较低。为了安全目的如个人身份识别和身份验证,不论是时间上(速度)还是空间上(图像分辨率)都需要超分辨率重建技术。
1 超分辨率重建的分类
单图像输入和多图像输入是超分辨率重建面临的两种不同情况。多图像输入意味着输入的是一系列图像(或视频的一部分),这些图像间有着不同的亚像素平移,每幅图像都包含着高度相关信息的信息(即相对场景运动)可以用于超分辨率重建一幅图像[1]。实际中,很多情况下没有足够的相关输入图像来源,这就需要开发基于单图像输入的算法,即输入源仅是一幅图像。根据输入图像的多少可以将超分辨率重建问题分为三类:多图像、单图像和视频。它们具有相同的核心任务即产生更多的图像像素,但它们的定义各有不同:多图像超分辨率(Multiple-Image Super-Resolution)重建指的是根据同一场景得到的多幅低分辨率图像重建出一幅高分辨率图像;而视频超分辨率(Video SuperResolution)除了在空域寻找重建方法外,还可以在时域通过增加图像帧的方法提高整个视频的质量;单图像超分辨率(Single-Image Super-Resolution,SISR)重建可以看作为前两种情况中的基本情况,如单图像超分辨率可以直接用于视频超分辨率的每一帧中来增加空间细节,此外,单图像超分辨率也可以用于多种其他问题,如视频监控中的检测、分类和识别问题,超分辨率重建可以帮助其获得更好的性能,医学影像系统中超分辨率重建可以提高医学检查的准确度等。以下章节将分别对这三类超分辨率重建算法的发展情况分类讨论。
超分辨率重建从重建的角度通常分为频域的方法和空域的方法[2]。第一种超分辨率重建的方法就是频域方法[3],其主要是消除LR图像中的混叠来重建HR图像,这类技术主要是基于连续和离散傅里叶变换间的平移和混叠特性。这种方法的主要优点是理论简单及并行实现的能力,但观测模型仅局限于全局平移运动和线性空间不变(Linear Space Invariant,LSI)模糊,由于在频域缺少数据相关性,目前该类方法已经不是研究热点。空域的方法利用观测模型中的全局和局部运动、空间可变点扩散函数、光学模糊、运动模糊等内容,空域的方法可以将空域的先验约束用于正则化病态的超分辨率重建问题。本论文综述的超分辨率重建方法主要是基于空域的方法。
2 多图像超分辨率重建
多图像超分辨率重建方法旨在整合多个LR图像到一个HR图像,其图像观测模型为
式中:X为待重建的高分辨率图像;Yi为第i个观察到的低分辨率图像;D为下采样算子;Bi为模糊算子;Wi为变形算子;ni为处理过程中的加性噪声。
这类方法用了一个假设,即多个类似的图像可以从一个成像设备中反复得到。该类方法一般包含3个步骤:图像配准、插值和图像恢复。考虑输入的多个LR图像间存在运动位移,对这种位移关系进行精确估计,将多个LR图像配准到一个公共坐标下,通过非均匀插值(Non-uniform Interpolation)得到估计的高分辨率图像,再根据式(1)的观测模型对图像超分辨率问题转化为最优化问题求解。多图像与单图像超分辨率重建方法最主要的区别就在于运动估计和图像配准过程,后续的最优化方法也常常用在单图像超分辨率重建中。本节主要讨论图像配准及非均匀插值。
为了保证输入的多个LR图像中包含增加空间分辨率的足够信息,通常要求各个LR图像间存在亚像素平移。如图1所示,LR图像的像素首先根据其运动信息投影到HR图像平面,然后通过插值对齐到统一的HR图像网格上。这种方法的优点是其相对较低的计算量,可实时实现,然而,在这个方法受限于退化模型,即模糊和噪声特征被假定为所有LR图像是相同的。Zhou等[4]提出一种coarse-to-fine的框架通过估计变形参数用独立视角运动来准确配准图像的局部感兴趣区域(Regions of Interest,ROI)。Milchevski等[5]给出基于机器学习的SR算法,对配准误差具有鲁棒性。Vrigkas等[6]提出了一种最大后验概率(Maximum a Posteriori,MAP)模型下的图像超分辨率方法,其中图像配准的部分由两个步骤完成:首先,低分辨率图像通过对应SIFT特征来配准;其次,在迭代过程中通过最大化互信息准则估计配准参数来精确地估计高分辨率图像。
3 单图像超分辨率重建
单图像超分辨率重建(SISR)是架起输入低分辨率图像和输出高分辨率图像之间桥梁的重要技术,近年来获得了更多的关注,由于仅仅只有一幅输入图像,式(1)的图像观测模型变为
式中:X为待重建的高分辨率图像;Y为输入低分辨率图像;D为下采样算子;B为模糊算子;n为加性噪声。
因此,单图像超分辨率重建是欠定问题而不是多图像超分辨率重建的超定问题。因为问题是不适定的,可用的图像数量有限,在重建过程中往往需要利用图像的先验信息。单图像超分辨率重建就是要利用一幅图像中包含的丰富信息以及从样本图像中得到的视觉先验,因此,单图像超分辨率重建的挑战主要包括:识别重要的视觉线索,填充细节,并尽可能忠实和美观地呈现。目前单图像的超分辨率重建一般可分为两类:基于重建的方法(Reconstruction-Based)和基于样本学习的方法(Example Learning-Based)。
3.1 基于重建的方法
基于重建的方法旨在重建降质过程中丢失的高频信号。Irani和Peleg[7]观察到插值得到的HR图像通过式(2)的下采样过程生成的LR图像与输入的LR图像是不同的。为了保证式(2)成立,用范数约束表示超分辨率重建问题的解为
用反向投影在LR上的差值来完善HR图像的方法求解式(3),由于这个问题是病态的,有无穷多个解,因而采用迭代的方法,称为迭代反向投影(Iterative Back-Projection,IBP)算法。因此,IBP重建出的HR图像,若再次通过下采样得到的LR图像会随着迭代次数的增加与输入LR图像更相似。IBP重建增强了HR图像中的高频分量,如边缘两边的对比度,但该方法只是简单地反向投影任何差值,HR图像中的梯度可能会被过度放大而导致振铃效应。由于该方法简单有效,IBP算法在很多图像超分辨率重建算法中作为一个后处理过程。
IBP算法求出的解仍不唯一,为了找到式(3)更优的解,通常需要考虑图像的先验信息来正则化SR问题,式(3)则可改写为
式中:p(X)为图像的先验函数;λ为正则化因子。则超分辨率重建问题由保真项和正则化项λp(X)共同求解。
Dai等[8]利用图像边缘处两边的对比度大而边缘的一边具有连续性的先验知识,设计了中心像素和相邻像素的差值加权和的正则化项。即求解式(4)的最优化问题得到高分辨率图像能产生尖锐和光滑的边缘,但该方法对于纹理区域总是生成模糊的结果,由于纹理处的图像特征并不满足先验假设。另外,生成的高分辨率图像质量与其中的参数设置有关,但又很难找到一个可用于大多数图像的共同设置,必须手动调整,故实用性不强。
Zhang等[9]提出一种两步超分辨率方法:首先,双立方插值得到初始化高分辨率图像,用非局部核回归来减少图像中的锯状效应,重建出的高分辨率图像中边缘是直且光滑的,但不尖锐;第二步再用反卷积,应用全变差(Total Variation,TV)作为正则化先验模型来增强边缘的对比度。这种方法能够重建尖锐和清晰的边缘,但它对于细线和纹理仍然无法得到好的效果,这是因为细线在双立方插值处理后变宽,但余下的流程却无法再收窄,纹理经非局部核回归处理后变得平滑,虽然在第二步中对比度有所增强,但结果与原始真实图像还是会有很大不同。
Singh等[10]利用图像边缘处像素值通常满足坡道(ramp)先验,即是由一组强度不断增加或减少的相邻像素组成,该算法在边缘方向上外推得到高分辨率图像,较前两种方法相比的优势在于坡道除了在边缘还可以在拐角(corner)和交叉(fork)处找到。但坡道需要多个像素才能确定,对于窄边缘或复杂的纹理坡道仍然不能确定。
基于重建的超分辨率方法只是用了一些先验知识来正则化重建过程,而没有使用样本图像通过训练得到训练先验。这类方法的优点是简单、计算量低,但无法处理自然图像中的复杂图像结构。
3.2 基于样本学习的方法
与基于重建的超分辨率重建方法相比,由于加入了外部样本图像,基于样本学习的方法有两个优点:首先,通过对样本图像中多种图像块训练学习可以得到各种复杂图像结构而不仅仅是边缘的先验知识;其次,利用包含在样本中的高频分量在重建过程中可以生成高频信息丰富的高分辨率图像。因而,基于样本学习的方法目前成为单图像超分辨率重建的主流研究方向,前两种算法一般作为基于样本学习方法的辅助处理过程。
自然图像内容千变万化,基于样本学习的方法都是针对图像块学习先验知识,因此,重建约束变为
式中:x为待重建的高分辨率图像块;y为输入的低分辨率图像块;p(x)为基于图像块的先验信息。
根据如何使用样本图像块,基于样本学习的方法可分为基于样本(Example-Based)的方法和字典学习(Dictionary Learning)方法,前者直接从样本图像块中寻找类似的实例(Instance),而后者则是对样本图像中的大量实例通过学习的方法得到图像的先验信息。
3.2.1 基于样本的方法
由于样本图像中含有丰富的高频信息,这些信息可用于重建超分辨率图像中的高频分量。基于样本的方法没有训练阶段,在重建过程中对样本集搜索足够的实例来完成重建,因此需要较高的计算量。
1)基于样本
Freedman[11]观察发现,两个图像块如果在LR中相似,则它们对应的HR块更可能是相似的,另外,两个相邻的HR块中的重叠像素的值应该是相似的,基于这两个观察,选用马尔科夫随机场(Markov Random Field,MRF)来确定样本图像集中的最优候选。低分辨率图像的降质过程是一个多对一的映射过程,对于输入的LR图像块,在样本集中找到多个与其最相近的样本LR块,将与之对应的HR样本块作为候选,应用马尔科夫网络在选择最佳候选的同时最小化输入LR块与样本LR块的差值,并重叠HR像素的差值。与插值得到的高分辨率图像相比,Freedman的结果含有丰富的高频细节,但马尔可夫网络不能防止异常的候选存在,而人眼的视觉特性对异常高频信号会很敏感,因此重建的图像主观感觉常常是含有噪声的。Wang等[12]通过用条件随机场(Conditional Random Field,CRF)取代MRF来改进Freedman的方法,MRF只计算了局部块间的关系,CRF则计算任何块对,缺点是模型会更加复杂、计算量更高。
2)邻域嵌入
Chang等[13]提出一种邻域嵌入(Neighbor Embedding,NE)算法,通过加权平均多个高分辨率候选块而不是只选择其中之一对Freedman的方法作改进。用局部线性嵌入计算一组最近邻的样本块的权重来表示输入LR块,再用这些权值来平均相应的HR样本块生成输出的HR块。这种方法生成的图像不会有明显的噪声存在,因为加权平均的方法就能抑制异常样本的效果。针对Chang的方法中权重无限制导致的重建失真,Bevilacqua[14]等基于非负邻域嵌入和最小二乘(Least Square,LS)近似LR块,证明了非负权重选取的有效性。Yang等[15]提出双几何邻域嵌入方法,利用多视角特征和图像块局部空间邻域来找到特征-空间流型嵌入。
3)基于自相似块
Glasner等[16]观察到在超分辨率重建图像中利用外部样本图像不容易出现重建锐利的边缘,因为相似的图像块在不相关的图片中并不多,相比之下,由于边缘方向和对比度在下采样过程中保持不变,类似的边缘块在输入图像的图像金字塔中很容易找到。因而提出利用多尺度LR/HR块对来重建图像,重建的图像边缘锐利清晰,但由于多尺度图像遍历搜索,计算时间较长。给定LR块在图像金字塔的边缘上找到最相似的块,由于边缘方向和对比度不变,因此在大多数情况下最相似的块都是位于同一位置上。Freedman等[17]利用这个性质来加速Glasner的方法,用局部搜索代替全局块搜索,并在GPU上实现搜索算法。为了找到有效的多尺度自相似块,这两种方法都使用一个小尺度因子生成图像金字塔,并用小尺度因子迭代地放大输入图像直到生成图像的大小达到所需高分辨率图像的大小,因此LR输入图像中的小梯度块可能被放大为输出HR图像中的短边缘,如果输入图像包含不规则梯度纹理,将可能产生一些与高分辨率图像内容不相关的局部块。在Glasner方法基础上,Cui等[18]利用深度学习的方法,提出一种深度网络级联来逐层上采样LR图像,由于在每一层级联的自相似搜索过程的优化和自动编码器是独立的,因此该方法无法得到一个端到端的解决。
4)纹理重建
Tai[19]提出一种用统计先验来重建边缘而从样本图像中合成纹理的方法,首先需要高度相似的样本图像,并要创建一个模板来分段样本图像中的有效区域。虽然这种方法可以产生高质量的纹理,但高度相似的样本图像却并不是总能找到的。Ha Cohen等[20]通过自动匹配测试和样本段来弱化Tai的假设,并用多个段代替单一段,首先准备一个涵盖多种纹理类的小图像集,每个类中包含一些样本纹理图像,重建时与样本图像完全一致的纹理就不需要模板,其次通过训练的每个纹理类的典型来对测试图像分段,并从样本图像合成重建图像中的纹理。该方法也能产生高质量的纹理,但仍然需要人工准备有效的样本纹理图像,因而适用面还是不广。Sun等[21]提出一种全自动重建图像中纹理的方法,先收集包含各种纹理类的大量自然图像,通过Berkeley分段机制自动生成分段,再提取多尺度多方向梯度分布作为分段特征,并广泛应用纹理描述符。对于给定的输入LR图像,将其分段与具有最近特征的LR样本分段匹配,并用对应的HR样本块分段作为正则化项来产生HR图像中丰富的高频细节。如果分段和匹配步骤都工作正常,该方法能产生丰富的高质量纹理,然而,自然图像的纹理是难以分段和匹配的,如果出现无效分割或匹配的,生成的结果将会包含不一致或不正确的纹理。
3.2.2 字典学习的方法
由图像降质模型可以看到,这是一个多对一的映射过程,也就是说很多不同的HR图像会产生一幅相同的LR图像,在基于样本学习的方法中,由于图像都是被划为许多小的图像块,那这种映射关系就完全可能出现在样本图像块集中,为了更有效地整合样本图像块集中包含的信息,字典学习的方法通过对大量的样本块训练来学习最可能的HR特征映射到LR图像块上。一旦学到先验知识,则不再需要样本图像,这样在重建阶段也就不需要大的内存空间及搜索时间,与基于样本的方法相比,字典学习的方法计算效率更高。
1)边缘优先
相比较学习全局特性的先验,Fattal[22]和Sun等[23]分别提出两个类似的方法学习局部边缘统计先验,两种方法都是在边缘处重建梯度,不同主要在于特征提取部分和从LR到HR特性训练映射函数部分。Fattal提取边缘锐度作为3个力矩,Sun则将边缘轮廓建模为广义高斯分布模型;Fattal学习一个查找表来预测HR梯度,Sun为广义高斯分布的锐度和形状学习分段映射函数。由于使用的图像结构和方法基本相同,因此两种方法产生的图像是相似的,边缘清晰但纹理是模糊的。这两种方法所使用的先验对纹理都不起作用,因为纹理的高频细节不能由边缘轮廓建模。
2)基于稀疏表示
Yang等[24]为了覆盖各种图像结构提出从图像块而不是边缘学习先验。首先利用样本图像产生LR/HR训练图像对,提取一阶、二阶梯度作为LR块特征,因为大梯度代表重要的视觉信息,提取训练HR图像和LR图像双立方插值图像的差值作为HR块特征。从大量的LR/HR特性块对训练集中,优化出一对共享相同系数并能产生最小重建误差的稀疏字典,因此训练字典对的过程实际上就是找到从LR特征到HR特征的复杂的非线性映射函数。重建时,为每LR块用LR字典计算稀疏系数,再通过相同的系数在HR字典上生成HR特征,将估计的HR特征叠加到输入图像的双立方插值图像上就能得到最终的输出图像。因为字典训练用于代表任何块,故边缘和纹理的高频细节都可以重建。Zeyde等[25]改进了Yang的方法,引入投影矩阵训练,通过主成分分析(Principle Component Analysis,PCA)选定特征,LR字典可以更准确地表示图像块。另外,经过PCA处理后特征维数降低,稀疏系数的计算量也随之降低。Wang等[26]弱化了Yang的方法中对LR和HR字典稀疏系数相同的假设条件,引入稀疏域变换增加LR和HR字典系数之间的灵活性。与边缘优先的方法相比,直接对样本块学习先验对于重建HR图像更通用且更有效。
3)基于回归模型
基于字典学习的方法虽然在重建图像的质量上有着优势,但计算量仍然较高。为了解决这个问题,Kim和Kwon[27]通过训练回归函数来预测HR特征,Timofte等[28]和Yang[29]提出使用多个线性回归函数代替一对字典对表示的单一映射函数,这3种方法的区别在于回归函数的数量和类型。Kim和Kwon只训练一个回归函数,主要关注强边缘周围块的重建,通过复杂的核脊回归函数来生成准确的结果,通过使用一些回归参考来减少计算复杂度,为了抑制不准确回归引起的噪声,他们用自然图像的先验来改善边缘的对比度和连续性。相比之下,Timofte等和Yang的方法则是采取了各个击破的策略,在划分步骤中,把LR特征空间分割成许多子空间,为单独的子空间收集实例,对每个子空间训练特定的线性回归函数,给定测试图像块时,找到覆盖其特征的子空间,用子空间训练的回归函数估计HR的特征;在综合步骤中,只需平均重叠像素值生成输出图像而无需任何后处理。由于每个子空间小且紧,通过线性回归函数的准确预测类似于非线性回归函数如支持向量回归,但计算量会大大降低。Timofte[30]又合并了Yang的使用原始块特征的方式进一步提出一种改进的方法,增加了回归函数的有效性和重建图像的质量。Dai等[31]又通过优化块与回归函数间的关联改进了Timofte[30]的方法,提出直接训练LR/HR块对来优化整个回归函数集,通过反复训练回归函数并重组训练样本进一步减少重建误差;训练回归函数后,记录每个块对于每个回归函数的重建误差,重建是根据给定的LR块,首先检索类似的训练块,根据重建误差记录,他们确定最可能的回归函数以产生最小的重建误差。Zhang[32]等考虑到这些算法中锚点数量过高的问题,提出一种混合专家(Mixture of Experts,Mo E)模型方法,可以通过期望最大(Expectation-Maximization,EM)算法求解空间部分和局部回归的联合学习。
4)基于深度学习
Dong等[33]提出在卷积神经网络(Convolutional Neural Networks,CNN)的框架下训练LR和HR映射函数,同时优化映射函数和卷积核来减少重建错差,该方法在训练阶段计算量非常大,但在重建阶段计算量很小,由于惩罚项是为了优化减小亮度差值而不是梯度,其生成的图像在尖锐的边缘可能包含鬼影。相较于训练阶段有高计算量的Dong方法,Schulter[34]提出利用随机簇来减少训练成本。随机选择的训练块用于产生多个二叉树,基于块相似性递归地将训练样本集分割成两个子集,包含在每一个叶子节点的LR/HR块对是用来训练线性回归函数,且Schulter方法中由不同的树分割的子空间是重叠的,因此密集的和重叠的回归函数可以产生高质量的图像而且训练阶段的计算量低。Huang等[35]也是运用判决树和分层判决树进一步加速了Schulter的方法。
4 视频超分辨率重建
视频超分辨率重建不是多图像超分辨率重建的直接扩展,多图像超分辨率假设输入图像为同一场景,是统一的输入,而视频可以使用异构输入,如视频中通常包括I,B,P帧,也就是输入的图像可能是高分辨率图像,也可能是降质的图像,因而LR视频可以有HR静态图像用于增加图像大小[36,37]或减少量化噪声[38]。另外,视频超分辨率重建处理的移动对象,因此除了空域的重建方法,还可以在时域增加图像帧的方法实现超分辨率重建,多图像超分辨率重建则仅是空域的重建。空域的视频超分辨率重建算法如果忽略帧间相关性[39],则可看成是单图像超分辨率重建的直接扩展,但这类方法的重建质量一般会比利用时间相关性如计算目标的运动信息的算法效果差[40,41]。根据目前视频超分辨率的应用,可大致分为两类:
1)基于传统视频超分辨率
近年来,电视技术以指数级的速度在快速发展,同时也面临着显示上的前所未有的挑战,高清晰度电视(High Definition Television,HDTV)和超高清电视[42](Ultra-High-Definition Television,UHDTV)都对视频分辨率提出了越来越高的要求,传统视频处理领域,SR通常是在一个混合分辨率视频框架下,即视频中包含LR或HR帧,如视频编码的相关应用。由于在视频场景中的LR和HR帧间的相似是固有的特性,基于样本的SR展示了良好的效果。在这种背景下,Song等[43]提出了使用低分辨率序列中已有的稀疏的高分辨率关键帧做重叠块运动估计(Overlapped-Block Motion Compensation,OBMC)和字典训练来完成重建。同时,Hung等[44]提出了通过使用码本(codebook)来完成SR,同样也是源于关键帧和OBMC,得到比Song更好的效果。Jeong等[45]提出一种多帧基于样本块选择算法,结合基于低分辨率图像退化模型的自相似性,提出的SR算法可显著提高LR图像的视觉质量,保留高频图像细节。Ruangsang[46]通过奇异值分解结合K均值聚类分析算法(分析K-SVD)和自适应追踪弹性网(Elastic-Net)算法,分析K-SVD算法提高了学习过程,得到更好的字典生成系数,低分辨率和高分辨率块之间的最优路径的数据集;自适应弹性网算法用于解决稀疏表示问题估计高分辨率块。
2)基于3D视频的深度视频超分辨率
三维电视(3DTV)和自由视点电视(Free-viewpoint,FTV)已经吸引了很多的关注。3DTV从不同的观点用多个视角为观众提供真实场景的感知,FTV在一定范围内可以由观众自由选择场景中的任何视角。通过3D视频提供的现实场景的互动和生动体验依赖于大量的纹理和深度图数据,因此,其在采集、存储和传输过程提出新的要求,尤其是对有限的带宽应用。对于这样问题的一个有效的解决方案是使用混合分辨率(Mixed Resolution,MR)视频,其中至少一个视图捕捉的低分辨率,而其他视图则捕获全分辨率(Full Resolution,FR)。MR视频与FR视频相比显著减少了捕获的数量、数据传输、存储和处理时间这些实时应用程序的瓶颈,然而,为了满足高清晰度的要求,减少视觉不适感,使视频格式更适合于FTV,在解码器端LR视频通常需要使用超分辨率技术恢复到FR尺度。
Garcia等[47]提出用邻近FR的视点的高频信息和相应的深度信息恢复LR视点中的高频信息。Zhang等[48]融合了从FR视图到LR视图的映射,利用非局部块加权和完成3D视频SR。不同于以前只关注利用空间信息的方法,Jain等[49]提出一种3D MRF模型,在空域和时域从HR图像库中优化块来重建LR帧。Jin等[50]提出一个新的虚拟视图辅助SR的增强算法,开发虚拟视图信息和内插帧有两个好处:首先,FR视图中包含的高频信息可以正确用于重建LR视图;其次,视图间冗余将用于在超分辨率视图中提高原始LR像素,并补偿视图间亮度都差异。Ismaeil等[51]提出一种动态多帧深度SR,但这个算法受限于横向运动,在径向变形情况下会失败,另外在内存中缓存一定数量帧来累积运动估计过程也是不太现实的。之后,又提出一种用多个卡尔曼滤波器递归深度SR算法[52],该算法把视频看作一组一维信号,当达到一个近似的流量范围,考虑径向变形估计,由于充分保护了深度表面的平滑特性,并去除噪声,使用一个多层次的迭代双边全变差正则化,取得了很好的深度预测。
5 小结
目前,超分辨率重建技术广泛用于多个场合,稀疏表示思想的提出对单图像超分辨率重建算法的飞速发展起到了重要作用,随着单图像超分辨率重建技术的快速进步,以及高分辨率移动设备和超高清电视的发展,视频超分辨率重建技术也逐步成为研究的热点。结合目前的发展情况,未来的超分辨率还可以在以下方面进一步提高:
1)现有的基于样本学习的超分辨率重建算法由于学习的先验通常都是来源于图像基元如边、脊、交叉等等,因此对纹理的重建容易产生过平滑的问题。现有一些算法也希望解决纹理部分重建的问题,但多数是通过对重建图像类型限定或近使用小的纹理数据集,通用性不强。最近有一种大的纹理数据集被提出,一旦能找到有效的描述符,纹理部分重建的质量就有希望比现有算法明显提升。
2)基于字典学习的快速超分辨率重建也是近期的研究重点,该类算法的最主要缺点是运行速度慢,很难直接使用,近年来随着计算机性能的提升,有一些算法中使用GPUs实现,可以在很短的时间完成超分辨率重建,但快速算法通常需要弱化重建约束中的部分条件,因此重建质量又可能下降。技术研究的目的最终是实用,快速算法必然是后续研究的重点。
3)视频帧间运动信息的利用,是视频超分辨率重建与单图像超分辨率重建间最大的差别,在视频超分辨率重建的后续发展中,利用亚像素运动估计可以明显提高运动估计的准确性,但是随之而来增加的运算量也是需要解决的问题。
实验产生超分辨光学聚焦暗斑 篇2
用二元相位器件调制角向偏振激光光束，然后用高数值孔径物镜聚焦，在实验上产生了一个超分辨光学聚焦暗斑。二元相位器件的调制作用是通过让角向偏振光束经一块刻有多环同心环状凹槽的玻璃基板实现的。用刀口法检测了焦点附近的3D光束分布特性，得到了尺寸是0.32 λ且在4 λ左右的长度内保持不变的超分辨暗斑。这样的光学聚焦暗斑可能会应用于超分辨显微技术和光学捕获。
关键词：
光学设计及制作； 二元光学器件； 光电探测器； 偏振态
中图分类号： O 432 文献标志码： A doi： 10.3969/j.issn.10055630.2016.01.007
Experimental generation of a superresolution optical dark focused spot
JIANG Liping， LIU Lingling， ZHU Houfei， WANG Haifeng
（School of OpticalElectrical and Computer Engineering， University of Shanghai for
Science and Technology， Shanghai 200093， China）
Abstract：
We generate a superresolution optical dark focused spot by tightly focusing a binary phase modulated azimuthally polarized laser beam. The binary phase modulation is realized by letting the azimuthally polarized light pass through a glass substrate with multibelt concentric ring grooves. We also characterize the 3D beam profile by using knifeedge method. The size of the superresolution dark spot is found to be 0.32 λ， which remains unchanged for ～4 λ within the tube. Thus optical spot may find applications in superresolution microscopy and optical trapping.
Keywords： optical design and fabrication； binary optics； photodetector； polarization
引 言
超分辨聚焦光斑广泛应用于扫描光学显微技术。在受激发射损耗（STED）显微镜[12]中既有聚焦亮光斑也有聚焦暗光斑，其中聚焦亮光斑用作显微镜中的激发光源，激发荧光分子；聚焦暗光斑用作显微镜中的抑制光源，抑制边缘荧光分子发射荧光，当二者结合在一起时便可得到纳米量级的有效光斑。聚焦暗光斑的尺寸越小，有效光斑的尺寸也就越小。对于聚焦亮光斑，研究最多的是径向偏振光束通过高数值孔径（NA）聚焦后得到超分辨的亮斑，尺寸接近衍射极限为0.36 λ[35]。对于聚焦暗光斑的产生方法有很多，有径向偏振光加涡旋后聚焦或者圆偏振光加一阶或二阶涡旋后再聚焦得到，而效果相对较好的要数角向偏振光聚焦后得到的暗斑，目前理论计算达到的水平为半峰值全宽度（FWHM）为0.29 λ[67]。为了减小有效光斑的尺寸并实现超分辨，单纯地靠角向偏振光束聚焦后得到的暗斑远远不够，需要对角向偏振光束的相位或振幅进行调节。目前调节角向偏振光的方法有：空间光调制器法[89]、全息相位干板法[10]、衍射光学元件法[11]、二元光学器件法[1213]等。暗斑尺寸在亚波长级别可使得STED显微镜达到更高的分辨率，暗斑焦深变长可能使得STED显微镜实现三维立体扫描，可观察到生物组织之间物质的传输与交换或分子内部更精细的结构，这对生物医学以及分子结构的研究来说意义重大。虽然这些方法在仿真的条件下确实可以达到很好的效果，但是对于高数值孔径透镜聚焦在实验上操作又存在难度，因为得到的质量好的暗斑在焦点前后，要对这样的暗斑进行测量以验证方法的可靠性，我们需要纳米量级的移动平台以及特殊的检测器对光强进行测量。
实验中用角向偏振光束照明，在数值孔径为0.95的显微物镜的光阑处放置二元光学器件，二元光学器件调节相位的结果不仅在横向减小了暗斑的尺寸，而且在纵向延长了焦斑的焦深。在焦点附近得到了超分辨暗斑。十字形刀口检测器置于纳米平台上以检测光斑的尺寸以及光强分布。
式中：β和γ是结构参数，表示光瞳半径与束腰的比值，二者取值1。用拉盖尔高斯光束照明时，聚焦透镜的NA值为0.95（α≈71.8°），聚焦暗斑的尺寸即FWHM为0.4 λ，非发散（或发散角很小）区域的长度为2 λ。
然而，我们希望得到的超分辨聚焦暗区域是暗斑尺寸很小且焦深很长的光束来作为STED显微镜的抑制光源，所以，我们放置了一个特制的二元光学器件，这里的二元光学器件是一块玻璃基板上刻有五个相位为0和π的环带凹槽交替组成的，环带宽度对应着角度θ。当增加了这种二元光学器件之后，式（1）～式（4）中的函数e（θ）就被改写为T（θ）e（θ），这里T（θ）为该器件的透过率函数，它的表达式为
当增加了该二元光学器件后，由于光束的相位得到相应的调制，使得在焦点附近的光束干涉相长，压缩了未经调制的角向偏振光束的暗斑尺寸的大小。我们理论上得到光学管道的长度增加到4 λ，超分辨聚焦暗斑的尺寸减小为0.32 λ。如图1所示，（a）、（b）分别为未加和加了二元器件后焦平面上的光强分布，（c）中给出了使用二元光学器件前后焦点处光强分布图以及沿X轴的强度分布对比，虚线曲线表示未使用二元光学器件时X轴的强度分布，实线曲线表示使用了二元光学器件时X轴的强度分布。
2 实验过程
2.1 检测器构造
目前为止，有两种方法测量焦斑的尺寸，一种是刀口扫描法[1516]，一种是光刻胶曝光法[17]。实验中采用刀口扫描法，因为它能给出暗斑尺寸和焦深的函数，利用光电二极管去测量光电流随刀口位置的变化函数。十字形刀口的结构示意图如图2，p型硅和n型硅形成一个光电二极管，以二极管为基底，在p型硅另一侧有一层金属片与该金属片中心十字形区域形成十字形刀口，刀口与光电二极管之间的距离在一个波长范围内。整个检测器置于纳米平台上，纳米平台由电脑控制，可实现三维纳米测量，所得的测量数据或者检测到的光斑显示在电脑上。
2.2 角向偏振光束
在激光器谐振腔的内部放置轴向双折射器件或轴向二向色性器件可以使谐振腔在角向偏振模式下振荡放大，即可得到角向偏振光束[18]；在激光器外部放置轴向双折射器件或轴向二向色性器件，使线偏振态或圆偏振态转变为角向偏振态[16]；改变半导体光子晶体表面发射激光器的晶格或在光子晶体结构中产生相移也能产生角向偏振光束[7]。我们采用的是在激光器外部放置四片胶合在一起的半波片[18]，这四片胶合的半波片共同形成偏振转换器，因为激光器出射的激光的偏振方向沿X方向，半波片的的慢轴方向按照图2中偏振转换器所示放置，当激光通过这个偏振转换器后，由于线偏振光经偏振转换器后偏振方向转过的角度为线偏振方向与半波片的慢轴方向夹角的两倍，所以转换之后的光为角向偏振光。
2.3 实验装置
如图2所示，HeNe激光器发出线偏振激光束，经准直透镜准直扩束后照射到偏振转换器上，即四片胶合在一起的半波片，出射光的偏振方向由线偏振变为角向偏振，而角向偏振光束经二元光学器件相位调制后，再由显微物镜（microscope objective，MO）聚焦，因为二元光学器件的相位调制使得焦平面及其附近的光场干涉相长，这样便有效地压缩了原先暗斑的半径，使得聚焦之后的暗斑的半径变小，达到减小暗斑半径的目的。然后用刀口检测焦平面及其附近的光强分布。
所选用的透镜是NA为0.95的显微物镜，这样高数值孔径的透镜在测量其焦斑的时候，对检测器距离的控制有很高的要求，其次，为了提高测量的精度，每次所移动的距离必须远小于波长的量级，所以纳米移动平台是必要的选择。而对于光斑的检测，采用十字形刀口检测，它的检测是一个光强积分的过程，也就是说，对于一个横截面上的二维光强分布，当我们用刀口检测X轴的光强分布时，得到的是对Y轴累积之后的强度值，即检测后的光强分布只是X的函数。
3 结果与讨论
图3是焦平面上X轴的光强（对Y轴积分后）分布，实线表示理论情况下X轴的光强（对Y轴积分后）的分布，虚线表示实验中刀口检测到的X轴的光强分布。由于在仿真时，为防止计算量过大，我们采用的取点精度为λ/100，积分采点的步长为50 nm（与实验过程中刀口的步长一致）使理论得到的积分强度比实验采集到的强度小，很明显实验值与理论值分布符合得很好，光学聚焦暗斑的质量得到改善。图4是根据检测到的位置与强度的数据绘制的强度分布图，可以看到光学聚焦暗斑的三维立体分布。我们测得光学聚焦暗斑的长度为4 λ，FWHM为0.32 λ，其是很理想的STED显微镜的抑制光源，当它和聚焦亮光斑（激发光源）的光强匹配起来时可进一步提高STED显微镜的横向分辨率，对生物组织以及分子实现三维成像。在光学捕获方面，超分辨暗光斑的光学管道和超分辨亮光斑的光学探针[11]可能会实现小分子的双光束的三维稳定捕捉。
参考文献：
[1] HELL S W，WICHMANN J.Breaking the diffraction resolution limit by stimulatedemission：stimulatedemissiondepletion fluorescence microscopy[J].Optics Letters，1994，19（11）：780782.
[2] WANG H F，SHEPPARD C J R，RAVI K，et al.Fighting against diffraction：Apodization and near field diffraction structures[J].Lasere & Photonics Reviews，2012，6（3）：354392.
[3] KALOSHA V P， GOLUB I.Toward the subdiffraction focusing limit of optical superresolution[J].Optics Letter，2007，32（24）：35403542
[4] LERMAN G M， LEVY U.Effect of radial polarization and apodization on spot size under tight focusing conditions[J].Optics Express，2008，16（7）：45674581.
[5] WANG H F，SHI L P，LUKYANCHUK B，et al.Creation of a needle of longitudinaly polarized light in vacuum using binary optics[J].Nature Photonics，2008，2（8）：501505.
[6] BOKOR N，IKETABI Y，WATANABE T，et.al.On polarization effects in fluorescence depletion microscopy[J].Optics Communications，2007，272（1）：263268.
[7] KHONINA S N， GOULUB I.Enlightening darkness to diffraction limit and beyond：comparison and optimization of different polarizations for dark spot generation[J].Journal of Optical Society of America A，2012，29（7）：14701474.
[8] CHATTRAPIBAN N，ROGERS E A and COFIELD D，et.al.Generation of nondiffracting Bessel beams by use of a spatial light modulator[J].Optics Letters，2003，28（22）：21832185
[9] FATEMI F K ，BASHANSKY M.Generation of hollow beams by using a binary spatial light modulator [J].Optics Letters，2006，31（7）：864866.
[10] KAPLAN A，FRIEDMAN N，DAVIDSON N.Optmizede singlebeam dark optical trap[J].Journal of Optical Society of America B，2002，19（6）：12331238.
[11] PAVELYEV V，OSIPOV V，KACHALOV D，et.al.Diffractive optical elements for the formation of “light bottle” intensity distributions [J].Applied Optics，2012，51（18）：42154218.
[12] 郝翔，匡翠方，王婷，等.受激发射损耗显微技术中0/π圆形相位板参数优化[J].光学学报，2011，31（3）：0318001.
[13] 张羽，杨坤涛，杨长城.二元光学器件的制作技术与进展[J].光学仪器，2005，27（2）：8085.
[14] YOUNGWORTH K S，BROWN T G.Focusing of high numerical aperture cylindricalvector beams[J].Optics Express，2000，7（2）：7787.
[15] KITAMURA K，SAKAI K，NODA S，et al.Subwavelength focal spot with long depth of focus generated by radially polarized，narrowwidth annular beam[J].Optics Express，2010，18（5）：45184525.
[16] DORN R，QUABIS S ，LEUCHS G.The focus of light linear polarization breaks the rotational symmetry of the focal spot[J].Journal of Modern Optics，2003，50（12）：19171926.
[17] HAO B，LEGER J.Experimental measurement of longitudinal component in the vicinity of focused radially polarized beam[J].Optics Express，2007，15（6）：35503556.
[18] ZHAN Q W.Cylindrical vector beams：from mathmatical concepts to applications[J].Advances in Optics and Photonics，2009，1（1）：157.
超分辨率图像重建技术研究 篇3
超分辨率 (Super Resolution, SR) 技术就是对一组属于同一场景下的低分辨率 (Low Resolution, LR) 图像序列进行处理, 通过提取它们之间的时域和空域冗余信息, 采用图像配准、运动参数估计等操作对其进行融合, 最终重建得到一幅高分辨率 (High Resolution, HR) 图像, 其核心思想是用时间分辨率 (同一场景的图像序列) 换取更高的空间分辨率。目前, 超分辨率重建大致可分为两个方向:基于重构的方法和基于学习的方法。
1 基于重构的超分辨率技术
基于重构的方法可分为频域法和空域法两类。
1.1 频域方法
式中:Y-R×1的列向量, 其第r个元素是观测图像yr[m, n]的离散傅里叶变换Yr[k, l];
F-4LuLv×1的列向量, 表示未知的f (x, y) 的连续傅里叶变换的采点;
Φ-矩阵, 表示Y与F间的对应关系。
1.2 空域方法
空域重建方法就是在空间域中进行图像的SR重建。空域方法能够将帧间复杂运动、光学模糊、欠采样等降质因素与图像插值算法、图像滤波算法及迭代运算方法融合在一起, 使空域重建方法更加灵活, 适用于更广阔的范围, 且具有较强的结合空域先验知识的能力。其主要包括基于非均匀采样的插值法、集合论方法 (如凸集投影:POCS) 、统计复原方法 (最大后验概率估计MAP和最大似然估计ML) 、迭代反投影方法 (IBP) 、混合MAP/POCS方法以及自适应滤波方法, 人工神经网络法、基于最优化技术的方法等。
1.2.1 基于非均匀插值法
非均匀插值法是空域SR重建算法中最直观的方法, 其基本思想是将原始高分辨率图像看作连续函数, 而低分辨率的观测图像则是在高分辨率图像的连续函数上进行位置不均匀的采样形成的, 因此, 高分辨率图像的重建过程就可以看作将低分辨率观测图像的采样点重新插回原函数。
1.2.2 凸集投影法 (POCS)
凸集投影 (POCS) 算法具有很好地包含空域先验信息的能力, 能够将这些先验信息融入到重建过程中。其基本思想是将高分辨率图像的某些特性, 如数据可靠性、能量有界性、平滑性、正定性等定义为不同的约束凸集合, 利用这些凸集合的交集所形成的投影交替作用, 搜索满足所有约束凸集合的解, 重建得到高分辨率图像。
假设一低分辨率图像序列g (n1, n2, k) 可以写成
在这个公式中
其中h (n1, n2;m1, m2, l) 为脉冲响应系数, δ0是对观察中的可信度, 设置为δ0=cδv, 其中δv是噪声的标准偏差, c≥0是由适当的可信度边界决定。这些参数的物理意义是如果在一定范围内与低分辨率相关的高分辨率图像, 其可信度边界与噪音偏差成一定比例。
1.2.3 最大后验概率估计
根据MAP估计基本原理, 低分辨率观测图像、理想高分辨率图像及加性噪声都可以假设为随机信号。而未知高分辨率图像Z的MAP估计的过程为:在给定观测图像y的条件下, 使理想图像的条件概率密度函数P{z|y}达到最大。根据贝叶斯原理, P{z|y}的最大化等价于函数P{y|z}P{z}的最大化。如果Z具有均匀的概率分布, 则MAP估计与最大似然估计等价。
假设低分辨率观测图像的加性噪声是零均值高斯随机过程, 其自相关矩阵为W-1, Z也是零均值高斯随机过程, 其自相关矩阵为Q, 因此MAP估计变成了最小均方差估计。经过几个代数步骤的推导, MAP简化成如下形式:
关于Z求微分并使其为零, 得到如下伪逆结果:
1.2.4 迭代反投影法 (IBP)
1.2.5 正则化法
假定图像退化模型为:
其中, y为退化图像, x'为原始图像, N为加性噪声, H为模糊算子 (退化矩阵) , 它是由空间退化点扩展函数 (PSF) 生成的矩阵。
然后利用最小二乘法求解上式最优解的过程就是令如下式取最小值, 即:
求解上式, 可得到其最佳解为
其中:x为高分辨率后的重建图像。
为进一步获得稳定解, 可引入如下方程来求解最小值解:
其中, 第一项是最小均方误差代价函数, 为数据逼近项, 它反映了观测图像对原始图像的逼近程度;第二项为附加的约束条件即正则化项, 它集成了待求解的高分辨率图像应保持的某种先验信息;α为正则化参数, 它用来平衡近似解的逼近程度和平滑性;C为正则算子, 即为使解具有某种期望性能的约束运算。
1.2.6 混合方法 (MAP/POCS)
将最大后验概率方法和凸集投影方法相结合的算法是由Elad等提出的, 即同时考虑序列低分辨率图像的统计特征和凸集约束, 在以最大后验概率框架为基础的迭代求解过程中添加凸集投影算法的各种凸集约束条件, 从而获得两种算法各自的优点。该方法的特点是可以方便地将各种先验约束知识结合实用, 其重建图像的质量优于单独的算法。但是该算法只有采用梯度下降最优化方法才能保证收敛。
2 基于学习的超分辨率重建
基于学习的SR重建算法的主要思想是, 在及其经验学习思想的指导下, 对训练数据中的高分辨率图像和序列低分辨率图像进行学习, 得到二者间的映射关系模式, 并将这种对应模式以先验约束的形式引入重建过程中或者根据模式建立马尔科夫网络来恢复图像的相关信息。该方法可以分为以下三个步骤: (1) 按照观测模型的定义, 对高分辨率图像进行模拟降质获得一组低分辨率图像, 作为训练集; (2) 根据高分辨率图像和序列模拟低分辨率的对应关系, 运用神经网络技术训练和学习; (3) 将学习模型引入重建过程中, 或者通过马尔科夫网络恢复图像。
2.1 流形学习方法
假设高分辨率和低分辨率图像块可以构成具有相似局部几何结构的流形, 借助于由一组低分辨率图像及其对应的高分辨率图像组成的训练集来估计未知的SR图像。理想情况下, 每一个高分辨率图像块不仅和其对应的低分辨率图像块有关, 而且和其邻域块也应该保持某种块间联系。第一个特性决定了重建的准确性, 而后一个特性则决定了重建图像的局部保持特性和平滑性。为了满足这两点需要, 该算法具有以下3个特性: (1) 每一个高分辨率图像块由训练集中的多个图像块有关; (2) 低分辨率图像块间的局部关系在对应的高分辨率图像块中保持不变; (3) 高分辨率图像块间的邻居关系通过交叠来保持, 以增局部保特性和平滑性。
2.2 基于支持向量机
其基本思想是假设模糊函数类型已知, 且可由某一参数来表征, 从模式识别的角度出发, 参数辨识可以看作多类分类问题, 即从模糊图像中提取出可以代表该图像模糊程度的特征向量, 然后采用机器学习的方法训练这些特征矢量与对应的模糊参数的映射关系, 最后用于盲超分辨率重建。
2.3 基于独立分量分析
独立分量分析 (Independent Component Analysis, ICA) 是在研究盲源分离过程中出现的一种新兴的信号处理和数据分析方法, 基于独立分量分析的超分辨率重建技术其基本思想是, 假设P个独立分量张成空间, 则每幅图像可以看作空音中的一点, 即可以由这些独立分量线性组合而成。利用ICA从高分辨率训练图像中提取出独立分量, 同时估计ICA系数的先验。给定一幅低分辨率图像, 结合最大后验概率 (MAP) 估计理论求出ICA系数, 然后ICA反变换得到高分辨率图像的近似估计。该算法有效实现了人脸超分辨率重建, 保持了人脸整体结构特征, 且对光照、表情、姿态等具有一定的鲁棒性。
3 结束语
随着图像超分辨率技术的进一步发展, 必将导致这一技术拓宽到一些新的应用领域, 图像超分辨率技术更广泛地应用会进一步加快该技术的发展。此外, 超分辨率技术的理论研究结果还可为未来我国新型传感器的硬件设计与实现提供理论指导与参考, 图像超分辨率技术会有更广阔的前景。
参考文献
[1]张正贤.正则超分辨率图像复原算法研究[J].西北工业大学学报, 2006 (6) .
[2]张晓玲, 沈兰荪.超分辨率图像复原技术的研究进展[J].测控技术, 2005 (5) .
[3]刘丁峰.超分辨率图像复原技术综述[J].软件导刊, 2009 (12) .
[4]李桐.超分辨率图像重建技术[J].哈尔滨师范大学自然科学学报, 2006 (5) .
[5]杨庆怡, 黄灿, 张琼.基于POCS算法的超分辨率图像重建技术计算机光盘软件与应用[J].2012 (16) .
[6]刘梓, 宋晓宁, 於东军, 等.基于多成分字典和稀疏表示的超分辨率重建算法[J].南京理工大学学报, 2014 (2) .
改进的BTV超分辨率重建算法 篇4
图像超分辨率重建( Super-resolution Reconstruction,SRR) 是指利用一幅或多幅低分辨率( Low-resolution,LR) 图像,结合一定的先验信息重建出包含更多细节的高分辨率( High-resolution,HR) 图像的过程[1]。目前,SRR已广泛应用于医学、遥感、军事监测和图像压缩等多个成像领域。图像SRR早期的研究工作主要集中在频域,但其难以融入图像先验约束,所以后来的研究工作几乎都集中在空域进行。主要空域法包括: 非均匀插值方法[2]、迭代反向投影方法( Iterative Back-Projection,IBP)[3]、凸集投影方法( Projection onto Convex Sets,POCS)[4]、最大后验概率方法( Maximum A Posteriori,MAP)[5]、基于学习的方法[6]以及正则化方法[7,8,9,10]等。
图像SRR问题本质上是一类病态反问题,而正则化方法是解决病态性的一种有效途径。Ng等[7]提出基于L2 范数和总变分( Total Variation,TV) 正则项的SRR算法。由于L2 范数保真项对特定模型以外的数据特别敏感,稳健性较差,Farsiu和Robinson[8]提出了基于L1 范数和双边总变分( Bilateral Total Variation,BTV) 正则项的SRR算法,Patanavijit等[9]提出了基于Huber范数的SRR算法,并通过实验证明了所提方法的优越性。为更好地保持边缘特性,Yuan等[10]提出基于空间加权的TV正则项的SRR算法。本文选取可以更有效去除异常值影响的Tukey范数构建保真项,并充分考虑图像的局部灰度特征,在BTV正则项中引入自适应权值矩阵。算法可以恢复更多的细节和边缘结构信息,且对不同类型噪声都具有较好的重建结果,算法稳健性更好。
1 图像观测模型和超分辨率重建
通常,可将p幅观测图像看作由HR图像经运动变形、模糊、下采样以及叠加噪声这一系列降质过程所得到,则图像观测模型可用公式表示为:
设获得p幅LR图像,大小为N1× N2,以列方向排列成向量形式Yk; X表示原始HR图像,大小为L1N1× L2N2,L1和L2分别表示行列的分辨率增大系数; Fk和Hk分别表示运动变形矩阵和模糊矩阵( PSF) ,大小均为L1N1L2N2× L1N1L2N2; Dk为下采样矩阵,大小为N1N2× L1N1L2N2; Nk表示大小为N1N2× 1 的各类加性噪声,如高斯噪声、椒盐噪声、混合噪声等。
当成像设备和外界条件均相同时,可认为p幅LR图像采用相同的模糊矩阵和下采样矩阵,即Hk= H,Dk= D。因此,式( 1) 可写为:
根据式( 2) 所表示的图像观测模型可知SRR的任务就是由观测到的p幅LR图像来重建获得原HR图像的最好估计,是一典型的反问题。相应的表达式如下:
2 Tukey范数
常用的L1 范数和L2 范数仅对特定噪声模型具有较好的重建结果,对其它模型数据较敏感。1996 年,Black[11]首次提出引入稳健性较好的M -估计来解决图像恢复的问题,M - 估计中常见的范数有Huber、Lorentzian、Tukey范数等。基于范数估计的SRR公式可表示如下:
其中,ρ(·) 表示范数函数,反映了观测数据与原始真实数据之间的拟合度,要使其最小,那么所选取的范数应该能够在残差较大时提供较小的权重。而权重的变化可以从其影响函数看出,影响函数通过对范数求导所得。不同范数影响函数如图1 所示。
由图1 可以看出L1、Huber、Lorentzian、Tukey范数的影响函数都是连续有界的,估计结果不会因为异常值的影响而产生显著的偏差,其中Tukey范数在残差大于阈值时,其影响函数迅速削弱为零,即能够更好地抑制异常值对重建的影响。所以本文采用具有更好稳健性能的Tukey范数来进行SRR。Tukey函数表达式如下:
其影响函数为:
其中,T为能够区分异常值和模型数据的阈值,称为尺度因子。当残差绝对值| x | 小于T时,Tukey范数近似等价于L2 范数,能够对图像进行平滑; 而当| x | 超过T时,即在出现异常值时,其影响函数迅速减小为零,这样能够对异常值进行强有力地抑制。
3 基于BTV正则项的SRR算法
1977 年,Tikhonov提出使用正则化的方法来求解SRR这一不适定反问题[12]。在代价方程中引入正则项,可以对解空间加以约束,稳定反问题的解使之转化为具有唯一解的良态问题。加入正则项后的代价方程表示如下:
式中,第一项称为保真项,它反映了观测数据与原始真实数据之间的拟合度。第二项为正则项,表示对解的正则性如光滑性等的约束。λ 是正则化参数,它用于调节这两项对重建图像的相对影响。
正则项的设计直接影响着图像的重建效果,目前,常用的正则项有Tikhonov正则项,TV正则项,以及BTV正则项。BTV正则项包含对图像像素之间的空间关系以及灰度关系的约束,可以在抑制噪声的同时更好地保持图像边缘特性,使用比较广泛。BTV正则项的表达式如下:
式中:Slx、Smy分别表示将X在水平方向平移l个像素和在垂直方向平移m个像素的矩阵算子,‖X-SlxSmyX‖1代表了X在不同尺度上的差分,α为权值系数,并且0<α<1。
4基于Tukey范数保真项和自适应BTV正则项的SRR算法
BTV正则项的权值系数 α 的大小对重建图像的局部细节的保持具有重要的影响,较小的 α 能够很好地锐化图像边缘,但会给图像带来很大的噪声;而较大的 α 虽能有效抑制噪声的影响,但会造成图像边缘模糊。因此选取适当的 α 非常重要。本文引入自适应权值系数 α( i,j) ,根据不同像素点处的局部灰度特性来自适应选取权值系数。
本文利用下式所定义的z(i,j)来定量表示区域的平坦度,并称其为局部相对梯度差值。所选局部窗口大小为M=(2P+1)(2Q+1),一般取P=Q=2或P=Q=3。
其中,( i,j) 表示局部灰度均值,而z( i,j) 则表示高分辨率图像在( i,j) 处的局部相对梯度差值。
z( i,j) 偏大表示像素点周围存在边缘跳跃,需要较小的 α 对边缘进行锐化; 相反,z( i,j) 较小表示区域较为平坦,希望重建算法平滑噪声,即 α 需取较大值。可见权值系数 α( i,j) 与z( i,j) 成反相关,可取 α( i,j) 如下式所示:
令,称为自适应权值矩阵,引入自适应权值矩阵的BTV正则项如下所示:
那么基于Tukey范数保真项和自适应BTV正则项的SRR算法的代价函数表示为:
采用最速下降法来最小化代价方程。对J( X)求导,可得:
然后进行逐次迭代,最终的迭代公式为:
式中,β 为迭代步长,为加速算法的收敛,一般在迭代初期选取较大的 β 值,然后再逐渐减小 β 值,以提高算法的精度。
5 实验结果与分析
为了验证本文算法的有效性,分别实现基于L2范数的BTV算法( L2 + BTV) 、基于L1 范数的BTV算法( L1 + BTV) 、基于Tukey范数的BTV算法( Tukey + BTV) 以及本文算法( Tukey + SBTV) 。实验中采用峰值信噪比( Peak Signal to Noise Ratio,PSNR) 来定量表征重建图像的效果和算法的有效性。
选取大小为256 × 256 的Camera图像,根据图像观测模型分别对图像进行平移、模糊、下采样以及叠加噪声操作生成4 幅128 × 128 的低分辨率图像,其中平移范围为0 ~ 3 个像素,采用5 × 5 的高斯模糊核,下采样系数为2。图2 - 3 分别为加入高斯噪声和椒盐噪声的低分辨率图像4 种算法的重建结果,表1 则是不同算法重建所得的PSNR值。
(单位:d B)
从视觉效果上看,在椒盐噪声环境下基于L1范数的重建算法的结果比基于L2 范数的算法的结果好,而在高斯噪声环境下两者效果相差不大。每组图像的图3( c) 均比图3( a) 、图3( b) 的效果好,图像更加清晰,轮廓明显,即在不同的噪声环境下基于Tukey范数的算法在重建的视觉效果上均明显优于基于L2 范数和基于L1 范数的算法,算法能够有效去除噪声,并在一定程度上保持图像细节,且能够应用于不同的噪声模型,算法稳健性更好。而图3( d) 又均比图3( c) 有一定的提高,图像细节更加清晰,平滑部分的噪声抑制效果也更好,充分表明本文引入自适应性的重建算法对图像局部细节的保持以及抑制噪声的能力。
表1 列出的不同算法重建结果的PSNR值的大小与重建图像的视觉效果一致,基于Tukey范数的BTV算法比基于L2 范数和基于L1 范数的BTV算法的PSNR值都有所提高,而本文改进算法的PSNR值又比基于Tukey范数的BTV算法有一定的提高。
6 结束语
本文提出一种改进的基于Tukey范数保真项和自适应BTV正则项的SRR算法。该算法利用Tukey范数来构造保真项,有效地解决了L1 范数或L2 范数只能针对特定噪声模型的问题; 在原BTV正则项的基础上,充分考虑了图像的局部灰度特征,引入自适应权值系数,使得重建图像的细节信息得到进一步增强,从而更好地完成图像重建。本文算法可以适用于不同的噪声模型,与其它算法相比,具有更好的视觉效果和更高的PSNR,算法的稳健性和边缘保持特性都得到了提高。
摘要：在双边总变分(BTV)正则化超分辨率重建中,常用的L1和L2范数保真项仅针对特定噪声模型,且BTV正则项的固定的权值系数无法适应图像细节的变化。基于此,文中提出一种改进的基于Tukey范数的自适应BTV超分辨率重建算法。实验表明,与其它算法相比,本文算法具有更好的去噪性能和边缘保持特性,且算法稳健性更好。
关键词：超分辨率重建,Tukey范数,自适应BTV,权值系数
参考文献
[1]沈焕锋,李平湘,张良培,等.图像超分辨率重建技术与方法综述[J].光学技术,2009(2):194-199.
[2]Létienne A,Champagnat F,Kulcsár C,et al.Fast Super-Resolution on Moving Objects in Video Sequences[C].Proceedings of the16th European Signal Processing Conference,Switzerland,2008.
[3]Yu J,Bhanu B.Super-Resolution Restoration of Facial Images in Video[J].Pattern Recognition,2006(4):342-345.
[4]Gevrekci M,Gunturk B K,Altunbasak Y.Pocs-Based Restoration of Bayer-Sampled Image Sequences[C].IEEE International Conference on Acoustics,Speech and Signal Processing,Honolulu,HI,2007,1:753-756.
[5]Shi Ai-ye,Huang Chen-rong,Xu Meng-xi,et al.Image Super-Resolution Fusion Based on Hyperacutiy Mechanism and Half Quadratic Markov Random Field[J].Intelligent Automation&Soft Computing,2011,17(8):1167-1178.
[6]Yang J C,Wright J,Ma Y,et al.Image super-resolution as sparse representation of raw image patches[C].Proceedings of IEEE Conf CVPR.Anchorage,Alaska:IEEE Press,2008:1-8.
[7]Ng M K,Shen H,Lam E Y,et al.A total variation regularization based super-resolution reconstruction algorithm for digital video[J].EURASIP Journal on Advances in Signal Processing,2007(2):074586.
[8]Farsiu S,Robinson M D,Elad M,et al.Fast and robust multiframe super resolution[J].Image processing,IEEE Transactions on,2004,13(10):1327-1344.
[9]Patanavijit V,Jitapunkul S.A Robust Iterative Multiframe SuperResolution Reconstruction using a Huber Bayesian Approach with Huber-Tikhonov Regularization[C]//Intelligent Signal Processing and Communications,2006.ISPACS'06.International Symposium on.IEEE,2006:13-16.
[10]Yuan Q,Zhang L,Shen H.Multiframe super-resolution employing a spatially weighted total variation model[J].Circuits and Systems for Video Technology,IEEE Transactions on,2012,22(3):379-392.
[11]Black M J,Rangarajan A.On the unification of line processes,outlier rejection,and robust statistics with applications in early vision[J].International Journal of Computer Vision,1996,19(1):57-91.
超分辨重建 篇5
Chang[4]等把流形(manifold)学习中邻域嵌入(NE, Neighbor Embedding)的思想运用到超分辨率图像中,用这种方法较好地解决超分辨率图像重建中的高分辨率信息获取的问题,实验也显示出重建图像较好的主观质量。这种方法假设LR图像块和HR图像块的局部流形是相似的,通过求解待重建图像块在低分辨率训练图像集中k个邻域的重建系数,然后再使用这些重建系数对k个邻近HR图像块进行线性组合得到对应的HR图像块。这种方法虽然可以大大的降低训练集的个数,但是因为每一个待重建的低分辨率图像块都要在训练集中搜索最相似的LR图像块。当训练集较大时,重建一幅图像需要花费很长时间,在实际应用中受到一定的限制。要解决这一问题可以从三个方面加以改进:一是减小邻近图像块的重叠像素个数,二是减少训练集的大小,三是扩大图像块的尺寸。实验结果发现,方案一中当LR像块(3×3)的重叠像素个数为1(HR块的重叠像素个数2)时,图像块之间的兼容性与平滑性不是很好,重建图像的主观质量较差。
为提高图像的兼容性与平滑性,重叠像素个数一般选择2。而方案二中单纯降低训练集的大小虽然重建时间可以降低,但难以保证每个LR块都能够找到适当的重建块,恢复出的图像质量也随之降低。方案三也存在随着搜索图像块变大,如由原来3×3待搜索块扩大为5×5或7×7,在训练集中搜索不精准问题。
针对上述问题,本文提出了一种对于训练集进行分层的方法,可以既不降低训练集的大小,甚至可以增加训练集的大小,又能很好地解决一般方法重建时间过长的问题。同时对待重建的图像块按内容进行分类,对于平坦区域使用插值重建方法(如双立方法);对于包含细节的区域使用邻域线性嵌入的方法重建。最后再对重建图像再进行IBP[5](Iterative Back-Projection)全局后处理,进一步提高图像质量。实验结果表明,利用本文方法超分辨率重建的图像主观和客观质量都很好,且重建时间可以大大缩短。
1 邻域嵌入的超分辨率图像重建
邻域嵌入超分辨率图像重建(Super-Resolution Through Neighbor Embedding,SRNE)一般包含两步工作,第一步是建立训练集(或称字典),第二步是利用训练集进行超分辨率重建。
在建立训练集时,首先选取一些具有代表性的HR图像,按照降质模型,将它们降质为对应的LR图像;然后对LR图像进行特征提取形成LR特征图像,对HR图像进行高频成分提取,形成HR细节图像;最后分别对LR特征和HR细节分块处理,当然HR块要比LR块要大,大的倍数自然就等于超分辨率重建的放大倍数,要注意的是为了保持图像的连续性,分成的小块之间是有重叠部分的。所有的图像块就组成了LR图像训练集DL和HR图像训练集DH,DL中的每个LR块都和DH中的某个HR块存在对应关系。此后,任意一LR图像需要超分辨率重建的话,就可以利用这两个训练集了。
在进行超分辨率重建时,首先为待重建的某一小块xi在LR训练集中寻找k个特征相似的小块,由它们的线性加权构成最接近的待重建LR小块;然后,在HR训练集中取出对应的k个高分辨率图像特征进行加权求和,获得重建HR图像块。其算法的过程如图1所示。
使用欧氏距离定义邻域完成搜索k个最相似图像块。在确定k个相似块的基础上,找到LR图像X中的每个图像块xi最优的重建权重。最优重建权重的实现是通过最大限度地减少xi的局部重建误差。
undefined
约束条件是对于任意dLiNL和wij=0(其中NL是DL中xi的邻域)。
在wij的基础上计算yi的初始值
undefined
最后,通过平均相邻的图像块重叠区域的像素值来保证图像块间的兼容性与平滑性。
2 训练集的分层
2.1 特征选取与训练集的建立
特征的选取在高分辨率图像重建过程中起着至关重要作用,chang等人选用低分辨率图像块的像素值一阶和二阶梯度为特征,然而二阶梯度对噪声非常灵敏,Su K[6,7]等人的实验发现像素值特征优于一阶二阶梯度特征。在笔者的方案中,选用去均值的像素值和一阶梯度作为特征向量。以像素点f(i,j)为例,其位置如图2所示,该点处的一阶梯度为
undefined
对于高分辨率图像块训练集,思路是存储高分辨率图像因降质而丢失的高频图像信息。具体做法是将高分辨率图像与其对应的低分辨率图像的双立方放大图像之间的差值进行分块存储。对于低分辨图像块训练集,笔者的做法是将降质、下采样后的低分辨率图像先进行去均值滤波,将低分辨率图像的直流信息滤除后计算其一阶梯度,再对图像进行分块。低分辨率图像块训练集中存储的是图像块的特征,即去均值的像素值与一阶梯度值。
2.2 训练图像集的分层
在训练图像集建立以后,就可以应用于未知高分辨率图像的低分辨率图像的重建。对于欲重建的任意一个LR块,为确定它的最相似图像块,必须在已经建立的低分辨率训练集中穷尽搜索,这个过程时间耗费较多。为此,我们提出了对训练集进行分层的方法。
对高低分辨率图像块训练集分层的思路:假设有一参照训练图像块其特征值为零,在LR图像块训练集中匹配最相似图像块时,最相似的图像块在空间上它们的位置最靠近,即待匹配图像块与参照训练图像块之间的欧氏距离和训练图像集中的匹配图像块与参照训练图像块之间的欧氏距离最接近。按照与训练图像块与参照训练图像块之间的欧氏距离将训练图像块集进行分层。将与参照训练图像块之间的欧氏距离接近的训练块存储于同一层,本文我们采用统计方法进行分层,分层的原则是尽量使每层中训练块的个数相等,同时对于层间边界进行特殊处理。考虑到当待处理图像块正好处于层边界时,避免最相似的块空间位置在另一层而搜索却在本层执行情况发生,笔者使用了重叠边界。该分层方法抽象示意图如图3所示,在定义每层的边界时是不包含重叠部分的,但实际的每层训练集内容是包括邻近层重叠部分的训练块,与每层接壤的重叠部分能参与到匹配搜索中。
训练集建立的过程如上图4所示,对高分辨率图像进行降质、下采样获得其对应的低分辨率图像。同时对高低分辨率图像特征进行分块生成高低分辨率训练集,最后对训练集进行分层。
3 超分辨率图像的区域分类重建
首先将低分辨率彩色图像转换到YUV颜色空间,由于人眼对于图像亮度分量比彩色分量(U、V分量)更为敏感,因此只对图像的亮度分量利用本文的方法进行超分辨率重建,对于彩色分量采用双立方插值进行重建。对LR图像的亮度分量进行去均值滤波,滤除图像的直流信息,只保留图像的变化部分。
接着对去均值后的图像提取其特征,然后对形成的“特征图像”进行分块,分为若干3×3的小块,为了保证图像块间的兼容性与平滑性,块间重叠2像素。在重建时,对每一个待重建的LR图像块,判断其是否为平坦区域。若是,则对此图像块进行双立方插值重建,不用再到HR训练集中去搜寻;若不是,则到HR训练集中采用分层搜索方法找到对应的HR图像块进行重建。对于利用分层搜索方法重建的图像块,需计算其与参考图像块之间的欧氏距离,再根据此欧式距离判断其属于哪一层,接着在该层中匹配最相似的训练图像块。
利用搜索到得最近的K个邻近的低分辨率块对应的高分辨率图像块和重建权重重建高分辨率图像块的高频图像信息,同时利用双立方放大低分辨率图像块并将二者叠加,再将重建的图像块拼接成目标高分辨率图像。
最后利用IBP进行全局后处理,将其上恢复出的高分辨率图像作为初始迭代图像进行两次迭代。
图5是超分辨率图像非平坦区域重建流程图。
4 实验结果与分析
对上述算法在计算机上进行了仿真实验,这里给出了实验相关的测试环境说明,以及主要的测试图片、实验参数。然后结合重建HR图像的主客观效果,对实验结果加以比较和分析。
4.1 实验参数
本次实验的计算机配置为:Inter(R) Core(TM)2 Duo CPU T5670 @1.8 GHz,主频1.79 GHz,2.0 GB内存,Windows XP操作系统。
编程环境和运行平台为MATLAB7。
用于建立训练集的测试彩色图像共35幅,训练图像的选择原则应使所选图像尽量在内容、分辨率等方面具有代表性,其中5幅的规格和内容如图6所示。
主要采用实验参数为:
1) LR图像块选取3×3大小,重叠像素个数为2;
2) 邻域图像块个数选取5,搜索距离D=Dnormal+Dgrad,Dnormal为像素距离,Dgrad为一阶梯度距离;
3) 训练集总大小:LR和HR训练集各包含172 887块,每个训练集的分层数:100,200。
4.2 结果与分析
以下我们分别从重建图像的主观质量、客观PSNR及重建时间这几方面对本文的方法加以分析。
1) 重建图像的主观效果比较
下面给出了三幅测试图片的SR重建图像的主观结果,依次是人脸图(图7)、建筑图(图8)、动物图(图9)。相应的从左往右依次为输入的低分辨率图像、原始高分辨率图像、双立方放大图像、未加入全局处理的分层方法、加入IBP后处理的本文方法重建的高分辨率图像。
图7～图9中a是输入的低分辨率图像; b是原始高分辨率图像;c是双立方放大结果;d是未加全局处理的分层结果;e是加全局处理的分层结果。图7中f是SRNE方法重建的结果,此外还包括各种重建图像的部分细节,可提供更加清楚的比较。
2) 分层方法对重建质量和速度的影响
表1和表2中,cubic表示双立方放大后的图像,Proposed NE表示本文方法未加全局后处理放大后的图像,Proposed NE+IBP表示本文方法加全局后处理放大后的图像。从表中可以看出本方法分100层时不加全局后处理重建的高分辨率图像的PSNR比三次立方方法放大图像的PSNR平均高1.2 dB;而在本方法中加入全局后处理后的PSNR平均可以高出2 dB左右。
从图10两幅图中可以看出随着分层数的增加,图像重建时间大大缩短,而分层对于图像的重建质量却影响甚微。
在SRNE方法中训练图像块个数为48 260,重叠像素个数为2,其重建出第一幅测试图片(face.bmp)所需时间约为3 351 s;而在本文的方法中训练图像块个数为重建时间172 887,重建时间最短仅约为78 s。SRNE方法中第一幅图像的PSNR约为34.2 dB,而本文的方法可达35.2 dB。
重建的超分辨率图像在主观效果上比双立方方法和SRNE更加清晰,重建时间也可以大大缩短。
5 总结
为了减少在训练集中搜寻匹配块的时间,本文提出了一种对训练图像集进行分层处理的方法,训练图像集的大小可以做到很大,而邻域嵌入超分辨率图像重建的时间很短,而且重建质量能得到保证。同时为进一步缩短重建时间,我们对于图像细节信息不多的平坦区域采用双立方插值放大。对重建后的图像最后采用IBP算法进行全局后处理,进一步提升了重建图像质量。仿真实验的定量结果和主观质量都证明了上述算法的正确性和有效性。
本文对压缩图像和未压缩图像运用相同的算法进行超分辨率重建,没有考虑压缩图像的量化误差,今后可以将压缩图像的量化误差考虑进来对算法进行改进。
摘要：在基于邻域嵌入的图像超分辨率重建中,提出了一种对训练集进行分层的方法,可有效解决待重建图像块在训练集中搜索时间过长问题。同时对待重建的图像区域加以分类,对于平坦区域选择一般的双立方插值的重建方法,对于含有丰富细节的区域则采用邻域嵌入的重建方法。最后对重建图像进行IBP全局后处理,进一步提高图像质量。实验结果表明,利用本文方法重建的图像主观和客观质量都有较大的提高,且重建时间可以大大缩短。
关键词：超分辨率,图像重建,邻域嵌入,训练集分层,区域分类,后处理
参考文献
[1]苏秉华,金伟其,牛丽红,等.超分辨率图像复原及其进展[J].光学技术,2001,27(1):6-9.
[2]HUNT B R.Super-resolution of images:Algorithms,principles,perform-ance[J].International Journal of Imaging Systems and Technology,1995,6(4):297-304.
[3]FREEMAN W T,JONES T R.PASZTOR E C.Example-based super-resolution[J].IEEE Computer Graphics and Applications,2002,22(2):56-65.
[4]CHANG Hong,YEUNG D Y,XIONG Yimin.Super-resolution throughneighbor embedding[C]//Proc.IEEE Computer Society Conference onComputer Vision and Pattern Recognition.Washington,USA,2004:275-282.
[5]WAN Baikun,LIN Meng,DONG Ming,et al.Video Image Super-resolutionRestoration Based on Iterative Back-Projection Algorithm:InternationalConference on Computational Intelligence for Measurement Systems and Ap-plications,May 11-13,2009[C].Hong Kong,China:CIMSA,2009.
[6]SU K,TIAN Q,XUE Q,et al.Neighborhood issue in single-frame im-age super-resolution[C]//Proc.IEEE international conference on multi-media and Expo,Amsterdam,Netherlands,2005:1122-1126.
多正则化形式的超分辨率图像重建 篇6
图像超分辨率重建的任务就是从一系列或一张低分辨率图像当中恢复出高分辨率图像。低分辨率图像可以被视为经平滑或模糊后的高分辨率图像的降采样。由于同一张低分率图像可得到很多张高分率图像解,因此该问题的反过程是“病态的”。因此对于先验知识有效合理的假设可以有效地正则化这一问题。
目前较为流行的是利用学习的思想来实现单张图像超分辨率重建。该方法利用学习低分率与高分辨图像块之间的先验关系或者是通过搜寻最近邻的自然图像块来实现图像超分辨重建。William等人提出了一种基于示例学习的策略,通过马尔科夫随机场建立了低分辨与高分辨率图像块之间的关系[1]。Chang等人利用局部线性嵌入(LLE)求取K近邻点权重的方法,来求取K个最近低分辨图像块的权重,并利用该组权重乘上对应的高分辨率图像块来求得最终的高分辨率图像[2]。Yang等人利用耦合的字典,对高分辨和低分辨率图像进行稀疏表示,并假设同一图像对应的低分辨率和高分辨率在稀疏字典上的稀疏表示系数是相等的。通过这一假设来建立低分辨率与高分辨率图像块之间的关系[3,4]。Wang等人对低分率图像块的中频信息和高分辨图像块中的高频信息进行稀疏编码,利用不同模态下相同的稀疏系数这一假设来估计丢失的高频信息[5]。李民等人在Yang的基础上利用形态分量分析法(MCA)来获取低分辨率图像的纹理和结构特征,提高了图像匹配准确度,降低了训练样本的数目[6]。Wang等人提出了一种半耦合字典的学习方法。高低分辨率字典不再是严格耦合的,而是通过映射关系将低分辨率稀疏表示系数映射到高分辨空间中[7]。陈书贞等人将图像的自相似冗余信息进行稀疏编码,构建了自相似图像字典,并采取逐级放大的策略恢复出了质量较好的超分辨率图像[8]。Zhang等人提出了一种半监督学习邻域嵌入方法。该方法在计算图像块距离时,考虑了类信息的作用,使得近邻块的选取变得更加的准确[9]。
然而基于学习方法重建图像的质量很大程度上依赖于图像训练集的好坏。当图像放大倍数过大时,图像训练集很难提供足够的信息来保持高水平的重建结果,进而使得重建的图像含有伪像以及振铃效应。近些年来,人们开始逐渐关注重构与学习相结合的重建方法[10,11]。该类方法利用重构过程来使得重建的图像与低分率图像尽可能保持一致,利用学习的先验信息正则化图像超分辨重建过程。方法[10]利用局部自相似冗余信息来限制重构过程中产生的伪像以及锯齿振铃效应,然而在图像自相似信息较少时,重建图像的效果并不理想。方法[11]只考虑了图像的边缘先验,重建的图像局部细节描述并没有有效地被恢复。因此,本文在研究前人工作的基础上提出了一种基于自回归与滤波器组先验的图像超分辨重建算法。提出的算法:
1) 为了恢复图像局部的细节描述,本文利用自回归模型来正则化图像重建过程中的局部特征与细节描述,自回归模型的参数利用自然图像块训练得出。
2) 为了更好的保持重建图像的边缘,本文利用水平与垂直方向的滤波器组先验来正则化图像超分辨重建过程,与此同时本文假设图像与滤波器组响应符合学生-T分布的形式。
1 图像降质模型与重构约束项
低分辨率图像与高分辨率图像之间可以被描述为[12]
式中:Y为低分辨率输出图像,X为高分辨率输入图像,H为点扩散函数,D为降采样运算,n为加性噪声。通过式(1)我们不难得出超分辨重建过程中的约束项:
尽管我们可以通过最小化式(2)来重建出高分辨图像,但是由于该约束形式缺乏先验信息,导致重建的图像含有锯齿和振铃效应。如图1,我们将原图1(a)降采样然后在利用bicubic算法升采样作为低分辨率输入,利用式(2)对图像进行重建,得到图1(b)。从图1(b)中能够清晰地看见锯齿以及振铃效应。
因此,应当利用有效的正则化形式来对超分辨率重建解进行合理的约束。由于高分辨图像质量的好坏往往取决于重建图像的边缘和图像的局部细节的描述。所以本文利用滤波器组先验约束重建图像的边缘,进而减少振铃和锯齿效应,使得重建边缘看起来更加锐利。并且为了恢复图像局部细节描述,本文采用了自回归的正则化形式来有效地解决这一问题。
2 自回归正则化项
本文定义的自回归模型,利用局部图像块的周围像素来预测中心像素。由于当局部图像块尺寸选择过大,会导致恢复出的图像出现过于平滑的现象,所以本文利用3×3的图像块的周围8个像素来预测中心像素。本文定义局部图像块的自回归参数为w,我们通过最小化式(3)来计算出w。
式中:zi为中心像素,Z为其对应的训练集,pi为周围的8个像素组成的列向量,P为其对应的训练集。通过计算出的w可以得到自回归正则化项,其简易表述形式:
式中:Rz为提取图像块中心像素因子,Rp为提起图像块周围像素因子,。将一整幅图像训练成相同的自回归参数,会导致自回归模型估计的不准确。因此本文提出一种局部内容自适应自回归参数估计方法。
为了更准确估计自回归参数w,本节提出一种内容自适应自回归参数估计方法。1) 首先将自然图像块分割成重叠的3×3小块,构成自然图像训练集。2) 利用K-Means算法对训练集进行分类(本文分成32类),这样便将自然图像训练集分成多个子集。然后利用式(3)分别训练出对应每个子集的自回归参数w。3) 将低分率图像利用bicubic插值算法插值到输出高分辨率图像的大小,同样也分割成3×3的重叠小块。然后通过与每个对应子训练集的质心进行对比,寻找到最相似的子训练集,并标记上该3×3小块的自回归参数w。
虽然利用自回归模型可以有效的估计图像的局部细节描述,增加图像的纹理信息,但是对于图像边缘约束作用较小,因此本文利用滤波器组先验来正则化图像的边缘信息。
3 滤波器组正则化项
为了使得重建的高分辨图像的边缘更加锐利,减少振铃和锯齿效应。本节利用滤波器组先验来约束图像的边缘。我们采用的滤波器分别是[-1,1], [-1,1]T,分别对应着图像水平和垂直方向。由于自然图像与滤波器进行卷积的对数梯度分布符合重尾的形式,因此本文利用学生-T分布的对数形式来构造滤波器组正则化项[13]。滤波器组正则化项形式如下:
式中α为专家权重决定着每个滤波器响应在图像重建中所占的比例。由于自然图像多方位的性质,本文定义两个滤波器的所对应的专家参数相同且都为0.5。利用上述所定义的滤波器组正则化项,可以对图像进行整体的约束,有效地平滑图像的边缘,减少振铃以及锯齿效应,使图像边缘看起来更加锐利。
4 基于多正则化的图像超分辨问题求解表达式
本节将前几节讨论的重构约束项和正则化先验项进行整合,得到本文的多正则化的图像超分辨问题求解表达式,其对应的能量函数如下:
式中:λ1和λ2为正则化参数。本文利用梯度下降算法来求解式(6),其迭代形式:
式中:t为迭代次数,η为迭代步长。
对式(6)进行求导可以得到能量函数对应的梯度形式如下:
式中:J-1 为J的镜像反转,U代表升采样运算。
通过上述公式,总结具体的算法流程如下:
1) 首先将自然图像块分割成3×3的重叠小块,然后利用K-Means算法将其分割成32个子训练集。利用式(3)训练出每个子集的自回归参数w。与此同时,将低分辨图像利用bicubic插值方法插值到输出高分辨图像的大小,并将其分割成3×3的重叠小块,然后根据自然图像训练集,标记上每个重叠小块所对应的自回归参数。
2) 然后根据式(7)、式(8),将插值后的图像作为初始化图像,进行迭代求得高分辨图像最优解。本文迭代的次数为200次。
3) 由于在迭代的过程中图像质量在不断提升,因此自回归参数也应当有所改变。本文在每迭代20次时,重新与自然图像训练集进行对比,然后更新迭代图像每个3×3小块所对应的自回归参数。
5 实验结果与分析
本文利用六幅测试图像来验证本文算法的优势,并且与bicubic,半监督临域嵌入(CSNE)[9],稀疏字典(SR)[4],多语义稀疏字典(MSSR)[15]算法进行对比。图2给出了六幅实验图。为了定量的分析本文算法的优势,PSNR和SSIM[14]指标用来定性的分析本文算法与其他算法的差异。在实验参数的选择上,为了更好的模拟真实的图像退化降质过程,我们利用大小为5×5,方差为1的高斯模糊核对原始图像进行模糊,然后采用2倍降采样操作,生成相应的低分辨图像。本文选择的正则化参数λ1为0.6,λ2为0.02,迭代步长η为1.5。实验迭代次数为200次。
表1给出了本文六幅图像实验定量分析的对比结果。从表1中不难发现,本文算法的PSNR都要优于其他具有竞争力的算法。然而在SSIM指标结果的对比中,本文算法的Flower和Starfish的重建效果没有优于MSSR和SR算法,但是却与MSSR和SR算法十分接近。在PSNR和SSIM与其他算法的指标平均值对比中,本文算法的PSNR相比于其他算法分别增长了2.598 2 d B,2.381 8 d B,0.394 4 d B,0.184 7d B,SSIM相比其他算法分别增长了0.041 8,0.043 2,0.007,0.004 2。综上所述在PSNR和SSIM指标的对比中,本文算法优于其他算法。
在图3中给出Hat图的不同算法的视觉实验效果对比图,可以看出CSNE算法相比bicubic插值算法减少了一定的锯齿效应,但是从字母B和h中可以看出高频信息的模糊仍是不可避免的。虽然利用SR和MSSR算法重建的图像相比前两种算法显得更加清晰,但是重建的图像中仍可以看出一些伪像和锯齿效应。相比于前几种具有竞争力的算法,本文算法重建出更加清晰的图像。字母B和h显得更加锐利,没有锯齿以及振铃效应。在图4中,给出Bike图的不同算法的视觉实验效果对比图,从局部放大的区域看出,本文算法重建的图像相比于其它几种算法,明显的减少了锯齿效应,使得重建的图像更加接近于原图。
6 结 论
超分辨重建 篇7
在MAP框架下,超分辨率重建是一个基于马尔科夫随机场先验模型的统计推断问题,即在给定低分辨率图像序列的条件下,通过选取与设计合理的马尔科夫随机场先验模型,使得超分辨率重建估计的高分辨率图像的后延概率达到最大。Cheeseman等[3]采用基于高斯分布的先验概率模型,运用雅可比( jacobi) 迭代法求解高分辨率图像,但是这种算法容易使图像中的边缘等重要几何信息产生模糊。Hardie等[4]提出了一种联合估计高分辨率图像和运动参数的MAP参数,但是这种算法收敛速度过慢。Ng等[5]提出一种基于数字全变差模型的图像视频序列的超分辨率重建算法,这种算法的运动估计是基于光流算法,光流估计算法在物体没有发生运动但背景光照发生变化的帧间能观测光流,而对于灰度等级缺乏足够变化的区域就很难检测到实际运动。由Michael Elad提出的传统MAP / POCS混合算法[6]是利用POCS方法容易引入先验约束集合的特点,将MAP估计作为一个凸集约束集加入到POCS的约束集中,从而构造一个新的凸集解空间来进行超分辨率重建,从像素点对图像的局部特征进行重建优化,从而使得锐化效果更佳。但该算法只是简单地将这两者进行串行结合运算,相当于每个算法的运算是独立的,因此这样混合算法无法充分利用各自的优点进行互补,导致效果不如预期的理想。Babacab等[7]采用L1 范数的全变差模型对高分辨率图像进行估计并采用基于高斯光流的光流算法( Lucas—Kanade) 对低分辨率图像序列进行运动估计,虽然从实验结果来看这种算法有较好的效果,但仍存在两个缺点: 一是平坦区域在噪声抑制的过程中容易产生阶梯效应[8]; 二是纹理结构等小尺寸的图像细节在噪声抑制过程中容易损失[9]。
本文根据传统的重建方法,在传统的MAP/POCS混合算法上加入了CPF图像配准方法,并把POCS的残差约束集合加入到基于CPF图像配准的MAP正则化算法中[10],同时在每一次迭代重建过程中利用CPF对低分辨率图像进行配准并且对重建图像的像素点进行约束,且在此过程中几个关键算法都不是独立分开运算,这种改进的方法可以更好地结合这几种算法的优点,从而获得相对传统重建方法更理想的效果。
1 关键点滤波匹配算法研究
关键点滤波配准法[11 - 12]在生成低分辨率图像的同时,保持图像内每一个关键像素点的灰度和位置信息,而且不需包含任何先验知识。
1. 1 多尺度图像的分解
设原始图像的高度与宽度分别为M和N,其中M =N = 2n( n为任意正整数) 。图像任意位置( i,j) 处的灰度值为gi，j。令当前尺度为m层( 0 ≤ m ≤ n ) ,图像大小为2m× 2n,则m层的4 个图像可以由m + 1 层图像分解求得,关键点滤波器的数学表达式[13]为
式中: gim,j,k= gi，j,表示第m层位置( i,j) 点第k类鞍点的灰度值。gi(,jm，0)取的是上一层图像的最小值,gi(,jm，3)取的是上一层图像的最大值,而gi(,jm，1)和gi(,jm，2)分别取的是上一层图像的第一类鞍点和第二类鞍点。
假设 α = minx≤t≤x +1,β = maxx≤t≤x +1,则上述4 种子图像可以表述为
在配准过程中,首先采用g( m，0)对极小值进行匹配,其次是g( m，1)和g( m，2)对两类鞍点进行匹配,最后采用g( m，3)极大值进行匹配。
1. 2 子图像的映射
假设映射方向是从源图像映射到目标图像。映射过程采用自顶向下的方式,从最高层( 最低分辨率) 开始直到最底层( 原始分辨率) 。源图像到目标图像的双射子映射表示为
式中:f(m,s)(i,j)=(k,j)表示源图像的点p(m,s)(i,j)在目标图像内的对应点为q(m,s)(k,l)。
1. 3 映射能量
映射能量也称作为代价函数,主要由3 部分组成: 与像素强度相关的能量、与边缘强度相关的能量、与映射距离相关的能量。
1) 与像素强度相关的能量
该能量由源图像和目标图像之间的像素强度差决定,可以表示为
式中:V(p(m,s)(i,j))和V(q(m,s)(i,j))分别代表了源图像和目标图像对应映射像素的强度;C(m,s)f表示对于子映射f(m,s)的像素强度相关的总能量。
2) 与边缘强度相关的能量
该能量主要是为了保证对图像内物体的边缘更好地匹配,对灰度变化和集合变形具有较强的鲁棒性。边缘图像分为水平边缘图像以及垂直边缘图像,采用Sobel算子进行边缘检测。
该能量可以表示为
式中:p(m,hor)(i,j)和q(m,hor)(i,j)表示水平边缘的映射;p(m,ver)(i,j)和q(m,ver)(i,j)表示垂直边缘的映射。
3) 与映射距离相关的能量
该能量主要是用于保证映射的平滑性,由源图像和目标图像像素点的位置决定,而与像素灰度值无关。该能量定义为
式中: η ≥ 0 是一个实数。
式中: D0由( i,j) 和f( m，s)( i,j) = ( k,j) 的距离决定,防止源图像的像素点被映射到目标图像中距离太远的像素点位置; D1表示为当前像素点和相邻像素点的映射距离差,用来保证映射的平滑性。
1. 4 匹配算法流程
由上文得到映射总能量为
式中: Ef(m，s)是辅助能量,表示边缘的配准程度。在算法的实现中,令 θ 的值为0. 05; Cf(m，s)表示源图像和目标图像像素点强度的配准程度; D(0fm，s)表示源图像到目标图像的变形程度,在配准中对于任意一个子映像Cf(m，s),通过不断搜索可以找到使得Cf(m，s)最小的 λ 和 η 。参数的调节从0 开始,逐渐递增直至找到最佳( Cf(m，s)达到最小)的参数值,即完成整个搜索过程。
2基于CPF图像配准的MAP / POCS算法
传统光流法为了确定物体移动的速度和方向,通过检测图像像素点的强度随时间的变化来进行确定,这样势必存在一定的局限性,特别是对视频序列而言在背景光照变化较大的帧间并不适用。
关键点滤波能不仅有够效地表达各种非平移的运动,同时还可实现图像的自动配准; MAP算法具有解唯一和去噪能力强的特点; POCS算法的边缘和细节保持能力较优,本文结合这3 种算法的优点,在CPF图像匹配算法的基础上,在MAP算法的每次迭代中加入了POCS残差约束集合来进行图像重建,而不是传统算法中仅仅只是将几种算法做串行运算。
2. 1 目标函数的设计
考虑到MAP算法和POCS算法的数据一致性约束[14],因为总变分[15]( Total Variation,TV) 正则化可以克服超分辨率重建问题的病态性,且L1 + TV的约束方法不仅与L2 + TV约束法有同样的边缘保持能力,还提高了算法的运行速度,同时图像重建过程中的中值估计比均值估计更具有鲁棒性[16],因此这里MAP算法采用L1 范数的数据保真度项和总变分算子作为正则化项,可得
式中: k为低分辨率的帧数; 假设低分辨率图像序列的分辨率为M × N ,( m,n) 为坐标值,则1 ≤ m ≤ M ,1 ≤ n ≤m ; yk是低分辨率图像; X是重建的高分辨率图像; Ak是系统矩阵,包含下采样、模糊和形变。MAP算法的先验模型采用全变分的正则化方法。r(ykm，n)是低分辨率图像的每一个像素点与重建帧中对应的区域的像素点经过系统函数作用后的到的低分辨率图像的估计值的残差值。δ0是POCS算法的残差约束,λ 为平衡数据保真项和正则项的正则化参数。ε 是一个极小数,保证了函数的零点可微性,Ω 是图像的支持域或称为图像平面的像素集合,▽x表示可以为不连续的离散像素点。
式( 10) 中的第一个式子是MAP算法的一致性约束,而第二个式子是POCS算法的数据一致性约束,即残差约束。可以看出,MAP算法是对整幅图像的全局残差进行约束,而POCS算法是对图像的每个像素点进行约束。因此在MAP算法的迭代过程中嵌入POCS的凸集投影算子进行约束,可以实现两种方法的紧密结合而不是单纯地串行运算。
2. 2 正则化参数选取
式( 10) 中第一个式子的第二项通常称为正则化项,λ称为正则化参数。由于超分辨率重建问题的不适定性,因此需要正则化来保证以得到稳定的最优解。同时,正则化都是关于原始图像系统先验模型的一种描述,因此在超分辨率重建过程中能够帮助去除结果中的奇异值,以提高算法的速率。本文在基于CPF图像配准的超分辨率重建算法中加入了自适应正则化参数,在重建过程中,以此利用当前重建获得的高分辨率图像来调整正则化参数,使得正则化参数和图像重建结果同时达到最优。
本文的算法是L1 范数数据保真项和总变分正则化项的方式,同时参考基于比例的动态调整法[17 - 18],并对其进行改进,得到适合本文重建算法形式的自适应正则化参数为
式中: Xk是经过第k次迭代后所求的的重建图像; λk +1是第k +1 次迭代后的正则化参数; r是一个极小的数,用于保证分母不为零; ε 是修正因子,通过调整该因子来改变正则化参数的大小,从而达到更好的重建效果,一般可以选一个固定的常数; ψ( Xk) 表示正则化项。
2. 3 目标函数的求解
基于CPF图像配准的MAP/POCS算法的基本思路是在基于CPF图像配准的MAP估计的迭代过程中,加入了POCS的残差约束。
1) 最小值求解
利用求解欧拉—拉格朗日方程,对式( 10) 中第一个式子求解得到
采用迭代方法最速下降( Steepest Desecent,SD) 法,其基本思想是函数沿着梯度方向具有最大变化率,即函数沿着负梯度方向下降得最快。迭代方程为
式中: Gn为梯度,n = 1,2,…,为迭代次数; α 为迭代步长; Ak= BkFkDk为模糊矩阵Bk,形变矩阵Fk,下采样矩阵Dk的累积; Fk= P{ Fkx,Fky} 由关键点滤波匹配法获得。
整个求解过程步骤如下:
( 1) 初始化迭代次数n为0,用插值得方法获取初始值0。
( 2) 采用关键点滤波( CPF) 图像配准算法对低分辨率图像序列进行配准。
( 3) 求梯度方向Gn。
(4)迭代更新
(5)迭代的停止条件,其中η为预设定的阈值。若满足迭代停止条件或者n达到最大迭代次数nmax,则转到下一步骤;否则,继续从步骤3)开始。
(6)当满足迭代停止条件或者n达到最大迭代次数,结束程序;最后即为所求的的超分辨率重建后的高分辨率图像。
2) 残差约束求解
当是重建后的高分辨率图像时,ryk(m,n)则与噪声nk一致。于是ryk(m,n)的大小由噪声的统计过程决定,以此重建的高分辨率图像才会以某种统计置信度来属于某一约束集合。假设系统引入的加性噪声是高斯分布的,且其方差为σG,那么先验边界δ0则等于cσG,且c≥0,由统计置信度决定。
每一次迭代中,将低分辨率图像的每一个像素点与重建帧中对应区域的像素点经过系统函数作用后得到
综上可得该MAP/POCS混合超分辨率重建算法的主要步骤,相比于单独运算式( 10) 的第一个式子有所不同,整个步骤如下:
( 1) 初始化迭代次数n为0,用插值的方法获取初始值 ,采用基于关键点滤波配准算法对低分辨率图像序列进行配准。
( 2) 求梯度方向Gn。
(3)迭代更新,
(4)求残差,并根据残差约束条件修正像素值,同时采用幅度约束条件对重建后的进行约束。
(5)迭代的停止条件为,其中η为预设定的阈值。若满足迭代停止条件或者n达到大迭代次数nmax,则转到下一步骤;否则,继续从第二步开始。
( 6) 若满足迭代停止条件或者达到大迭代次数nmax,结束程序; 最后 即为所求的的超分辨率重建后的高分辨率图像。
3 仿真实验与分析
为了验证本文算法,分别选用了Lena等静态图像、akiyo等视频图像序列的第3 帧来进行仿真实验分析。为了验证本文算法的有效性,采用了3 种方法对低分辨率图像序列进行重建对比:1) L1 + TV + LKOFlow[19]( Lucas - Kanade Optical Flow,卢卡斯卡纳德光流法) 算法; 2) L1 + TV +CPF算法; 3) L1 + TV + CPF + POCS。模拟Lena和pepper等低分辨率图像序列间的运动估计采用第1 帧参考帧,而视频图像序列akiyo等低分辨率序列间的运动估计均采用第3 帧为参考帧,并将第1、2、4 和5 帧作为重建图像的帧[20]。重建结果见图1 ~ 图4 以及表1。
结合重建结果的PSNR和对Lena和pepper等重建图像的观察认识,可以看出,加入了关键点滤波的L1 + TV +CPF方法相对于传统的L1 + TV + LKOFlow方法并没有太多改进,这是因为低分辨率图像序列是通过同一张高分辨率图像生成的,背景里的物体并没有出现局部运动,只存在全局运动,同时相邻低分辨率帧的背景亮度也没有改变,因此加入了CPF和采用LKOFlow计算出来的运动矢量并没有太多差别,从而重建结果比较一致。对结合了POCS的改进算法以后,两幅图像相对于之前的算法而言,PSNR有了明显地提升,且从主观效果上来看,二者的整体锐化清晰度有明显提升,而且局部的细节体现得更明显,例如Lena图像在头像的边缘以及头发的纹理更加凸显,头像也较前方法逼真,pepper图像上来看,在一些图像灰度值变化较大的边界处能够体现得更加明显,使得细节体现得更清晰。
d B
从视频图像重建的结果来看,L1 + TV + CPF算法在加入了CPF配准算法后,在背景物体出现局部较大运动的情况下,依然具有较好的配准性能,从而使得重建后的图像更加清晰。而光流法只实现估计全局运动参数,而视频图像段存在内部局部运动,因此L1 + TV + CPF重建后的高分辨率图像边缘更加凸显,同时也更加逼真。采用L1 + TV + CPF + POCS算法的重建结果图像也好于L1 + TV + CPF算法,从局部放大的效果来看,可以看出改进的MAP/POCS算法对于边缘信息的锐化效果相较于L1 + TV + CPF的效果更清晰明显。例如,akiyo中人物头像边缘较为平滑的hall中柜子的层次条纹也更为明显,能够清楚看到层次,这也凸显了改进的MAP/POCS混合算法能够更好地还原视频序列图像边缘信息以及凸显边缘信息。
以上结果表明,将POCS的残差约束和幅度约束引入到基于关键点滤波图像配准的重建算法的迭代中去,在每一次迭代的过程中,MAP方法全局重建优化,CPF配准算法在背景物体出现局部较大运动的情况下,依然有较好的配准性能,同时POCS对重建的高分辨率图像的像素点进行局部约束,可以更好地保持重建后图像的边缘信息,而且还提升了图像整体清晰度,使锐化效果更好。此外,从客观PSNR而言,都较于以往传统的重建方法有了明显提升,说明了这种混合算法的有效性。
4 总结
超分辨重建 篇8
随着人们对高分辨率图像应用需求的提高以及CCD器件的广泛使用, 使得超分辨率图像重建成为图像复原领域的研究热点。图像超分辨率重建是利用数字信号处理技术从一组混叠、模糊、含噪的低分辨率观测图像得到图像高频信息以及更多的像素点值。因此其首要前提是要有一系列针对同一场景的低分辨率图像, 并且它们之间存在着信息上的差异。超分辨率图像重建就是要利用这些差异, 来实现图像分辨率的提高。目前超分辨率图像重建的方法主要分为频域和空域两大类。频域方法有着简单直观、易于理解的特点, 但由于适用的范围较窄 (一般只适用于平移和旋转[1,2]) 且不易应用先验知识, 而不被广泛采用。空域方法主要有最大后验概率法、凸集函数投影法、迭代反投影法以及它们之间的混合形式等[1]。
1 图像退化模型
针对照相机和摄像机捕获图像的特点, 构建CCD (电荷耦合器件) 器件成像模型。本文则在CCD感光器件和透镜之间[1], 虚拟了一层连续光照图像P。通过对连续光照图像P进行不同的采样、加权平均和量化处理, 分别获得低分辨率图像LR和模糊的高分辨率图像。通常图像退化模型[1]将低分辨率图像Y看成是由高分辨率图像X经过位移变换、运动模糊、下采样并受到加性高斯噪声的影响而得到的, 用公式表示为:
Yk=DkHkFkX+Vk。 (1)
式中, Fk、Dk分别为对应于得到第k幅低分辨率图像的平移扭曲参数矩阵和下采样矩阵;Hk为相应的模糊函数;Vk为服从高斯分布的噪声。由于本文主要应用于针对同一个照相机或者摄像头所得到的LR图像序列的重建, 所以可以假定在整个恢复过程中模糊函数和下采样矩阵是不变的, 即Dk=D, Hk=H, 再假设在像素点内接受的光照强度是均匀的, 则H和Fk是线性空域不变的, 即H*Fk=Fk*H。式 (1) 可简化为:
Yk=DFkHX+Vk。 (2)
现将HX用变量Z来代替, 则可将式 (2) 变换为:
Yk=DFkZ+Vk。 (3)
从式 (3) 又可以得出结论, 即模糊的高分辨率图像经过位移变换和下采样后, 可以得到低分辨率图像。式中, Z为连续光照图像进过采样得到的模糊的高分辨率图像。最终要求的超分辨率图像SR只需再对图像Z经过去模糊处理。
2 图像配准
图像配准是超分辨率重建过程中的一个重要步骤, 是实现SR图像重建成功与否的关键。其目的就是要将一系列针对同一场景且存在差异的低分辨率LR图像, 经过变换后的放到同一个坐标系下, 以达到亚像素的配准。本文提出的配准算法仅考虑图像间存在旋转、平移变换, 并且将用矩形像素点值替代圆点形来进行亚像素配准[4], 这样更加接近真实的CCD器件, 如图1所示。
首先任意选定一幅LR图像作为参考图像, 则其他的LR图像即为待配准图像。假定CCD器件上每个光敏元件接受的是均匀光照, 即每个像素点内光照强度服从均匀分布。初步配准采用了金字塔分层的方法。首先对LR图像进行分层处理 (层数由LR图像大小决定) 。 为了简化计算, 可基于特定的阈值做二值化处理。在参考二值化LR图像中, 选取一个含有1值最多的标记区域作为基准物体处理。通过此区域与其他二值化LR图像 (基于相同的阈值) 遍历相乘求和。在事先设定阈值的前提下, 将满足条件的区域再次向底层细化计算, 依次进行。最底层则用对应的图像的像素值来进行计算, 以达到初步配准的目的, 即将所有LR图像重叠在一起。由于此时并未改变LR图像像素之间的相对坐标值, 则LR图像内感兴趣的区域像素点是完全重叠的。但是这样只能处理平移变换。对于旋转的处理, 可以基于上述配准所选取的标记区域 (减少FFT变换的计算量) 做快速傅里叶变换, 利用频域配准方法[2]得:
h (α) =∫α+Δα/2α-Δα/2
式中, F (r, θ) 为方形区域傅里叶变换的极坐标形式;Δα为扇形积分区域的角度;ε一般取0.1。通过计算得出h (α) 一系列点值, 再利用自相关信息量最大原理得出旋转配准参数。再根据图1所示的模型, 将LR图像进行亚像素的配准 (分别计算出a、b的值) 。以黑色的圆点表示直角坐标系的原点, 再分别以水平向右方向和垂直向下方向为X轴、Y轴。
式中, P1、P2、P3、P4分别表示与Ri相交的参考图像中的像素点的光照强度, 式中假设了像素之间的光照强度为相邻像素间的加权平均值。由于假设光照强度在像素点内是均匀分布的, 所以式 (5) 中所有的积分运算全部可以转换成乘积运算。再利用2个相邻的像素点值代入式 (5) , 则可较为简单的计算出亚像素的配准参数。
3 超分辨率重建算法
由LR图像观测模型可知, 超分辨率重建过程是一个病态问题的求逆, 在迭代求解的过程中, 将无法收敛到稳定解。因此为了在重建图像过程中能得到收敛的稳定解, 同时有很好的噪声抑制效果, 则需要对图像本身做一定的假设, 将图像的先验知识用于重建算法中。如假设图像分段光滑, 选用拉普拉斯算子作为正则项[1], 则可以得到稳定解。但是它在重建过程中抑制噪声的同时也将重建图像的高频分量抑制了, 使所得到的图像物体边缘过度平滑, 得不到理想的高分辨率图像。随后为了得到更好的恢复效果, 选用双边滤波器作为正则项[3], 它同时考虑了空间领域和数值领域上的特性, 可以在抑制噪声的同时很好地保留了图像物体边缘的高频信息。但是在噪声比较严重的时候, 双边滤波器在使用领域差值时[3], 将严重影响加权系数的选取, 得不到理想的恢复效果。所以本文选取调整回归核函数为正则项的方法[6], 由文献[6]中可知, 双边滤波器只是核回归函数方法的特例。调整回归核函数是双边滤波器的改进, 将依赖图像自身数据主导方向信息选取可变窗函数, 来使核函数更好地选出领域上的数据, 从而更好地抑制噪声同时保持图像高频信息。
下面将基于最大后验概率框架实现图像超分辨率重建, 相应公式如下 (选用一阶范数) [3]:
选取Γ为调整的核回归函数, λ为正则化参数, 它由噪声的方差大小决定, 即λ越大, 平滑作用越明显, 相应抑制噪声效果越好。基于调整核回归函数为正则项代价函数可表示为:
式中, V为相对位移量, 在x1和x2坐标下分别为v1和v2。Wu (V) 包含着图像本身数据的信息。
Wu (V) =diag{KH (x1+v) (V) , …, KH (xN+v) }。 (8)
从文献[6]中得知Wu (V) 可以根据图像中物体边缘、平滑区域和棱角部位等信息决定所选用的窗函数的形状。更加有利于重建算法对噪声的抑制和高频分量的保持, 得到更加理想的恢复效果。KH (x1+v) (V) 是调整核回归函数, 它由图像数据本身的主导方向决定。
式中, Ci为图像数值的协方差矩阵, 它决定核函数的延长、旋转和缩放等, 详见参考文献[5]。基于最陡下降沿算法的超分辨率图像重建迭代算法为:
式中, β为迭代求解时的步长。图像重建起初, 选用较大的步长, 以得到较快的收敛速度。随着迭代的进行而逐步减小其值, 从而确保重建图像收敛的精度。通过基于本文所提出的观测模型可知, 先通过配准和插值运算后得到模糊的高分辨率图像, 再利用调整的核回归函数作为正则项来去除模糊。
4 仿真实验及性能分析
下面将采用基于最大后验概率框架, 分别用拉普拉斯算子, 双边滤波器以及本文所提出的调整核回归函数作为正则项, 来对含有高斯噪声的低分辨率图像序列进行超分辨率重建恢复。随后的图像重建方法是基于本文所提出的配准方法进行的, 并统一选取正则化参数λ为0.8, 迭代步长从开始的1.0逐步下降为0.1。如果拉普拉斯正则项方法重建的图像, 当噪声较为严重时, 则需正则化参数选取较大, 得到的图像边缘部分过于平滑, 信噪比相对较小。当用双边滤波器作为正则项进行图像重建时, 图像各物体之间的边缘分辨率效果较拉普拉斯正则项方法有改善[6] (见图2的最小均方根误差的比较) 。而采用调整的核回归函数为正则项的重建图像时, 对应的边缘保留最好。图2是通过对比3种重建算法的在收敛过程中最小均方根误差随着迭代次数增加的变化情况。由此可以得出基于调整的核回归函数为正则项的超分辨率图像重建算法有最好的效果, 最小均方根误差 (RMSE) 最小。但是从图中也可以看出, 其收敛的速度较慢。
5 结束语
本文通过对观测模型的假设得出一种实现较为简单、且配准精度较好的算法。在图像恢复过程中, 采用了L1范数来减少迭代恢复的运算量, 同时选用了调整的核回归函数作为正则项, 来使恢复的效果相比之前的算法更好。但是也有运算量过大的缺点。本文主要针对LR序列图像之间只存在平移、旋转差别的SR恢复, 而存在其他变换, 及减少运算量则需要更多研究。
摘要：讨论了图像成像的基本模型, 并提出了一种基于调整核回归函数作为正则项的序列图像重建算法。该算法是对已经提出的核回归算法的改进, 减少其在超分辨率图像重建时的运算量。而且在图像配准过程中针对图像间只存在平移和旋转变换, 采用了基于矩形像素值的亚像素配准方法, 以提高配准的速度和精度。利用此算法对序列图像进行重建仿真, 并通过结论得出其在噪声严重的情况下具有更好的边缘保留特性。
关键词：图像重建,调整核回归,双边滤波器,亚像素配准,正则化项
参考文献
[1]PARKS C, PARK MK, KANG MG.Super Resolution Image Reconstruction:A Technical Review[J].IEEE Signal Processing Magazine, 2003 (5) :21-35.
[2]VANDEWALLE P, S SSTRUNK S, VETTERLI M.A Frequency Domain Approachto Registration of Aliased Images with Application to Superresolution[J].EURASIP Journal on Applied Signal Processing, 2006 (1) :233-233.
[3]FARSIUS, ROBINSON D.Fast and Robust Multiframe Super-resolution[J].IEEE Trans.Image Process., 2004, 13 (10) :1327-1344.
[4]MECHERI K, ZIOU.Super-resolution Based on Interpolation and Global Sub Pixel Translation[J].CRV’07, 2007 (6) :448-458.
[5]TAKEDAH, FARSIUS, MILANFAR P.Kernel Regression for Image Processing and Reconstruction[J].IEEE Trans.Image Process., 2007, 16 (2) :349-366.