Retinex理论

Retinex理论（精选7篇）

Retinex理论 篇1

0 引言

人脸识别经过40多年的发展,取得了丰厚的成果,但目前仍面临着光照、姿态、表情等诸多的挑战。人脸识别商用系统性能评测(Face Recognition Vendor Test,FRVT)[1]也指出光照因素是影响人脸识别系统性能的主要因素之一。目前关于光照问题的方法可以分为三大类:光照变化建模,光照预处理和提取光照不敏感特征。其中光照预处理方法由于其简单高效性而受到了研究者的青睐。光照预处理方法分又为基于传统图像处理方法和基于Retinex理论[2]方法两类。基于Retine理论方法的基本思想是将人脸图像分解成光滑的光照分量和对光照不敏感的反射分量两部分,并使用反射分量来进行识别。其中基于Retinex理论经典的方法有单尺度Retinex方法(Single Scale Retinex,SSR)[3]、多尺度Retinex方法(Multi Scale Retinex,MSR)[4],自商图像方法(Self Quotient Image,SQI)[5],全变分模型方法(Total Variation Model,TV)[6],基于大小尺度特征方法(Small-and Large-scale features,S&L)[7]。

1 基于Retinex理论的光照预处理方法

1.1 Retinex理论

Retinex理论广泛的应用在人脸识别领域中,并用以去除光照的影响。根据Retinex理论,图像由光照分量和反射分量的乘积构成:

其中,I(x,y)为原图像,L(x,y)是光照分量,表示外界光源,R(x,y)是反射分量,代表了物体的内在特征,并且可以作为光照不变量进行人脸识别。

对(1)取对数有:

因此有:

由于对数变换不改变函数单调性,所以log R(x,y)和R(x,y)有相同的性质,可以作为光照不变量进行人脸识别。根据公式(3)可以知道,对数域反射分量log R(x,y)可由对数域人脸图像log I(x,y)减去对数域光照分量log L(x,y)得到。所以基于Retinex理论的人脸识别的关键在于log L(x,y)的估计。

但是,Retinex方法的低通滤波操作往往会使图像中灰度变化激烈的边缘区域产生灰度突变,并且使边缘变得模糊,从而影响人脸的识别。这也就是所谓的光晕现象。为了减少光晕现象,研究人员提出了一些不同的处理算法,下面将逐一进行介绍。

图1为光晕现象实例。左边为偏光照射下,在图像鼻子旁边形成投射阴影的人脸。右边为采用高斯低通滤波器的单尺度Retinex方法处理后的结果。处理后的图片投射阴影的边缘呈现明显的光晕现象。

1.2 多尺度Retinex

多尺度Retinex是单尺度Retinex的加权平均,它通过N个不同的高斯滤波器分N个不同大小的尺度对原图像进行处理,以减少“光晕”现象。它可以如下表示:

其中N为尺度个数,Gi(x,y)为高斯滤波器,wi为与第i个高斯滤波器相对应的加权系数,σi为标准偏差,它决定高斯滤波器的尺度;Ki为高斯滤波器归一化因子;*表示卷积操作,log R(x,y)即为光照正则化图像。

1.3 自商图像

1)选择n个高斯滤波器G1,G2,…,Gn,并计算图像I相应的权值w1w2,…,wn然后用加权高斯滤波器wiGi与图像进行卷积得到平滑图像:

而为得到各向异性高斯滤波器,各个高斯滤波器的权值按下面的方式确定:

其中Ni为归一化因子;Ω是卷积核大小。根据阈值τ将卷积区域分为两个子区域M1、M2,根据下面的式子计算τ,Mean为均值操作:

对于M1、M2两个子区域,假定M1中的像素点比M2中多,w1有相应的权值:

这个各向异性滤波器的本质是只平滑卷积区域的主要部分(即在边缘区域,仅对包含更多的区域M1求卷积),因此将显著降低光晕效应。

3)对每个自商图像进行非线性变换:

4)对Di进行加权计算:

其中mi为相应的权值,Q得到最终的自商图像。

1.4 全变分模型

全变分模型是一种经典的图像恢复方法。在图像处理中主要用于从观测图像中恢复出真实图像,具有模型简单,需要优化的参数少的特点。与此同时,利用全变分模型进行图像平滑具有良好的边缘保持特性,也就是对图像平滑的同时可以保持图像的细节信息。下面我们利用全变分模型的这些特点进行光照估计:

1.5 基于大小尺度特征方法

一般的Retinex的方法都是舍弃光照分量,直接用反射分量进行人脸识别的。而基于大小尺度特征方法认为光照分量里仍然包含了一部分的人脸结构信息,可以加以利用,加强人脸识别的效果。所以该方法通过结合反射分量和经过处理后的光照分量来提升光照预处理的效果。

该方法根据Retinex模型提出来一个改进的模型。

其中Rl表示大范围的肤色区域与背景直接的比率。ρ(x,y)只包含图像的小尺度特征,而S(x,y)不仅包含光照、投射阴影同时还包含大尺度固有的人脸结构信息。ρ(x,y)和S(x,y)的求解则采用对数域全变分模型的方法。

根据基于大小尺度特征方法的思想,光照消除只在大尺度特征S(x,y)上进行处理,同时保持小尺度特征ρ(x,y)不变。从而可以得到最终的正常光照人脸Inorm(x,y),用来进行人脸识别。它表示如式(15)。

其中Inorm(x,y)为得到的正常人脸,用以进行光照不变人脸识别。Snorm(x,y)表示消除光照后的大尺度特征。它是通过对S(x,y)去除光照得到的,表示如式(16)。

其中T采取的方法是对数域离散余弦变换方法[8],通过舍弃对数域离散变换结果的低频部分来去除光照的影响。

2 实验结果与分析

本实验从光晕消除效果和识别率两方面对以上基于Retinex的4种光照正则化的方法进行比较。

图2显示了MSR、SQI、LTV、S&L这4种方法消除光晕现象的效果,其中(a)为原始图像,(b)、(c)、(d)和(e)分别为MSR、SQI、LTV、S&L处理的结果。原始人脸图像鼻子左侧有明显的投射阴影,经过光照正则化处理后会产生光晕现象,红色框中框出了光晕现象最明显的区域。从图中可以看出,LTV消除光晕现象的效果最好,很大程度上削弱了内部投射阴影。

为了验证各光照预处理方法的有效性,我们在“Yale B+Extend Yal B”人脸库上进行了对比实验。由于Yale B和Extended Yale B人脸库的形成条件完全一样,故放在一起进行实验。并且由于本实验只对光照问题进行研究,实验的数据也只采用不同光照下的正面图像,不考虑姿态等因素对实验的影响。识别方法则采用模板匹配方法,未选用本身对光照具有一定鲁棒性的识别方法。最后用余弦角度距离来衡量人脸图像之间的相似度和最近邻分类法进行分类。

实验中各种方法的参数设置如表1所示,该表中k表示高斯窗口的大小,lambda表示LTV中的正则化参数,discard Nr代表舍去离散余弦矩阵系数的个数。

表2给出了“Yale B+Extended Yale B”人脸库上的识别结果。从整体上来看,SQI识别率最高,具有最好的光照预处理效果,而S&L排在其次,后面依次为LTV、MSR。而SQI对比未经光照处理的方法,它可以提高52.31%的识别率,极大的去除光照变化对人脸识别的影响。并且SQI在子集三、四、五上都达到了最高的识别率。说明SQI方法更能处理剧烈变化的光照。在子集一上,各光照预处理方法都比未经光照预处理方法的识别率要低。说明了在光照条件理想的情况下,光照预处理反而会给人脸识别带来负面的影响。而这几种方法中LTV的负面影响最小,更能适应光照理想的的情况。结合光晕处理效果和识别率结果可以发现,光晕处理效果好的LTV方法识别率并不是最高的。可以说明LTV在去除光晕现象的同时较大程度的削弱了人脸的固有特征,降低了人脸识别率。而SQI方法的光晕现象比较明显,但是该方法加强了人脸的固有特征,从而提高了人脸识别率。所以光照预处理方法在去除阴影和保留特征方面需要达到一个平衡,这样才能更大程度上提高人脸识别率。

3 结语

本文通过试验对比分析MSR,SQI,LTV以及S&L这4种基于Retinex理论的光照预处理方法,结果发现LTV最能有效的削弱光晕现象,SQI最能提高人脸识别率。说明了光照预处理方法在去除阴影和保留特征方面需要达到一个平衡。只关注阴影去除并不能很好的提高人脸识别率。而从子集一的结果可以知道,光照条件理想时,光照预处理对人脸识别有负面影响,后续的研究可以考虑避免光照预处理负面影响的方法。

参考文献

[1]Phillips P J,Scruggs W T,O'Toole A J.FRVT 2006 and ICE 2006 large-scale experimental results[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2010,32(5):831-846.

[2]Land E H,Mccann J.J.Lightness and Retinex theory[J].Journal of the Optical Society of America,1971,61(1):1-11.

[3]Jobson D J,Rahman Z U,Woodell G A.Properties and performance of a center/surround retinex[J].IEEE Transactions on Image Processing,1997,6(3):451-462.

[4]Jobson D J,Rahman Z,Woodel G.A..A multiscale Retinex for bridging the gap between color images and the human observation of scenes[J].IEEE Transaction on Image Processing,1997,6(7):965-976.

[5]王海涛,刘俊,王阳生.自商图像[J].计算机工程,2005,31(18):178-215.

[6]Chen T,Yin W,Zhou X,Comaniciu D,Huang T S.Total variation models for variable lighting face recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28(9):1519-1524.

[7]Xie X,Zheng W S,Lai J.Normalization of face illumination based on largeand small-scale features[J].IEEE Transactions on Image Processing,2011,20(7):1807-1821.

[8]Chen W,Er M J,Wu S.Illumination compensation and normalization for robust face recognition using discrete cosine transform in logarithm domain[J].IEEE Transaction System,Man,and Cybernetics-Part B,2006,36(2):458-466.

Retinex理论 篇2

色彩恒常性是指在不同的外界环境中, 人眼对物体色彩的感知在一定程度范围内总是保持恒定, 色彩恒常理论模拟人类视觉系统的这一特殊功能实现对图像的处理, 提高图像的可识别度, 使图像具有更好的视觉效果。

第一个描述人类视觉系统的色彩恒常性的算法是由Land和Mc Cann提出来的[1,2]。该彩色理论通过组合两个词retina (视网膜) 和cortex (皮层) 而称为Retinex理论。而后Land提出随机步行算法用来解决图像中照度不均匀的问题。由于随机步行算法复杂度较高, Jobson等人提出了经典的中心/环绕理论 (SSR) [3]来降低复杂度。但SSR由于尺度不同会产生不同的问题, 因此有学者提出多尺度Retinex (MSR) [4]用来解决不同尺度带来的问题。由于MSR色彩失真较大, 后来提出了带色彩恢复的Retinex (MSRCR) , 相对于MSR在色彩保持方面具有很大优势。在对环绕函数的选择上, Jobson在详细考察了各种不同环绕函数的性质和效果后发现:高斯形式的环绕函数综合效果最好。在尺度的选择上提出了自适应的参数选择。

本文将针对MSRCR算法在低照度图像处理中存在的颜色恢复失真问题, 研究色彩恢复函数对处理后图像的影响。通过改进色彩恢复函数, 提高图像的信息熵以及清晰度。

1 Retinex数学模型

1.1 单尺度Retinex算法

SSR算法是在Land提出的中心/环绕Retinex的基础上发展起来的, 由于该算法数学形式以及物理实现都相对简单, 因此应用较广泛。其数学形式为

式中:Ii (x, y) 为输入图像的第i个颜色通道;*表示卷积;Ri (x, y) 表示Retinex的第i个通道的输出;G (x, y) 为归一化中心/环绕函数。即

式中:σ为尺度参数, 在离散情况下满足

1.2 多尺度Retinex算法

由于单尺度Retinex算法存在色彩保持和细节突出等方面的矛盾, 因此提出了多尺度Retinex算法解决上述矛盾。许多文章提到了MSR与SSR以及直方图均衡等方法的效果对比[5,6]。多尺度Retinex是对单尺度Retinex的发展和延伸, 它是几个单尺度Retinex的加权组合。其数学形式为

式中:Ri (x, y) 为第i个尺度的SSR结果;ωi是第i个尺度的加权系数, 并且满足ωi之和为1;N为尺度数, 一般是3个尺度, 分别是大尺度、中尺度、小尺度。根据文献[5]其经验值为:小尺度为图像的1%~5%;中尺度为图像大小的10%~15%;大尺度为图像大小的30%~50%。

1.3 带色彩恢复的Retinex算法

SSR或者MSR算法处理RGB图像时, 分别处理R, G, B这3个分量图, 由于R, G, B各个分量图单独处理, 在这个过程中3个通道有各自对应的补偿和增益, 因此它们之间的比例关系会发生改变, 造成颜色失真。将带色彩恢复的多尺度Retinex算法方法引入原始图像中3个色彩通道之间的颜色比例, 对MSR结果进行处理, 通过乘性色彩恢复函数的作用克服图像颜色的不饱和或失真, 从而使得图像具有更好的颜色呈现。

式中:Ii1 (x, y) 为第i通道的比例因子;β为一常数;Rmi (x, y) 为SSR的第i通道处理结果;RMi为输出结果的第i通道。通过实验仿真可以看出MSRCR是MSR处理结果向原始图像色彩靠拢的结果。

1.4 自适应补偿/增益

无论以上哪种Retinex算法都在对数域中进行, 经常会出现负值, 这时候需要通过补偿/增益[7]将像素值转换到显示器的显示范围内。补偿/增益的重点是找到起点和增益的倍数。假设处理后的图像所有像素值分布服从高斯分布, 经过模拟仿真在均值上下1.85倍标准差左右截取, 并将在这一区间的像素值线性地映射到0~255是一个效果较好的选择, 如图1所示。这时处理后的图像信息熵较大, 从而实现了处理后图像的自适应补偿增益。

2 余弦色彩恢复函数

Rahman等人认为Retinex不是作为人类视觉颜色常性的模型, 而是作为数字图像增强的一个平台, 从而不仅对比度得到了改进, 颜色常性、亮度或色彩再现也得到了改善[7]。

在MSRCR中采用了色彩恢复因子, 使得处理后的图像颜色更加接近原始图像的颜色。根据Rahman等人的论述, 可以设计不同类型的色彩恢复方案用来恢复处理后图像的颜色。

在式 (6) 、式 (7) 中, 通过MSR处理结果乘以恢复因子, 以达到处理后图像颜色与原始图像颜色相接近的效果, 从而以使颜色接近。通过式 (6) 和式 (7) 得到的图像有些像素颜色与原始图像出入较大。这是因为式 (6) 中每个像素均与色彩恢复因子相乘, 而且β为一个常数, 对于与原来颜色差别不大的像素也乘以一个比例因子, 所以颜色会发生较大的失真, 所以β应该为一个随色彩失真程度而变化的数值[8]。

传统做法是单独处理每个颜色通道, 割裂了颜色本身, 同时也受到光照的影响。将图像中每个像素的颜色看作三维矢量空间中的1个矢量, 其中R, G, B分别是这个矢量的3个分量, 这样把颜色当作1个矢量处理, 而不是分开处理。再去掉光照影响, 3个分量的比值就代表该颜色, 可以考虑用色彩矢量之间的夹角余弦值来描述不同颜色之间的区别[9], 这个夹角范围是[0, π/2]。若夹角为0, 余弦值为1, 此时认为两个颜色相同;若夹角为π/2, 余弦值为0, 则两个颜色差异最大。本文设计的方案即根据夹角余弦值对MSR结果进行调整, 使之与原始图像的颜色更加接近。当处理后图像像素矢量与原始图像像素矢量夹角较小时, 说明颜色改变不大, 因此只进行小幅度调整;当夹角较大时, 说明处理后颜色失真很大, 根据实际实验观察, 这往往体现在亮度上, 因而要大幅度调整其亮度以及颜色。

2.1 算法步骤

本文所提算法步骤如下:

1) 假设原始图像为I, 根据原始算法计算出单尺度处理结果I1;

2) 计算I1与I对应像素的夹角余弦值矩阵cosθ (i, j) ;

3) 计算i通道的色彩恢复函数

4) 计算图像RMij (x, y) =Rmi (x, y) Ci (x, y) , 得到第j个尺度的图像RMj, 再经过自适应补偿/增益即可得到单一尺度的带色彩恢复图像;

5) 将几个尺度处理图像加权相加得

2.2 算法分析

若令算法里的β=0, 则色彩恢复函数可以化简为

这就变成了经典的色彩恢复函数, 因此本文色彩恢复函数是原始恢复函数的一个推广。它在处理低照度图像的时候具有更加优良的性质。

3 实验分析

图2采用了4幅具有一定代表性的低照度图像进行比较和分析, 根据文献[7]从均值、标准差、信息熵、清晰度4个角度对原始色彩恢复函数 (图3) 与本文的余弦色彩恢复函数 (图4) 进行了对比和分析。

通过表1可以看出:本文的色彩恢复函数在标准差、信息熵和清晰度不同程度上优于原始算法, 即图像的层次比原算法更加鲜明, 图片中纹理较复杂, 所含信息量较高, 清晰度也高于原始算法。

4 小结

本文在对基于Retinex理论的图像增强算法研究的基础上, 给出了余弦色彩恢复函数。在余弦恢复函数中使用了颜色的矢量夹角, 较好地解决了因光照不均匀产生的颜色失真问题, 使得图像颜色与原始图像更加接近, 提高了图像的清晰度。对比仿真实验显示:相对于原始带色彩恢复的Retinex算法, 本文的色彩恢复函数具有更好的色彩恢复能力和效果。同时原本不清晰的图像层次感、纹理细节、清晰度也得到改善。

参考文献

[1]LAND E, MCCANN J.Lightness and retinex theory[J].Journal of Optical Society of America, 1971, 61 (1) :7-21.

[2]LAND E.An alternative technique for the computation of the designator in the retinex theory of color vision[J].Proceedings of the National Academy of Sciences of the United States of America, 1986, 83 (10) :3078-3080.

[3]JOBSON D J, RAHMAN Z U, WOODELL G A.Properties ans perform-ance of a center/surround Retinex[J].IEEE Trans.Image Processing, 1997, 6 (3) :451-462.

[4]RAHMAN Z U, JOBSON D J, WOODELL G A.A multiscale retinex forcolor redition and dynamic range compression[EB/OL].[2012-12-02].http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.55.6939.

[5]朱静.色彩恒常性理论及其在图像增强中应用研究[D].北京:中国矿业大学, 2011.

[6]刘高平, 赵萌.基于亮度的自适应单尺度Retinex图像增强算法[J].光电工程, 2011, 38 (2) :71-77.

[7]赵晓霞.基于Retinex理论的视频图像增强系统研究[D].北京:中国矿业大学, 2011.

[8]李建彬, 韩军, 邱君华.基于Retinex的旧视频序列增强算法[J].电视技术, 2011, 35 (5) :21-24.

Retinex理论 篇3

图像成像设备在获取图像时,由于环境因素(如光照不均、雨雾、沙尘)影响,常出现曝光不足、对比度低、不清晰、模糊等现象,造成图像信号质量不佳,严重影响了图像目标提取与分析。因此,在进一步处理之前须作预处理。图像增强通常是指使用特定的增强技术对图像进行处理,突出感兴趣的部分抑制非感兴趣的部分以提高图像的质量和使用价值,其在遥感图像、监控图像、夜视图像、模式识别等领域应用广泛。

图像增强的方法主要有空域法和变换域法两大类[1]。这些算法简单、易实现,但光照变化剧烈时,增强效果往往达不到预期要求。直方图均衡化、同态滤波、梯度域增强方法等是解决光照不均的常用方法[2]。自Retinex理论在1971年被Land提出后,许多学者将其应用到图像增强领域,为解决光照不均问题提供了一条新思路。Retinex理论是基于人类视觉感知物体颜色和亮度的模型,其基本思想是运用某种方法对图像的光照进行估计,然后消除或调整光照以得到一幅受环境光影响较小的增强图像。Retinex增强方法简单有效,自该理论被提出后,出现了很多Retinex经典算法,如单尺度Retinex算法、多尺度Retinex算法、带色彩恢复的Retinex算法[3]等。这些经典Retinex算法实质上是通过对输入图像进行高斯平滑滤波来估计光照图像的,都会有一个显著缺点,即在明暗对比强烈处会产生“光晕现象”。这是由于Retinex理论假设光照是平滑变化的,但实际上光照并不总是满足这样的假设,因此在使用高斯滤波器对原图进行光照估计时,容易在明暗对比度变化强烈处产生光晕。

基于Retinex理论,很多学者提出了不同的图像处理方法。鄢丹青[4]等人提出了一种新型的自适应Retinex图像增强算法,该算法不需要复杂的参数调节就能实现高动态范围图像增强,在图像细节恢复和光照还原上能达到很好的效果;周扬[5]等人提出的一种基于改进Mean Shift滤波的Retinex彩色图像增强算法,采用主成分分析法将对比度较低的图像分解成色彩与亮度两部分,使用改进的Mean Shift滤波方法实现光照分量的自适应增强并对色彩通道进行恢复,以全局为基础进行图像补偿;陈超[6]等人提出基于双边滤波的光照估计方法,使用双边滤波替代高斯滤波对输入图像进行光照估计。

针对传统SSR光照突变处理不好且增强图像常伴有光晕现象的问题,本文提出一种基于多方向的双边滤波单尺度Retinex图像增强方法,使用多方向双边滤波器估计光照,在Retinex增强时保留一定程度的光照,在有效克服光照不均、消除光晕现象的同时增强了图像细节。

1 Retinex理论

Retinex理论的基本假设是输入图像S为光照图像L和反射率图像R的乘积,即S(x,y)=L(x,y)·R(x,y),L决定了图像的亮度和动态范围,R代表原图的实质反射能力,是原图的本质图像。基于Retinex图像增强的目的,就是从S中估计出L,从而通过一定处理得到R。在处理过程中一般将图像转换到对数域,即s=logS,l=logL,r=logR,从而r=s-l。其数学形式可简述为

式中*表示卷积运算;F(x,y)=λexp(-(x2+y2)/c2)为高斯环绕函数,λ为归一化常数,使得c为尺度参数,控制着图像细节增强、动态范围压缩性能及色彩保真度。

2 双边滤波

双边滤波器(BF,Bilateral Filter)是一种能同时去除噪声和保持图像边缘细节的空域滤波器[7,8],是基于高斯函数的改进,由高斯滤波核与图像亮度信息相乘得来,这样在平滑滤波的同时能将图像边缘信息考虑进去,解决了高斯滤波后出现的边缘模糊问题。与高斯滤波原理相同,BF输出是通过BF与输入图像做卷积运算得到的,其实质为中心像素点领域内像素亮度值的加权平均,其数学表达式为:

式中,(x,y)为图像像素点,N(x,y)为中心在(x,y)大小为(2 N+1)·(2 N+1)的领域,(m,n)为领域像素点,I(x,y)和I(m,n)分别为(x,y)和(m,n)的亮度值,IB(x,y)为BF输出,w(m,n)为BF滤波核,是滤波权系数,由两部分乘积因子组成:

和

因此

式中ws(m,n)为空间滤波核,wr(I(x,y),I(m,n))为范围滤波核。

BF的性能由3个参数控制:滤波半径N、参数σs和σr,N控制平滑强度,σs和σr分别控制空间滤波核和范围滤波核。

3 多方向双边滤波SSR

传统的SSR算法采用高斯环绕函数估计光照,其操作简单、易实现,但当图像边缘处光照剧烈变化时,高斯环绕函数的各向同向性导致难以准确估计到光照,从而产生光晕现象。为消除光晕,估计光照时须考虑到图像中光照剧烈变化的情况。BF是具有平滑保边特性的各向异性滤波器,用于估计光照效果很好。考虑到环境的复杂性,同一幅图像可能受到多个环境光的影响,表现在像素点领域内的不同方向上,导致像素亮度变化不同。为获得更精确的光照,本文使用多方向BF代替SSR算法中的高斯环绕函数来估计光照。方法为使用多个方向的BF模板分别平滑输入图像,获得不同的光照图,然后通过融合得到最终光照。图1为算法流程。

图1 算法流程

3.1 多方向双边滤波估计光照

在多方向BF的选择上没有固定的方案,通常选取多个BF以保证不同方向的区分,但过多的BF容易降低算法效率。本文选取4个不同方向的BF方向模板,如图2所示。

图2 多方向BF方向模板

如图2所示,各模板中白色小圆圈为待处理像素点所对应的BF权系数,黑色小圆圈为待处理像素点的领域像素点所对应的BF权系数,黑色细线包围的部分即为多方向BF处理部分。

多方向BF输出即为BF方向模板对应的像素亮度值加权平均,多方向BF对图像的光照估计如下:

式中,d为不同方向,wd(m,n)为不同方向模板,Ld(x,y)为d取不同方向得到的光照图。

在处理范围滤波核时,基于Weber定律,根据图像每一点像素值与其领域内像素的差值进行判断比较,具体公式如下:

式中,当两点亮度差小于K·I(x,y)时,人眼无法辨别出该点与中心点,令其等于K·I(x,y)以增强该点对中心点的影响,K为介于0~1之间的值。

3.2 融合

图像融合分为基于像素的融合和基于区域的融合。基于像素的融合又分为像素灰度最小值、像素灰度最大值和灰度加权平均法[9]。

灰度加权平均融合法虽然计算较复杂,但是融合效果好,采用灰度加权平均法得到最终光照结果,具体如下:

式中,L(x,y)为最终融合光照图。

由于Retinex增强是通过消除光照影响来增强图像的,因此对完全消除光照与保留一定程度光照做了对比实验,发现不完全消除光照得到的增强图像效果要比完全消除光照得到的效果更自然。为此,文中增强算法保留一定程度的光照,通过式(1)中的光照图L(x,y)前面乘以一个控制系数(1-)来控制光照保留程度,其形式如下:

其中,∂∈(0,1)。

4 结果与分析

采用Matlab2010b在Pentium(R)D、2.30GHz、2GB内存的PC机上对文中提出的算法进行仿真,对增强图像进行主客观评价。实验过程中,分别用SSR算法、文献[6]算法、文中算法对不同类型的Tower、House、Scene灰度图像进行增强处理,图3、图4、图5为效果对比图。

由图3(b)可知,在塔中间部分有隐约可见的由白到黑、再由黑到白的阴影存在,即存在光晕现象,这主要是因为在进行光照估计时,光照剧烈变化处估计不准,图4(c)、图4(d)并没有出现光晕,但图4(d)效果好于图4(c),细节更为清晰。

图3 不同算法对Tower处理后的效果

图4(b)、图4(c)左边松树和大地处有种像雾一样灰蒙蒙的感觉,看起来很不自然,相比之下图4(d)的效果更自然。

图4 不同算法对House处理后的效果

图5(b)、图5(c)、图5(d)在全局视觉上没有多大差别,但在树枝和天空等细节处图4(d)效果要好得多。

图5 不同算法对Scene处理后的效果

使用均值、对比度、平均梯度客观评价标准对图像进行定量分析,数据见表1、表2、表3。

从各表数据分析可得,在均值上,各类算法都提高了图像均值,但本文算法均值提高不会过度或不足,这说明本文算法更能平衡增强图像,使增强图像更适合人眼观察。

在对比度上,Tower图和Scene图的对比度均得到了提高,但本文算法提高最大;House图对比度均降低了,但本文算法降低最小。这说明相比其余两种算法,本文算法更能提高图像对比度。

在平均梯度上,Tower图和Scene图的平均梯度均得到了提高,但文中算法提高最大;对于House图,SSR算法和文献[6]算法降低了图像平均梯度,但文中算法对其处理后,平均梯度没有下降反而提高了。这说明本文算法在图像细节增强上优于其它两种算法。

表1 均值算法对比

表2 对比度算法对比

表3 平均梯度算法对比

综上分析,本文算法能有效克服光照不均、消除光晕现象、增强图像细节,增强效果优于传统SSR。

5 结语

传统SSR算法不能解决因光照剧烈变化而产生的光晕现象,在图像细节增强上不够理想,主要是因为高斯环绕函数不能很好地估计光照图像。针对这种情况,本文研究了一种能更好估计光照的方法,提出采用多方向BF代替高斯环绕函数对光照进行估计,然后进行Retinex图像增强。实验结果表明,文中算法能有效地克服光照不均现象,消除光晕,增强图像细节,增强效果优于传统的SSR。

摘要：传统的单尺度Retinex(SSR)图像增强算法无法准确估计明暗突变剧烈区域的背景光照,增强图像易产生光晕现象且图像细节信息减弱。针对这种情况,提出一种基于多方向的双边滤波单尺度Retinex图像增强算法,利用不同方向的双边滤波器平滑输入图像,获得不同的光照图,通过融合得到光照估计,在Retinex增强时保留一定程度的光照使图像增强更加自然。实验结果表明,该方法能有效克服光照不均且可消除光晕现象,增强图像细节,其增强效果优于传统的SSR。

关键词：图像增强,Retinex,双边滤波,多方向融合,光晕

参考文献

[1]傅剑峰.Retinex图像增强方法的关键技术研究[D].合肥:合肥工业大学,2012.

[2]梁琳,何卫平,雷蕾.光照不均图像增强方法综述[J].计算机应用研究,2010,27(5):1625-1628.

[3]秦绪佳,王慧玲,杜轶诚.HSV色彩空间的Retinex结构光图像增强算法[J].计算机辅助设计与图形学学报,2013,25(4):488-493.

[4]鄢丹青,隋运峰,王雨果.自适应Retinex算法在高动态光照环境下的应用[J].计算机应用,2013,33(2):166-167.

[5]周扬,孙瑾,牛犇.一种基于改进Mean Shift滤波的Retinex彩色图像增强算法[J].计算机科学,2014,41(6):160-163.

[6]陈超.改进单尺度Retinex算法在图像增强中的应用[J].计算机应用与软件,2013,30(4):55-57.

[7]周雨薇,陈强,孙权森.结合暗通道原理和双边滤波的遥感图像增强[J].中国图像图形学报,2014,19(2):313-321.

[8]余博,郭雷,钱晓亮.一种新的自适应双边滤波算法[J].应用科学学报,2012,30(5):517-523.

Retinex理论 篇4

随着当代中国工业化和城镇化的快速发展,工业生产和个人驾车交通出行等产生的废气不断增多,绿化面积却由于城镇建设而呈现下跌趋势,恶劣天气频繁地出现。在恶劣天气条件下,我们获得的图像质量会受到严重影响。

很多户外系统的正常工作都需要获得具有一定质量的图像。例如智能交通系统中图像的拍摄,如果因为天气原因造成图像质量下降,致使无法识别车牌号码、车辆颜色,就会对智能交通系统的工作造成负面影响,导致智能交通系统无法发挥应有的功能。在视频监控系统中,很多视频监控系统采用可见光成像技术,在光照不佳、雨雾天气下,图像亮度降低、对比度减弱、清晰度下降,导致无法看清某些细节信息,因此,监控效果不佳。总之,雾霾天气下的图像增强处理有着广阔的前景和宽广的需求。

图像增强处理,就是根据给定图像的应用场合,根据应用需求强调或凸出图像的整体或局部特征,将不够清晰的较模糊图像变得更清晰,或突出感兴趣的特征,增强不同物体特征之间的区别,提高图像质量、增强图像识别效果。

1 基于Retinex的雾霾图像算法

Retinex理论是一种建立在科学实验和科学分析基础上、基于人类视觉系统的图像增强理论。该算法与线性和非线性变换、图像锐化等传统图像增强算法不同,这些算法只能对图像的某类特征进行增强处理,而Retinex具有大动态范围压缩、颜色恒常性、高色彩保真度等特点,适用于对受光照影响严重的图像进行补偿,能够提高图像的清晰度,使图像的颜色更接近原图像,图像增强后的视觉效果更佳。

中值滤波是一种非线性图像平滑技术,它对脉冲噪声有很好的滤除作用,同时能够克服线性滤波器在处理图像细节时出现模糊的问题。

本文将Retinex和中值滤波算法相结合,对含雾图像进行了增强处理。系统原理图如图1 所示。

1.1 图像增强算法

众所周知:(1)真实的世界是没有颜色的,我们平时看到的颜色是由不同强度不同频率的电磁波组成的;(2)每一个颜色区域都是由给定波长的红、绿、蓝三原色构成;(3)每个单位区域的颜色由三原色确定。

Retinex的基础理论是物体颜色是由物体对长波、中波和短波光线的反射能力决定,而不是由反射光强度的绝对值决定。物体的色彩不受光照非均匀性的影响,具有一致性,也就是说,Retinex是以色感一致性(颜色恒常性)为基础的(图2)。

单尺度(Single-Scale Retinex,SSR)算法的公式为:

其中为输出图像,*为卷积符号,是中心环绕函数,表示为:

c表示高斯环绕尺度,是一个尺度,取值必须满足以下条件:

单尺度Retinex算法的实现流程如下:

(1)读入原始图像,若为灰度图,将图像每个像素的灰度值由整数值转换为浮点数,并转换到对数域;若为彩色图,将图像的每个颜色分别处理,将每个分量的像素值由整数值转换为浮点数,并转换到对数域中,便于计算。(2)输入尺度c,在离散条件下,积分转换为求和,进一步确定参数λ 的值。(3)根据前述公式,计算得到r(x ,y );如果是彩图,则每个通道均有一个r(x , y)。(4)将r(x , y)从对数域转换到实数域得到输出图像,并以相应格式输出。

1.2 图像降噪算法

直接获取的灰度图像或通过彩色图像转换而来的灰度图像都存在噪声,噪声对图像质量影响很大。对图像进行中值滤波可去除孤点噪声,同时保持图像的边缘特性,不会使图像出现显著的模糊。

中值滤波的基本思想:将滤波窗口内像素灰度的最大值和最小值均看作噪声,以该窗口内的灰度中值代替窗口中心像素点的灰度值。

中值滤波的步骤如下:(1)将含有若干个点的滑动窗口(滤波模板)在图像中漫游,将窗口中心与图像的某个像素位置重合;(2)读取窗口中各像素的灰度值,并将这些灰度值按从小到大的顺序排成一列;(3)计算这列数据的中间数据,将其作为对应模板中心位置的像素灰度。

2 仿真实验

为了验证该算法的有效性,我们选取了一张典型的雾霾天气图像进行仿真处理。

由图3、图4 可看出图像在增强处理之后对比度、亮度和画面细节都有着显著的提升,有效信息显著增多,但经过增强处理后的图像有较明显的噪声(图4 左下的裂纹和路面颗粒明显失真)。

图5 和图6 为降噪效果对比,可以看到图中的噪声相对减少(图6 左下噪声)。同时图3 和图6 进行对比,可以清楚地看到图像增强降噪处理对图像质量的提升。

3 结论

本文提出了一种基于Retinex的雾霾图像去雾增强算法。受雾霾天气影响的失真图像用Retinex算法进行处理,再使用中值滤波对图像进行去噪处理。Matlab仿真实验表明该算法对受到雾霾天气影响的图像有着较好的增强效果,在降低噪声的情况下有较好的画面观感。

参考文献

[1]韩祥辉,王好贤.恶劣天气环境下退化图像的清晰化算法[J].计算机工程,2011.37(22):207-208.

[2]王萍,张春,罗颖昕.一种雾天图像低对比度增强的快速算法[J].计算机应用,2006.26(1):152-154.

Retinex理论 篇5

视频监控系统在夜晚或雾霾、雨雪、沙尘等恶劣天气条件下获得的图象受到严重退化, 不仅模糊不清, 对比度降低, 而且颜色失真, 大大降低了图象的使用价值, 严重影响了系统的适用性和鲁棒性。因此, 笔者开发了视频图象增强系统来克服光照不足和恶劣天气的影响, 与原有的视频监控系统结合, 提高和改善其性能。由于不同条件下图象的退化不同, 该视频图象增强系统包括一组工作模块, 分别针对特定条件对图象的退化作用进行处理。

本文主要研究雾天降质图象模块。在有雾的天气条件下, 图象退化是由物体反射光被大气中的水蒸气颗粒和灰尘等微粒散射作用引起的。现有雾天降质图象处理技术主要有2类:图象增强和图象复原。图象复原技术[1,2,3]需要图象场景深度和大气条件等先验知识来恢复退化前的图象, 由于实际退化情况十分复杂, 复原模型运算比较繁琐, 因此, 难以满足实时性的要求;图象增强技术[4,5]则避开了对场景深度和大气条件的依赖, 有效地突出细节信息, 降低了算法的复杂度, 提高了算法的通用性和实时性, 且使处理结果更适合人类的视觉特性或机器的识别系统, 但现有方法仍存在全局或局部对比度低、偏色等问题。

本文利用Retinex的色彩恒常性, 基于MSR算法, 并对其进行改进, 提出一种雾天降质图象的增强算法, 有效提高了图象的对比度, 实现了颜色恢复, 且改进算法提高了算法的运算效率。本文以室外视频监控图象为例进行研究的成果完全适合矿井监控和其它工业监控中粉尘、水雾和光照不足情况下图象增强的应用, 具有广阔的应用前景。

1 Retinex理论

Retinex是视网膜 (Retina) 和大脑皮层 (Cortex) 的缩写, 是Land等提出的一个关于人类视觉系统如何调节感知到物体的颜色和亮度的模型。Retinex图象增强算法是一种建立在科学实验和科学分析基础上的图象增强理论。作为人眼感知亮度和色度的视觉模型, 该理论论述了人眼视觉系统是如何获取景物的图象, 并具有色彩恒常性, 即在不同亮度情况下分辨物体灰度级 (亮度) 的能力。Retinex模型定义理想的图象f (x, y) 为

$f(x,y)=i(x,y)\times r(x,y)(1)$

即一幅图象f (x, y) 可以用环境亮度函数i (x, y) 和景物反射函数r (x, y) 的乘积来表示。环境亮度函数i (x, y) 描述周围环境的亮度, 与景物无关;而景物反射函数r (x, y) 是指景物反射能力, 与照明无关, 它包含了景物的细节信息。基于该模型, 得到的环境亮度函数i (x, y) 是一种变化缓慢的图象的低频信息, 而反射函数r (x, y) 则包含着图象中的大部分高频细节信息。入射光I直接决定了一幅图象中像素能达到的动态范围, 反射物体R决定了图象的内在性质。Retinex理论的实质就是从图象F中抛开照射光I的影响来获得物体的反射性质R, 即获得物体本来的面貌, 具有提高全局对比度和局部对比度、增强边缘、颜色恒常、颜色高保真等特性。

自Retinex理论提出以来, 先后出现了不同版本的算法, 其中中心环绕Retinex算法不仅实现和操作比较容易, 同时较之以前版本的算法, 其运算速度得到显著提高, 处理效果更好, 应用最为广泛, 并发展为单尺度Retinex (SSR, Single Scale Retinex) 算法[6], 进而产生了多尺度Retinex (MSR, Multi-scale Retinex) 算法[7]。

2 MSR算法

SSR算法的数学形式为

式中:Ri (x, y) 为Retinex在第i个颜色谱段的输出, 即坐标 (x, y) 位置的亮度值;F (x, y) 为环绕函数;*表示卷积运算。

SSR算法的卷积项可以看作是对空间照度的计算, 其物理意义是通过计算像素与其周围区域加权平均值的比值来消除照度变化的影响。

环绕函数形式为

$F(x,y)={\rm K}\exp [-(x{}^2+y{}^2)/c{}^2](3)$

式中:K为规一化因子, 使∫∫F (x, y) dxdy=1;c为高斯环绕函数的尺度常数。

从式 (3) 可看出, 尺度常数c的大小决定了卷积核的作用范围, c越小, 动态范围压缩大, 图象的局部细节较突出;c越大, 图象的整体效果越好, 图象颜色越自然, 但局部细节不清晰。

单个尺度很难同时达到动态范围压缩大和颜色恒常性好, 因此, 需要采用MSR算法。MSR算法的数学形式为多个SSR处理结果的加权平均:

$\begin{array}{l}R{}_{\text{Μ}{}_i}(x,y)={\displaystyle \sum _{n=1}^{{\rm N}}w}{}_{n}R{}_{n{}_i}(x,y)(4)\\ R{}_{n{}_i}(x,y)=\log {\rm I}{}_i(x,y)-\log [F{}_n(x,y)*\\ {\rm I}{}_i(x,y)](5)\end{array}$

式中:RMi (x, y) 为多尺度Retinex在第i个颜色谱段的输出;N为尺度个数;wn为对应每一个尺度的权值;Rni (x, y) 为第i个颜色谱段第n个尺度的输出分量。

多尺度Retinex同时包括了多个尺度的特征, 能够同时实现动态范围的压缩、颜色恒常性和颜色的重现, 使图象的处理效果更加理想。

3 基于MSR算法的雾天降质图象增强算法

MSR算法在处理图象时, 虽然通过计算图象亮度和其周围局部亮度的平均值的比值可以消除光照影响, 估计图象中物体的反射分量, 但存在下列问题: (1) MSR算法是在RGB颜色空间对3个谱段的图象分别进行处理的, 因此, 在图象平坦区域, 3个谱段处理结果近似相等, 从而失去了原来颜色信息的关系, 呈现灰色调; (2) 由于雾天图象景物深度信息多变, 图象中不同区域存在强度差, 这些信息是通过不同尺度保留在原图象中。因此, 本文将MSR算法处理结果与原图象相结合, 由于MSR算法是在对数域中进行, 因此, 可以引入原图象对数分量来恢复原图象中关于不同区域的亮度差的信息, 从而保留原图象亮度的全局对比度, 同时引入原始图象的颜色信息, 来恢复平坦区域的颜色。算法的数学形式表述为

$R{}_{{\rm M}{}_i}(x,y)={\displaystyle \sum _{n=1}^{{\rm N}}w}{}_{n}R{}_{n{}_i}(x,y)+w{}_{\text{o}}\log {\rm I}{}_i(x,y)(6)$

式中:wo为原图象自然对数分量的权值。

典型的MSR算法一般取小 (c<50) 、中 (c=50～100) 、大 (c>100) 这3个尺度卷积核, 由于结合了原始图象, 所以算法中环绕函数尺度无需大尺度卷积核, 可用2个小尺度卷积核和1个中尺度卷积核, 不仅使图象的细节更清晰, 颜色保真度更高, 全局对比度更高, 同时去除大尺度卷积运算, 抑制了图象的晕环效应, 提高了算法的运算效率。

为了进一步增强雾天图象的细节信息, 可以先对原始图象进行边缘增强, 再与MSR算法处理结果相结合。如用拉普拉斯算子提取图象边缘与原始图象相加, 得到边缘增强图象。

$\begin{array}{l}LA{\rm P}=\left[\begin{array}{ccc}0& -1& 0\\ -1& 4& -1\\ 0& -1& 0\end{array}\right](7)\\ {\rm I}{}_{\text{E}\text{Ν}{}_i}(x,y)={\rm I}{}_i(x,y)+{\rm I}{}_i(x,y)*LA{\rm P}(8)\end{array}$

将式 (7) 、式 (8) 代入式 (6) 得:

$R{}_{{\rm M}{}_i}(x,y)={\displaystyle \sum _{n=1}^{{\rm N}}w}{}_{n}R{}_{n{}_i}(x,y)+w{}_{\text{o}}\log {\rm I}{}_{E{\rm N}{}_i}(x,y)(9)$

通过仿真发现, 经上述算法处理后图象细节得到明显增强, 但动态范围较小。为了获得好的显示效果, 需要对处理结果进行动态范围的调整, 最简单的方法就是采用线性拉伸方法。由于处理后的雾天图象直方图近似正态分布, 为了使图象有更好的显示效果, 同时又不改变3个颜色谱分量灰度值的相应关系, 首先分别对每一个颜色谱分量进行截取, 确定总体灰度值范围, 再统一拉伸到输出设备对应的动态范围, 可以表示为

$R{}_{\text{o}\text{u}\text{t}{}_i}=\{\begin{array}{cc}R{}_{\text{l}\text{o}\text{w}{}_i}‚& R{}_{\text{Μ}{}_i}\le R{}_{\text{l}\text{o}\text{w}{}_i}\\ R{}_{\text{Μ}{}_i}‚& R{}_{\text{l}\text{o}\text{w}{}_i}<R{}_{\text{Μ}{}_i}<R{}_{\text{u}\text{p}{}_i}\\ R{}_{\text{u}\text{p}{}_i}‚& R{}_{\text{Μ}{}_i}\ge R{}_{\text{u}\text{p}{}_i}\end{array}(10)$

式中:Routi为第i个颜色谱分量截取两端灰度值的输出。

根据正态分布特性, Rlowi和Rupi可以由截取比例计算出置信系数, 再根据各颜色谱分量灰度值的均值μi和方差σi来确定。例如两端各截取1%的灰度值, 则:

$\{\begin{array}{l}R{}_{\text{l}\text{o}\text{w}{}_i}=\mu {}_i-2.33\sigma {}_i\\ R{}_{\text{u}\text{p}{}_i}=\mu {}_i+2.33\sigma {}_i\end{array}(11)$

截取后图象灰度级的范围为[Rlow, Rup], 其中Rlow=min{Rlowi}, Rup=max{Rupi}, 则:

${\rm I}{}_{\text{o}\text{u}\text{t}{}_i}=\frac{R{}_{\text{o}\text{u}\text{t}{}_i}-R{}_{\text{l}\text{o}\text{w}}}{R{}_{\text{u}\text{p}}-R{}_{\text{l}\text{o}\text{w}}}\times d{}_{\max }(12)$

式中:Iouti为线性拉伸后第i个颜色谱分量的灰度值输出;dmax为输出设备的动态范围, 8 bit系统为255。

4 实验结果与讨论

为了验证本文算法的有效性, 分别对多幅雾天降质图象在Matlab平台上进行增强处理, 其中1组雾天图象的处理结果比较如图1所示。

从图1可看出, 图1 (a) 为雾天拍摄的图象, 不仅模糊不清, 能见度低, 而且颜色失真;图1 (b) 为图1 (a) 应用参考文献[4]算法处理后的图象, 清晰度得到明显提升, 但由于MSR算法在RGB颜色空间分别对3个颜色谱分量灰度值分别处理, 使处理后图象颜色整体呈灰色;图1 (c) 将MSR处理结果 (尺度N为3, 环绕尺度c分别为15、25、80) 与原始图象对数分量相加, 加权系数均为1/4, 3个颜色谱分量灰度值先分别进行正态截取, 左右各截取1%, 然后进行全体灰度值线性拉伸, 将最小值映射到0, 最大值映射到255, 有效地提高了图象的全局对比度及清晰度, 校正了图象的颜色失真;图1 (d) 与图1 (c) 的不同之处是将原始图象先用拉普拉斯算子进行边缘增强后, 再与MSR处理结果相结合, 使处理图象具有更清晰的边缘。表1用三颜色分量均值、标准差、熵和清晰度的平均值这些指标对图1中各图象进行了定量的比较。比较结果表明, 本文提出的算法有效地改善了雾天降质图象的视觉效果, 与参考文献[4]算法处理后的图象相比, 进一步改善了图象亮度, 抑制了图象噪声, 提高了图象的信息量和清晰度。

表1中, 清晰度定义为每一点像素灰度值向周围8邻域方向的扩散程度的平均值[8], 可表示为

$DEF=\frac{{\displaystyle \sum _{i=1}^{{\rm M}\times {\rm N}}}{\displaystyle \sum _{j=1}^8|}df|\times |dx|}{{\rm M}\times {\rm N}}(13)$

式中:df为灰度值差;dx为像素距离。

5 结语

本文利用MSR算法的色彩恒常性对雾天降质图象进行去雾处理, 并且对MSR算法提出改进, 去掉大环绕尺度, 采用2个小尺度和1个中尺度处理结果与原始图象经拉普拉斯算子增强边缘的对数分量相结合, 且后处理为了不改变3个颜色分量的相应关系, 对3个颜色分量分别进行正态截取, 再统一线性拉伸至输出设备的动态范围。仿真结果表明, 该算法有效地提高了图象对比度及清晰度, 抑制了晕环效应, 实现了颜色恢复, 同时提高了运算效率。

摘要：雾天图象受到严重退化, 大大降低了图象的使用价值。利用Retinex理论的颜色恒常性, 通过提取照度分量来去除雾天对图象的退化作用。指出MSR算法处理雾天图象的不足, 提出将MSR算法处理结果与原图象结合的改进方法:引入原图象对数分量和颜色信息, 以保留原图象亮度的全局对比度和恢复平坦区域的颜色;提出进一步增强雾天图象细节信息的方法:将MSR处理结果与边缘增强的原始图象相结合, 然后对输出图象各颜色分量先进行正态截取, 再统一拉伸到显示设备的动态范围。实验结果表明, 该方法能取得较好的图象去雾效果。

关键词：图象处理,雾天降质图象,图象增强,多尺度Retinex,MSR,改进

参考文献

[1]OAKLEY J P, SATHERLEY B L.Improving ImageQuality in Poor Visibility Conditions Using a PhysicalModel for Contrast Degradation[J].IEEE Trans.Image Processing, 1998, 7 (2) :167-179.

[2]祝培, 朱虹, 钱学明.一种有雾天气图象景物影像的清晰化方法[J].中国图象图形学报, 2004, 9 (1) .

[3]芮义斌, 李鹏, 孙锦涛.一种交互式图象去雾方法[J].计算机应用, 2006, 26 (11) :2733-2735.

[4]芮义斌, 李鹏, 孙锦涛.一种图象去薄雾方法[J].计算机应用, 2006, 26 (1) :62-64.

[5]王萍, 张春, 罗颖昕.一种雾天图象低对比度增强的快速算法[J].计算机应用, 2006, 26 (1) :152-154.

[6]JOBSON D J, RAHMAN Z, WOODELL G A.Properties and Performance of a Center/SurroundRetinex[J].IEEE Trans.Image Processing, 1997, 6 (3) :451-462.

[7]JOBSON D J, RAHMAN Z, WOODELL G A.AMultiscale Retinex for Bridging the Gap between ColorImages and the Human Observation of Scenes[J].IEEE Trans.Image Processing, 1997, 6 (7) .

Retinex理论 篇6

关键词：去雾,大气物理模型,多尺度Retinex算法

0 引言

雾是由于大气中悬浮的水汽凝结而造成能见度降低的一种天气现象。在雾天天气条件下,大气能见度下降,致使光学器材获取的图像对比度下降,使图像退化,以至模糊,从而影响图像中信息提取,并且极大地限制和影响了户外视觉系统(如户外的监测、监控、自动导航、目标跟踪等)的正常工作,也严重地影响了人们的生活。因此对这种自然现象引起图像质量下降开展研究具有普遍的实际意义。

目前,图像去雾技术主要有两种:一种是不考虑图像退化的原因,从图像呈现的低亮度和低对比度的特征考虑,采用增强的方法处理。目前使用较多的是直方图均衡化和基于Retinex理论的MSR算法。文献[1]针对其难以匹配模板内景物深度突变信息问题,提出了一种基于幂函数的自适应加权部分重叠直方图均衡改进算法。文献[2]根据Retinex理论及有雾图像直方图的特点,分析了MSR算法,采用正态截取拉伸对其输出图像进行处理,取得了较好的图像去薄雾效果。文献[3]将直方图幂次变换函数均衡化法和基于Retinex理论的图像增强法相结合,提出了以图像方差指标作为结合与否的判据,达到了自适应处理薄、浓雾天降质图像的目的。

另一种是从造成图像退化的具体原因和物理成因的角度对大气散射作用进行建模分析,实现场景复原。文献[4]根据大气散射物理模型,利用图像的稀疏先验知识,在贝叶斯框架下提出一种单幅图像去雾算法。文献[5]中,该算法从大气散射模型出发,通过对大气光照进行白平衡,从而简化大气散射模型;利用快速双边滤波方法估计大气耗散函数,进而恢复场景反照率。文献[6]中提出了一个暗原色先验的方法对图像进行去雾。

以上两种方法都有不足之处,在图像去雾的过程中,图像增强方法虽然增强了图像中雾化部分的对比度,但同时也削弱或去除了图像中没有被雾化部分的信息。物理模型的方法中,因为图像的景深是未知的,所以很难得到图像的衰减因子,只能大概估算衰减因子,得到结果误差比较大。结合上述两种方法本文提出了一种图像去雾方法,该方法先对已有的图像退化模型进行改进,使得改进后的模型能够适应MSR算法,再根据MSR算法对改进后的图像退化模型进行处理,有效去除雾化效果。本方法不仅能有效去除雾化效果,还大幅降低了图像的失真率。为了消除天空中的异变,引入了Matting方法,从而实现彩色退化图像的复原。

1 基于MSR算法的图像去雾方法

1.1 大气物理模型

大气与光的相互作用主要有3类:散射、吸收和辐射。其中,散射是由空气中的悬浮微粒产生的。在有雾等恶劣天气条件下,散射是造成图像退化的主要原因。

大气散射是一个复杂的过程,它取决于大气中悬浮微粒的类型、大小、浓度以及光的波长、极化状态等。Mc Cartney于1975年提出了著名的大气散射模型,即在雾天情况下,大气散射模型中起主导作用的是其中的衰减模型和环境光模型,景物图像的光照总强度可以等效成经大气衰减后景物辐射光和周围环境中的各种光经过大气悬浮微粒所产生的散射光的线性叠加,经过后人的改进和总结得到如下模型[7]:

其中,I(x)是指观测到的图像的强度;J(x)是物体的反射特性,即所要得到的图像的归一化处理;A是大气光线;t(x)是传递函数。

方程右边的第一项AJ(x)t(x)叫做直接衰减项,即前面说的衰减模型,第二项A(1-t(x))则是大气光成分,即前面说的环境光模型。t(x)可以表示为:

式中,d为场景点到观测点的距离,称为景物深度;β为大气的散射系数,与可见光波长λ有关。

式中:γ取决于大气中悬浮微粒的大小,悬浮微粒越大,γ越小;对于浓雾,γ≈0,此时的β可以近似认为是常数,这正是雾天能见度低的原因所在。

1.2 Retinex理论

Retinex理论[8]是基于色彩恒常的一种代表性计算理论,其全称是视网膜皮层理论(Retinal-cortex theory),最初由Land于20世纪70年代初提出。Retinex理论认为人类知觉到的物体表色与物体表面的反射性质有着密切的关系,而与投射到人眼的光谱特性关系不大。照度引起的颜色变化一般是平缓的,通常表现为平滑的照明梯度,而由表面变化引发的颜色变化效应则往往表现为突变形式。通过分辨这两种变化形式,人们就能将图像的照度变化和表面变化做出区分,从而得知由照度变化引起的表色变化,使对表色的知觉保持恒常。

Retinex理论指出,人眼中图像的成像,主要由两大元素决定,分别为入射光和反射物体,成像过程可以用式(4)表示:

其中:L(x,y)表示入射光;R(x,y)表示物体的反射特性,即所得的图像的归一化处理;S(x,y)是反射光,被观察者的眼睛或者照相机接受,就形成了物体的图像。Retinex理论同时指出,入射光L(x,y)直接决定了一幅图像中像素能达到的动态范围,反射物体R决定了图像的内在性质。Retinex理论的实质就是从图像S中获得物体的反射性质R,即抛开入射光的性质来获得物体的本来面貌,而从图像增强的角度来理解,这个物体的本来面貌就是我们所要得到的增强后的图像。

由Retinex理论可知,直接获得物体反射部分是不现实的,因此可以先估计出入射光部分L(亮度图像),而S是已知的,然后通过式(4)求解得到反射部分R(反射图像),也就得到了增强后的图像。根据Retinex理论,Jobson[9]提出了单尺度Retinex算法,简称为SSR算法SSR(Single-Scale Retinex)。对于入射光部分L的估计,Jobson论证了高斯卷积函数可以从已知图像S中更好地估计出入射部分L,其可以表示为:

其中:c是尺度常量,c越小,灰度动态范围压缩的越多,c越大,图像锐化的越厉害。λ是归一化函数,使得上述函数满足:

为了便于计算,对式(4)作对数域处理,这有两个好处:

1)对数形式更接近人眼亮度感知能力。

2)可以将复杂的乘积形式变成简单的加减形式。

在式(4)的基础上得到式(7):

其中r(x,y)=log(R(x,y)),s(x,y)=log(S(x,y)),l(x,y)=log(L(x,y))。

由以上分析可以得到增强模型:

通过式(8)可以得到R(x,y)的对数形式,从而可以进一步得到R(x,y),即得到了增强后的图像。

显然,SSR的性能很大程度上取决于环绕尺度c,因此,Jobson在SSR的基础上提出了MSR(Multi-Scale Retinex)算法:

其中,N是尺度个数;ωn为第n个尺度的加权系数,满足。

1.3 本文方法

在前人工作的基础上,本文利用大气物理退化模型与MSR算法相结合进行图像去雾,该方法先对退化图像进行建模,再根据MSR算法对建模后的图像进行处理,有效去除雾化效果,实现彩色退化图像的复原。首先本文对式(1)进行变形,得到:

然后,我们假设I'(x)=A-I(x),J'(x)=1-J(x),A'=At(x)这样我们就能把上式简化成:

其中称I'(x)是“观测图像”,即相当于式(4)中的S(x,y);J'(x)是“清晰无雾图像”,即相当于式(4)中的反射特性R(x,y),A'是大气光线,即相当于式(4)中的入射光L(x,y),经过这样的改变,可以得到能用MSR处理的图像退化模型,并且使得MSR算法处理的图像更接近于图像的成像原理,从而使得最后得到的结果更加准确,失真度更小。然后根据MSR算法对观测图像I'(x)进行处理,得到J'(x),再由J'(x)=1-J(x)得到J(x),再还原得到清晰图像。经过上面步骤能够得到的清晰图像,但是图像中的天空部分会产生异变。为了消除这种异变,我们引入Matting[10]方法。Matting是一种基于α估计的图像前景提取技术。Matting的目标就是准确、便捷、快速地从前、背景边界模糊或者前景半透明的图像中提取出前景对象。我们可用Matting方法提取出原图的背景和经过MSR处理的图像的前景,把它们相加得到最后结果。

本文提出的去雾方法总结如下:

(1)输入一幅图像I(x)。

(2)对输入的图像I(x)按照改进后的模型进行训练得到I'(x)。在训练的过程中要注意A的取值问题。一般A如文献[9]的方法进行取值就可以了,但有的时候由于摄像设备和环境的问题,按照文献[9]的方法得到的A值并不能完全体现出大气光线。比如当一幅图像过于灰暗时,如果用文献[9]的取值方法所得到A的值进行训练,会使训练后的图像I'(x)过于灰暗而影响实验。我们可以适当的把A值取大一点,这样有利于实验的进行。

(3)对训练后的模型用MSR方法进行处理。

(4)对上一步处理的结果进行还原。在这一步中分为两个小步,首先把得到的J'(x)还原为J(x),这样得到的是归一化的清晰图像,再把归一化的图像进一步还原得到一幅彩色图像。

(5)利用Matting方法提取出原图的背景。

(6)利用Matting方法提取出第4步结果所得图像的前景。

(7)把第(5)步和第(6)步的结果相加得到最后结果。

2 实验结果及分析

为了验证本算法的有效性和实用性,本文进行了大量的图像去雾实验,并与图像直方图均衡化和MSR算法得到的结果进行了比较。实验结果如图1所示,图1(a)是一幅雾天拍摄到的图像,图1(b)为直方图均衡化得到的结果,图1(c)为MSR算法得到的结果,图1(d)为本文得到的结果。从图1中可以明显的看出本文方法和MSR算法所得到的结果都要比直方图均衡化好。MSR算法得到的结果得到的图片中人物比较模糊,而且图1(c)中小棚子中的条纹与原图也有校大差异,由原来的红色变成了土黄色。从图1(d)可看出,本文方法得到的结果中人物更清晰,小棚子中的条纹也没失真,并且能清晰的看见图中的面包车,而且能比较清楚的看见屋后面的小树林,这是其它方法所不具备的。另外一方面,本文得到的结果中天空部分的异变也比MSR算法得到的结果少。由上可知本文方法得到的结果能够清晰还原图像,并且失真率比较小。

本文还实验分析了式(13)中参数A的取值对本文提出方法效果的影响,如果要处理的图像过于灰暗,按照文献[6]对A进行取值,由于A过小,使得I'(x)几乎为黑色,对实验影响极大,从而使得到的结果效果极差,如图2(b)所示。所以在这种情况下可以适当的增大A值,当然A不是取得越大越好,如图2(d)为A取最大值时所得结果,效果并不好。当A设置为适当的中间值时,效果会更好,如图2(c)所示。

上述方法中所得到的结果中的天空部分都会产生异变,为了解决这个问题,在这里我们采用Matting方法对图像进行后处理。对图3(a)所示的原图像经过Matting方法处理得到结果如图3(b)所示。加上Matting后处理步骤后,本文提出的方法效果很理想。图4(a)为未进行Matting后处理的本文结果,对图4(a)用Matting处理后可以提取到图像的前景部分如图4(b)所示。同理,对图3(a)的原图像进行Matting处理可以提取到图像背景如图4(c)所示。再把图4(b)和图4(c)相加就得到天空没有异变的去雾图像,如图4(d)所示。但是由于在进行Matting处理的过程中有一个行动编辑的过程,本文还要对两幅图像进行手动编辑,所以图像处理的精度会下降,主要表现在前景和背景的交接处会丢失少部分图像信息。本文的Matting的相关论文及代码来源于网站:http://www.alphamatting.com/datasets.pnp。

3 结语

本文在多尺度Retinex算法的基础上,结合大气物理退化模型,经过Matting方法对图像进行后处理实现雾天图像的复原。最后对本文新方法进行了仿真,取得了很好的复原效果。本文方法对处理图像近景部分(即图像中没有被雾化的部分)的处理效果不是很理想。

参考文献

[1]曾飞.一种雾天视觉图像增强新算法[J].湖南科技大学学报:自然科学版,2010,25(3):85-89.

[2]芮义斌,李鹏,孙锦涛.一种图像去薄雾方法[J].计算机应用,2006,26(1):154-156.

[3]吴振宇,姚洪利,杜少军.一种自适应的雾天降质图像清晰化方法研究[J].电光与控制,2006,17(8):52-56.

[4]王多超,王永国,董雪梅,等.贝叶斯框架下的单幅图像去雾算法[J].计算机辅助设计与图形学学报,2010,22(10):1756-1761.

[5]禹晶.基于物理模型的快速单幅图像去雾方法[J].自动化学报,2011(2):143-149.

[6]He K M,Sun J,Tang X O.Single image haze removal using dark channel prior[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Miami.USA:IEEE,2009:1956-1963.

[7]S G Narasimhan,S K Nayar.Contrast restoration of weather degraded images.PAMI,25:713-724,2003.R Tan.Visibility in bad weather from a single image[C].CVPR,2008.

[8]黄华,王孝通.基于Retinex理论的图像增强算法[J].四川兵工学报,2009,30(1):64-68.

[9]Jobson D J,Rahman Z,Woodell G A.Proerties and performance of a center/surround retinex[J].IEEE Trans Image Processing,1997,6(3):451-462.

Retinex理论 篇7

在石油化工企业, 由于生产工艺复杂, 生产原材料和产品都是易燃、易爆品, 易突发灾难事故, 安全生产尤为重要。同时石化企业大气污染严重, 雾霾天气多发, 这会降低安防系统所获得的图像的质量, 直接影响到对监控目标的检测和识别, 进而影响到企业的安全生产。因此有必要对视频监控图像进行清晰化处理。

2 Retinex去雾概述

目前国内外对图像去雾处理的研究主要有图像复原和图像增强两种方法。这里讨论基于图像增强的Retinex算法。Retinex理论中图像可以表示为:

即图像的任何一个像素点可以表示为环境亮度L和景物反射R的对应点的乘积。

3 Retinex去雾算法在雾天石化企业图像清晰化处理中的意义

石化企业产品易燃易爆, 安全生产在石油化工企业中尤为重要。由于石化企业污染严重雾霾多发, 雾霾的存在使得石油化工企业室外视频监控得到的数字图像质量退化, 降低视频监控质量。这将会对工作人员的监控造成严重的干扰。Retinex去雾算法可以有效的处理石化企业严重雾霾时的图像, 改善图像的视觉效果, 提高降质图像的对比度, 对安防监控显得意义重大。

4 Retinex去雾在雾天石化企业图像清晰化处理中的应用

Retinex理论可以分为以下几种:

4.1 随机游走Retinex

指的是下一个像素是从当前像素的邻域中随机选择, 设图像路径上有n个像素点, 起点A和终点B之间的明暗可以表示为:

4.2 同态滤波Retinex

同态滤波Retinex方法是将随机游走Retinex方法的一维路径扩展到二维路径, 将像素比较运算代之以空域卷积运算, 也称为局部Retinex方法。

4.3 泊松方程式Retinex

此法反射分量简化为分段线性常数, 其导数会沿着图像边缘为较大值, 而其它处为0。表达式为:

4.4 基于迭代计算的Retinex

然后将图片中的所有像素初始化为图片的。对选定路径上的像素进行比较, 与上一次的比较结果累积, 当累积结果超过原始图像亮度最大值的时候, 保持为原始图像的最大值。

4.5 中心环绕Retinex

中心环绕Retinex法无需迭代计算, 容易实现、运算速度大幅提高, 实际应用广泛。它包括单尺度Retinex (SSR) 、多尺度Retinex (MSR) 、具有颜色恢复的多尺度Retinex (MSRCR) 。

4.5.1 SSR数学形式如下式所示:

4.5.2 MSR

MSR方法为多个尺度SSR加权平均:实验发现, 采用一个小尺度、一个中尺度、一个大尺度可以产生较好的颜色, 无明显的光晕。MSR方法通过多个不同尺度的SSR结果加权平均, 图像的色感一致性好, 能够削弱光晕, 使图像的处理效果更理想。

SSR或MSR分别处理一幅彩色图像的R、G、B分量, 易造成颜色失真, 使图像的局部区域呈现灰色。由此提出了MSRCR。该方法先是进行颜色转换, 将图片由RGB空间转换到HIS空间, 对亮度分量I使用多尺度Retinex算法、进行滤波处理, 得到估算出的图片的反射分量, 对得到的反射分量进行加权平均, 之后进行空间反变换, 将图片由HIS空间转回RGB空间。最后进行颜色恢复, 得到清晰的图片。

5 Retinex图像清晰化方法仿真结果分析

基于表1的分析, 我们发现在石化企业严重雾霾天气下, 可以采用Retinex增强监控视频图像的对比度。原图像对比度低、细节信息模糊, 颜色偏向灰白色。经SSR处理后得到的图像部分偏亮, 颜色失真。经MSRCR算法处理后得到的图像对比度得到了进一步的增强, 同时图像颜色无失真。Retinex算法处理后得到的图像方差和信息熵都增加, 表明图像对比度增加, 信息量更加丰富。平均灰度更接近于128, 表明增强后的图像色彩更加适合人眼系统。

6 结语

随着科技的发展, 数字图像去雾技术在不断发展进步, 在图像去雾方面, 基于Retinex去雾算法对提高石化企业严重雾霾图像对比度效果显著, 已得到广泛的应用。在算法方面, 今后在应用上主要注重处理的实时性, 这对今后图像去雾在各个领域的应用十分必要。

摘要：本文对Retinex去雾算法进行了介绍, 分析了Retinex算法的国内外研究现状和发展趋势。Retinex算法在雾天石化企业安防监控中可以发挥很大的作用, 能有效的提高监控图像的对比度, 再现严重雾霾条件下图像场景。最后对Retinex算法在雾天图像处理中的应用做了展望。

关键词：Retinex去雾,石化企业,视频图像清晰化

参考文献

[1]赵晓霞.基于Retinex理论的视频图像增强系统研究[D].中国矿业大学 (北京) .博士学位论文, 2011.

[2]钟仡龙.单幅图像去雾处理算法研究及软件实现[D].西南交通大学研究生学位论文, 2012.

[3]Jung C, Sun T, J i ao L.Eye detection under varyi ng illumination using the retinex theory[J].Neurocomputing, 2013, 113:130-137.