多传感图像

多传感图像（共7篇）

多传感图像 篇1

摘要：信息融合技术作为一门新兴学科,近年来已取得突飞猛进的发展,已在军事和民事方面获得了广泛的应用,对人类的生产生活方式产生了重大的影响。主要介绍了多传感器图像融合的3个融合层次及在每个融合层次典型的融合方法。单一的融合方法有各自的优势和不足,为了克服单一融合方法存在的问题,可以将单一的融合方法进行结合,通过从灰度标准差、平均灰度梯度和熵等方面对融合后图像效果比较可以发现,将两种单一的融合方法结合,可以很好地实现优势互补,获得更理想的融合效果并对多种不同的融合方法进行分析总结,可以为融合算法的应用提供一定的参考。

关键词：多传感器,信息融合,融合层次,融合算法,效果评价

0 引言

多源信息融合又称为多传感器数据融合(MultiSensor Data Fusion,MSDF),其基本原理是模拟人大脑综合处理各种信息的过程,利用计算机对获得的多源数据按照一定的规则算法进行综合、过滤、相关、识别和融合等处理,从而得到对被测对象的一致性评价及看法[1]。

近年来,图像融合的理论研究迅速发展,图像融合技术也被广泛地应用于各个领域,例如模式识别、医学影像、遥感探测、工业过程控制、安全导航、反恐检查、环境保护、交通监测等[2]。国外对图像融合技术的研究较早,目前已将图像融合技术用于卫星获得的遥感图像[3],从而获得对被测目标的进一步了解;在军事和医学领域,图像融合技术也慢慢崭露头角,如英国的CON-DOR2系统、美国的MANTIS系统以及GE公司于2001年6月推出的Discovery LS[4],都将图像融合技术成功应用其中,并因此产生了巨大的经济和社会效益。我国对图像融合技术的研究相较于国外虽然起步略晚,但随着国家和社会各界对图像融合技术越来越重视,近年来不论是在理论研究还是应用上都取得了的一定的进展。如由四川大学研究的多航管雷达数据融合系统[5],性能已达世界领先水平,而且已成功运行于多家航空港。单个传感器获得的信息通常不完整也不够精确,有时还会出现对立、模糊的情况,带有很大的不确定性,而多传感器信息融合可以有效提高所获得信息的准确性和可信性[1]。同时,图像信息相比于其他一般信号具有更高的特殊性和复杂性,研究的深度和完善程度也远不如对一般数据融合的研究,因此本文主要介绍了多传感器图像融合算法,对目前常用的融合算法及其优缺点作了分析归纳。随着小波变换被成功应用于图像处理领域,融合的效果在一定程度上也获得了很大的提升[6],但是,小波融合算法仍然存在一些问题和不足。为了使融合效果达到更优,可以将小波变换(Wavelet Transform,WT)分别与HueSaturation-Intensity(HSI)变换和主成分分析(Principal Component Analysis,PCA)变换相结合并从灰度标准差、平均灰度梯度和熵等三个方面对多种融合方法获得的图像处理结果进行了对比评估,进而又对多传感器图像融合技术做了深入阐述,并给出了总结和展望。

1 多传感器图像融合的一般处理过程

多传感器图像融合可分为图像预处理、图像配准、图像融合三个主要过程[7]。

1.1 图像预处理

图像预处理包括图像归一化(如灰度插值、灰度均衡)、图像滤波、图像色彩增强、图像边缘增强等。图像归一化的目的是为了实现图像、分辨率、灰度等的归一化;图像滤波技术主要针对于高分辨率图像,其目的是获取高分辨率图像的纹理信息;图像色彩增强主要针对低分辨率图像,其目的是增加图像的色彩反差,在保持图像原有光谱信息的基础上使得图像色彩比较明亮,把低分辨率图像的光谱信息反映到图像上;图像边缘增强主要是针对高分辨率图像,其目的是在尽可能地降低图像噪声的同时使图像层次分明、边缘清晰[8]。

1.2 图像配准

图像配准是指将参与融合的图像(可能来自不同的时间和空间)进行对应,特别是进行几何校正,最终获得的效果一般体现在像素层上。图像配准可通过坐标变换和仿射变换来实现,图像配准可分为相对配准和绝对配准,还可以分为基于区域的配准和基于特征的配准。图像配准的精度对图像融合的效果影响较大,如果出现一个像素的空间误差,融合结果就会出现重影,对融合图像的质量产生严重影响[9]。

1.3 图像融合

对传感器获得的多幅图像完成预处理和图像配准后,便可进行图像融合。图像融合是指将关于同一目标获得的多幅原始图像经过图像处理和计算机技术等,最大限度地提取原始图像中的有用信息,并将其融合成一幅新的图像,从而获得对被测目标的更可靠认识[10]。

1.3.1 多传感器图像融合的三个层次

多传感器图像融合方式按照层次由低到高可分为三个层次,像素级、特征级和决策级[11]。

(1)像素级融合。像素级融合也常称为数据级融合,属于融合的最底层,其融合主要是在传感器采集的原始数据上进行[12]。像素级图像融合是目前常用的算法,应用也最为广泛。其优点是数据损失量最少、精度相对最高,但是处理的数据量最大,抗干扰能力比较差,而且要求传感器必须是同类的。

(2)特征级融合。特征级融合属于融合的中间层,它与像素级融合最明显的差异是特征图像融合在信息融合之前需要先对传感器获得的图像信息进行特征提取,如提取图像的轮廓边缘、亮度较高区域等,然后再进行融合[13]。特征级融合优点是有效地实现了信息压缩,降低了通信带宽要求,缺点是在提取过程中因丢失部分数据使得出的结果正确率降低。

(3)决策级融合。决策级融合属于融合的最顶层,它在完成特征提取后,先基于每个传感器获得的图像得出一个初步的判定结果,再对各传感器得出的初步结果进行关联和进一步的融合,得出最终结果。决策级融合可以按照一定的准则或者是各个传感器的可信度进行协调获得全局最优决策。决策级融合的优点是具有很高的灵活性和容错性而且传输带宽要求比较低,有很高的实用性,缺点是精度在空间上和时间上都比较低。

1.3.2 三种融合方式的比较

三种融合方式各有自己的特点,实际应用中可根据对精确度、计算量等的具体要求而选取融合方式[14]。表1给出了在数据级、特征级、决策级对三种融合方式的比较。

2 图像融合算法

2.1 典型融合算法

上述三种融合方式各有不同的融合算法[15,16],下面介绍其中比较常用的几种典型算法:

(1)加权平均法:对参与融合图像的像素值选取一定的权值进行加权平均得到融合后图像的像素值。以两幅原始图像f1(x,y)和f2(x,y)融合为例,融合后获得的图像用g(x,y)表示,其基本原理为:

式中,w1和w2分别为对f1(x,y)和f2(x,y)的加权值。

加权平均法的优点是方法简单、计算量小。缺点是融合后的图像视觉效果比较差而且常包含噪声[6]。

(2)贝叶斯法。基于贝叶斯条件概率公式,把多个传感器的决策看作是样本的子空间,设将样本空间划分为A1,A2,…,An,则对任一事件B,P(B)>0,依据贝叶斯公式:

式中:P(B)表示事件B发生的概率;P(A,B)表示事件A,B同时发生的概率;P(Ai|B)表示在事件B已发生的条件下,事件Ai发生的概率。通过计算,选择可使系统具有最大后验概率的决策作为最终决策,但它要求必须要遵循概率的可加性,当出现两个相反的命题而且可信度都很小时,此法就不再适用。

(3)证据推理法或D-S(Dempster-Shafer)理论。将传感器获取的信息作为证据,计算出各个传感器的基本可信数、可信度函数和似真函数,再按照一定的合并规则,求所有传感器的基本可信数、可信度函数和似真函数,最后遵循一定的决策规则,选择具有最大支持度的目标[17]。证据推理法的优点是不需要遵循可加性原则,满足半可加性原则即可。存在的问题是不适用于处理冲突证据,因为组合规则中的归一化过程会出现违背常理的理论。

(4)金字塔融合法。主要利用多尺度表达,当图像在两个正交方向上的尺度均2倍变化时,图像的尺寸将会以4倍变换,这时的多尺度表达将会变成金字塔结构。其主要过程是将参与融合的图像都作金字塔分解,在各层上将分解结果按照一定的规则进行融合,最后利用金字塔生成的逆过程重构出原始图像。这种方法的缺点是在图像融合过程中容易引入噪声。

(5)HSI(Hue-Saturation-Intensity)变换融合法。借助HSI变换进行图像融合操作。基本思想是用有较高空间分辨率的灰度图像的亮度成分来代替HSI变换后得到的亮度分量,最后借助HSI反变换获得融合图像,融合后图像的空间分辨率大大提高,但它只能同时对3个波段的影像进行融合,而且存在严重的光谱畸变现象[18]。

(6)PCA(Principal Component Analysis)变换融合法。以PCA(主分量分析)为基础,选择待融合图像的多个波段进行PCA变换,将单波段的高分辨率图像经过灰度拉伸使其与主成分变换后得到的第一主分量图像灰度均值和方差一致。最后通过PCA反变换得到融合图像。其优点是可以较好地保留原始图像的高空间分辨率和高光谱分辨率特征,融合后的图像在细节特征方面清晰度也较高,缺点是分析的输入图像必须有两个或两个以上,而且图像第一主分量中的有用信息部分损失,最终影响融合图像的光谱分辨率[19]。

(7)小波变换融合法:利用小波分解的各子图像进行融合。小波变换的基础是序列展开、缩放函数、小波函数,最后通过小波反变换得到融合图像[15]。小波变换融合法可以比较容易地提取图像的细节信息部分和结构信息部分,其重构能力比较完善,在分解的过程中可以尽可能地减少信息损失,同时降低冗余信息。而且,对表示光谱信息的多光谱图像,小波变换融合方法可以很好地保留多光谱图像的低频信息,并把包含图像细节信息的高频部分加入全色图像当中去[20],视觉效果较好,缺点是容易出现分块模糊现象[21]。表2给出了上述融合算法在三种融合方式中的归属。

2.2 融合方法的改进:多融合方法的结合

在单一型融合方法中,每一种融合方法有各自的优点和缺点,为了达到更好的融合效果,可以考虑将单一融合方法结合起来使用。

(1)HSI变换与小波变换相结合(HSI+WT)。利用小波变换融合的图像可以很好地保留多光谱图像的光谱信息,但因为高空间分辨率图像的低频部分被舍弃,就会出现方块效应,对视觉效果会产生一定的影响[21]。HSI变换融合图像的高频信息非常丰富,但是光谱信息损失却非常大[22]。因此,将小波变换融合方法与HSI变换融合方法结合起来可以实现优势互补,融合后的图像不仅可以很好地保留多光谱图像的光谱信息,而且视觉效果也较好。

(2)PCA变换与小波变换相结合(PCA+WT)。利用PCA变换融合法获得的融合结果中原始图像的第一主分量,一些反映光谱特性的信息量有损失,将小波变换与PCA变换相结合得到的融合图像不仅清晰度较高而且可以较好地保留图像第一主分量中的光谱信息。

2.3 融合方法性能比较

为了对图像的融合结果进行客观评价,一般要从灰度标准差、平均灰度梯度和熵等方面进行衡量[19]。灰度标准差反映了各灰度相对于灰度均值的离散情况,主要是用来比较图像反差的大小,灰度标准差越小,说明图像的反差越小,图像的整体色调也就比较单一,可以观察到的信息也较少,反之亦然;平均灰度梯度与灰度标准差类似,也反映了图像的反差,但其更多的是反映图像局部的微小细节变化和纹理特征;熵是衡量一幅图像中信息量丰富程度的指标,若融合图像的熵比原始图像的熵大,说明融合图像比原始图像的信息量有所增加,反之亦然[23]。

为了更好地对比分析,本文通过图1~图3比较了三种单一的信息融合方法与两种结合型方法的灰度标准差、平均灰度梯度和熵[8]。

从图中可以看出,小波变换的灰度标准差和平均灰度梯度最小,但是熵比较大;PCA变换的灰度标准差和平均灰度梯度较大但是熵最小;HSI变换的灰度标准差和平均灰度梯度比较大但是熵较小。HSI变换与小波变换相结合的融合方法与单一的HSI变换法相比,标准差基本上一样,但是熵明显的增加,与单一的小波变换相比,灰度标准差、平均灰度梯度和熵都有所增加,这说明采用HSI和小波变换相结合得到的融合图像信息更加丰富,融合效果也要更好一些;PCA变换与小波变换相结合的融合方法与单一的PCA变换法相比,标准差相对变小,熵有明显的增加,与单一的小波变换法相比较,平均灰度梯度和熵都有明显的增加,这说明采用PCA变换与小波变换相结合得到的融合图像中包含更加丰富的信息而且清晰度有所提高。一般而言,若对融合图像的效果要求不是特别严格,根据要求选取适合的单一融合方法即可满足需要,若要求融合后的图像反应图像细节较多,就可以考虑采用PCA变换融合法;若要求融合后的图像视觉效果较好且包含较多的信息量,就可以考虑采用小波变换融合法;若要求融合后图像不仅视觉效果要好、含有较多的信息量而且对融合后图像细节要求比较高,那么就可以考虑将小波变换与PCA变换相结合的图像融合方法。

3 结语

多传感器图像融合技术近年来得到了迅猛的发展,本文介绍了多传感器图像融合技术中的典型算法,并进行了分析比较,由于每种算法各有自己的优缺点,对融合后图像的效果要求也不尽相同,所以要根据实际情况选取最适合的算法[24]。对于像序列图像的融合,就可以优先考虑加权平均法,其不仅融合速度较快而且可以获得较好的融合效果;可见光图像和红外图像融合时,为获得良好的融合效果,通常选用金字塔融合法[25]。近年来小波变换以其在时域、频域的良好局部化特性在图像融合中扮演者越来越重要的角色,通过选择合适的融合规则及融合算法就可以得到较理想的融合效果。尽管多传感器图像融合技术在很多领域已取得重大成果,但仍然存在很多问题,如多传感器系统的容错性和稳健性需要进一步的提高,多传感器系统的设计也存在很多实际问题,还没有形成完整的理论体系和有效的广义算法和模型等,这些将成为多传感器图像融合今后研究的热点。

多传感图像 篇2

目标分割技术是指将图像中具有某种特殊含义且满足空域一致性的区域从图像中分离出来的技术。作为后续目标检测、目标跟踪、特征提取和目标识别等图像理解操作的基础,其分割质量显得非常重要[1,2]。复杂场景下的多目标分割受到背景图像灰度分布非平稳、目标灰度分布差异大等多种因素的干扰,应用传统目标分割算法很难得到理想的分割结果。

近年来,传感器由单一模式向多模复合探测(可见光、红外和成像激光雷达)的方向发展,提供了更加丰富和准确的场景描述信息,为复杂场景下的多目标分割提供了可靠的信息基础[2]。可见光图像的对比度好,具有丰富的灰度级分布,但是会引起图像的边缘信息复杂,很难直接从复杂背景中将目标有效分离;红外图像对于同背景辐射差异比较大的目标具有较好的探测和定位能力,但在低对比度时会漏检辐射较弱的目标或误检辐射强的背景区域;成像激光雷达是近年来发展迅速的新型成像传感器,其结合雷达测距原理和光学成像技术能够获取目标的三维空间信息为自动目标识别提供了更加丰富的特征选择空间,主动方式成像还可以避免多种自然和人为因素的干扰[3],但目前大多工作于扫描体制,不适合对整个场景的整体搜索。本文综合应用多传感器的信息优势,探索了一种综合应用指定直方图进行图像增强、分形维数特征进行目标检测和动态边缘演化确定目标轮廓的多传感器图像目标分割算法,实现了复杂场景下目标的有效分割。

1 指定直方图进行图像增强

各种传感器在获取场景图像的过程中会受到外部或传感器自身多种因素的干扰,导致图像亮度平移、对比度下降,不利于人眼观察和机器分析识别操作。通过图像增强技术,可以最大限度地利用已有的数据信息,提高目标与背景的对比度,便于应用图像处理算法将目标从场景中提取出来。

指定直方图操作,将原图像直方图按照指定的曲线形式进行代数变换得到新的灰度分布,是一种有效的图像增强技术。根据图像自身直方图统计特性和目标分割的需要,可以选择具有不同分布趋势的曲线进行图像增强处理。一般说来,对于质量较好的图像,背景部分直方图大多具有高斯形式分布。为了提高实际获取场景图像的质量,应用直方图匹配技术将原图像直方图分布趋势进行高斯的拓展,可以得到较好的增强结果。对于目标区域同背景分离明显且差异较大的情况,将图像直方图向两极高斯分布拓展可以进一步增大两者之间的差异,避免目标或背景区域内灰度变化给目标分割带来的不利影响。具体按照下面的步骤实现[4]:

1)求出原图像的直方图{rk},应用式(1),计算灰度级rk对应的映射灰度级{sk}。

2)依照高斯函数的形式指定变换图像的直方图pz(zk),中心为指定的灰度级中心,标准差为原来的主要灰度分布区间,得变换函数式(2)。

3)利用式(3),将原始图像的每个灰度级映射到对应的变换后的灰度级。

其中:n为图像中像素数总和,nj为灰度级为rj的像素数量,k=0,1,2,L-1,L为数字图像可能的离散灰度级总数。

2 分形维数特征进行目标检测

分形方法是基于自然背景模型的检测技术,分形特征能够反映背景类与目标类之间的差异。将图像灰度曲面视为一种分数布朗运动,可应用离散分数布朗运动场(DFBRF)描述[5]。设BH(t)为一高斯随机场,H为Hurst指数,在0

其中:||·||表示范数,G(∆n)是计算分形维数时所取邻域窗内的灰度均值,∆n表示尺度步长。设置不同的邻域值,可以得到一组数据点对(ln[G(∆n)],ln(∆n)),应用最小二乘法拟合出经过这些数据点的直线,其斜率为该点处的Hurst指数。背景具有较强的自相似性,Hurst指数较小,而目标则具有较大的Hurst指数。在目标与背景区域的交界处,分形的一致性被破坏,出现较强的边缘响应。理论上可以直接利用分形维数进行目标检测,但复杂背景下灰度级交错的区域其分形维数差别依然很小,很难精确分割出目标,单靠分形维数的检测方法是不稳健的。实际情况中,由于成像条件和图像灰度梯度剧烈变化的影响,分形维数并没有充分反应背景的空间自相似特性。尤其当邻域尺度选择过小时,分形维数往往只是表征了灰度变化剧烈的某些边缘,真实的目标区域淹没在背景纹理中。利用统计学的方差处理技术,选择同目标大小相当范围内的分形维数特征,进行方差统计,得到的方差分布曲线可以抑制背景灰度起伏的干扰,对目标内部进行填充,从而使曲线平滑,更好地表征目标区域与背景区域之间的特征差异[6]。

3 动态边缘演化技术提取目标轮廓

传统的基于阈值或基于图像边缘信息的目标分割算法,受背景信息干扰较大,特别是对于复杂背景条件下的可见光图像,由于背景变化相对剧烈,很容易出现误选背景区域的情况。为了克服复杂背景的不利影响,应用动态边缘演化技术提取目标的轮廓。

动态边缘演化技术[7,8]可以综合利用图像中目标与背景灰度分布信息来定义某一能量泛函(自变量中包括边界轮廓曲线);然后应用Euler-Lagrange方程的动态格式来得到与该能量泛函相对应的曲线演化方程;为了加速计算过程应用水平集方法来模拟初始曲线沿能量下降最快的方向演化过程,最后求得最佳的边界轮廓曲线。基于区域的动态边缘演化图像分割技术直接使用主动轮廓内部和外部的全部光强信息,避免了使用基于梯度的边缘检测函数对噪声的敏感性,故对噪声影响的图像仍能工作得很好。其中,Chan和Vese提出的基于Mumford-Shah泛函的能量方程较好地解决了包含物体和背景不同均值区域的图像分割问题[8],其提出的能量泛函为

其中:1c是图像I中由轮廓Ωin决定的目标内部均值,c2是Ωout决定的背景区域的均值,最后一项是边界的曲线长度,α,β,µ为相应各项的权重因子。演化时,首先将曲线C(t)表示为水平集函数φ(x,y,t)的零水平集,再通过Heaviside函数H(φ)把水平集函数引入到式(7)中,把式(7)中对区域和边界的混合积分转化为对边界的单一积分。使用如下的Euler-Lagrange方程实现最小化的求解。

其中:δs(φ)是Dirac度量的正则化函数,也是H(φ)函数的一阶导数。

4 多传感器图像目标分割算法工作流程

如图1所示,将获取的复杂场景条件下多传感器图像分别进行兴趣区域提取、兴趣区域综合与验证、动态边缘演化这几个主要操作步骤,提取出场景中目标轮廓,实现较好的多目标分割的结果。

兴趣区域提取工作流程具体分为图像增强、平滑滤波、目标检测、目标预分割。图像增强通过指定直方图方法增强目标与背景的对比,便于目标的提取;平滑滤波应用基于形态学重构的开闭运算实现,以抑制局部灰度不连续或噪声干扰引起的虚假边缘信息;目标检测综合应用区域分形维数特征和形态学方法在较大的场景中抑制背景的灰度起伏得到略大于目标的估计区域;目标预分割根据不同传感器图像的属性选用不同的方法:激光雷达图像应用局部阈值进行目标分割,红外图像应用区域最大熵得到目标区域的最佳估计,为后续操作提供较好的估计范围。

多传感器兴趣区域的综合与验证将经过前述操作得到的每一种传感器的兴趣区域(经过空间配准)进行交叉验证,进一步排除背景的干扰。其中激光雷达图像具有较好的空间分辨能力可以作为目标初始轮廓的估计;红外图像对于高温目标或与背景辐射特性差异较大的区域具有较好的区分能力,可以经过合理的阈值设置得到目标的中心区域的估计;可见光图像具有较好的对比度和良好的灰度区分能力,可以作为其它传感器的有益补充,进一步对目标的边缘进行精细地提取。

为了保证目标边缘的光滑和完整性,最后将经过综合处理的目标轮廓的初始估计作为初始的生长曲线应用动态边缘演化技术进行目标边缘的最终确定。

5 试验结果与结论

利用本文提出的目标分割算法,对Fort Carson标准图像库[9,10]中的多传感器图像进行测试。Fort Carson标准图像库提供了冬季野外复杂背景条件下的军用车辆目标的可见光、红外和成像激光雷达图像。首先通过图像配准技术,将图像库中的图像统一到同一空间坐标系中,图2为经过配准处理得到的某一场景的多传感器图像。在可见光和红外图像的中心有四个车辆目标,激光雷达图像只包含了其中的车辆目标区域。红外图像和激光雷达图像的对比度较差,应用指定直方图技术进行图像增强,图2(d)增强后的红外图像,图2(e)增强后的激光雷达图像(只显示了其中的车辆区域)。

从图2(a)的可见光图像中选取一行进行分形维数特征计算,图3(a)为背景区分形维数曲线,图3(b)为目标区分形维数曲线。可以看出相对于背景区分形维数特征的平缓变化,目标区域的分形维数特征曲线在目标处有明显的峰值。由于对图像逐点计算分形维数的计算量较大,将红外图像中选取的目标区域作为候选区域在可见光图像的对应区域进行分形维数计算,可以进一步验证分割结果,排除背景干扰。这里将可见光图像中对应区域及其周围的一定区域按照子块的方法进行分割,计算其中每一个子块中心的分形维数,利用经验阈值作为目标区域选择的结果。通过阈值选择最终选取的目标区域为图3(c)所示,其中白色区域表示得到的目标区域的估计。

利用得到的目标区域估计先对激光雷达图像和红外图像进行目标区域分割。红外图像分割应用区域最大熵法进行目标分割(对于图像最左边的暗目标分割区域为0值区域)如图4(a)所示。激光雷达图像的灰度分布同场景中各点到传感器的距离相关,相对于场景地物,目标的灰度分布多位于中间灰度级,通过对目标区域灰度的统计,应用局部阈值分割就可以得到较好的目标分割结果,如图4(b)所示。综合以上得到的目标区域的选择结果,得到目标区域的初始轮廓曲线,在可见光图像中应用动态边缘演化技术得到最终的目标分割结果,如图4(c)所示。可以看到目标被完全从复杂背景中选取出来,且轮廓和形状特征保持较好。

通过对Fort Carson图像库中多种场景条件下的目标提取和分割试验,可以看出本文提出的多传感器多目标分割算法能够综合多传感器的优势为复杂条件下的多目标分割提供了较好的解决思路。本文算法思路新颖、计算量相对较小、可以克服复杂条件的不利影响,有望于向工程应用推广。

摘要：综合应用多传感器图像灰度分布特征和分形维数特征进行目标检测、应用动态边缘演化提取目标轮廓,有效解决了复杂场景多目标分割的难题。首先根据图像的内在属性应用指定直方图进行图像增强,随后分别对可见光图像应用分形维数特征、对红外图像应用最大熵法、对激光雷达图像应用局部阈值法进行兴趣区域提取;再将各传感器图像获得的兴趣区域进行交叉验证,进一步排除背景干扰;最后把经过综合处理的目标轮廓估计作为初始生长曲线应用动态边缘演化技术最终确定目标边缘。对大量的复杂场景多传感器图像测试表明,本文提出的方法较好地保留了目标的形状特征,是一种有效的多目标分割技术。

关键词：多传感器,多目标分割,分形特征,动态边缘演化,复杂场景

参考文献

[1]David A,Forsyth Jean Ponce.Computer vision:a modern approach[M].Beijing:Publishing House of Electronics Industry,2004:256-278.

[2]ZHANG Yu-jin.Image engineering:image Analysis:2nd ed[M].Beijing:Tsinghua University Press,2005:73-105.

[3]Ma Chaojie,Sun Xiaoquan,Li Xiaoxia.Simulation designing of imaging laser radar guidance system[J].Infrared and Laser Engineering,2005,34(6):655-659.

[4]Gozales R C,Woods R E.Digital Image Processing:2nd ed[M].Beijing:Publishing House of Electronics Industry,2002:445-452,540-541.

[5]Pentland A P.Fractal-based description of nature scences[J].IEEE Trans on Pattern Analysis and machine Intelligence(S0162-8828),1984,6(6):661-674.

[6]SU Ding,ZHANG Qi-hen,TAO Bin-jie,et al.Fractal segmentation for multi-target from multi-source in complex backgrounds[J].Infrared and Laser Engineering,2007,36(3):387-390.

[7]Chan T F,Vese L.Active contours with out edges[J].IEEE Transactions on Image Processing(S1057-7149),2001,10(2):266-277.

[8]Mumford D,Shah J.Optimal approximation by piecewise smooth functions and associated variational problems[J].Communication on Pure and Applied Mathematics(S0010-3640),1989,42(5):577-685.

[9]Schwickerath A.Simultaneous Refinement of Pose and Sensor Registration[R].Technical Report CS-97-101in Colorado State University,1997-01.

[10]Stevens M R,Beveridge J R.Precise matching of3-D target models to multisensor data[J].IEEE Transactions on Image Processing(S1057-7149),1997,6(1):126-142.

多传感图像 篇3

笔者在上述提到的多传感器生命特征监测系统的基础上,运用巴克码极易捕获的特性,对多传感器采集的数据做预处理,并研究了遗传算法自适应的特点,提出了一种基于LSB图像隐藏的优化算法将多传感器数据嵌入于消防现场拍摄的画面后一起传输。该系统实质上传输的数据量就是视频大小,一定程度上解决了传输过程中数据量大的问题。

1 系统硬件设计

多传感器消防监控系统由生命体征信息采集终端和监控指挥中心两部分组成。笔者介绍多传感器采集终端。各传感器分别采集消防员的不同特征参数,将信息分别传递到各自的信号调理电路进行放大滤波去干扰和A/D转换,并将调理后的信息传递至FPGA芯片,由该芯片完成对数据的预处理和LSB图像隐藏优化算法,以实现对事故现场及消防员生命状况的实时监测。系统总体硬件设计如图1所示。

尽量选取不同功能的传感器,由消防员随身配备,负责各项生命体征参数采集的传感器包括心率传感器、血压传感器、呼吸率传感器和体温传感器。

2 多传感器数据处理算法设计

2.1 数据预处理

巴克码定义如下:一个包含n个码元的码组{x1,x2,…,xn}中,当1≤i≤n时,每个码元xi只可能取值为+1或-1,当i<1或者i>n时,xi为0。它的局部自相关函数满足式(1)。

式中:j为码元的位移序数。

式(1)表明,巴克码的自相关函数仅在R(0)处出现峰值,其他处的R(j)值均很小,正是由于巴克码组具有尖锐的单峰,当将其集中插入于数据作为帧头时,会使得接收时能够容易地捕获它,故采用巴克码对数据进行打包预处理。按照需求分别选取长度为4位和16位的巴克码作为多传感器通道帧头、子帧头及总帧头。为更一般化,这里的多传感器通道帧头包括模拟和数字两部分。

2.2 LSB图像隐藏优化算法

传统的LSB图像隐藏是对最低位嵌入多传感器信息,隐藏量小。本系统以遗传算法的数学模型对LSB图像隐藏优化。

(1)初始化。由于最初始还未嵌入多传感器信息,所以初始化时为原始图像m×n的像素点。因第0、1、2和3位平面的改变对图像的影响小,故最大迭代次数取4。

(2)适应度函数。LSB图像隐藏的核心思想是将多传感器信息与待嵌入位信息进行比较,以实现多传感器信息的嵌入。适应度函数可表示为式(2)。

式中:bit[i]为图像载体元素的第0位到第3位值;s为多传感器信息。

(3)选择操作。对于每个像素点,在bit[i],i从0~3进行遍历选择,若种群适应度函数值为0,则图像信息保持不变,选择该图像元素位值,并将下一个待嵌入的多传感器信息与该元素的高一位比较,循环上述操作;若种群适应度函数值为1,则进入交叉操作。

(4)交叉操作。设完成交叉操作的两个体为X1和X2,则交叉后的个体见式(3)。

X1和X2是式(2)中所提到的图像位信息bit[i]和多传感器信息s。此处的交叉概率r只能取值0或1,且当r取值为1时,就是前面的选择操作;当r取值为0时,就是将图像该位信息替换为多传感器信息s。

(5)变异操作。结合LSB图像隐藏,当r取值为0时,若已经达到最大迭代次数4,则直接进入变异操作,即换下一个像素值点循环操作。针对式(3),当r取值为0时,有式(4)。

为了简述上述遗传算法自适应的思想,对嵌入的不同条件,将其整个遗传过程总结为表2。

理论分析,上述提出的基于遗传算法的LSB图像隐藏方法最多可以达到在一个像素点中隐藏4bit多传感器信息,隐藏量大,且仍满足最多只修改一位,所以不会对整体图像造成影响。

3 实验验证及性能分析

3.1 实验验证

在实验阶段,为了验证编码的正确性,利用标准信号源提供8路频率逐渐增大的正弦信号:y1=A*(sin(2*pi*fn*(t)))。其中,A为0.5V,fn分别为200、300、400、500、700、1 000、1 500、2 200Hz。由8路传感器对其采集,并采用FPGA来实现数据预处理,并以Lenna(256×256)灰度图像为载体图像进行图像隐藏。

数据预处理后的仿真波形,如图2所示。

图2是对采集的8路传感器模拟量和测试文件中添加的数字量的一次编码输出:ee16-00000000-8-0001-1002-2003-3004-4005-5006-6007-7008-401符合数据打包预处理要求,总位数为192bit。

图像隐藏结果如图3所示。

图3分别是原始图像、自适应隐藏图像、隐藏1位图像和隐藏2位图像,对比这4幅图,图片差异不明显,这说明自适应隐藏和隐藏1位或2位都达到了很好的隐藏效果。此外,对比待嵌入的多传感器数据和自适应隐藏提取之后的数据,两者保持很好的一致性,说明多传感器信息可以被准确完整地提取出来。

3.2 性能分析

由Matlab对其预处理后的数据进行回读分析。对回读的数据中选取4个EE16之间的数据即4帧数据求取自相关函数,图4为归一化自相关函数。

从图4可以看出,求取的归一化自相关函数为偶函数,在右半部分数据中,4个峰值点代表4次EE16的出现;由于选取的第一个值EE16放在数据首位,所以会出现R(0)为第一个峰值点,基于此就可以在接收端对多传感器数据进行有效分离。

对于图像隐藏,采用均方根误差(RMSE)和峰值信噪比(PSNR)作为图像质量评价的客观标准。原始图像C和隐藏后图像S的均方根误差和峰值信噪比计算公式,见式(5)、式(6)。

其中,M、N表示图像的长和宽。对实验中的不同隐藏方法比较,结果如表3所示。

由表3可以得出,基于LSB优化算法的总隐藏量得到了很大提高。此外,由于要求最多值只修改一位,所以均方根误差较隐藏2位小一些,峰值信噪比降低平缓。从结果分析中可以看出,LSB图像隐藏算法的优化可以实现多传感器信息的自适应嵌入,且提高了隐藏量。

4 结束语

本系统是在现有的多传感器生命特征监测系统的基础上,采用巴克码对多传感器采集的数据预处理,并针对消防监控系统中传输数据量大的问题,以遗传算法为模型对传统的LSB图像隐藏优化,并基于此将多传感器数据嵌入于消防现场拍摄的画面后一起传输。通过实验验证和系统分析,系统达到了预期的功能需求,巴克码的预处理提高了数据的识别力,且提出的LSB图像隐藏优化算法具有操作简单、隐藏信息容量大、均方根误差小等优点,该系统可应用于多传感器数据处理和大容量信息隐藏等领域,具有一定的使用价值。

参考文献

[1]王庆辉,刘华月,魏立峰.无线消防队员火场定位及救援系统的研究[J].沈阳化工大学学报,2015,29(3):268-272.

[2]邹鸣,鲍贤亮,陈年海,等.基于无线传感网的消防员生命体征参数监测系统研究[J].南京师范大学学报(工程技术版),2015,15(2):83-87.

[3]杨树峰,隋虎林,李志刚.消防员生命体征监测系统设计与实现[J].消防科学与技术,2014,33(3):314-317.

[4]张晓亮,罗文广.多传感器数据融合技术在室内环境品质监控系统中的应用[J].仪表技术与传感器,2012,49(2):103-105.

[5]王君,田玉敏,李春霞.一种改进的图像自适应信息隐藏算法[J].计算机应用研究,2005,22(5):145-147.

[6]WANG RZ,LIU CF,LIN JC.Image hiding by optimal LSB substitution and geretic algorithm[J].Pattern Recognition,2001,34(3):671.

多传感图像 篇4

1 整体系统设计

整体系统设计分为三个模块，分别为面阵CMOS图像传感器模块、图1为整体系统设计框图。FPGA核心模块、USB存设计及PC上位机处理[4,5]。面阵CMOS图像传感器模块实现三种采集模式：分别为正常采集模式，高速采集模式和TDI模式。正常采集模式：全帧输出达到最高分辨率和最好成像效果，用于拍摄静态图像。高速采集模式：以降低图像分辨率为代价来换取高帧频输出，达到高速捕捉的效果。TDI模式：系统采用TDI(time delayed and integration）算法对采集的图像进行处理，提高传感器的灵敏度及成像质量，用于长时间跟踪动态目标的情况。

FPGA核心模块是整个系统的控制核心，负责产生驱动CMOS图像传感器采集的驱动时序，同时作为数据传输的枢纽控制着USB模式的USB芯片。USB缓存设计及PC上位机处理是图像数据的传输和处理模块，USB模块实现图像数据传输，PC上位机模块实现图像处理。

2 面阵CMOS图像传感器模块

采用了面阵CMOS图像传感器芯片OV5620进行研究。OV5620芯片的图像阵列为2 592×1 944，仅支持RAW RGB的图像视频数据，支持D1MD(860×600),QVGA(320×240）等图像分辨率，全分辨率工作时帧频为7.5 fps,OV5620允许用户根据需要自定义窗口的大小，在分辨率为640×480的情况下可以实现最大120帧频。系统的普通模式实现7.5帧频全像素输出，高速模式实现120帧频的最高帧频输出，TDI模式实现动态追踪最合适的帧频及分辨率输出[6]。

OV5620的工作方式有两种:主模式和从模式。这里采用的是主模式，在该模式下OV5620作为主导设备，此时XCLK上的时钟输入经过内部分频后得到PCLK信号，当OV5620采集到图像后，在PCLK的下降沿到来时，系统将像素值输出至FPGA。

该模块的设置过程为：在系统稳定工作之后，通过FPGA模拟SCCB总线配置OV5620的寄存器，模拟SCCB总线的步骤分为读和写两部分，SCCB总线在写寄存器时，先写设备地址，再写寄存器地址，最后写入寄存器的值，完成一个寄存器的配置，即ID-Address+SUB-Address+W-Data的流程。对于SCCB总线的写入时序而言，SCCB总线的读取流程稍微复杂一点，步骤上需要写入两次设备ID，既是ID-Address+SUB-Address+ID-Address+R-Data。因为OV5620已经是高度集成的模块了，所以在硬件设计方面只要提供一些简单的滤波外设就可以了，而模式设置则是将对应增益控制、曝光时间等的寄存器写入设置好的值就可以得到所需要的工作模式[7]。图2为CMOS模块原理图。

3 FPGA核心模块

采用的FPGA是Altera公司的cycloneIV系列芯片EP4CE10E22C8N，该芯片资源丰富，有10 000个LE,144个I/O,46个嵌入式乘法器，25 K×16位的存储器，2个能级和具有动态配置功能的PLL。

输入24 MHz基准时钟经过FPGA内部PLL模块产生CMOS传感器驱动时钟及内部各模块的计数时钟，系统上电后立即执行FPGA内部的延时程序delay，其目的是使系统处于稳定状态，然后通过SC-CB协议配置CMOS图像传感器的寄存器，使CMOS sensor处于对应的工作模式。

普通模式下数据量不大可直接把数据送入USB芯片的FIFO缓存，再通过USB端口连接到上位机即实现普通模式下的视频采集。

高速模式下，采集前跟普通模式一样做好初始化并配置好寄存器，然后采用开窗操作（Windowing）实现640×480分辨率，注意开窗操作要保证行信号与所开窗口的行列信号一致，在此分辨率下配合OV5620的增强视频模式可实现120帧频输出，根据OV5620提供了四种方式变换帧频，在FPGA中用Verilog语言配置高速模式的功能模块，并在FPGA中设置FIFO缓存模块与USB中缓存搭配采集信号。

TDI模式下，因为采用的是对同一景物进行多次曝光然后进行延时累加，所以此时系统除了应具有在高速模式下的各个功能模块外，还需要在FP-GA内部开辟出m个RAM及延时相加模块，RAM的个数取决于所采用的m级TDI算法，实现TDI算法的关键是计算出CMOS行转移时间与帧频之间的关系，它们必须满足F<m/（r×fp）这个关系式（式中，F为行转移时间；m为积分级数；fp为帧频；r为输出图像的分辨率的列值）[8,9,10]

模式切换是将各种模式下的参数分别注入到CMOS芯片的寄存器中，三种配置的信息均写入FP-GA的外部Flash EP4CE中存储起来以用于上电自动载入FPGA中，在FPGA芯片中设置三个功能键按钮，通过按钮切换配置信息的注入达到模式切换。

4 USB缓存设计及PC上位机处理

USB芯片采用了Cypress公司的68013芯片，cypress公司提供了FxZ系列USB芯片的Firmware库。Firmware库提供了用户的一些常用资源，极大地简化了固件程序的开发。

固件的实现过程：首先系统上电后USB芯片通过执行函数void TD＿Init(void）进行USB芯片复用引脚PA0、PD5等的功能设置、配置EP2为512 Bytes的4缓冲8 bit输入模式等初始化操作。因为该系统采用的是USB的Slave＿fifo[11]传输方式，故无需FPGA提供复杂的控制过程，而是简单的通过FPGA控制USB芯片相应端口的拉低和拉高来实现数据的传输。实现过程如下：首先因为USB芯片68013A的PA0中断触发引脚接收的是来自于图像传感器的帧同步信号输出脚VSYNC的信号，所以当一帧图像输出后，USB芯片会接收到该中断信号，而触发中断程序进行清空FIFO及关标志位的操作，然后待USB芯片完成清空fifo标志位的操作后，数据使能引脚PD5被拉高，此时FPGA把数据流写入USB的slavefifo中。68013A芯片通过处理主机发送的厂商请求信号完成对主机的应答，当厂商请求为START＿CAPU-TURE时设置帧标志位有效开始发送数据至上位机，若为STOP＿CAPUTURE则设置帧标志位无效，停止数据发送。

USB驱动程序的开发，使用的是Microsoft公司提供的Windows驱动程序的开发工具WDK中的Driverworks模块，打开驱动框架生成向导Driverwizard，按照向导提示，输入设备的驱动程序的名称、驱动的类型、设备PID的ID、产品ID、USB设备的管道信息、inf文件信息、驱动适用的总线、厂商ID、设备端点信息，构建出驱动程序整体框架，并稍作修改生成设备驱动程序[12]。

PC上位机用VB语言搭建数据处理显示平台，设置接口对应到USB端口，接收USB缓存传送上来的数据。在MATLAB上写好数据处理算法并通过MATLAB与C++的接口把M文件编译成可供VB语言调用的.DLL动态链接库文件，然后在VB平台上直接调用该.DLL文件即可实现混合编程。MAT-LAB算法实现基本图像处理，如灰度数据、边缘检测等[13,14,15]。

5 结果及分析

在QuartusII软件下，使用Signal Tap 2获取数据传输时序如图4。

由所读取的波形图可以知道，在每个行同步信号CMOS＿HREF高电平期间ov5620采集的数据输出，与OV5620的数据手册给出的时序要求符合，再用示波器抓图，得到图6和图7。

图6、图7均是在全普通模式（2 592×1 944）下所得到波形。由图6可以知道，一帧图像波形时长为135.6 ms而行同步信号周期为80μs，由此可以计算出采集到的图像一共有135.6×1 000/80=1 695行。此模式下像素输出时钟PCLK为48 MHz。又因为数据仅在行同步信号的高电平期间输出，所以在图7的采集的行同步信号的高电平时间-55μs内输出的像素个数为55×48=2 640个。由上面的计算可以得出结论：实现了所需要的输出模式，其中计算值偏小有一部分是因为有些数据的丢失，如图5显示的那样的数据长度不等。

6 结论

提出了一种多模式集成系统的设计，并采用FPGA这种高性能研发芯片揉合制作出一个多模式系统。该系统增加了CMOS图像采集系统的工作模式的同时实现了模式切换。根据面阵CMOS传感器的工作原理及功能，初步实现系统中三种模式的图像数据采集，并通过实验检测分析了系统的输出时序，并把实际输出信号与理论信号进行对比，验证了这种观点的可行性。这种多模式的集成系统使CMOS图像采集器的功能得到更好的利用，而且减少了采集数据的冗余性。该系统设计对以后的智能化相机设计具有很好的参考和实际应用价值，具有广泛的应用前景。

摘要：设计了一种基于FPGA的CMOS传感器多模式采集系统,研究了普通模式、高速模式、TDI模式三种模式的开发及模式切换。在掌握CMOS面阵传感器的原理和特点的基础上,选用了合适的芯片及外围电路设计用于实现三种模式的CMOS面阵采集器。分析了三种模式下的CMOS面阵采集器的采集特点,采用以FPGA芯片为核心的硬件电路控制整个系统,用Verilog语言对FPGA芯片进行内部功能模块划分,包括模拟SCCB协议以完成对CMOS传感器内各寄存器的配置、开辟同步FIFO、RAM缓存等。最后对USB芯片固件及电脑驱动进行设计,并用VB与MATLAB混编的方式对图像数据进行处理并显示。

多传感图像 篇5

关键词：光电检测技术,CCD,图像传感器

0光电检测技术

光电传感器又称图像传感器或影像传感器,是利用调制光实现对物体的检测,其作用是将接收到的光信号转变为模拟电信号[1]。光电传感器由发射器和接收器组成,通过接收器接收到的光强变化产生检测输出实现检测功能。传感器种类繁多,模式多样,主要用于切换机器动作、控制生产线运行,为零件或产品计数、检验产品、保护操作人员等等。作为生产线上的控制部件,光电传感器参与制造了成千上万种产品。光电传感器非接触地探测物体,广泛用于许多自动化领域,如管理系统、机械制造、包装工业等。光电传感器可提供高质量的探测、识别与成像以及高分辨率的静止图像等。随着科学技术的飞速发展和工业生产自动化程度的提高,高精度、高效率、非接触在线检测已成为检测行业的发展方向。它可以大大地解放劳动力,达到提高生产效率和产品质量、降低成本的目的。

所谓光电检测系统是指对待测光学广量或由非光学待测物理量转换成的光学量,通过光电变换和电路处理的方法进行检测的系统,如图一所示。光电检测为非接触检测,具有无损、远距离、抗干扰能力强、受环境影响小、检测速度快、灵敏度高、电路简单、价格低廉、测量精度高等优越性,因而应用十分广泛,尤其在高速自动化生产、生产过程的在线检测、安全运行保护等方面起到重要作用。特别是近年来,各种新型光电探测器件的出现,以及电子技术和微电脑技术的发展,使光电检测系统的内容愈加丰富,应用越来越广,目前已渗透到几乎所有工业和科研部门,是当今检测技术发展的主要方向。

1 CCD工作原理及介绍

1.1 CCD工作原理

CCD (Charge Couple Devices)即为电荷耦合器件,是固态图像传感器的敏感器件,与普通的MOS、TTL等电路一样,属于一种集成电路,但CCD具有光电转换、信号储存、转移(传输)、输出、处理以及电子快门等多种独特功能。自1969年美国贝尔实验室研制成功第一只光电荷耦合器件(Charge Coupled Device,简称CCD)以来,CCD伴随着计算机技术的迅速发展,在国防及民用工业等部门引起人们的极大关注,尤其CCD所具有的体积小、重量轻、结构简单、功耗低、便于数字化等一系列优点,更使其在检测方面的应用越来越广泛,是未来探测技术的发展方向[2]。

电荷耦合器件CCD的基本原理是在一系列MOS电容器金属电极上,加以适当的脉冲电压,排斥掉半导体衬底内的多数载流子,形成“势阱”的运动,进而达到信号电荷(少数载流子)的转移。如果所转移的信号电荷是由光像照射产生的,则CCD具备图像传感器的功能;若所转移的电荷通过外界注入方式得到的,则CCD还可以具备延时、信号处理、数据存储以及逻辑运算等功能。

CCD主要由信号输入、转移和输出三部分组成,其核心部分为电荷转移。当入射光到达光敏元件,使得光敏元件产生电子-空穴对,空穴在表面电场作用下进入衬底,电子则进入输入栅形成的势阱中存储起来。图二为CCD器件的结构原理图[3,4]。

图三展示了三相驱动CCD传感器电荷转移过程。根据能量定理电荷总是从能量高向能量低的方向运动,电极Φ2电压比电极Φ1高,在电极Φ2处形成的势阱高于电极Φ1处,电荷从电极Φ1向电极Φ2转移。只要下一时刻电极Φ3电压比电极Φ2高,电荷又将从电极Φ2向电极Φ3转移。

1.2 CCD图像传感器的介绍

电荷耦合器件CCD的基本原理与金属——氧化物——硅(MOS)电容器的物理机理密切相关。CCD的电荷(少数载流子)的产生有两种方式:电压信号注入和光信号注入。作为图像传感器,CCD接收的是光信号,即光信号注入法。当光信号照射到CCD硅片上时,在栅极附近的耗尽区吸收光子产生电子—空穴对。这时在栅极电压的作用下,多数载流子(空穴)将流入衬底,而少数载流子(电子)则被收集在势阱中,形成信号电荷存储起来。这样高于半导体禁带宽度的那些光子,就能建立起正比于光强的存储电荷。

由许多个MOS电容器排列而成的CCD,在光像照射下产生光生载流子的信号电荷,再使其具备转移信号电荷的自扫描功能,即构成固态图像传感器。

图四所示光电摄像管中,当入射光像信号照射到摄像管中间电极表面时,其上将产生与各点照射光量成比例的电位分布,若用电子束扫描中间电极,负载RL上会产生变化的放电电流。由于光量不同而使负载电流发生变化,这恰是所需的输出电信号。所用电子束的偏转或集束,是由磁场或电场控制实现的[5]。

在图五的固态图像传感器中,输出信号的产生,不需外加扫描电子束,它可以直接由自扫描半导体衬底上诸像素而获得。这样的输出电信号与其相应的像素的位置对应,无疑是更准确些,且再生图像失真度极小[5]。

通过图四和图五光导摄像管与固态图像传感器的基本原理的比较,可以看出:光导摄像管等图像传感器,由于扫描电子束偏转畸变或聚焦变化等原因所引起的再生图像的失真,往往是很难避免的。失真度极小的固态图像传感器,非常适合测试技术及图像识别技术。此外,固态图像传感器与摄像管相比,还有体积小、重量轻、坚固耐用、抗冲击、耐震动、抗电磁干扰能力强以及耗电少等许多优点,并且固态图像传感器的成本也较低。

2 CCD图像传感器的发展趋势

CCD图像传感器经过30多年的发展,从最初简单的8像素移位寄存器发展至今,已经具有数百万至上千万像素。由于CCD图像传感器具有很大的潜在市场和广阔的应用前景,因此,近年来国际上在这方面的研究工作进行的相当活跃,很多国家均投入大量的人力、物力和财力,在CCD图像传感器研究和应用方面取得瞩目的成果。从目前CCD技术的发展趋势来看,主要有以下几个方向[6]:①高分辨率:②高速度;③微型、超小型化;④新型器件结构;⑤微光CCD;⑥多光谱CCD器件;⑦超级(Super)CCD。

随着社会各行各业的先进技术的不断发展,CCD因其独有的性能和功能,在很多领域得到了广泛应用,已显示出潜在的巨大优势。

参考文献

[1]高稚允，高岳．光电检测技术[M]．北京：国防工业出版，1995．

[2]汤定元．光电器件概论[M]．上海：上海科学技术文献出版社，1989．

[3]谭朝文．超级蜂窝，CCD[J]．世界电子元器件，2000，(2)：11．

[4]董永贵．传感技术与系统[M]．北京：清华大学出版社，2006．

[5]蔡文贵．CCD技术及应用[J]．北京：电子工业出版社，1999：1．

CCD图像传感器原理 篇6

1 CCD分类

a.从CCD的工作特性可分为：线性CCD和矩阵式CCD。b.从工艺特性又可分为：单CCD、3CCD及Super CCD三种。c.按光谱可分为可见光CCD、红外CCD、X光CCD和紫外CCD。

2 CCD结构

CCD从结构上分为线阵CCD和面阵CCD，从受光方式分为正面光照和背面光照两种。线阵CCD有单沟道和双沟道两种信号读出方式，其中双沟道信号读出方式的信号转移效率高。面阵CCD的结构复杂，常见的有帧转移 (FT) CCD、全帧转移 (FFT) CCD、隔列内线转移 (IIT) CCD、帧内线转移 (FIT) CCD、累进扫描内线转移 (PSIT) CCD等。

3 CCD成像原理

CCD (Charge Coupled Devices, CCD) 由大量独立光敏元件组成，每个光敏元件也叫一个像素。这些光敏元件通常是按矩阵排列的，光线透过镜头照射到光电二极管上，并被转换成电荷，每个元件上的电荷量取决于它所受到的光照强度，图像光信号转换为电信号。当CCD工作时，CCD将各个像素的信息经过模/数转换器处理后变成数字信号，数字信号以一定格式压缩后存入缓存内，然后图像数据根据不同的需要以数字信号和视频信号的方式输出。

CCD工作过程可分为电荷存储、电荷转移、电荷输出和图像信息还原四个阶段。

3.1 电荷存储

构成CCD基本单位是MOS电容器，类似于MOS晶体管结构，和其他电容器一样，MOS电容器能够储存电荷。当金属电极（称为栅）加正电压时（衬底接地），在电压的作用下，就会产生一个垂直于衬底表面的电场。在此电场的作用下，P型硅中的多子空穴被向下排斥，形成耗尽层。电子在那里势能较底，可以形象化地说，形成了电子的势阱，势阱中能够容纳多少个电子，取决于势阱的“深浅”，栅电压越大，势阱越深。

3.2 电荷转移

若CCD基本单位MOS电容器之间排列足够紧密（通常相邻MOS电容电极间隙小于3μm），使相邻MOS电容的势阱相互沟通，即相互耦合，那么就可使信号电荷（电子）在各个势阱中转移，并力图向表面势S最大的位置堆积。因此，在各个栅极上加以不同幅值的正向脉冲G，就可改变它们对应的MOS的表面势S，亦即可改变势阱深度，从而使信号电荷由浅阱向深阱自由移动。就电荷转移方式来讲，CCD有二相、三相、四相等多种结构形式。下面是三相CCD转移图：

3.3电荷输出

电荷输出结构有多种形式，如“电流输出”结构、“浮置扩散输出”结构及“浮置栅输出”结构。其中“浮置扩散输出”结构及“浮置栅输出”结构应用最广泛，结构如下图：

(a）浮置扩散输出（b）浮置栅输出

3.4 图象信息还原

Bayer方式滤色器，R-G-B-G四个单元为一组，G是R和B的两倍，因为人眼的视锥细胞对绿色更敏感。现在数码相机普遍采用的方式：R-Gr-B-Gb混合色亮度等于R、G、B各分量亮度之和，根据R、G、B三分量比例来还原色彩。

4 CCD主要参数

CCD主要参数有：总像素、有效像素、尺寸、灵敏度、量子效率、光谱响应特性、转移效率、不均匀度、动态范围、采样精度、线性度、噪声等。

4.1 灵敏度

它是指在一定光谱范围内单位曝光量的输出信号电压（电流）。也相当于投射在光敏元上的单位辐射功率所产生的电压（电流）。

4.2 量子效率

如果说灵敏度是从宏观角度描述CCD光电特性，那么量子效率是对同一个问题的微观描述，可以理解为1个光子能产生的电子数。

4.3 光谱响应特性

主要由光电二极管特性决定。下图是Si光电二极管的光谱响应曲线。

Si材料的禁带宽度决定了光谱响应的长波极限，由于波长愈短，半导体对光波的吸收系数愈小，这就决定了光谱响应的短波极限。

4.4 转移效率

转移效率η是指电荷包在进行每一次转移中的效率，即电荷包从一个栅转移到下一个栅时，有部分的电荷转移过去，余下1-η部分没有被转移，由于CCD中信号电荷包大都要经历上千次的转移，即使值几乎接近1，但其总效率往往仍然很低。例如，如果转移效率为0.999，转移2000次的话，总效率只有0.135。S0009CCD的转移效率为0.99999, 平均转移2000次，总效率为0.98。

4.5 不均匀度

CCD成像器件不均匀性包括光敏元不均匀和CCD (CMOS）不均匀。一般CCD是近似均匀的，即每次转移效率是一样的。光敏元响应不均匀是由于工艺过程及材料不均匀引起的，画素越多，均匀性问题越突出，不均匀度是影响像素提高的因素，也是成品率下降的重要原因。CCD的成品率一般不足50%。

4.6 动态范围/采样精度

上限取决于光敏元势阱容量，下限取决于CCD能分辨的最小信号，即等效噪声信号。

动态范围=光敏元满阱信号/等效噪声信号

采样精度是指输出电荷经A/D转换成数字信号的位 (Bit) 数。采样精度越高，层次越多，图像越细腻。现在数码单反相机采样精度为12bits。采样精度影响到颜色层次过渡细腻程度，动态范围则影响到整个图像表达明暗动态范围。

4.7 线性度

线性度是指在动态范围内，输出信号与曝光量关系是否成直线关系。

通常在弱信号和接近满阱信号时，线性度比较差。在弱信号时，噪声影响大，信噪比低；在接近满阱信号时，耗尽层变窄，使量子效率下降，灵敏度降低，。

参考文献

[1]李云飞、李敏杰等, TDI-CCD图像传感器的噪声分析与处理, 光学精密工程, 2007-cqvip.com

[2]熊平, CCD与CMOS图像传感器特点比较, 半导体光电, 2004-cqvip.com

世界图像传感器市场的发展 篇7

据i Suppli市场调研公司预测, 世界图像传感器市场2007年的出货量为10.95亿个, 比上年增长19%, 预期到2013年将增长到20亿个，年均增长率超过10%。而从出货值讲，自2006年登顶之后，在价格跌跌不休的情况下，有日渐趋缓之势。2007年市场规模为54.87亿美元，2011年将仅及46.63亿美元，平均每年以5%的速度缩小

图像传感器分C C D (电荷耦合器件) 和C I S (C M O S图像传感器) 两类。据预测，2007～2011年间CCD传感器出货量将从1.67亿个下降到1.44亿个，而同期CIS则将从9.29亿个快速上升到15.68亿个，年均增长率达14%。同期出货值前者从24.36亿美元下降到10.86亿美元, 跌幅过半;后者从30.51亿美元增加到35.77亿美元, 年均增长率也不过4%。CC D继续用于部分数码相机、数字摄像机和安全产品等, 但数量已不见增长。数码相机至少是2000万像素级的产品, 工业级超过5000万, 依然向着高像素迈进, 大约是四年翻一番, 目前还看不到头, 其中特别是小型机正是CCD用武之地。正在成长的移动电话是CIS前进的动力, 当前占其出货量的70%强, 其他电视会议等用的Web摄像机以及车载应用两类市场年出货量也在亿个以上。移动电话市场按数量计将以15.6%的年率高速增长, 预计2011年将大大超过15亿部。在数码相机市场, CIS以单反相机为主, 在小型机中CIS也正在逐渐取代CCD。CIS与CCD相比, 价格便宜, 因此在整个图像传器市场上, 2006年两者出货值各占半壁江山, 待到2009年CIS将占市场的三分之二, 2011年更将进一步提高到占77%。移动电话用CIS也将走高像素化的道路, 但想突破500万技术上还存有很大困难, 当下摩托罗拉的新型移动电话中, 有十分之一配置了130万像素的CIS, 可未获成功。

在图像传感器市场上, 以金额计Sony公司居于首位, 占有26%的份额, Micron和Sharp居次, 各占13%, ST居四, 占9%, 第五是奥姆尼比兴, 占8%。CIS市场Micron抢得头筹, 占25%, ST老二, 占17%, 随后依次为Omini Vision15.6%, Sharp12.2%, Sony5.9%。至今一直以经营CCD为主的Sony公司有很强的转向CIS之势, 这对要在市场上继读生存下去的公司而言, 一定要仔仔细细斟酌。