空间配准（共7篇）
空间配准 篇1
0 引言
在指向固定的地基大视场光电探测图像中,远距离空间目标星像小[1],且大视场背景复杂,目标几乎淹没在杂波起伏背景中;由于运动角速度慢[2],使成像特性类似于恒星星像,这给缓动目标的检测带来很大困难,直接影响了探测系统的性能。对于低信噪比运动弱小目标的检测,国内外众多学者进行了广泛而深入的研究,提出了许多有实际意义的检测算法,如:基于时空三维匹配滤波的目标检测算法[3]、基于多级假设检验的目标检测算法[4]、基于动态规划的目标检测算法[5]等等,但对于本文的工程应用背景而言,都面临运算量大、难以满足系统实时性的问题。为有效从众多缓动恒星背景图像序列中检测到低信噪比缓动弱小目标,本文提出了一种基于恒星配准的目标检测算法:对背景抑制后的图像在时域上根据缓动弱小空间目标的运动角速度与视场内恒星的角速度不同的特点,利用帧间恒星位移信息进行图像配准然后再进行差分相乘来检测缓动目标,最后利用目标运动航迹的连续性和规则性实现目标确认。
1 算法流程
对于大视场固定指向光电探测系统,其包含空间目标的CCD图像序列f(x,y,k)可以描述为
其中:背景fB(x,y,k)是一个起伏变化平稳的二维随机过程[6,7],占据了图像f(x,y,k)空间频率中的低频部分;噪声n(x,y,k)是传感器及电路产生的各类噪声的总和,与背景像素不相关[8],在空间上随机分布,帧间的空间分布没有相关性;fT(x,y,k)为空间目标,fS(x,y,k)为恒星,两者在图像中均表现为孤立的亮斑,亮斑面积由目标亮度及距离决定,由于光学扩散及大气湍流的影响,远距离空间目标大小一般扩散为几个像素左右,在灰度信息上跟弱小恒星目标无异。数量众多的恒星目标星像大小不一,且由于地球自转在相邻帧间进行微小的运动,二者不同仅表现为其缓动速度的差异。
基于上述特点,本文提出如图1所示的基于恒星配准的缓动弱小空间目标检测算法流程。图像序列在空域上通过形态学Top-Hat滤波进行背景抑制增强目标后进入缓存流水管道,根据缓动目标的运动角速度大小选择抽样间隔,保证其在抽样后的新图像序列相邻帧间位移超过3个像素,即目标基本不存在重叠;在时域上,根据多帧之间弱小空间目标的运动速度与恒星不同的特点,将新的图像序列的相邻三帧图像利用恒星位移信息进行配准,然后对配准后图像进行差分相乘来增强缓动目标;对时空域融合处理后的结果图像进行自适应分割,根据空间目标运动的连续性和规则性,建立目标航迹,剔除强恒星目标闪烁等引起的虚警,实现目标的确认。
2 空域形态学Top-Hat滤波
数学形态学起源于集合论,是一种数字图像处理的新方法,它的基本思想是用具有一定形态的结构元去度量和提取图像中的对应形态以达到对图像分析和识别的目的[9]。
基于形态学的Top-Hat变换滤波算子定义为
其中:g为合适选择的结构元素,用结构元素g对图像f进行灰度开运算,其结果即是估计出的背景,相减得到的HAT(f)即为滤除了背景的目标图像,包含了缓动空间目标、大量大小不一的恒星目标及一些单点脉冲噪声。由于光学扩散的影响,图像中的目标像素一般在2×2在13×13之间,根据Top-Hat变换的原理,结构元素在面积上要大于或等于目标,本文选择15×15的圆形模板作为结构元素。
3 图像配准
地球自转及抽样使新图像序列中恒星目标帧间位移增加,若直接进行差分会有大量恒星虚警点,这将大大增加后续航迹关联的运算量,必须在航迹关联前尽可能减少恒星虚警。考虑到光电探测系统指向固定,视场内恒星在图像中的速度可认为是相等的,即为地球自转的反向速度。本文首先计算新图像序列中恒星目标的帧间位移,以此进行相邻帧图像的配准,再通过时域差分方法来消除恒星的影响。
由于高分辨率科学级CCD相机数据量化及读出速度的限制,CCD图像序列帧频通常为2∼10帧/s,对大视场探测系统而言,恒星在连续6帧内的位移不会超过一个像素,本文选择如下一种易于工程实现的方法进行图像配准:由于系统要求每帧图像都要进行恒星检测,因此可以在图像f(x,y,k)完成恒星检测后,将图像按象限分为四个区域,分别在每个区域选择1颗最亮的恒星,计算其质心为Ck(i1,j1)～Ck(i4,j4),在fk-n(x,y,k)和fk-2n(x,y,k)中重新分别计算其质心Ck-n(i1,j1)～Ck-n(i4,j4)和Ck-2n(i1,j1)～Ck-2n(i4,j4),然后按如下公式计算恒星目标在相邻三帧间的偏差:
将式(3)、(4)计算得到的恒星目标运动向量分为整数部分和小数部分分别对应运动补偿的寻找参考块和内插两个过程,利用运动向量的整数部分可以找到参考帧中的最匹配替代预测像素(i,j)=(x-Δi,y-Δj),由于恒星的移动速度极低,因而往往整像素精度的预测不能满足精度要求,必须进行亚像素插值。本文采用双线性插值方法:利用周围四个像素点的加权平均计算亚像素点(u,v)的值(如图2)。
点(u,v)的灰度可以通过三次插值得到,根据线性插值理论设α=xu-xi,β=yu-yi,首先根据(i,j)、(i+1,j)的灰度值f(i,j)、f(i+1,j)插值得:
然后根据(i,j+1)、(i+1,j+1)的灰度值f(i,j+1)、f(i+1,j+1)插值得:
最后根据(u,j)、(u,j+1)的灰度值f(u,j)、f(u,j+1)插值得:
在具体实现时,将空域滤波后的图像fk-n、fk-2n根据式(3)和(4)计算得到的偏差分别经过整数部分寻找参考块和小数部分插值两个过程后得到配准后的图像
4 时域差分及目标确认
经过空域滤波和图像缓存抽样配准后,缓动目标在时域上表现为帧间的运动特性,在相邻两帧间位移一般大于3个像素,基本不存在重叠或重叠较小,而大量的恒星目标经配准后位置相对固定,可以看作固定背景。而对于背景相对固定的运动目标检测来说,差分图像法[10,11]由于其实时性和有效性,成为目前最广泛、最成功的运动目标检测方法之一。为消除强恒星闪烁造成的分割后的虚警,本文提出一种改进的三帧差图像法来有效地增强运动目标:其主要思想是第三帧与第二帧配准后的图像做差分处理,第三帧与第一帧配准后的图像做差分处理,然后相乘增强运动目标:
理论上,通过上述三帧差分增强处理后,d(x,y)中只有运动目标对应的像素点位置为非零。但实际上,由于各种噪声的影响,使得差图像中在运动目标以外的很多像素点位置上d值也不为零,非零点可认为由运动目标与高斯白噪声点组成,于是可以将时空域融合背景抑制目标增强后的图像用下面的数学模型描述:
式中:s(x,y,k)为缓动目标增强后的信号,b(k)为均匀背景灰度值,n(x,y,k)符合均值为0,标准差为σ的高斯白噪声模型,k为序列图像中的帧数。若系统要求检测概率Pd≥0.98,虚警概率Pf≥0.01,采用弱小目标检测领域常用的恒虚警原则分割图像,则要求目标全局信噪比SNR≥2.6。本文采用自适应门限方法分割目标,阈值Th的定义为:Th=mean(f)+th′⋅var(f),其中th′=3.3,mean(f)为图像均值,var(f)为图像标准差。
经上述时空域融合分割后,目标检测率有显著提高,虚警率大为降低,但是分割后的图像仍然可能存在强的恒星点闪烁以及少数云层边缘,必须进一步确认。结合实际工程经验,本文采用如图3所示的目标确认流程。
利用区域增长法完成分割后候选点的8邻域聚类搜索,将相邻的像素聚合为同一个目标,将聚类后的目标区域的最小外接矩形的中心定为初步形心;将聚类搜索后面积小于3个像素的区域作为高频噪声剔除。
由于望远镜指向固定,根据目标运动特点,相邻两帧之间运动目标的位置应该不同,如果在当前帧目标位置处,前一帧配准后的图像也存在目标,则该疑似目标则认为是恒星闪烁造成的虚警点而被剔除。
空间目标围绕地球按一定的轨道运行,其星象在连续帧间的运动可视为匀速直线运动,能够形成稳定的航迹,而噪声出现的位置相对随机。本文利用如下航迹关联准则进一步确认目标:如候选目标点集的形心近似均匀落在一条直线上就判定这些点集为真实目标,该直线为其对应的运动轨迹。
经上述航迹关联确认后的目标还有可能为随风飘动直线移动的起伏云层。真实目标受光学系统点扩散函数影响,灰度分布符合高斯二维曲面,中心灰度最高,向周围逐渐衰减扩散,周围局部小区域内背景灰度变化平缓,目标局部信噪比大;而云层边缘呈现由暗逐渐变亮的过渡,虚警点并非其邻域内灰度最大点,且周围局部小区域内灰度变化剧烈,其局部信噪比低。大量实测数据表明:局部信噪比小于4的目标可当作云层虚警剔除。
采用上述目标确认方法在目标出现的抽样后新图像的第三帧即可以确认有目标出现,通过航迹关联准则还可以得到前两帧的目标信息。
5 测试结果及结论
选取某地基光电探测系统实际录取的图像序列来进行算法验证。图像大小为1 024×1 024,其主要中间过程和结果如图4所示,目标在经间隔三帧抽样后的新图像序列(第1、4、7帧)中的相邻帧间位移约为4个像素(图4(a)中小白框内为目标),其中恒星位移为(1.857,0.253)和(3.707,0.509),目标的局部信噪比分别为1.87、1.79和1.91;原始图像在空域上经形态学Top-Hat滤波增强后,所有面积小于结构元素的孤立亮斑均保留(图4(b)),其中包括真正运动目标点、静止的恒星点与孤立亮噪声点,并且大多数静止恒星点与孤立亮噪声点的灰度还强于目标点;经配准后差分的图像如图4(c)、(d)所示,可见除少数因强恒星闪烁造成的疑似目标外,大部分恒星目标被当成背景消除,所有帧间存在相对运动的亮像元均保留,其中包括真正目标点、帧间闪烁的强恒星点,目标的全局SNR分别增强到3.093和3.158,采用恒虚警原则仍不能分割出目标;而相乘后运动弱目标得到显著增强,全局SNR增强到11.9,可以准确的分割出运动目标(如图4(e)),而其它的孤立亮噪声得到很好的抑制。经后续恒星虚警剔除和航迹关联确认结果如图4(f)所示。
本文提出的基于恒星配准的缓动弱小空间目标检测算法,既考虑了目标在单帧图像中表现出的孤立亮点特性,又利用了缓动目标在相邻帧间的运动速度与恒星不同的特性,经时空域融合滤波处理后,真正目标点的信噪比得以增强。算法全面考虑空间弱小目标在时域与空域方面的特性,能有效的从复杂背景中检测低信噪比缓动弱小空间目标,减小虚警率,抗噪声干扰能力强。经大量实测数据证明:本文提出的算法在大视场空间目标观测中能有效检测到低信噪比缓动空间目标。算法已在自研的基于双DSP(TMS320C6455)+FPGA的高速图像处理机硬件平台上实现,平均每帧图像耗时约75 ms,能够实时高效地完成缓动弱小空间目标检测。
摘要：在固定大视场光电探测系统图像中,远距离空间目标运动角速度慢、星像小,难以从众多恒星星像中有效检测到。针对上述问题,提出了一种基于恒星配准后差分相乘的缓动弱小空间目标检测算法,首先在空域上利用形态学Top-hat滤波抑制背景增强目标,然后在时域上将恒星配准后差分相乘增强缓动弱小空间目标,最后经自适应门限分割与航迹关联进行目标确认。实测结果表明,算法全面考虑了缓动弱小空间目标在时域及空域方面的特性,能有效地从复杂背景中检测到低信噪比缓动弱小目标,并满足实时性的要求。
关键词：图像配准,缓动目标,形态学滤波,时空域融合
参考文献
[1]Hebert T J,Africano J.Automated detection of orbital debris in digital video data from a telescope[J].Acta Astronautica(S0094-5765),2004,54:455-461.
[2]Seitzer P,Smith R,Africano J.MODEST observations of space debris at geosynchronous orbit[J].Advances in Space Research(S0273-1177),2004,34:1139-1142.
[3]Pohlig S C.Spatial-temporal detection of electro-optic moving targets[J].IEEE Trans.on AES(S0018-9251),1995,31(2):608-616.
[4]Tzannes A P,Brooks D H.Detecting small moving objects using temporal hypothesis testing[J].IEEE Trans.on AES(S0018-9251),2002,38(2):570-585.
[5]Tonissen S M,Evans R J.Performance of dynamic programming techniques for track-before-detect[J].IEEE Trans.on AES(S0018-9251),1996,32(4):1440-1451.
[6]胡谋法,李超,韩建涛,等.可见光图像背景起伏的平稳性和相关性分析[J].光电工程,2006,33(3):44-49.HU Mou-fa,LI Chao,HAN Jian-tao,et al.Stationary characterization and correlation of visible image background clutter[J].Opto-Electronic Engineering,2006,33(3):44-49.
[7]Bertilone Derek C,Caprari Robert S,Chapple Philip B,et al.Spatial statistics of natural-terrain imagery[J].Applied Optics(S0003-6935),1997,36(35):9177-9185.
[8]Steven B Howell.Handbook of CCD Astronomy[M].Cambridge University Press,2000.
[9]崔屹.图像处理与分析-数学形态学方法及应用[M].北京:科学出版社,2000.CUI Yi.Image Process and Analysis-mathematical Morphologic Method and Application[M].Beijing:Science Press,2000.
[10]Diani M,Corsini G,Baldacci A.Space-time processing for the detection of airborne targets in IR images sequences[J].IEE Proceedings of Vision,Image and Signal Processing(S1350-2395),2001,148(3):151-157.
[11]王卫华,何艳,陈曾平.光电图像序列运动弱目标实时检测算法[J].光电工程,2006,33(4):14-18.WANG Wei-hua,HE Yan,CHEN Zeng-ping.A Real-time Algorithm for Small Moving Target Detection In Photoelectric Image Sequences[J].Opto-Electronic Engineering,2006,33(4):14-18.
多视频序列间的配准 篇2
技术简介:
目前图像到图像的配准已经得到很好的研究和广泛的应用。然而, 所有的图像配准的方法都有两个内在的缺陷: (1) 图像到图像的配准受限于要配准的图像各自包含的信息, 这里的信息指的是帧内图像在空间上变化, 用以描述场景的视觉表现; (2) 当图像是一个动态的场景中一系列静态图像时, 仅当两幅图像是同时拍摄时, 二者之间的配准才可行。然而, 摄像机几乎不可能以如此高的时序精度完成同步。
国外科学家提出一种序列到序列的配准方法 (区别于图像到图像的配准方法) 。这种序列由多个无需校准的摄像机记录, 它们或者静止, 或者联合移动, 具有固定 (但未知) 的内部参数和相对的摄像机间的外部参数。
技术优势:
1.传统的图像间配准所存在的模糊性 (比如因各图像间缺乏足够的相同视觉信息造成的模糊性) 往往通过序列间的配准就能解决;2.对视频序列在时序上的配准在计算时能够实现很高的子帧配准率;3.在时序和空间上对视频序列的配准和信息整合, 产生了许多新的视频上的应用, 而在仅用图像间配准时, 这些应用是不可行的。
应用领域:
多视频序列间的配准 篇3
目前图像到图像的配准已经得到很好的研究和广泛的应用。然而, 所有的图像配准的方法都有两个内在的缺陷: (1) 图像到图像的配准受限于要配准的图像各自包含的信息, 这里的信息指的是帧内图像在空间上变化, 用以描述场景的视觉表现; (2) 当图像是一个动态的场景中一系列静态图像时, 仅当两幅图像是同时拍摄时, 二者之间的配准才可行。然而, 摄像机几乎不可能以如此高的时序精度完成同步。
国外科学家提出一种序列到序列的配准方法 (区别于图像到图像的配准方法) 。这种序列由多个无需校准的摄像机记录, 它们或者静止, 或者联合移动, 具有固定 (但未知) 的内部参数和相对的摄像机间的外部参数。
技术优势:
1. 传统的图像间配准所存在的模糊性 (比如因各图像间缺乏足够的相同视觉信息造成的模糊性) 往往通过序列间的配准就能解决;2.对视频序列在时序上的配准在计算时能够实现很高的子帧配准率;3.在时序和空间上对视频序列的配准和信息整合, 产生了许多新的视频上的应用, 而在仅用图像间配准时, 这些应用是不可行的。
应用领域:
医学图像配准技术研究 篇4
图像配准是指通过寻找某种空间变换,使来自不同时间、不同传感器或不同视角的同一场景的两幅或多幅图像的对应点达到空间位置上的一致。由于获取时间、角度的不同、环境的变化、传感器的差异等,拍摄的图像容易产生噪声干扰、几何畸变和灰度失真。因此,图像配准算法的精确性、快速性、鲁棒性是目前研究的重点和难点。
医学图像配准技术已经应用于许多领域,如融合来自于不同采集设备的图像之前,先要对图像进行配准;通过比较手术前后的图像,验证治疗的效果;对齐时间扫描序列图像,监控肿瘤生长的情况[1],其他应用还有运动目标识别和跟踪等。
近几十年来,医学图像配准技术的研究取得了显著进展,各种图像配准算法相继涌现,从二维领域到三维领域,从单模态图像到多模态图像,从基于外部特征到基于内部特征,从刚体配准到非刚体配准,研究领域不断扩大。分析了医学图像配准的四个关键要素,并着重从变换模型、相似性度量两个方面探讨了医学图像配准技术的发展。
1 医学图像配准要素
医学图像配准算法由特征空间、变换模型、相似性度量、变换参数的搜索策略四个要素组合而成[2]。
(1) 特征空间。
特征空间是由待配准图像的特征构成的,选择好的特征可以提高配准性能,节约参数搜索时间,增加算法鲁棒性。特征空间一般可分为:特征点,即选取一些几何上或解剖上有意义且容易定位的点组成特征空间;特征曲线/曲面,即提取感兴趣区域的轮廓曲线/曲面作为特征空间;基于像素/体素,即用整幅图像的所有像素/体素共同组成特征空间。前两种方法的信息量较少,因此参数优化相对比较快,但精确度不高。最后一种方法利用图像的所有信息,因此计算量较大,但同时精确度较高。
(2) 变换模型。
变换分为线性变换和非线性变换。线性变换又包括刚体变换、相似变换、仿射变换和投影变换;非线性变换使用较多的是多项式函数。
(3) 相似性度量。
相似性度量是配准标准,通常定义为某种代价函数的形式,用来在给定的特征空间和变换模型下得到最优变换参数。主要分为两类,第一类是建立具体的几何特征相关,使用相关性估计变换参数;第二类是通过优化能量函数来得到最优变换参数。
(4) 变换参数的搜索策略。
图像配准是一个迭代过程,运算量较大,需采用一定的优化措施使相似性度量更快、更好地达到最优值。常见的优化算法有:穷尽搜索法、Powell算法、单纯形法、Levenberg-Marquadrt法、Newton-Raphson迭代法、随机搜索法、最速梯度下降法、遗传算法、模拟退火法等。在实际应用中,经常使用附加的多分辨率和多尺度方法加速收敛,降低需要求解的变换参数数目,避免局部极值。
2 医学图像配准技术的发展
医学图像配准是图像融合的前提和关键,是公认难度较大的图像处理技术,其研究日益受到医学界和工程界的重视。目前,医学图像配准算法的发展主要表现在四个方面,即上述图像配准四个关键要素的选择。在此着重从其中两个方面入手,以研究医学图像配准算法的发展状况。
2.1 变换模型
变换包括全局变换和局部变换,可以是线性或者非线性的。全局变换应用于整幅图像,有刚体变换、相似变换、仿射变换和投影变换。全局变换模型比较简单,但是精度有限。对于形变图像的配准,要求更多的自由度来描述不同的形变,以达到足够的精确度。因此,一般先进行粗略的全局配准,在此基础上再进行精细的局部形变配准,并通过图像金字塔和小波变换[3,4]等多分辨率的方法实现从粗糙到精细的层次配准,提高参数优化速度和增加算法鲁棒性。
局部变换包括:光流模型(Optical Flow)、薄板样条(Thin Plate Splines,TPS)[5]、射线基函数(Radial Basis Functions,RBS)、有限元(Finite Element,FEM)[6,7,8]、空间形变技术如自由形变(Free Form Deformations,FFD)[9,10,11,12,13]等。光流经常用于局部形变的建模,它不保证拓扑不变,而且不一定产生一到一的相关性。TPS和RBS是另外两种普遍的非刚体变换技术,但是它们都要求找到两组明确的相关标记点,因此自动寻找对应的标记点是主要问题,而且标记点的准确性会影响配准的精确度。FEM和FFD是目前图像局部形变建模研究的两种热点技术。
2.1.1 FEM技术
FEM的基本思想是将连续的求解区域离散化,使之成为一组有限数目,且按一定方式相互联结在一起的单元组合体。由于单元能按不同的联结方式进行组合,而且单元本身又可以有不同形状,因此可以精确地进行几何形状复杂区域的建模。文献[6]使用FEM生物力学模型对手术中三维脑部MRI(Nuclear Magnetic Resonance Imaging)图像进行配准。文献[7]在图像已进行全局刚体配准的基础上,使用线性弹性FEM模型进行更精细的局部配准,并在一个基于增量(Incremental)算法的框架内实现,解决图像的几何非线性形变失真问题。文献[8]将非刚体配准算法应用于图像引导手术中,依赖于生物力学FEM模型,使用一个不可压缩的线性弹性构成方程来刻画脑部软组织的机械行为。这里还提出下一步工作,即考虑引入更复杂的先验机械知识来弥补线性弹性模型的局限性。
2.1.2 FFD技术
在图像局部形变模型中, FFD技术因其局部形变的建模能力,不受限制的自由度以及高计算效率而成为研究热点之一。FFD能够隐含地加强平滑约束,对噪声鲁棒,并能通过多分辨率的方法从大到小地进行非刚体形变的建模,其恢复的形变域平滑、连续,保持形状拓扑不变,并且保证了一到一的映射。文献[9]首先在全局配准中使用仿射变换,然后利用基于B样条的FFD模型描述局部形变,并用实验证明其算法对形变域的恢复优于刚体或仿射配准。文献[10]将FFD与多分辨率技术相结合,采用基于多分辨率网格的FFD方法,实现从粗糙到精细的层次配准,从而提高变换参数搜索的优化速度,增加算法的鲁棒性。文献[11]讨论了层次化的B样条在图像配准中的应用,将其分别与FFD、非线性ICP(Iterative Closest Point)、光流三种算法结合,并对配准结果进行比较,证明了后两种方法的局限性。基于层次化B样条的FFD以其从全局到局部的影响、从粗糙到精细的匹配以及高计算效率,已成为图像配准的一个很好的选择。通过对比,进一步验证了FFD技术的优越性。文献[12]在空-时心脏MRI图像序列配准中使用FFD分别描述心脏的三维空间和一维时间上的局部形变,形成空-时形变变换模型,较好地改进了图像序列的空-时配准方法。文献[13]将IFFD(Incremental FFD)模型应用于形状配准中,并在均方误差 (Mean of Squared Differences,MSD)度量中引入特征点约束,在特征点及其精确相关性已知的情况下,可以大大提高配准精度。文献[14]提出一种新的多方法和多数据融合图像配准的算法,通过从全局到局部的变换,实现了精确的非刚体图像配准。全局配准结合了隐含形状表示和互信息度量的优点,使用仿射变换实现了全局配准;局部配准选择基于B样条的多分辨率网格FFD模型,并引入边缘和图像数据融合技术,以充分利用边缘信息,得到平滑、连续且保证一到一映射的形变域。
2.2 相似性度量
经典的相似性度量包括相关函数(Correlation Functions)、均方误差(Mean of Squared Differences,MSD)等。近年来,使用互信息(Mutual Information,MI)作为图像配准的相似性度量,已成为一种广泛使用的较好的方法,尤其在多模图像配准中已成为主导技术。
互信息是信息论中的一个概念,是两个随机变量统计相关性的测度。当两幅基于共同场景的图像达到最佳配准时,它们对应的像素灰度互信息应达到最大。由于该测度不需要对不同成像模式下图像灰度间的关系做任何假设,也不需要对图像进行分割或任何预处理,所以被广泛用于多模图像配准中,特别是当其中一幅图像的数据部分缺损时也能得到较好的配准效果。
文献[15]是最早提出在图像配准中使用互信息技术的文章之一。该文将互信息度量分别应用于MRI图像配准、三维目标模型与实际场景的匹配,通过梯度下降优化方法实现最大化互信息,从而得到配准的图像。文献[16,17]尝试在互信息配准的各个步骤中结合不同的方法,使用Parzen窗计算联合概率密度,通过Marquardt-Levenberg方法[16]或者Jeeves方法[17]最大化互信息。文献[18]联合分层搜索策略和模拟退火算法寻找互信息最大值,而文献[19]通过Brent′s方法和Powell′s多解析方向集方法优化互信息来配准脑部多模图像。文献[20]对互信息配准和其他6种相似性度量配准方法做了比较,包括归一化互相关系数和梯度相关性等,证明了互信息度量在图像配准中的优越性。上面提到的互信息配准方法都是基于整幅图像数据进行相似性度量的。文献[21]将互信息度量应用于提取的特征(区域边界点)上,但这种方法还比较少,其精确度受到所提取特征的准确性的影响。
基于互信息度量的图像配准中存在的问题,主要表现为配准的鲁棒性问题,即在搜索最优变换参数的过程中存在着大量局部最大值的干扰,使得配准过程容易陷入到局部最大值而导致图像误配。针对这个问题,许多文献提出了各种互信息度量的改进形式,例如将边缘相关微分[22]、模糊梯度相似性[23]等几何信息加入到互信息度量的准则中。
3 结 语
医学图像配准是图像处理和计算机视觉中一个重要的研究领域,也是一项比较复杂和困难的课题,其关键要素包括:特征空间、变换模型、相似性度量、变换参数搜索策略的选择等。这里从变换模型、相似性度量两个方面探讨了近年来医学图像配准技术的发展。医学图像配准算法的研究已经取得了很大的进展,各种新算法相继涌现。但是现有算法在某些方面都有不尽人意的缺陷,各有其局限性。医学图像配准技术的研究中还存在许多需要解决的问题,例如形变图像配准的结果精确度与算法复杂性的矛盾,三维图像配准的大数据量问题、彩色图像的配准等。
摘要：医学图像配准是图像处理和计算机视觉中一个很重要的研究领域。首先分析医学图像配准的四个关键要素,然后着重从变换模型、相似性度量两个方面探讨了医学图像配准技术的发展,最后提出医学图像配准中有待进一步研究的问题。
空间配准 篇5
关键词：B样条,弹性配准,自由形变模型,锥形束CT
1 引言
放疗过程中,肿瘤区域的退缩是临床医生十分关心的问题。现阶段随着图像引导放疗技术在放疗中的大量开展,患者在治疗过程中需要采集大量锥形束CT(cone beam CT,CBCT)图像以分析临床治疗位置的差异。将CBCT图像与CT图像进行弹性配准,将大大提高临床医生对肿瘤区域以及周围正常器官变化的了解,也为个体化的精确放疗提供更好的技术支持。CBCT图像是采用锥形束成像模式,其常用的FDK算法[1],由于不满足重建的完全性条件,数学表达简单易于实现,但也因此影响其成像质量。本文开展了CBCT与CT图像基于B样条弹性配准可行性的研究,并成功应用于临床实际病例。
2 材料与方法
2.1 材料
采集放疗前患者CT图像与放疗期间患者CBCT图像用作实验分析。
2.2 方法
2.2.1 B样条的自由弹性模型(free-form deformations,FFD)[2,3]
在低阶样条基函数中,3次B样条具有计算高效性以及二阶连续性等特性,因此在建立弹性模型时,一般采用3次均匀B样条基函数[4]。
Φ表示规格化控制网格,表示成向量形式,即为控制点向量,每个控制点的距离为δ,且每个控制点都具有水平和垂直方向上的自由度,因此Φ的自由度为2nxny。采用B样条的FFD模型,经过弹性形变作用后的待配准图像中的点(x',y')与原始待配图像中的点(x,y)相对应,以3次均匀B样条函数定义的弹性变换形变公式可表示为[5]:
其中,表示
取整运算;Bl表示3次均匀B样条的第1条基函数,表达为:
本研究用SSD作为相似性测度:
N为图像配准区域内像素总数,Ir(x),If(x),x∈Rd表示d(d=2,3)维空间中的参考图像和待配准图像的灰度函数,当2幅图像达到配准状态时,Essd最小。
2.2.2 最优化模型
根据公式(3),求ψi,j为最主要的步骤。其主要思想是寻求使相似性测度函数Essd取最小值的空间变换位置,属于无约束最优化问题。本文采用拟牛顿法中的BFGS (boyden fletcher goldfarb shannon)方法求解。
基本步骤如下:
Φ是B样条的FFD模型中待优化控制点网格向量,▽Essd(Φ)是测度函数在Φ的梯度。
(1)选取初始控制点网格向量Φ(1),初始正定矩阵H1(通常选择单位矩阵I),令k=1;
(2)
(3)求解一维搜索问题设tk为最优步长,令
设tk为最优步长,令
(4)如果由Φ(k+1)满足迭代终止准则为很小正数),输出Φ(k+1),计算终止;否则,转(5);
(5)将Hk更新为Hk+1;
(6)若,令k=k+1转(2);否则,令转(3)。
3 实验结果
对患者的CBCT与CT图像进行仿真实验验证。实验平台为Intel Core Duo CPU T2400(酷睿2双核,1.83 GHz),1 GB内存,在Matlab 7.6环境下运行。图像在进行基于B样条的弹性配准前均进行高斯滤波,对图像进行平滑处理。患者CBCT与CT图像大小均为512×512。实验结果表明,配准后图像明显能发现肿瘤区域的变化。配准后的差分图像中肿瘤区域的插值图像明显小于配准前差分图像,配准结果令人满意。不过由于CBCT成像质量等因素的影响,其与CT之间的配准仍有待进一步提高。
配准结果一,见图1。
配准结果二,见图2。
4 讨论
本文采用基于多分辨率的B样条弹性配准方法对CBCT图像与CT图像进行配准,采用BFGS优化策略,并成功地运用于临床患者。从配准后差分图像可以看到,肿瘤区域差值图像明显单调减小,采用上述方法可以为临床分析肿瘤以及周围正常器官的变化提供很好的影像学支持。对于边缘部分形变仍需要进一步提高,这也与CBCT成像质量相关。因此,提高CBCT图像质量,使之与CT之间得到更好的弹性配准结果,是我们下一步需要解决的问题。
进一步研究的重点是,将以互信息为测度函数的方法应用于CBCT与CT 2种不同模态的医学图像配准中。对CBCT图像以及CT图像采用什么样的预处理方法,以及使互信息达到最大需用到的较有效率的最优化方法,是我们研究的方向。怎么样提高优化时间,也是能否将医学图像非刚性配准方法应用于在线自适应放疗的关键。基于GPU的图像配准,是缩短配准时间的一种有效方式,也是当前研究的热点。
用数学模型模拟实际器官的形变并计算器官累加剂量的方法,关键是数学模型的准确性及对该模型的验证。精确计算器官累加剂量对形变数学模型也提出了更高的要求。
参考文献
[1]L.A.Feldkamp,L.C.Davis,J.W.Kress,et al.Practical cone-beam algorithm[J].J.Opt.Sco.Amer,1984,1(6):612-619.
[2]D Rueckea,L Sonoda,C Hayes,et al.On -rigid registration using free-form deformations:application to breast MR image[J].IEEE Trans on Medical Imaging,1999,18(8):712-721.
[3]Tustison.N.J,Avants B.A,Gee.J.C.Proceedings of IEEE 11th International Conference on Computer Vision,Rio de Janeiro,December 26,2007[C]//Rio de Janeiro:Computer Vision,2007.
[4]L J.Schoenberg.Contributions to the problem functions[J].Q Appl Math,1946,4:45-99.
基于遗传算法的三维曲面配准 篇6
曲面的配准，就是在仿射空间中，在粗略对齐的初始条件及平移和旋转两种变换的约束下，使得两个曲面能够最大限度的重合。设测量数据点集合用P表示，模型数据点集合用Q表示，P和Q分别用三维空间坐标数据点集合表示。若在测量数据点集P中提取一个子集，在模型数据点集Q中有一子集与之各点对应，三维曲面配准就是使与测量数据处在不同坐标系下的模型数据进行坐标转换，其关键就是转动矩阵R和平移向量T的求取。在匹配的点对下，求取的R和T应该使下面的目标函数最小：
目前，三维数据配准方法种类繁多，其中最近邻点迭代匹配(Iterative Closest Point algorithm,ICP)算法为典型的算法[1]。但是ICP法对初始位置非常敏感，常常收敛于一个局部的最小值，在全局范围上存在较大的误差。遗传算法是基于群体进化的算法，具有较好的全局搜索性能[2]，它主要借用生物进化中“适者生存”的规律[3]，从简单的初始编码种群出发，通过交叉变异使种群进化越来越接近某一目标。针对ICP匹配算法的问题，本文用遗传算法进行测量数据与模型数据的粗配准，以粗配准的结果作为ICP算法的初始值，用先粗后精两步优化匹配方法使模型与测量结果达到精确的全局匹配。
2 基于遗传算法的曲面粗略配准
2.1 优化模型的建立
在计算中，采用Horn提出的四元数法[4]表示旋转矩阵R和平移向量T，定义单位四元函数：
R表示为：
T表示为：
式中：p軈———测量数据点集的中心向量;
q軈———模型数据点集的中心向量。
对曲面配准而言，这四个参数是优化模型的自变量。在目标函数的建立过程中需要计算点到曲面距离，为了简化迭代过程，采用点到点的欧氏距离。目标函数可以表示为：
式中：pi———测量点;
Qi———经过旋转平移变换后的模型点。
由于采用单位四元数表示旋转和平移矩阵，则q02+q12+q22+q32=1，其中q3=姨1-q02-q12-q22，所以若以(q0,q1,q2)作为解空间，则解空间应该满足约束：
求解旋转矩阵R和平移向量T，转化为在以原点为球心的单位球内(包括边界)求解一点，这一问题转化为典型的约束优化问题。本文采用惩罚函数法，将约束优化问题转化为无约束问题。
2.2 遗传算法优化过程
(1)编码
利用遗传算法进行三维数据的粗配准，涉及到三个参数，所以要生成三个随机数，然后转化为二进制编码存储到种群中，为了节省解的搜索空间，提高计算速度，对每个坐标参量采用4位二进制编码，这样每个个体都有三个染色体，每个染色体代表一个参数。
(2)选择操作
采用竞赛法挑选个体，即随机在种群中挑选出两个个体，比较两者的适应度值，适应度值大的个体参加繁殖。如果两个个体的适应值相同，则任意选取其中的一个。
(3)交叉操作
采用随机选择两个交叉位的方法。
(4)变异操作
对于满足约束条件的染色体采用一点变异，对操作的染色体随机选取一个位置进行取反操作。对于不满足约束条件的染色体进行两点变异操作，变异后使其成为可行解。
(5)适应度函数
以模型数据经过当前解(q0,q1,q2)对应的R和T变换后与测量数据的欧式距离作为尺度，根据刚体运动特征和式(6)的约束条件，对于染色体C=c1,c2，…cn建立如下适应度函数：
式中：d(t軆i,P)=j∈m(1i…nNp)d(t軆i,P軋j);
q軋i———模型数据点集Q的第i点向量;
p軋j———测量数据点集P的第j点向量;
t軆i=Rq軋i+T,R和T可以由染色体C对应的四元数求得;
d(t軆i,p軋j)———两点间的欧式距离。
对于不满足约束条件的解施加一个惩罚因子μ，μ表示为：
式中：q0m,q1m,q2m———变异前染色体对应的解。
对于在不可行域的解施加惩罚因子，使解收敛于可行域。
(6)控制参数
结合交叉率和遗传进化代数的关系，综合考虑适应度和迭代数，保证在迭代初期，交叉率较大，进化速度较快，避免遗传算法陷入迟钝状态;同时又能保证在迭代后期，交叉率较低，并逐步减小至一常量从而保证平滑收敛。采用如下自适应交叉率：
式中：Fmax———最大适应度值;
Fmin———最小适应度值;
———平均适应度值;
F(x)———F(xi)和F(xj)之间较大值;
xi,xj———待交叉的两个个体;
T———最大遗传代数;
t———当前遗传代数。
综合考虑变异率与父串间距离以及遗传代数的关系，提出一种pm与父串间的相对欧氏距离成反比，随相对遗传代数指数下降的自适应变化的策略。公式如下：
式中：D———父串之间欧式距离;
Dmax———父串之间最大欧式距离;
pm,max———最大变异率(这里取0.45);
pm,min———最小变异率(这里取0.01);
λ———常数,这里取λ=10。
3 曲面的精确配准
3.1 曲面的预定位
测量数据由三坐标测量仪获得，而模型数据是通过CAD软件获得，二者并不处在同一坐标系下。为了能够更精确地匹配两模型，本文在进行两步法曲面匹配之前，利用两曲面的重心和四个角点将测量曲面和模型曲面定位于同一坐标系下，经过预定位后，被测曲面与理论曲面的重心与近似法矢基本重合[4]。
3.2 两步配准方法
ICP法主要由两部分组成：一是模型与测量数据间最近点对的计算;二是对应点集之间的刚体变换估计[5]。将根据遗传算法优化得到的[q0,q1,q2,q3]代入公式求得旋转矩阵R0和平移向量T0，将其作为ICP算法迭代的初始值，计算两个集合间的对应点集，然后计算变换矩阵并且更新原始的变换，直到迭代达到一定次数K或两曲面间距离满足某一个给定的阈值ε。改进后的ICP算法的基本步骤如下:step1，读入目标曲面与测量曲面，将两模型预定位于同一坐标系下;step2，令K=0，根据遗传算法优化的结果由四元函数法计算初始旋转矩阵R和平移向量T;step3，令K=K+1，通过ICP算法求出R(k-1)pi+T(k-1)到曲面的最短距离对应的点集;step4，通过四元函数法求旋转矩阵R和平移向量T;step5，计算目标函数F(R,T)=Σ[Rpi+T-qi]2;step6，终止条件判断，如果满足条件则终止，否则转步骤step3ㄢ
4 实例验证
在遗传匹配算法中，迭代次数n的取值不同，配准后两模型的逼近精度也不同。下面以一自由曲面为例，对n值不同时，曲面的配准情况进行研究。图1和图2分别给出了配准前后曲面的空间位置，表1给出了不同n值的情况下曲面配准后的误差，由这些数值我们可以看出，随着n值的增大，配准误差由2.12减小到0.47，曲面匹配逼近精度增大。
多点成形压制工件时，工件下料尺寸略大于模型尺寸，所以得到的实际工件和测量数据轮廓范围都大于模型数据。这时将测量模型和目标模型进行匹配时，如果单纯用ICP算法，容易收敛到局部最小值[6]。本文以脑颅骨修复中钛合金网板的数字化模型为例进行研究，由医院提供的CT数据可重构出需修复部分的CAD模型，依据此数据对钛合金网板进行多点成形。成形后的工件由激光扫描得到测量数据[7]，在二者曲面配准的基础上进行误差分析，从而进一步用多点成形技术闭环修正，得到精确的修复体。图3～图5给出了基于ICP匹配算法和两步匹配算法的计算结果，表2是两种匹配方法的旋转矩阵R和平移向量T。由图可以看出，ICP算法配准只是达到了某一局部的贴合，而用两步法匹配的全局优化效果良好。
5 结束语
针对自由曲面模型数据和测量数据之间的配准问题，研究了先粗后精的两步配准方法。以四元数中的3个参量作为优化搜索空间，利用遗传算法优化，使得旋转矩阵和平移向量有较好的初值，再代入ICP算法迭代匹配以达到全局最优配准。通过计算实例表明这种算法避免了只用ICP算法在配准过程中容易陷入局部最小值的缺点，为自由曲面之间达到全局最优配准提供了一种新路径。
摘要：本文针对自由曲面模型数据和测量数据之间的配准问题,研究了先粗后精的两步配准方法。利用遗传算法的全局搜索性能,控制优化参数达到两曲面间的粗配准;以粗配准的结果作为初值,利用ICP匹配算法修正误差,进一步优化以达到全局最优配准。两步法解决了ICP算法易收敛于局部最小值的问题,将测量曲面与CAD模型曲面在空间进行最优化匹配。实例验证表明,算法配准精度高、运算速度比较快,可以应用于曲面件多点成形后的曲面误差分析及修正,也可应用于其他领域自由光滑曲面的测量结果的比较分析。
关键词：计算机应用,配准,三维曲面,遗传算法
参考文献
[1]Besl P J,McKay N D.A Method for Registration of3D Shapes.IEEE Transaction on Pattern Analysis and Machine Intelligence,1992,14(2):239-256.
[2]刘勇,康立山,陈毓屏.非数值并行算法(第二册)—遗传算法.北京科学出版社,1997:79-136.
[3]邢文训,谢金星.现代优化计算方法.北京:清华大学出版社,2005.
[4]于源,卢军,王小椿.自由曲面测量中曲面匹配的建模及算法分析.机械科学与技术,2001,20(3).
[5]来新民,黄田,曾子平,林忠钦.自由曲面逆向工程系统的研究.中国机械工程,2001,11(7):777-780.
[6]付文智,李明哲,邓玉山,等.非接触三维曲面测量仪及其在多点成形中的应用.锻压装备与制造技术,2008,43(2):18-20.
SICP配准的三维人脸建模 篇7
人脸建模已经成为了一个热门的话题,且最近几年倍受各种领域的关注,如计算机图形学、基于面部分析的模型、人脸识别等[1,2,3]。现有的三维人脸重建技术主要为被动式技术和主动式技术。被动式技术是从二维图像进行三维建模,一般很难做到实时。主动式技术直接测量物体的深度信息,很容易做到实时效果,如采用结构光技术的Kinect[4]和采用时间飞跃法(Time of Flight,TOF)技术的Cam Cube[5],而相对于Cam Cube,采用结构光技术的Kinect便宜且实时性好,更容易推广。Meyer等人[6]提出一个使用Kinect构建的系统进行三维人脸建模。文中提出一个快速人脸分割的方法将用户的头部从深度图中分割出来,然后将分割后的深度图进行配准集成为一个3D模型。使用该方法分割头部依赖于较完整的深度图,但Kinect采集的深度图一般缺失严重,致使会出现不能完整分割头部的情况,进而导致建立的模型不完整。Zollhöfer等人[7]首先使用Kinect相机的彩色传感器检测出人脸的一些面部特征(如眼睛和鼻子),然后利用这些特征来调整一个通用模型使它与单幅深度图片进行配准,进而建立一个具有个体特征的个体模型。但此方法在检测人脸面部特征时由于会受光照、噪声的影响,会使获得的这些面部特征信息并不精确,以致会降低使用这些特征与通用模型进行配准的精度,最终影响建模的质量。文献[8]提出在使用迭代最近点(Iterative Closest Point,ICP)进行深度图配准时,如果配准失败,他们使用一个实时的头部姿势评估算法给ICP一个初始假设,使其重新完成配准,从而建立一个完整的三维人脸模型。但当头部扭转角度太大时会使对应点的选择变得困难,即使根据对头部姿势的评估所提供的初始化假设也不能使ICP完成配准。针对上述问题,我们提出一种快速分割人脸的方法以及使用稀疏ICP[9]进行三维点云的配准,在进行配准前使用双边滤波器对分割后的深度图进行滤波。它能够快速建立一个完整、平滑的三维人脸模型。本文建立的模型不基于任何一个通用的模型,而是通过配准和集成多幅不同角度深度图来生成一个三维人脸模型。
1 快速头部分割
在进行头部分割之前采集数据,在时刻 τ 处,系统从Kinect获得一张原始的深度图Iτ,由一组像素点(u,v)组成,每一个像素点包含一个深度值Iτ(u ,v)(单位:毫米)。由于获取的原始深度图不仅包含前景域(即用户身体部位和头部)同时含有背景域。我们只需要得到感兴趣的部位(用户的头部),因此需将背景区域和用户的身体部位去除。首先将深度图分为前景区和背景区,使用连通分量分析的方法确定前景区域,当两个相邻深度像素的差异低于一个临界值时被认为是相邻的,并假设前景区域是距离相机最短距离的最大部分,这样就可以去除背景区域使深度图像只剩下前景区域。其次,为了确定头部区域,本文寻找一条水平线将前景区域分为头部区域H和躯干区域J 。为了完成这项工作,首先将深度图像转换成直方图的形式:
当该点有深度值时,Mτ为1 且将该点的深度值相加,否则Mτ为0。然后将该直方图分为H和J :
其中y为水平扫描线,用于分离这些二进制代码。由于Viola-Jones[10]设计的人脸检测算法实时性好且对光照具有一定的鲁棒性,因此本文使用该方法检测人脸,在检测到人脸后调整矩形框,使矩形框包含用户的整个头部,并标出人脸的高度记为y,y即为寻找到的水平线,这样便可得到分割后的头部区域(图1 所示):
(a)采集人脸RGB图像;(b)检测用户头部高度;(c)在深度图中找水平扫描线;(d)分割后的深度图(a)The face image of RGB;(b)When detect the user’s face,label the user’s head’s height;(c)Find the horizontal scan line in depth image;(d)The depth image after segmenting the user’s head
2 基于SICP的图像配准
稀疏迭代最近点(sparse Iterative Closest Point,SICP)[9]使用稀疏诱导规范来重写配准优化公式以解决前面所述的问题。假设给定两个表面 χ ,ψ 属于K维空间,将成对的配准问题写成:
其中:R∈Rk×k为一个旋转矩阵,t∈Rk为一个转换向量,x∈Rk为源几何模型上的点。刚体变换通过将R限制到特殊的正交群SO(K)中。使用指示函数IA(b ),如果b∈A ,IA(b)=0;否则IA(b )=∞。配准的质量通过度量ϕ被评估,度量ϕ为测量到ψ 的距离且被定义为
上式为连续成对配准,一般使用离散成对配准,所以设X={xi∈χ,i=1,2,...,n},Y={yi∈RK,i=1,2,...,n}。且将式(6)代入式(5),故可将式(5)重写为
为了解决式(7)的非线性问题,将式(7)分解为两步:
为了处理配准中出现的异常值、噪声、丢失数据及源模型与目标模型有部分重叠的情况,选择度量ϕ 为φ(x,y)=ϕ(||x-y||2),其中φ(r)=|r|p,p∈[0,1],因此可将式(8)、式(9)写成下面这种形式:
第一步:
第二步:
然而对于上述两个公式,在p∈[0,1]时,仍然存在非凸性和非平滑问题,所以将这两步分开处理以解决这两个问题,对于第一步由于φ(r )=|r|p在R+上为一个不减的函数,且φ(r )=||.||2在相同的点处能够取得最小值,因此第一步可重写为
在这一步中可以使用基于l2度量的kd-tree寻找对应关系来进行优化。
在第二步中,引进一个新的残差集合Z={zi∈Rk,i=1,2,...,n},以鲁棒地对式(11)进行优化后被写为
其中:δi=Rxi+t -yi-zi,它的引入仅仅为了使式(13)满足限制优化问题,这样就可以使用增广的拉格朗日的方法。使用增广的拉格朗日的方法重写式(13)为
其中:Λ={λi,i=1,2,...,n}为拉格朗日乘数集, u>0 为惩罚权值,再使用ADMM将该式(14)有效地分解为
第一步:
第二步:
第三步:
其中:ci=yi+zi-λi/u ,hi=Rxi+t-yi+λi/u ,在步骤一中的zi通过使用收缩操作[11]被逐个优化,步骤二中的R和t ,这一最小平方问题可以通过典型的刚体转换评估技术来解决。
对于高阶度量的近似情况,通过将刚体校准表示为一个包含泰勒展开的优化问题,式(11)重新写为
然后再次使用ADMM,将该式分解为
第一步:
第二步:
第三步:
其中:δi=niT(Rxi+t -yi),hi=δi+λi/u ,ci=zi-λi/u 。
本文使用点到面的误差度量进行图像配准。因为点到面的误差度量要比点到点的误差度量具有更好的收敛速度[12]。
由于分割后的深度图含有噪声,因此在图像配准前要进行滤波、反投影操作。在这里我们使用双边滤波器进行滤波,双边滤波器可以在保存边缘的情况下对图像进行滤波,使图像变得平滑。滤波后的深度图记为Iτ′ :
其中δ2max为一个像素局部方差的一个阈值。滤波后,我们需要将深度图进行反投影以生成一个顶点图记为Vτ并求出每一个顶点的法向量Nτ。
为了建立一个三维模型,我们需要配准一些顶点图。对于每一个顶点图Vτ,我们要确定一个刚体变化矩阵T :
将顶点图与表面法向量变换到一个全局坐标空间中。在这里本文使用式(12)、(19)、(20)、(21)来完成配准。然后将配准后的多幅深度图进行集成,集成后的深度图放置于立体空间中,便形成了一个三维人脸模型。使用光线投影再次绘制模型,最终获得一个完整的三维人脸模型。
图2 为使用双边滤波器前后的深度图,从图中可以看到使用了双边滤波器之后深度图变得平滑且边缘保存完好。
图2(a)原始的深度图;(b)滤波后的深度图Fig.2(a)The raw depth image;(b)The filtered depth image
图3 中的模型依次为Kinect Fusion[13]使用经典迭代最近点(Iterative Closest Point,ICP)进行配准后建立的模型、文献[6]使用快速迭代最近点(Fast Iterative Closest Point,Fast ICP)进行配准后建立的模型和本文使用稀疏迭代最近点进行配准后建立的模型。从图中可以看到采用稀疏ICP方法进行配准后建立的模型要比采用ICP和Fast ICP方法进行配准后建立的模型光滑完整,文献[6]和文献[13]建立的模型的面部周围都出现缺失且面部不光滑。当相邻两帧图像旋转角度过大时,Kinect Fusion和文献[6]不能很好地执行配准以致建模失败,而本文的方法却可以完整地建立模型,如图4 所示。
图3(a)文献[13]使用经典ICP进行配准后建立的模型;(b)文献[6]使用fast ICP进行配准后建立的模型;(c)本文使用SICP进行配准后建立的模型Fig.3(a)The model is build by the paper[13]that using the classical ICP to register the image;(b)The model is built by the paper[6]that using the Fast ICP to register the image;(c)The model is built by our method that using SICP to register the image
图4(a)为使用经典ICP进行图像配准建立模型;(b)为使用Fast ICP进行配准建立的模型;(c)我们的方法建立的模型Fig.4(a)The model is build by using the classical ICP to register the image;(b)The model is built by using the Fast ICP to register the image;(c)The model built by our method
3 实验及结果分析
3.1 实验环境
本次实验是实时进行的。使用电脑性能:CPU型号为intel core i5、双显卡,显卡芯片分别为NVIDIA Ge Force GT 720M及Intel GMA HD 4400。本实验使用的是C++和cuda编程实现。为了验证本文算法有效性,我们做了多组实验并与文献[6]的方法建立的模型进行对比,如图5 为拍摄的不同用户的二维图像。
3.2 实验结果
图6 中(a), (b), (c)为文献[6]的方法在光照较弱下建立的模型,图6 中(d), (e), (f)为本文方法在光照较弱下建立的模型,从图中可以看到本文方法建立的模型要比文献[6]建立的模型完整,且本文的方法分割头部所需平均时间约为0.62 s,而文献[6]分割头部所需平均时间约为1.75 s。
这是因为人脸检测是系统运行的第一步,只有检测到人脸系统才有可能进行下面的工作,由于文献[6中使用的人脸检测算法的实时性较差(耗时大)且容易受光线的影响。光线太弱时此方法会出现漏检的情况(即检测到除了人脸的其他区域),使得下一步人脸分割不能正常执行,而且文献[6]中人脸分割的方法是根据用户的头部宽度与躯干宽度有差异这一特点,通过使用公式来计算出一条使头部宽度与躯干宽度差异最大的水平扫描线,根据这条扫描线分割出用户的头部。此算法不仅复杂且由于获得的深度图有缺失会使最后计算出的水平扫描线会有误差以致不能完整分割出人脸。而本文采用的是Viola-Jones[10]设计的人脸检测算法,此算法可以实时进行所以耗时相对较少,且对于光照具有一定的鲁棒性。本文提出的快速人脸分割算法不需要使用任何公式计算,只是简单的根据在人脸检测中获取的用户头部的高度,用此高度去分割去除背景后的深度图,即可得到用户的头部。
图7 为光照正常的情况下建立的模型,(a), (b), (c), (d), (e)为文献[6]的方法建立的模型,(f), (g), (h), (i), (j为本文方法建立的模型。从图中可以看到(a), (b), (c), (d), (e)五个模型虽然整体都建立出来,但在面部边缘有些空洞。由于Kinect采集的数据缺失严重,这就需要我们采集不同角度的深度图片,然后进行配准以建立完整的模型。但当用户头部旋转角度较大时,传统的迭代最近点便不能正常执行(如图4(a)和(b))。而且用户旋转头部会出现相邻两帧深度图原本不是对应部分重叠,这会影响配准中选择对应点,从而降低配准精度。而采用本文方法建立的模型如图7(f), (g), (h), (i), (j),其面部完整光滑很多,就连面部周围头发也几乎完整建立出来。而且本文的方法建立一个模型的平均时间为9 s,而文献[6]建立一个完整且光滑的模型所需的平均时间约为13 s。
4 结论