影像匹配方法(共7篇)
影像匹配方法 篇1
0 引言
数字X线成像的发展,使得影像科需要面对海量的数字影像资料。如何仅基于影像信息进行影像成像部位的自动判定,是大影像数据条件下自动分析影像信息的首要步骤。
仅基于图像信息进行摄影部位自动识别,是一种基于图像匹配、检索的图像分析技术。目前单纯的医学图像检索、匹配算法被广泛研究和报道[1],例如:特征点匹配、灰度值匹配、相位相关匹配等,但仅能进行对输入图像的最佳相似检索或类似匹配。能够进一步获得成像部位,并获得正、侧位、朝向等成像部位信息的研究尚未见报道,而这些信息的自动监测,将有效增加医学图像检索、匹配的人工智能程度,有助于后续的大影像数据分析[2,3]。本研究通过对图像基本轮廓和灰度信息的检测,自动匹配或检索成像部位,并获得成像部位的自动判定信息。
1 研究方法
1.1 图像的获取
采集泰山医学院附属医院影像科,2015年8月临床连续3 d的所有X线影像,其中包括颅脑、四肢、肺部、腹部以及胸腔,共计124幅。经过临床影像医生和技师验证,发生分歧时以医生意见为主。采用全身X线体模(Whole body phantom PBU-50,Kyoto Kagaku,日本)拍摄X线影像模板。该体模是用来仿真人体外形和组织等效参数的实验设备,如仿真体形轮廓、骨骼和基本组织外形,但刻意忽略微观尺度组织信息。分别对体模颅脑、颈椎、胸肺、腰椎、盆腔和四肢进行摄影(万东DF X线机,北京,中国),各部位影像采用设备默认k V、m As参数曝光。得到各部位独立影像后,对图像进行基本直方图拉伸、滤波、去噪后,进行图像配准和拼接。图像配准使用刚体变换,通过平移、尺度变换和灰度渐变,拼接成一个完整的人体X线影像图。考虑到各个器官灰度不同的特点,再进行基于自适应直方图调整的灰度均衡化处理。实验体模X影像见图1。
1.2 轮廓提取及阈值选取
1.2.1 轮廓的提取
将待检测部位影像进行适当缩放并且采用高斯低通滤波降噪,以便与体模图像匹配。采用基于图像选择最佳阈值的边缘检测方法,即将图像灰度分成不同的等级,然后设置阈值确定有意义的区域或边界。图像阈值化处理的变换函数见式(1),采用灰度标准差来筛选边界的像素点。
其中Y为原始图像,t为图像阈值,H为分割后的二值图像。对于物体的图像元素H(i,j)=255,对于背景的图像元素H(i,j)=0。
编码的具体过程为:遍历输入影像像素点当作中心点,检测出自身与其周围的8个点,依次进行。对每次检测出的9个点进行分析,求得9个点的灰度标准差,见式(2):
其中s代表标准差,n代表像素点的个数,Xi表示检测出的像素点。代表均值。设定阈值t与该标准差做比较,当标准差大于阈值t时,则该点为边界点。
1.2.2 阈值t的选取
设图像中物体像素灰度级的正态概率密度函数为f(x),均值为u,方差为σ2,标准差为σ。背景像素灰度级的正态概率密度函数为g(x),均值为v,方差为τ2,标准差为τ。物体图像占总面积比例为a,背景面积占总面积比例为1-a,所以该图像总的灰度密度函数为af(x)+(1-a)g(x)。将像素灰度级<t的点称为目标物体点,像素灰度级≥t的点称为背景点。设将目标物体点正确识别概率为F(t),计算公式为:;将目标物体点错判断为背景点的概率为G2(t),计算公式为:;将背景点错判断为目标物体点的概率为G1(t),计算公式为:;总的错判断概率为式(3):
使式(3)最小的阈值t为最佳阈值,因此对式(3)微分得式(4):
由于f(t)和g(t)都服从正态分布,所以有式(5)、(6):
将式(5)、(6)代入式(4)得式(7):
由式(7)得:
根据式(8),运用数学先验知识易得出最佳阈值t,可将物体与背景进行分割。在许多情况下,物体和背景的对比度在图像中的各处是不一致的,这时很难有一个统一的阈值将物体与背景分开。随机选取20幅X射线影像,其中颅脑、四肢、肺部、腹部以及胸腔各4幅。分别求其最佳阈值t,求20幅影像阈值的平均值,将该平均值作为最终的最佳阈值,实验所有部位均采用该值。
1.3 基于轮廓和灰度值模板匹配方法分析
首先输入图像经过图像选择最优化阈值轮廓提取,进行二值化处理,然后将二值图像同全身体模X线影像模板进行灰度匹配。匹配方法基于灰度矩阵相似性,匹配方法利用模板影像与搜索影像之间的像素灰度差来表示二者的相关性。设搜索影像为S,模板影像为T,模板影像大小为P×Q,搜索影像大小为M×N(S为大图,T为小图,且M×N>P×Q)。那么在搜索影像中共有(M-P+1)×(N-Q+1)个可能匹配点存在,每一个可能的匹配点对应一个P×Q的搜索窗口。即可看做将模板影像T在搜索影像S上移动,在每个位置上求模板与模板覆盖下的子图的绝对差如式(9)所示:
由式(9)得:
其中,代表模板覆盖下的搜索子图总能量,随(i,j)变化缓慢变化;代表模板与搜索子图的互相关函数,随(i,j)变化快速变化;代表模板总能量,与(i,j)无关。所以可以用式(11)反映匹配的精确度:
当模板图与搜索子图达到最佳匹配时λ(i,j)的值最大。
2 实验处理结果
2.1 常用边缘检测方法与基于图像选择最佳阈值的边缘检测方法比较
对颅脑、四肢、肺部、腹部以及胸腔X线影像进行基于图像选择最佳阈值的边缘检测,同时进行Canny算子,Sobel算子轮廓提取,进行对照比较分析,结果如图2所示。基于图像选择最佳阈值的边缘检测算法所获得的轮廓,尺度较为一致,边缘连通性好,噪声低,取得良好的效果,见图2(d)。
2.2 基于轮廓和灰度值模板匹配方法匹配结果
将任意输入X线影像同比例做预处理,进行边缘提取,提取后获得的边缘二值影像,同体模整体影像进行移动检索匹配。当体模某部位与模板影像相似度最高时则认为两部分为相同部位,用标识框标出,示例如图3所示,自动判定的平均判定时间和判定结果正确率如表1所示。由判断结果可得,算法具有较高的鲁棒性,平均准确率为83.07%,平均判断时间为8.24 s。本算法判定结果同医生的主观判断结果相同,并能准确地给出标准成像解剖部位和影像朝向信息。
常用边缘检测算子,Canny和Sobel算子,在检测过程中会造成不同程度的轮廓缺失,且不同尺度的组织轮廓并存于图像中,造成图像整体轮廓不突出[4,5,6,7,8,9,10]。基于图像选择最佳阈值[11,12]的边缘检测算法很好地解决了轮廓缺失的问题,在阈值选取得当的情况下,轮廓的尺度得到很好的体现,具有不同的层次。这对仅需要组织宏观轮廓进行灰度匹配[13,14,15,16,17,18]的后续算法,能够具有更高的敏感性和特异性。在仅用影像自身形态和灰度信息的情况下,本算法能够快速准确地自动判定被检者的X线成像部位和方向。相较于传统的灰度值模板匹配[19],运算量减小,同时也减小了相同部位因为不同环境(曝光差异、胶片差异)所造成的误差。算法具有较好的敏感性和鲁棒性,可以用于影像大数据下,X线影像的特征提取和自动分析,具有一定的应用价值。
算法主要基于图像选择最佳阈值进行轮廓提取,然后对二值化图像进行体模标准图像的匹配检索。人体各个部位在宏观结构上,具有高度的相似性,X线影像拍摄又具有严格的拍摄姿势规范。因此,拍摄过程中无论环境还是拍摄姿势都比较固定,无论大人还是小孩的身体部位在拍摄处理后大小变化不明显。同时,体模结构是在人体基本结构简化而来,具有宏观器官的外形,但忽略组织细节和微尺度脏器,如:胸部采用软组织材料仿真肺部轮廓,但小于一定尺度的肺纹理予以放弃。这样,在X线下,体模影像能宏观的表达人体X线摄影的基本部位和方向,又不带有影响边缘检测和灰度匹配的边缘细节。由此,对体模影像进行匹配的算法能够具有较高的准确率,同时还能表达(标示)绝大多数常规X线摄影部位。
算法尽管在一些部位具有较高准确率,但仍存在一些问题和不足。例如两幅不同的影片轮廓相似性比较高,匹配便会出现错误。一些拍摄体位非常不规范的X线影像,也会导致匹配错误。因此在接下来的工作中我们会继续探究,融合更为标准的体模模型,如考虑男性、女性体模,成人、儿童体模,来进一步提高匹配效率。
基于相关系数的影像高速匹配 篇2
目前, 全世界越来越开始关注遥感影像的应用, 在军、事、气象、环境监测等诸多方面世界各国都投入了大量的人力、物力、财力。而影像匹配在该技术的地位正逐步攀高, 各国技术人员投入了大量的精力用于研究快速、高效的匹配算法, 各类算法可说是层出不穷。其中有代表性的包括基于图像灰度的相关算法、基于图像特征的算法、人工智能影像匹配法 (包括基于神经网络、遗传算法等方法) [1]。在图像特征提取相关算法中, 基于movavec算子的特征提取方法是最快的。而在影像匹配相关算法里, 基于图像灰度的算法准确度最高, 虽然相应计算量很大, 对灰度变化、旋转、形变以及遮挡等比较敏感, 在适应性上要差于基于图像特征的算法, 但在精度上基于图像灰度的算法却明显高于后者。而基于人工智能的影像匹配算法又刚刚兴起, 不够成熟[2]。
鉴于以上因素, 笔者选择了基于moravec算子进行影像特征提取并利用影像灰度计算特征点间的相关系数进而匹配影像的方法。考虑到工作量的影响, 对相关系数计算公式进行了适当的简化, 在保证一定匹配精度情况下, 尽可能地提高匹配速度。
2 匹配基本原理介绍
2.1 moravec算子特征提取
计算以像素 (x, y) 为中心四个主要方向 (0°、45°、90°、135°) 相邻像素灰度差的平方和, 取其中最小者作为该像素兴趣值, 同时给定一经验阈值, 将兴趣值大于阈值的点 (即兴趣值计算窗口的中心点) 作为候选点, 选取候选点中兴趣值最大的作为特征点[3]。
2.2 基于相关系数影像匹配[3]
假设进行匹配计算的窗口大小为m×n, 以Lx, y表示参考图像中以 (x, y) 为中心点的窗口内的灰度分布 (离散的) , Rx, y则为目标图像对应窗口内的灰度分布 (对应窗口通过估计特征点在右片的同名点可能存在的范围确定) 。两窗口相关系数的计算公式定义为:
由离散灰度数据对相关系数的估计为:
考虑到计算工作量, 相关系数的实用公式为:
3 解求相关系数方法改进
实际运算中, 由于每次兴趣窗口只在行向或列向移动一个像素大小的距离, 因而相邻的窗口相关系数值有很相似的成分。比如:窗口Lx, y+1是窗口Lx, y在图像L中右移一列后对应的窗口, 即Lx, y+1的前n-1列正好是Lx, y的后n-1列, 所以在计算Lx, y+1时可以利用Lx, y的值以减少计算量[4]。如下 (以Lx, y与Lx, y+1之间关系为例) :
使用上述方法, 新窗口最后一列与原窗口第一列的差值即为窗口移动前后的变化, 此时结果与原窗口运算结果相加即为所求值。这简化了大量不必要的运算, 进而提高运算速度。本次实验数据是1240*1210的大图像, 按传统方法独立地对各像素计算相关系数将耗费大量时间, 运用上述方法大大减少了运算量, 提高了算法的效率。
此外, 在实验中发现, 每次匹配到同名点时, 两点的方差都很接近, 因此笔者在调试中逐步跟踪搜索区各点与待匹配点间方差的差值并对比图像上的点, 发现两幅图像的点越相似, 它们的方差相差越小。经过大量的跟踪发现这是一种规律, 并非巧合, 因而改进了算法:在计算相关系数之前, 先求对应点的方差差值, 并设定阈值, 只有方差之差小于阈值的点才进行相关系数的计算, 这样可进一步减少计算量, 提高运算速度。
4 实现过程
(1) 打开两幅同名影像。
(2) 在参考图像上用moravec算子进行特征点提取。
(3) 对参考图像上每一特征点, 估计其在右片的同名点可能存在的范围 (可通过确定参考影像与待匹配的目标影像最大视差进行估计, 如人工量测一对同名点, 计算视差, 进一步估计最大视差) , 确定其搜索区。
(4) 用传统方法寻找同名点:直接计算搜索区各点与待匹配点的相关系数, 最大相关系数 (需高于设定阈值, 否则匹配失败) 对应的点即为同名点。
(5) 用本文改进方法寻找同名点:计算搜索区内各点与待匹配点间方差的差值, 对小于阈值的点使用前述改进算法计算最大相关系数, 确定同名点。
5 结果与分析
分别选用传统方法与改进方法对两对示例图像进行相关系数影像匹配, 记录其匹配时间, 如图1和图2所示。
影像匹配方法 篇3
关键词:harris算子,特征匹配
引言
影像匹配是数字摄影测量中的重要环节, 其目的在于采用影像相关的原理进行同名点的寻找。通常采用灰度相关的方法来进行影像匹配, 但该方法存在待匹配像素搜索盲目的问题。Ackermann教授提出最小二乘影像匹配的方法[1], 该方法充分利用影像窗口内的信息进行平差计算, 是匹配达到很高的精度, 但若影像窗口信噪比较低的时候精度较差, 甚至无法进行匹配。针对上述两种方法的缺点, 基于特征点的影像匹配策略被引入, 该策略主要用于匹配特征点、线或面。由于特征点纹理信息丰富, 在匹配过程中能够达到较高的成功率。
特征点是指影像上的明显点, 如边缘点、角点和圆点, 提取点特征即运用某州算法从影像中提取特征点。1977年Moravec提出利用灰度方差提取点特征的Moravec算子[2]。1987年Forstner提出通过建立影像窗口灰度协方差矩阵的误差椭圆提取点特征的Forstner算子[3]。1988年C.Harris和M.Stephens提出著名的Harris算子[4]。1997年Smith和Brady提出了SUSAN角点检测算法[5], 该算法基于对USAN值进行统计, 判断目标点是否为角点。
本文首先采用Harris算子对影像进行特征点提取, 然后对特征点进行二维灰度匹配。实验表明, Harris算子提取的特征点能够很好地反映角点和边缘点特征, 分布合理, 并且在匹配过程中能够保证较好的匹配成功率。
1 Harris算子
H a r r i s算子是C.H a r r i s等在改进Moravec算子的基础上提出的角点检测算子。该算子考虑一个局部窗口沿不同方向偏移后窗口内区域灰度值的变化, 主要考虑以下三种情形:
(1) 如果窗口内为灰度平坦区域, 则窗口沿任意方向偏移都不会引起大的灰度变化。
(2) 如果窗口内包含边, 则窗口沿垂直于边的方向偏移会引起较大的灰度变化。
(3) 如果窗口内包含角点, 则窗口沿任意方向偏移都会引起较大的灰度变化。
基于上述三种情形, 算子把窗口偏移能够引起灰度变化超过某一特定值的点判定为特征点, 包括角点和边缘点。
设像素点为 (x, y) , 窗口平移量为 (u, v) , 则该像素灰度变化为:
其中wu, v为窗口函数, 通常取
引入与自相关矩阵M得到:
对称矩阵M为:
M的特征值λ1, λ2可以表示在该像素图像灰度自相关函数的极值曲率, 考虑下面三种情形:
(1) 两个曲率都很小, 则局部自相关函数较平坦, 即影像区域为平坦区域。
(2) 一个曲率很大而另一个曲率比较小, 局部自相关函数呈山脊状, 垂直于山脊方向的窗口偏移引起大的灰度变化, 表明影像区域包含边缘。
(3) 两个曲率都较大, 局部自相关函数包含峰值, 表明影像区域包含角点或独立点。
实际计算过程中, 并不直接计算出各像素M矩阵的两个特征值, 而是定义一个角点响应函数CRF来检测特征点。C.Harris提出的角点响应函数为:
上面式中, k为经验参数, 一般取0.04~0.06。当CRF值较大时, 对应像素是角点, 当CRF为负值且绝对值较大时, 对应像素位于影像的边缘区域, 当CRF绝对值很小时, 对应像素位于平坦区域。为了顾及角点特征和边缘特征, 将CRF取绝对值, 绝对值较大的像素为特征点。
算法步骤
依据Harris算子提取特征点的原理, 算法分为以下几步:
(1) 依次计算影像中每个像素的自相关矩阵M
其中, G (s) 为高斯函数, gx和gy分别为影像在x和y方向上的梯度。
(2) 计算每个像素的特征点响应函数
(3) 取CRF值大于某一阈值的像素为候选点, 该阈值对每一幅影像设置都有不同。
(4) 抑制局部非最大。在抑制窗口中选取候选点中CRF值最大的像素为特征点。
2 影像匹配
影像匹配就是利用影像相关原理对两块影像的相似性进行评定, 以确定影像同名点的过程。由于影像纹理结构的特点, 若匹配窗口区域内纹理特征不明显, 即匹配窗口内信噪比过小, 会影响匹配精度, 甚至会导致匹配失败。因此, 以影像特征点作为待匹配点不仅能够保证匹配成功率, 也能够避免待匹配点的盲目搜索。
对左影像提取出来的特征点, 预测其在右影像上的大致位置, 利用灰度相关系数逐一匹配, 相关系数的计算公式[1]见图1。
匹配过程中, 如果两个点相关系数大于0.7, 可以认为是同名点。
匹配的过程为:
1) 得到每一个特征点的待匹配窗口, 窗口以待匹配点的为中心, 大小为5×5或7×7。
2) 根据影像的大致关系预测待匹配点的大致位置, 设置搜索窗口, 搜索窗口大小为21×21。
3) 在搜索窗口内进行二维影像相关, 取相关系数最大的匹配窗口中心点为待选同名点, 相关系数大于0.7则匹配成功, 否则该待匹配点匹配失败。
4) 重复上述步骤直到所有特征点匹配结束。
3 实验与分析
利用VC实现以上影像匹配过程对两幅航空灰度影像 (如图2) 进行了实验, 影像大小为1240×1210。分别采用Harris算子和Moravec算子提取影像特征点, 并利用特征点进行特征匹配。
实验中Harris算子CRF阈值设置为100000, Moravec算子兴趣值阈值设置为1000。图3、图4分别为Harris算子和Moravec算子提取特征点效果图, 可以看出Harris算子对边缘和角点更敏感, 获取的特征点能更好的反映边缘的轮廓。
将左影像上的特征点作为待匹配点, 在右影像上进行影像相关, 寻找同名点。表中给出了特征匹配结果的质量指标。表1表明基于Harris算子的特征匹配正确率略高于基于Moravec算子的特征匹配。
4 结语
采用Harris算子提取特征点能很好的反映角点和边缘特征, 且分布均匀合理, 利用Harris提取的特征点进行灰度相关匹配, 匹配正确率较高, 且在纹理丰富区域的匹配效果很好。但对于纹理信息贫乏区域的匹配正确率仍然较低, 且匹配的精度还有待进一步提高。
参考文献
[1]张剑清, 潘励, 王树根.摄影测量学[M].武汉:武汉大学出版社, 2006
[2]H.P.Moravec.Towards Automatic Visual Obstacle Avoidance[C].Proc 3rd.Int.Conf.Inf.Comm and Artificial Intelligent.1977
[3]W.Forstner, E.Gulch.A Fast Operatorfor Detection and Precise Loacation of Distinct Points, Corners and Centres of Circular Features[C].ISPRS Intercommission Workshop, Inter Laken.1987
[4]C.Harris, M.Stephens.A Combined Corner And Edge Detector[C].Proc.Alvey Vision Conference.1988:189-192
[5]S.M.Smith, M.Brady.SUSAN-A New Approach to Low Level Image Processing[J].Pattern International Journal of Computer Vision.1997, 23 (1) :45-78
[6]陈文.图像角点特征提取方法研究[D].武汉大学硕士学位论文, 2010
影像匹配方法 篇4
1 半全局优化密集匹配算法
半全局优化密集匹配算法来源于文献[1],该算法核心包括三维代价矩阵计算、代价矩阵累加、最优视差面获取三个部分,具体如下:
1.1 三维代价矩阵计算
匹配代价用于估计任意两个像素间的相似程度,匹配代价越小则相似程度越高,常用的匹配代价有灰度绝对差、互信息等,本次匹配代价采用对于光照变化不敏感的互信息。匹配代价确定后,便可计算三维代价矩阵。
1.2 代价矩阵累加
匹配的过程就是能量函数最优化的过程,对于能量函数E(D),就是找到一个使其有最小值的视差面D。文献[2]中Y.Boykov已经证明在二维层次寻找最优视差面D是一个NP问题,但可在一维方向上通过动态规划来求解。对于二维的影像,这些一维方向(比如,行方向)的动态规划彼此不相关,因此半全局匹配采用了多个方向的一维平滑来模拟二维平滑的思路,以多个简单的一维搜索(一般8或16方向)来获得二维层次上能量函数的最优解。为了顾及匹配场景中的倾斜平面、深度断裂和相似区域等,半全局匹配在匹配累加中引入平滑约束。
1.3 最优视差面获取
代价聚合完毕后,根据累积的代价矩阵可以对视差进行解算,一般情况下可得到整像素的匹配结果,对于子像素的匹配结果,可以通过抛物线拟合获得。
2 无人机影像密集匹配策略
本文采用核线上下视差检查、影像二次定向等策略进一步减少核线上下视差,从而保证后续半全局优化密集匹配效果。
核线上下视差方面,主要通过sift影像匹配算法获得稀疏可靠的同名像点,然后计算每对同名像点间的上下视差,并对所有的上下视差进行统计分析,计算均值和方差,如果均值和方差超限,则认为上下视差超限,需要进行二次定向。在二次定向方面,本文目前只考虑影像外方位元素,通过进一步改正影像外方位来减小或消除上下视差,二次定向主要通过前方交会和后方交会进行实现,首先通过前方交会计算所有sift同名像点的物方坐标,然后通过计算的物方坐标和对应的像点坐标对左右影像分别进行后方交会,更新左右影像的定向参数。
3 试验结果
为了验证方法的有效性,本文选取了某区域无人机影像中一个像对按以上流程进行实验,空三成果源自Inpho软件,在空三转点过程中采用全自动转点模式,上下视差没有完全消除。为了客观统计定向结果,首先将二次定向前后的影像重采样为核线影像对,然后通过核线影像间的sift匹配点进行定向结果评价,得到二次定向前后核线上下视差残差分布。经过统计,二次定向前的核线影像sift匹配点数量为1458,残差均值为6.54,残差间的标准差为5.2,二次定向后的核线影像sift匹配点数量为1477,残差均值为0.51,残差间的标准差为3.8。经过二次定向后,核线影像上下视差残差明显减小,有利于后续的半全局优化密集匹配。
另外从最终的匹配结果发现,二次定向后视差图结果在完整性和光滑性方面明显改善,为了进一步展示改进后密集匹配效果,本文选取了三个区域进行局部放大来比较,发现二次定向前由于上下视差残差过大,密集匹配得到的视差图房屋不完整,二次定向后由于上下视差残差大幅减少,密集匹配得到的视差图房屋比较完整,边缘轮廓比较清晰,视觉方面明显改善,有效证明了本文方法的可行性。
4 结论
从试验结果可以看出,本文的二次定向策略可以有效减少核线影像上下视差残差,在核线上下视差残差较小情况下,半全局优化密集匹配算法可以得到高密度、高精度的DSM,大大提高后续DEM生产的效率。
摘要:本文对当前主流的半全局优化密集匹配算法进行研究,针对部分区域无人机影像核线上下视差较大的问题,提出了一种基于sift稀疏匹配点的核线上下视差检查与二次定向策略,有效提高了算法的精度和可靠性。
关键词:影像密集匹配,匹配策略,二次定向
参考文献
[1]Hirschmuller H.Accurate and Efficient Stereo Processing by Semi-Global Matching and Mutual Information[M].Computer Vision and Pattern Recognition.2005:807-814.
基于多分类的虹膜匹配方法 篇5
随着信息时代的到来, 信息安全成为人们面临的一个重要而迫切的问题。生物识别技术是解决信息安全问题的一个重要手段, 它以人体唯一的、可靠的、稳定的生理特征和行为特征作为鉴别个人身份的依据。常用的生物特征包括:指纹、人脸、虹膜和语音等等, 它们各有优缺点, 但据许多权威机构报告显示, 虹膜特征用于生物识别是最稳定、最可信的。
人类的虹膜是由瞳孔和巩膜中间包围的圆环形区域构成, 且每一个人的虹膜纹理结构具有唯一性。正是利用虹膜的这种特性, 使虹膜识别得以顺利进行。现在比较常用的虹膜识别流程主要包括:质量评估[1]、虹膜定位[2,3]、归一化[4]、特征编码[4,5,6]和匹配[7];比较精确的处理方法还包括:眼睑睫毛剔除、光照补偿和仿射变换等步骤。现有的方法在一些特定场合应用时还是有不错的效果, 但或多或少都存在鲁棒性差的缺点, 即测试条件的改变会导致算法性能迅速下降。创新之处在于提出了一种基于多分类思想的虹膜识别算法, 算法把虹膜匹配当作一个多分类问题来处理, 即使虹膜特征发生较大改变, 如果它不跑出分类器划分的该类特征子空间, 它仍然可以被正确分类和识别。
1 虹膜特征匹配
绝大部分虹膜识别系统满足固定的框架, 如图1所示。由于重点研究虹膜匹配算法, 所以不再介绍质量评估、虹膜定位和归一化步骤, 具体方法请参考文献[1, 4, 8]。
1.1 特征提取
归一化后的虹膜为一个64×512的矩形区域, 特征提取就是把归一化图像编码成特征向量。采用Gabor窗函数提取特征主要是考虑到它很有代表性[4], 几乎所有提取虹膜特征的新方法都利用Gabor窗函数作为比较对象, 另外主要讨论新颖的匹配算法对虹膜识别系统的改进, 尽管Gabor函数提取特征的效果不一定是最好的, 但这更能体现出提出的算法对整个系统性能的改进效果。更重要的一点是利用Gabor函数对归一化图像滤波, 滤波器相位响应的粗量化编码可以得到一串二进编码, 二进编码非常适合作为Ferns分类器的输入, 在下文将会详细说明。实验选择32个位置, 每个位置采用16个不同方向、不同频率的Gabor窗函数进行滤波, 最终产生1 024位的二进编码。
1.2 虹膜匹配
1.2.1 匹配概述
很少有文献详细研究过虹膜特征匹配这个问题, 往往得到虹膜特征后选择一种简单的距离 (汉明距离和欧拉距离) 就完成了虹膜的匹配工作。那么是否能找到一种较好的虹膜匹配方法, 可以更充分地利用纹理信息, 从而增加每一类之间的可分离性呢?基于这种考虑, 把虹膜匹配看作一个多分类的过程, 而不是简单的计算相识度的过程。当然, 由于虹膜识别的特殊性 (如虹膜类别较多) 和虹膜识别的实时性要求较高等, 许多监督分类方法不太适合直接应用于虹膜分类。虽然采用了监督学习方式对虹膜进行匹配, 但是匹配仍然是建立在虹膜两两之间的相似度基础之上, 采用2个不同尺度的Gabor函数对虹膜进行滤波, 得到2组二进编码, 然后计算汉明距离, 并用一个二维向量表征了虹膜之间的相似度, SVM的作用仅仅是把这些二维向量分成类间匹配和类内匹配这2类, 所以它仍然是在做一个二分类工作。把虹膜匹配当作一个多分类问题, 但它采用SVM分类器执行多分类。用SVM执行虹膜匹配的一个最大问题是训练时计算量太大, 利用Fisher线性判别准则对特征进行降维, 以降低SVM训练时的计算量。选择一种新颖的分类器Ferns用作虹膜分类, 它是由分类树的方法衍生而来且服从朴素贝叶斯框架。Ferns分类器分类精度高, 计算量小, 训练和分类速度快, 模型参数只占用较小的存储空间, 可以很方便地加入新的类而不用重新训练, 所以在虹膜匹配工作中它比SVM分类器更有优势。
1.2.2 匹配方法
把来自于同一人眼的虹膜图片当作一类, 因此要做的工作是把测试图片分配到最可能的类中。ci (i=1, 2, ...m) 为第i类的标号, xj (j=1, 2, …n) 为一幅虹膜图片的二进特征。最原始的想法是求出每一类的后验概率并把后验概率最大的类作为样本属于的类:
式中, C为随机变量。根据贝叶斯:
假设P (C=ci) 对于任意ci等值, P (C=ci) 为每一类的先验概率, 在虹膜识别中即样本未知时, 预测每一类虹膜出现的概率, 当然没有理由指定某一些虹膜出现的概率更大, 所以这样的假设是合理的。另外, P (x1, x2, …xn) 对所有类影响相同, 所以同样不考虑, 因此式 (2) 可简化为:
式中, K为一常数, 式 (1) 的等价表示形式为:
为了表达更灵活, 计算更方便, 假设某些特征之间是相互独立的。对于设计的虹膜识别系统, 假设Gabor窗在每一个位置4个方向产生的8位编码与其他所有编码独立, 这种假设虽然并不严格 (同一位置的4个不同频率的Gabor窗的编码不是完全独立的) , 但仍然能有不错的实验效果, 所以假设是合理的。根据假设, 式 (4) 可以表示为:
式中, (xj1, xj2, …, xj8) 为Gabor窗在某一位置4个方向产生的8位编码, 总共1 024位编码被分成了128组。可以把128组代码看作128棵分类树, 按照分类树的训练方法可以分别训练每一棵树。Ferns与分类树的最大区别在于, 前者是非层次结构, 后者是层次结构。对于每一棵Fern, 可以把类条件概率写为:
式中, Xj为8位编码 (xj1, xj2, …, xj8) 组成的向量;k为一棵Fern中256节点中的一个。一种估计pk, Ci的方法:
式中, Nk, ci为ci类样本投票到叶节点K的数目;Nci为总的ci类样本的数目;K为每一棵树叶节点的数目;Nr为一个调整项, 当Nr=1时有较好的实验效果。K和Nr可以防止pk, Ci等于0。
根据具体的应用不同, 生物识别系统可能工作在认证模式 (一对一匹配) 和识别模式 (一对多匹配) 这2种模式下。对这2种模式采用了不同的决策技术, 认证模式采用简单的阈值把匹配分为类间匹配和类内匹配。识别模式的决策准则如下:
测试样本属于cmax2。
测试样本不属于任何类。
cmax1是测试样本类条件概率最大对应的类;cmax2是测试样本类条件概率次大对应的类;α为最大的类条件概率与次大的类条件概率的比率, 只有α的值大于所设定的阈值threshold, 才认为样本决策为cmax1是可信的, 否则认为其是外来样本。
1.2.3 匹配优点
利用Ferns分类器实现虹膜匹配有以下一些优点: (1) 算法训练完后只需要存储每棵Fern的Nk, ci数值, 丢掉训练样本, 可以占用更少的存储空间; (2) 算法训练可以很容易升级, 即当存在新的训练样本时不改动最初训练的结果可以在此基础上继续训练; (3) Ferns相对SVM分类器训练耗时少, 占用的内存空间更少, 且利用Ferns分类器进行决策的速度非常快, 完全可以达到实时处理的要求; (4) 该分类器特别适合虹膜二进编码分类, 甚至省去了利用判断准则把一般特征转换成二进编码的步骤; (5) 由于每一类虹膜采用了多个训练样本, 对于虹膜类内变化比较大的情况, 算法的优势更突出。
2 实验结果
为了评价提出算法的性能, 采用中科院CASIA-Iris V3-Lamp数据库, 这个数据库包含了来自819只人眼的16 213张虹膜图片。CASIA-Iris V3-Lamp数据库是在开灯和关灯2种情况下采集的, 所以数据库具有较大的类内变化。
提出的算法在2种模式下测试:识别模式中算法性能由正确识别率和正确拒绝率来衡量;认证模式中, 算法性能由ROC曲线来衡量。
2.1 识别实验
为了计算正确识别率和正确拒绝率曲线, 设计了2组实验。第1组实验采用了696类虹膜, 每一类虹膜包含20组原始图片。每一类选取5幅图片做测试, 剩余15张图片做训练。为了增强系统的鲁棒性, 利用每一类的15张训练图片人为产生新的训练样本, 这些训练样本是原始样本加噪声和移位得到的。最终每一类得到315 (15×21) 个训练样本, 5个测试样本, 因此一共可以做3 480 (5×696) 次测试。根据式 (5) 得到正确识别率为99.25%。根据式 (8) 、式 (9) 、式 (10) 和式 (11) 得出正确识别率曲线, 如图2所示。
第2组实验选择400类虹膜训练Ferns分类器, 并选择5 920幅图片作为测试样本, 需要强调的是这里所有的测试样本都不属于训练的400类虹膜。这个实验是测试Ferns分类器是否有能力拒绝外来样本, 得到实验结果如图3所示。
为了测试提出算法的鲁棒性, 重复上面2组实验, 唯一的不同是每一个测试样本都被高斯噪声污染。实验采用的高斯噪声均值为25.6, 方差为2.56。
实验结果所示表明, 即使测试的数据库具有很大的类内变化, 如果设置一个合理的阈值仍可以获得较高的正确识别率和正确拒绝率。采用方法的鲁棒性很强, 几乎不受噪声的干扰。每一次识别实验耗时0.5 s左右, 完全能够满足实时性要求。
2.2 认证实验
在认证实验中, 选择与识别实验相同的训练和测试样本。如果一个测试样本属于类ci且计算它在类ci的条件概率, 则把这次测试当作真实匹配 (类内匹配) 。如果一个测试样本不属于类ci且计算它在类ci的条件概率, 则把这次测试当作虚假匹配 (类间匹配) 。根据上面的描述可以画出真实匹配和虚假匹配的统计分布, 如图4所示。为了观察方便, 把-log (pc) 当作提出算法的匹配分数, pc是类条件概率。从图中可以看出提出的方法几乎完全分开了真实匹配和虚假匹配。
为了比较SVM和Ferns分类器的性能, 设计实验利用SVM分类器进行虹膜匹配。由于实验采用了696类虹膜, 所以一共设计了696个二分类SVM, 每个SVM把某一类与其余所有类分开。为了减少计算量, 采取了一个折中的办法, 即训练每个SVM时利用某一类的315个特征作为正样本, 其余每一类任选2个特征作为负样本, 则总的负样本数量为1 390 (695×2) 个。即便这样设计实验, 训练696个SVM仍耗时8 h。本实验采用线性SVM分类器, 惩罚参数C设为50。
使用的方法与汉明距离方法的比较如图5所示。从结果可以看出, 提出的算法性能很完美, 当FAR接近0时, GAR大概为99.5%, 而汉明距离方法相比提出的方法性能上差很多, 考虑到测试数据库具有较大的类内变化, 实验结果是相当令人振奋的。另外, 由于噪声干扰, 汉明距离方法性能变差, 但是提出的方法几乎不受噪声影响, 有很强的鲁棒性。
Ferns与SVM用作虹膜匹配的性能比较如图6所示。尽管SVM是大家公认性能很好的分类器, 但就虹膜匹配这一具体应用场合, Ferns具有比SVM更好的性能, 加上Ferns在其他方面的优点, 有理由相信Ferns相比SVM更适合执行虹膜匹配。
3 结束语
详细描述了一种新的虹膜匹配方法, 即把虹膜匹配看作一个多分类问题, 在虹膜匹配时, 利用Ferns分类器执行多分类与SVM分类器的性能进行比较, 证明提出的虹膜匹配方法具有很高的识别率, 很好的鲁棒性和实时性。利用虹膜稳定的生理特征的优点, 实际应用后取得了很好的社会效益和经济效益。随着时间的推进, 利用该方法研制出的设备必将应用于信息安全领域, 具有较强的实用性和先进性。
参考文献
[1]MA Li, TAN Tie-niu, WANG Yun-hong, et al.Personal Identification Based on Iris Texture Analysis[J].IEEE TRANS.Pattern Analysis and Machine Intelligence, 2003, 25 (12) :1 519-1 533.
[2]PAN Li-li, XIE Mei, MA Zheng.Iris Localization Based on Multi-resolution Analysis[C]∥19th International Conf.on Pattern Recognition, 2008:1-4.
[3]HUANG Jun-zhou, WANG Yun-hong, TAN Tie-niu, et al.A New Iris Segmentation Method for Recognition[C]∥17th International Conf.on Pattern Recognition, 2004:554-557.
[4]DAUGMAN J G.High Confidence Visual Recognition of Persons by a Test of Statistical Independence[J].IEEE TRANS.Pattern Analysis and Machine Intelligence, 1993, 15 (11) :1 148-1 161.
[5]MA Li, TAN Tie-niu, WANG Yun-hong, et al.Efficient Iris Recognition by Characterizing Key Local Variations[J].IEEE TRANS.Image Processing, 2004, 13 (6) :739-750.
[6]BOLES W W, BOASHASH B.A Human Identification Technique Using Images of the Iris and Wavelet Transform[J].IEEE Tran.on Signal Processing, 1998, 46 (4) :1 185-1 188.
[7]PASSI A, KUMAR A.Improving Iris Identification Using User Quality and Cohort Information[C]∥IEEE Conf.on CVPR, 2007:1-6.
基于KCCA的特征匹配方法 篇6
特征匹配是图像处理中最基本的问题,在图像融合、变换检测、目标跟踪等方面都得到运用,因而在各个领域一直备受关注。目前,点特征匹配方法大致可以分为两大类[1],一是基于变换模型的迭代算法,通过求解变换模型来建立点特征的匹配问题,如迭代最近点算法[2],软指派算法[3]等。二是建立点集中点的描述特征,通过描述特征的相似性建立匹配关系,此类方法有各种特征描述子[4,5]以及基于谱图理论的方法。
近年来,谱图理论在该问题上得到越来越多的应用。Longuet Higgins和Scott [6]将奇异值分解方法引入特征匹配领域。他们通过构造特征点间的近邻矩阵,对此矩阵进行奇异值分解获得对应关系,但该方法对较大旋转角度效果较差。为了克服上述不足,Shapiro和Brady [7]采用了各自特征集内部的近邻矩阵进行匹配。首先对每一组特征集利用高斯函数构造近邻矩阵,然后通过特征分解得到各近邻矩阵的特征值和特征向量,其匹配关系通过比较有序特征向量获得。但在构造近邻矩阵时,参数的选择直接影响匹配效果。此后Luo和Hancock[8]将EM方法与奇异值分解相结合用来解决结构图的匹配问题。Carcassoni和Hancock在文献[9]中将图谱分析方法和双步EM算法结合起来,通过点的近邻矩阵来获得点匹配概率。
以上这些研究工作均通过利用图像的特征构造图模型,利用代表结构信息的特征向量实现特征匹配。但特征向量描述的是特征集整体结构信息,因此部分特征点位置扰动将影响整体结构,从而产生误匹配。为了克服以上方法存在的不足,本文提出了一种基于空间相关性的特征匹配方法。由于观测特征集来自于同一目标,我们可以通过研究观测特征集之间的相关性以达到特征匹配的目的,为此本文利用KCCA建立了一种新特征匹配方法。
1 非线性典型相关分析原理
典型相关分析于1936年由Hotelling[10]提出。如今已经广泛应用于机器学习、医学、遥感等科学领域,它可以用于提取两个观测数据之间的共有特征[11]。
1.1 线性典型相关分析
假设通过特征检测算法,分别提取参考图像和待配准图像中同一目标的不同观测特征,xi∈Rp为参考图像的观测特征,yi∈Rq为待配准图像的观测特征。假设两组观测点集{xi}
式(1)中,D(·)表示方差。
上述优化问题可以转化为
此优化问题可以通过求解广义特征值问题得到[12]。
XYT(YYT)-1YXTwx=λ2XXTwx (3)
将各特征值按照非递增顺序排列,取前d个非零特征值对应的特征向量{w
1.2 基于核的典型相关分析
通常,观测数据集之间是非线性相关的,核方法为这个问题提供了一种有效的解决途径。由满足Mercer定理的核函数kx(·,·)和ky(·,·)分别诱导出从观测空间到高维特征空间Fx和Fy的隐式映射φ和ψ,分别定义为:
在特征空间内利用映射后的数据{φ(xi)}
式(6)中α=[α1,…,αn]T,β=[β1,…,βn]T, Φ=[ϕ(x1),ϕ(x2),…,ϕ(xn)],Ψ=[ψ(y1),ψ(y2),…,ψ(yn)],Kx,Ky∈Rn×n表示核矩阵,且有(Kx)ij=ϕ(xi)Tϕ(xj)=kx(xi,xj),(Ky)ij=ψ(yi)Tψ(yj)=ky(yi,yj)。
最大化目标函数式(6)可以转化为式(7)优化问题
构造Lagrangian函数
分别关于α,β求导得
由式(9)和式(10)得λ=λα=λβ,最优解可以通过求解下述广义特征值问题得到:
2 特征匹配
以Wϕ=[w
比较xi的特征pxi和yj的特征pyj之间的相似性,定义式(14)距离度量
由式(14),可以生成点集{xi}
(1)分别对两幅待配准图像提取相同数目的特征点集X和Y,并根据选择的核函数构造核矩阵Kx和Ky;
(2)对Kx和Ky分别进行式(11)所示的广义特征分解,得到α和β;
(3)对观测数据集{xi}
(4)利用式(14)构造距离矩阵D,并根据dij所在行列的大小,判断特征点的匹配关系。
3 实验结果与分析
核函数的选择是算法的一个关键问题,通常核函数主要有多项式核,高斯核和Sigmoid核等,在本文实验中我们采用多项式核。
3.1 算法的稳健性分析
随机产生一个包含50个数据点的集合X作为参考特征点集,然后对数据点集进行相似变换,并对数据点位置加入一定方差的随机扰动,得到待配准特征点集。图1给出了参考点集和待配准点集在不同程度位置扰动下的匹配概率,并给出与传统S-LH 方法[6]和SH-B方法[7]的比较结果。实验结果表明,本文算法对特征点位置的扰动具有稳健性。
3.2 算法在图像配准中的应用
本实验考虑在不同图像变换(平移、旋转、尺度、灰度等)情况下图像的配准问题。图2(a)和(b)是在不同角度拍摄的道路图像,(c)是特征点的对应关系,(d)是配准结果。
4 小结
本文提出了一种基于核典型相关分析的特征匹配算法,该方法首先将提取的特征点利用KCCA投影到核空间中,将投影向量作为匹配特征,然后根据投影向量之间的距离相似性进行匹配。通过真实图像的实验结果,并与基于谱分解的特征匹配方法进行比较,验证了本文方法的有效性和可行性。
摘要:特征匹配问题是计算机视觉和模式识别中一个关键步骤,在很多领域都有着重要的应用。借助核典型相关分析思想,提出了一种基于空间相关性的特征匹配方法,该方法通过核典型相关分析,将特征点集投影到核空间中,并将投影向量作为匹配特征,根据投影向量之间的相似性进行匹配。仿真实验结果表明,该算法优于基于谱分解的特征匹配算法,在图像含有噪声和存在结构误差的情况下,算法具有较高的匹配率。
基于匹配模板的术语自动翻译方法 篇7
近年, 随着科技技术的加速发展, 人们越来越关注大量专利文献的翻译中, 如何将人们从这些烦琐的翻译任务中解脱出来?统计机器翻译技术的迅速发展为人类的辅助翻译提供了强有力的手段。而专利文献的翻译任务中主要以大量的专利术语为主, 平衡基于实例与基于统计的翻译的优缺点, 本文结合两者之间的优点, 提出一种基于匹配模板的术语翻译方法, 面向结构单一的专利术语。
1 专利术语
术语是指“专业领域中一般概念的文字指称”[1], 《中国大百科全书》中指出, “术语是各门学科中的专门用语, 术语可以是词, 也可以是词组, 用来正确标记生产技术、科学艺术、社会生活等各个专门领域中的事务、现象、特性、关系和过程。术语是科学研究的成果是人类进步历程中知识语言的结晶”。
专利术语主要以名词短语形式存在。因为的翻译是英汉的专利术语翻译。源语言是英文的名词短语, 该短语主要由修饰语和中心词构成。修饰语可以是名词、形容词、分词及其短语、介词等的组合。英文专利术语在进行翻译时要注意一些问题:
(1) 修饰语与中心词的位置关系也就是我们讲的调序问题, 这里我们归纳一部分的具有调序功能的模板, 例如专利源语言术语:
A health medicine for protecting liver .
“A##1 for ##2”调序后变为“##2 ##1”.这里的“##1”和“##2”分别指英文名词短语也可以是单纯的名词。
(2) 另一类是不用调序的固定翻译结构的模板, 可以用来翻译具有多种修饰语的专利术语。
例如:A drastically reduced budget.
翻译后的模板转换为”#1 #2 #3”.该类术语是无须调整语序, 直接按顺序翻译。
2 术语模板的匹配算法
我们建立了一定规模的模板库后, 设计术语模板的匹配算法成为核心。我们开发了基于中心短语的迭代匹配算法, 其匹配过程如下图所示:
下面详细讲解该算法的设计, 首先对输入的源语言术语进行匹配, 匹配时如果有多个模板适用于输入的术语, 我们就会选择匹配度最高的模板进行匹配。该匹配度的选择我们通过一个打分机制来选择, 对于输入的源术语对比模板库里的术语之间的相似度来获得终结果。当然, 在这其中我们也融合了语言模型和翻译模型。
2.1 打分机制
通过模板的相似度计算来选择最佳的匹配模板。模板库的建立是利用GiZA++词对齐工具训练语料进行词对齐训练, 得到双语对齐术语对。从中可以看出其中的对应关系, Giza++训练的时候采用英汉和汉英两个方向训练。通过基于中心词的依存来改善词对齐的关系;英文部分通过parser进行句法分析, 最终建立一个53907个模板。大小为5.12Mb.模板的格式如下:
2.2 语言模型及翻译模型
本文采用SRILM对10万平行的术语语料训练翻译模型和三元的语言模型。
3 实验及分析
本文所采用的实验语料是面向专利领域的英文术语语料库, 语言模型和翻译模型是通过平行的术语语料库, 规模为10万句双语术语对。该语料库涵盖了医药、器械、食品及生活等多个领域。为了弥补个别领域的训练语料的不足, 我们也加入一些专业的辞典到语料库, 训练语料库抽取350句作为开发集, 抽取200句作为测试集, 开发集, 测试集的参考译文都会有两个人工参考译文, 下面是实验设计:
实验一:不使用模板, 利用开发集进行训练并以此作为baseline。
实验二:使用模板库, 实验结果用国际机器测评常用的BLEU方法。
BLEU评价方法:
BLEU评测方法是2001年美国IBM公司的研究人员提出来的, 利用BLEU方法评估机器翻译质量的关键就是如何定量计算机器译文与一个或多个人工翻译参考答案之间的接近程度。该接近程度采用句子精确度的计算方法, 也就是比较系统译文的n元语法与参考译文的n元语法相匹配的个数, 这种匹配与位置无关。系统译文与人工参考译文相匹配的n元语法的个数越多, BLEU得分越高。
另外考虑到句子的长度对BLEU评分也有一定的影响, BLEU的评价标准又对比参考译文更短的句子引入了长度惩罚因子。
在BLEU评测方法中, n的实际取值是1~4。总的评价指标是一元语法到四元语法的几何平均。另外, 对于整个语料库而言, BLUE的计算一般是基于词语进行的, 而不是基于句子的。也就是说, 对于长度不同的句子, 要以句子的长度进行加权平均。BLEU的总体评价公式如下:1 n = 其中, 是出现在参考译文中的n元词组占候选译文中n元词组总数的比例。
4 总结
本文实现了面向专利领域的英汉翻译系统, 通过手工归纳一些模板库来进行翻译当中的模板匹配。因为专利术语本身的特点使翻译术语结构比较单一, 形式比较固定, 所以非常适用于机器的自动翻译。通过机器翻译不仅节省了大量的物力、人力和财力, 同时整体的翻译结果基本上能满足用户需求, 尽管有个别结果不尽如人意。系统本身具有可扩展性, 通过增加术语语料库可以体改模板匹配机率。
摘要:本文针对于专利术语的特点, 建立了一个基于属于模板的术语自动翻译系统。系统中结合了翻译模型和相似度打分机制, 实验结果表明该方法能够解决术语翻译中的固定术语翻译问题和基于中心词序调整问题, 提高了统计机器防疫的质量。同时术语模板中引用了单一的统计翻译中增加了语言学知识, 为翻译提供了一个有效手段。
关键词:机器翻译,术语,模板匹配
参考文献
[1]全如碱.什么是术语[J].术语标准化与信息技术, 2004 (3) 18