目标分割（共7篇）
目标分割 篇1
由于目标本身有粘连,或者背景更新不到位,运动目标检测时会把多个目标检测成一个混合目标块,这个目标块有可能包括车辆、牲畜等其他运动目标,也包括树木、道路等静止目标[1,2]。显然,在进行其他的算法操作之前,首先需要将感兴趣的目标从混合目标块中提取出来。
当前常用的粘连目标分割方法主要有3种[3,4,5]:投影分割、色度分析、多机位拍摄。应用最多的是投影分割,将混合目标块进行垂直投影和水平投影,首先检测有效峰值,然后寻找峰值之间的谷底,这个谷底位置便是分割点[6]。分割的最终目的是得到感兴趣目标的最小外接矩形,但由于环境和感兴趣目标姿态等原因,基于全投影的分割往往得不到预想中的效果,本文的重点就是解决这个问题。
本文内容来源为某红外警戒设备研制任务,该设备有凝视和周扫两种工作模式,系统需在300 m的纵深上探测、识别和跟踪人体目标,而对车辆、牲畜等其他运动目标不感兴趣。粘连目标分割模块位于运动检测模块之后,为整个系统软件的第二个模块,模块的作用是尽可能准确地将人体目标(此时还只是候选目标)从运动检测模块输出的混合目标块中分割出来,供后续识别跟踪算法模块使用。要求一个候选目标块只包含一个完整人体目标(重叠太严重除外),分割的准确与否直接影响到后续的识别跟踪算法性能。
1 垂直投影粘连目标分割
1.1 投影
将混合目标块向横轴进行投影,设混合目标块大小为w×h,I(x,y)表示点(x,y)的灰度值,则投影向量P为w维横向量
图1a中有两个人体目标,还有运动车辆的一部分,由于背景尚未更新到位,因此检测出来的目标是连在一块的。其垂直投影图如图1b所示,可以看出投影图中存在毛刺,因此在峰值检测之前,需进行平滑滤波。
1.2 平滑滤波
使用均值滤波进行平滑,滤波后的投影向量用Q表示,则
式中采用的是一个3×1的滤波器,如果滤波器宽度增加,得到的投影图会更加平滑,但过度平滑也会使得峰值被削弱,甚至检测不到。
Q的形状如图1c所示,从图中可以看出,毛刺少了些,但还是无法完全滤除。求取Q中所有分量的最大值,用qmax表示,寻找有效峰值时将会用到这个值。
1.3 有效峰值检测
显然,Q中某个分量qn成为峰值的一个必要条件是
图1c中车辆轮胎形成了一个小的峰值,应尽可能将其滤掉,考虑到人体目标的投影值不会太小,可以限定峰值必须大于某一门限,因此,加上式作为判别条件。
其中,0<α<1,α太小则伪峰值太多,α太大则可能真的人体峰值无法检测出来,本文取α=0.5。
如果两个峰值之间距离小于门限T时,可以将其合并成一个,根据经验,一般取T=6即可,T太大则目标没有得到有效分割,T太小则误分割概率增加。
两个峰值之间的谷底位置便是分割点。
1.4 存在的问题
1)远处小目标被近处大目标压制
远处小的人体目标可能会被近处大的人体目标所压制。如图2b所示,左数第2个人由于距离镜头过远等原因,其投影峰值由于不符合条件而会被漏掉,这就会造成漏分割。
2)强粘连时漏分割
当有多人粘连在一起时,如图3所示,a中有5个目标,但图3b中只能发现4个。
3)脚分开站立人体误分割
如图4a所示,左手边人体目标分开站立时,检测出来的不是一个峰值,而是两个峰值,如图4b所示。如果两个峰值之间距离较小,可以通过限定门限将其合并,而当峰值间距离稍大时,便会将单个人体分成两个,造成误分割。
1.5 解决方法
第1类问题形成的原因是由于较远的目标在混合目标快的下半部分没有像素点,使得累计像素值太少;第2类问题形成的原因是身体粘连严重,但是头部还是可以区分的;第3类问题形成的原因是腿部张开使得一个峰值变成了两个。出现这3种问题的原因都在于混合目标块中的下半部分,要么感兴趣目标像素缺失、要么像素重叠,解决方法就是只对混合目标块的上半部分进行投影即可,图2c、图3c、图4c所示为仅对目标块上1/3部分投影的结果,由图可见,部分投影可以有效解决上述的3类问题。
2 水平投影分割
垂直投影分割后可以使得一个矩形框只包括一个人体目标,但是得到的这个矩形框在宽度上与真实目标差不多,但高度上可能比真实目标要高许多,如图5a所示,矩形框没有很好地与真实目标取得一致,此时需要在水平方向上再次投影进行分割。
水平投影分割与垂直投影分割类似,但峰值检测时只能选取最大值作为唯一的峰值,否则人体目标很有可能被分割成几段,如图5b、图5d所示,投影图中存在多个峰值,这是由于人体衣着或者携带物品等原因引起的。垂直投影虽然也有不少峰值,但由于人体累计像素较大,通过式(4)可以将这些峰值剔除掉。由于只需寻找最大值作为峰值,图5b、5d没有进行平滑滤波操作。
设水平投影向量P=(p0,…,ph-1)T,其最大值为pmax,以最大峰值点为起点向上和向下搜索分割点,当达到边界,或者满足条件时,相应点为分割点。
本文取β=0.15。
3 实验及结果分析
测试视频为红外摄像机拍摄所得,分辨率为384×288。程序运行环境为VC++2008,Open CV 2.10,I-ntel Core i5-2430M/2 Gbyte内存。
图6a为二月份拍摄于北京某园区,由于暖气等原因,房屋较亮,道路较暗,图中有一大一小2个目标粘连,小目标据镜头300 m左右,大目标100 m左右,从图中可以看出,两个目标都分割的较好。图6b为三月份拍摄于北京郊外,图中有5个目标,距离镜头都是300 m左右,人体与背景差别不大,其中两人有粘连,从图中可以看出,分割情况较好。由于投影基本上都是加法操作,且处理对象都只是小的混合目标块,因此处理速度较快,耗费时间基本可以忽略不计。
4 结束语
本文通过对原始图像进行投影来确定分割点,没有采用运动检测后的二值化前景图进行分割,这是因为在复杂的情况下,即便是稍许膨胀或少量拖尾,原本在原始图像中分开的两个人,在二值化前景图中也是粘连的。实验结果表明本文提出的基于部分投影的粘连人体分割方法能够有效地解决工程中常见的误分割和漏分割问题。
摘要：对存在多个目标的混合目标块,采用先垂直投影后水平投影的方法进行分割。垂直投影时,针对全投影分割存在的三种问题,分析了出现问题的原因,提出了一种基于部分投影的分割方法。实验结果表明,即使是在强粘连情况下,所提方法也可以较好地将目标分割出来。
关键词：粘连目标分割,部分投影,峰值检测,平滑滤波
参考文献
[1]程淑红,张典范,胡春海.基于标记的多尺度分水岭视频目标分割算法[J].光电工程,2010,37(4):130-134.
[2]邢素霞,常本康,张俊举.基于红外目标分割的图像融合方法研究[J].电视技术,2009,33(11):110-112.
[3]ISLEM J,DAVID F.Color and depth-based superpixels for back ground and object segmentation[J].Procedia Engineering,2012,41(0):1307-1315.
[4]MEBATSION H K,PALIWAL J.Machine vision based automaticseparation of touching convex shaped objects[J].Computers in Indus try,2012,63(7):723-730.
[5]郭森,柳伟,王建华.基于Mean shift的粘连人体目标分割算法[J].计算机应用,2009,29(1):51-53.
[6]吴成东,郭利锋,张云洲.多车辆跟踪时目标粘连的解决方法[J].东北大学学报:自然科学版,2008,29(8):1065-1068.
红外车辆目标的自动模糊分割 篇2
图像分割是一种将图像分割成为若干个有意义区域的图像处理技术。它是图像处理和分析的关键技术, 也是一个经典难题, 因为只有在分割完成后, 才能对分割出来的目标进行识别、分类定位。红外车辆目标图像固有的特殊性使其分割更加困难, 主要体现在:1) 红外成像为热源成像, 图像中目标和边界均模糊不清;2) 目标自身并无明显形状、尺寸、纹理等信息可以利用;3) 目标的成像面积小, 往往伴随着信号强度弱, 目标分割要在低信噪比条件下进行;4) 车辆战场背景条件复杂, 致使获得的红外车辆目标图像的对比度低, 分割困难。
针对红外图像的特点, 目前已经有很多学者提出了各种有效的方法, 免疫遗传算法的图像分割[1];基于二维OTSU的红外图像分割[2];蚁群算法和模糊熵理论相结合法[3]和多尺度形态滤波与连接相对熵准则法[4]等。本文提出了一种基于遗传算法的红外车辆目标图像的自动模糊分割方法, 总体框架如图1所示。
2 感兴趣区域的选择
所谓的感兴趣区域 (ROI) , 就是包含目标的区域;毫无疑问, 该区域越小, 之后步骤的运算量就越小。本文参考文献[5]给出的简单且有效的ROI获取方法。本算法中假设根据先验知识已知目标的最小和最大高和宽。因目标和观测者的距离可利用安装在车辆上的激光测距机来测量, 又根据这个距离能够大概估计目标的大小, 与先验知识进行比较首先排除对奇异形状假目标, 例如对高度很大或宽度很宽的窄长形状的目标进行排除。
3 基于遗传算法的二维OTSU图像分割
令二维矢量 (S, T) 为阈值, 可将图像的二维直方图分成四个区域, 如图2所示。根据同态性, 在目标和背景处, 像素的灰度值和领域的平均灰度值接近, 在目标和背景的分界领域, 像素的灰度值和邻域的平均灰度值之差较大。因此目标和背景中的像素会出现在对角线周围。区域A代表背景, 区域B代表目标;远离对角线的C和D代表可能的边缘和噪声[2]。
用两类C0和C1来代表背景和目标, 则它们出现的概率分布分别是:
其中:W0表示背景发生的概率, W1表示目标发生的概率。背景和目标对应的均值矢量为
由于远离直方图的对角线的概率可忽略不计, 则W0+W1≈1, 总体均值Uz表示为
定义一个目标和背景类间的离散测度矩阵:
则采用矩阵σB的迹trσB作为目标和背景的距离测度函数
对二维OTSU法求解阈值的过程其实就是寻找使式 (5) 取最大值时的分割阈值 (S0, T0) , 因此这一搜索最优解的过程完全可以使用把式 (5) 作为适应度函数的遗传算法来完成。
4 ROI分割的最佳阈值范围的确定
如果能够确定ROI的最佳阈值范围, 在此范围内用遗传算法寻找最佳的分割阈值 (S0, T0) 将大大加快遗传算法的速度。假设一幅图像大小为M×N, 灰度值为0, 1, ……L-1级, 则初始阈值为
式中:f (x, y) 为点 (x, y) 的灰度值, K=M×N为总像素数。初始阈值TA将图像分割成两部分, 基于红外图像的特点, 目标的亮度一般高于背景, 设大于TA的部分为目标区域B, 计算B的灰度均值, 即:
式中:fB (x, y) 为经初始阈值TA分割后区域B的各点灰度值, NB为区域B的总像素数。对于红外图像的实际复杂场景中, 背景的灰度还可能高于某些目标灰度, 利用初始阈值分割图像, 可能将部分亮背景错判为目标, 即目标的灰度值必高于初始阈值TA, 所以可将TA设定为阈值的下限, 这样可以保证目标分割的完整性。阈值上限的确定, 我们希望可以利用初始阈值TA分割后的图像, 使得目标所占比例增大, 分割区域灰度均值TB增高。通过实际实验情况, 可以看到, 图像灰度高于TB值的点必为目标点。因此, 可以将阈值的上限确定为TB, 至此确定了最佳的阈值范围为[TA, TB]。
求出图像最佳的阈值范围, 不仅能减少运算量, 而且由于下限除去了大量暗背景, 上限除去了部分亮目标, 在所剩下的目标或背景的像素中, 目标和背景所占比例相差不大, 可以结合二维OTSU原理并利用遗传算法在此阈值范围内自动搜索最佳分割阈值以进行红外车辆目标图像的自动分割[6]。
5 实验结果
综上所述, 本文先提取红外车辆目标图像的ROI区域, 然后采用文献[7]提出的自适应模糊增强技术对感兴趣区域的红外车辆目标图像进行预处理增强, 借助于二维OTSU原理和遗传算法在选定阈值范围内自动搜索最佳分割阈值以对感兴趣区域进行自动分割;为了弥补单独利用二维OTSU方法分割的不足, 采用缩短模糊边缘宽度的方法来提取感兴趣区域红外车辆目标图像的边缘[8];最后把二维OTSU方法分割的图像与模糊边缘提取得到的边缘图像进行或运算后进行填充以得到最终的车辆目标分割图像[9,10]。为了证明新算法的分割效果, 把它与一维OTSU分割方法和文献[2]提出的分割方法进行实验对比分析。
在图3中, 图3 (a) 为对输入的红外车辆目标图像tank1提取出的ROI的区域, 其大小为87×142, 数据量仅有原输入图像的1/4;图3 (b) 为进行一维OTSU分割后的图像;图3 (c) 为文献[2]的方法得到的分割图像;图3 (d) 为本文新方法得到的红外目标车辆分割图像。
从实验结果可以看出一维OTSU算法得到的分割图像效果最差, 虽然它对普通图像甚至对直方图没有明显双蜂的图像一般都能取得较好的分割结果, 但在此处分割效果较差, 未能分割出目标的主体;图3 (c) 是参考文献[2]进行二维OTSU算法的分割结果, 分割效果较好, 基本分割出了红外车辆目标图像的主体, 但它却没有分割出坦克的炮塔。图3 (d) 本文的新方法得到的分割效果明显是最好的, 坦克主体得到了最完整的分割。
为了进一步说明本文方法对红外车辆目标图像的分割效果, 再选取一幅图像进行实验, 如图4所示。其输入的红外车辆目标图像质量更差, 如图4 (a) 所示。新方法依然对其主体进行了较完整的分割, 分割效果很好, 如图4 (d) 所示。
限于篇幅, 只列举这两幅红外车辆目标图像的分割效果图, 实际上对大量的红外车辆目标图像进行实验都证明这是一个很好的红外车辆目标图像分割方法。
为了定量地衡量分割效果, 下面首先分析一下本文分割方法每一步计算的复杂度。设实验图像的大小为M×N, 感兴趣区域图像的大小为m×n, 第一步ROI选择的计算复杂度为O (MN) ;第二步对感兴趣区域图像进行模糊增强的计算复杂度为O (mn) ;第三步借助于二维OTSU原理和遗传算法在选定阈值范围内自动搜索最佳分割阈值以对感兴趣区域进行自动分割的计算复杂度为O (m2n2) ;第四步提取车辆目标模糊边缘的的计算复杂度为O (mn) 。因此本文总的计算复杂度大约为O (m2n2) 。文献[2]基于二维OTSU和遗传算法的红外图像分割方法的计算复杂度大约为O (M2N2) 。因为M>m, N>n, , 所以本文算法虽然看似复杂, 步骤较多, 但此算法设计降低了每一步的难度, 使其总的计算复杂度小于文献[2]的计算复杂度。因此相对文献[2]来说, 本文具有更高的分割效率。一维OTSU分割方法的算法复杂度为O (MN) , 其相对文献[2]和本文方法来说, 算法复杂度最低, 但比较所有方法的分割效果, 一维OTSU的分割效果是最差的。
为了更直观地对比分析一维OTSU、文献[2]和本文算法的性能, 表1给出了三种分割方法的算法计算复杂度和运行时间。
6 结论
本文选取了感兴趣区域大大提高运算速度;通过将二维OTSU算法与遗传算法相结合应用于红外车辆目标图像分割, 利用二维OTSU算法不仅考虑图像的灰度信息, 还考虑邻域空间的相关信息的特点来保证图像分割精度, 利用遗传算法大大提高运算速度。提取了车辆目标的模糊边缘来弥补二维OSTU的图像分割的不足, 最后把二维OTSU方法分割的图像与模糊边缘提取得到的边缘图像进行或运算后进行填充以得到完整的车辆目标分割图像。实验表明它具有较高的适应性和自动性, 是一种较好的红外车辆目标分割方法, 具有一定的应用价值。目前本文的工作只适用于单目标的红外车辆目标分割, 进一步的工作是在本文的基础上进行拓展并适当结合其他技术, 将其应用于多目标红外图像分割。
参考文献
[1]工春柏, 赵保军, 何佩琨.基于免疫遗传算法的自适应图像分割方法[J].红外与激光工程, 2004, 33 (2) :178-193.WANG Chun-bai, ZHAO Bao-jun, HE Pei-kun.Adaptive segmentation method based on immune genetic algorithm[J].Infrared and Laser Engineering, 2004, 33 (2) :178-193.
[2]杜晓晨, 刘建平.基于二维OTSU和遗传算法的红外图像分割方法[J].红外技术, 2005, 27 (1) :66-69.DU Xiao-chen, LIU Jian-ping.Infrared Image Segmentation Method Based on2D Maximum Between-cluster Variance and Genetic Algorithm[J].Infrared Technology, 2005, 27 (1) :66-69.
[3]TAO Wen-bing, JIN Hai, LIU Li-man.Object segmentation using ant colony optimization algorithm and fuzzy entropy[J].Pattern Recognition Letters, 2007, 28 (7) :788-796.
[4]吴盘龙, 李言俊, 张科.一种红外目标图像的自动分割方法[J].计算机工程, 2006, 32 (11) :32-34.WU Pan-long, LI Yan-jun, ZHANG Ke.An Automatic Segmentation Method for IR Target Image[J].Computer Engineering.2006, 32 (11) :32-34.
[5]金梅, 张长江.一种有效的红外图像中人造目标分割方法[J].光电工程, 2005, 32 (4) :82-85.JIN Mei, ZHANG Chang-jiang.Effective segmentation of man-made target from IR image[J].Opto-Electronic Engineering.2005, 32 (4) :82-85.
[6]ZHANG Wei, FANG Xiang-zhong, YANG Xiao-kang.Moving vehicles segmentation based on Bayesian framework for Gaussian motion model[J].Pattern Recognition Letters, 2006, 27 (9) :956-967.
[7]魏晗, 张长江, 胡敏, 等.基于遗传算法的图像自适应模糊增强[J].光电子?激光, 2007, 18 (12) :1482-1485WEI Han, ZHANG Chang-jiang, HU Min, et al.A Kind of Adaptive Fuzzy Enhancement for Gray and Color Images by Genetic Algorithm[J].Journal of Optoelectronics?Laser, 2007, 18 (12) :1482-1485.
[8]李红松, 候朝桢.一种新的模糊边缘检测算法[J].计算机工程, 2003, 29 (9) :1-2.LI Hong-song, HOU Chao-zhen.A New Fuzzy Edge Detection Algorithm[J].Computer Engineering, 2003, 29 (9) :1-2.
[9]张爱华, 余胜生, 周敬利.一种二维直方图阈值化图像分割的后处理方法[J].华中技大学学报:自然科学版, 2002, 30 (10) :59-61.ZHANG Ai-hua YU Sheng-sheng, ZHou Jing-li.A post-processing method of two-dimensional thresholding image segmentation[J].Huazhong Univ.of Sci.&Tech:Nature Science Edition, 2002, 30 (10) :59-61.
目标分割 篇3
关键词：变化检测,港口舰船,海陆分割,高分辨遥感图像
1 引言
在多时相遥感图像的变化检测中，光照变化、传感器噪声、配准噪声等因素使得检测结果中产生很多无意义的变化，导致检测结果的虚警率(非变化点确认为变化点)很高。由于图像中有意义的变化主要源于图像结构(物体的轮廓、纹理等)的变化，因此基于结构的变化检测可以克服照度、噪声的影响。如何根据被检测目标的特性，寻找合适的结构信息并充分利用其结构特征是基于结构信息变化检测的关键。在港口遥感图像中，海岸与舰船的整体轮廓不依赖于照度的变化，是一种稳健的结构信息。本文将港口中的舰船与陆地视为一体，通过海陆分割提取其共同的轮廓，由于海岸的轮廓相对稳定，舰船的变化会引起整体轮廓的变化，以此作为变化检测的依据。
2 海陆分割的提取轮廓信息
目前已有很多的海陆分割方法，从分割策略上讲，可以分为基于区域生成的方法、基于边界检测的方法和区域生成与边界检测的混合方法。虽然海陆分割方法很多，但至今还没有找到对所有图像都很有效的分割算法。要使海陆分割算法效果好，应充分利用港口图像的特点。
在典型的港口遥感图像中，由于海面较平静，海域的灰度相对于陆地一般较暗，灰度分布比较均匀，而陆地区域灰度一般较亮，地物分布复杂，其中有一些灰度较暗的区域或小面积的水域，经验表明，影响海陆分割结果的主要因素是海岸附近的阴影、植被等低亮度因素。根据港口图像的这些特点，本文将港口图像分为3类区域，如图1所示：(1)为平坦并连通的海面区域;(2)为复杂地物区域;(3)为低亮度的植被纹理区域。根据地物的不同可采用不同的分割方法。
2.1 对复杂地物区域的分割
本文中的复杂地物区域是相对于平坦区域而言的，即在其一定的邻域范围内不能用统一的纹理特征来描述，分布复杂，由建筑物、树木、植被等多种地物交织而成的连续区域，如图1中的区域2。该类区域的显著特点是蕴含有大量的梯度信息，可以提取大量的边缘，而平坦区域不具有该特点，本文充分利用这一特征实现复杂地物区域的分割。分割的流程如图2所示。
在边缘提取算法中，Canny[1]提出的边缘检测方法具有很好的边缘检测性能，其检测到的边缘点即为高斯函数光滑后的图像拐点，其中高斯函数的标准差σ为尺度因子。σ值大小的选取影响Canny边缘的提取结果，因为Canny算法的噪声平滑能力与边缘定位能力相矛盾[1]，当σ取值较小时，边缘定位精度高，但图像平滑作用较弱，在有噪声的情况下不稳定;要获得好的噪声抑制效果，必须增大σ的取值，但这样又会导致模板增大，边缘位置偏移严重，定位精度不高，且运算量增加。不同的σ取值得到的Canny边缘如图3所示。
根据本方法的分割思想，提取的复杂地物中的边缘越多越精确，越有利于后述的分割，即σ越小越好，但σ太小时容易受噪声的影响，如图3a所示。根椐经验，当σ在0.4～0.9之间取值时，可得到较好的分割结果。
图4为复杂地物区域分割的范例，其中形态学膨胀与腐蚀采用相同的结构元素，即3×3的全1矩阵。
2.2 对平坦纹理区域的分割
海岸附近的阴影、植被等低亮度因素是影响海陆分割结果的主要因素，这些区域同样具有平坦特性，但在纹理上与海面区域有较大差别。在20世纪70年代，Haralick等研究人员就提出了用共生矩阵(co-occurrence matrix)表示纹理特征的方法，该方法从数学的角度研究了图像纹理中灰度级的空间依赖关系，首先建立了基于像素之间方向性和距离的共生矩阵。文献[2]利用图像的中值和等灰度游程信息，把传统的共生矩阵中两个明确的统计信息之一模糊化，将模糊的灰度信息和明确的灰度游程信息相结合，来提取纹理特征，然后对特征采用自组织映射神经网络(SOFM)进行聚类，实现不同纹理的分类，该方法对分布平坦的纹理有很好的分类效果，但不适用于复杂地物的分类。
经过第一步对复杂地物的分割后，剩下平坦的纹理区域与海面区域的分割，本文采用文献[2]中的方法实现其分割，最后的分割结果如图5所示。分割结果反应了海岸和舰船的整体轮廓，且不受照度变化等无意义变化因素的影响。
3 港口舰船目标的变化检测
在港口舰船目标变化检测中，感兴趣的是舰船的变化，对陆地上的变化并不感兴趣，而舰船的变化会引起海岸舰船的整体轮廓发生变化，因此只需对变化前后图像的分割结果图像做“异或”运算，再作相关处理即可得到发生变化的舰船目标所在的区域，该方法可有效消除陆地上不感兴趣的变化引起的虚警。
经上述的海陆分割，将其作为变化检测的输入，变化检测流程如图6所示。
输入的海陆分割结果图为二值图，“异或”运算检测出两者之间所有的不同区域。由于两图像存在一定的平移或旋转误差，结果中包含了未发生变化的海岸线引起的伪变化，其表现出明显的线状特征，如图7所示，如何去除这些伪变化是该变化检测方法的关键所在。
形态学的开运算可以去除比结构元素小的特定的图像细节，切断细长粘连，起到分离作用，但由于形态学膨胀与腐蚀并不互为逆运算，所以开运算的结果会对原图像产生一定的几何失真。本文对形态学开运算方法进行了改进，以避免这种几何失真，并精确地提取出变化舰船的轮廓，如图8所示，其中SE为结构元素。
改进后的开运算与传统的开运算有以下两点不同：
1)腐蚀和膨胀所用的结构元素的大小不同，SE1
2)让膨胀后的结果与输入图像进行“与”运算，用于还原发生几何形变的区域。
舰船目标是本方法中感兴趣的目标，可以根据舰船目标的一些特征，进一步去除其中的一些伪变化，首先对其大小特征进行分析，见表1。
从表1可知，在高分辨力遥感影像(空间分辨力小于5 m)中，舰船的像素尺寸最小可达30×6，将舰船视为规则的椭圆，则舰船的最小像素面积约为142(π×15×3)，因此可以去除区域面积小于142个像素的独立区域，步骤如下：
1)给连通的区域依次编号;
2)对每个连通区域，如果其总像素数小于阈值trd，则该连通域内的像素全部置为0，此处trd取142,142为trd的最小值，其具体取值可根据变换检测图像的分辨力做调整。
图9为7a与7b图像最终的变化检测结果，图10a与图10b分别表示检测结果在原图像上的标识。
4 实验与分析
与其他方法相比，本文提出的方法对照度噪声和配准误差具有较强的稳健性。通过使用实测图像，对比WM[3]模型法、基于微分不变性方法[4]、ET法[5]以及本文方法的检测性能。以图7a与图7b作为检测图像，两图像中存在很大的照度差，陆地上地物受其影响明显。图11为这3种方法的检测结果。
从运算速度上进行比较，如表2所示。
从图11与图9的检测结果以及表2显示的运算时间可以看出，本文的方法有以下特点：
1)本文方法不受陆地上不感兴趣的变化的影响，有效克服了照度变化带来的虚警。而基于像素级的WM法以及基于结构信息的微分不变法、ET法都无法完全克服照度变化的影响。究其原因，基于像素级的变化检测是以像素为研究对象，稳健性弱;微分不变法和ET法等基于结构信息的方法是通过提取两图像中对应像素点有限邻域内的结构特征，进行相似性比较来作出判决，是以局部有限邻域为研究对象，稳健性较像素级方法有所增强，但无法有效克服显著性的照度变换影响。本文方法从图像的整体结构出发，避开陆地的影响，直接针对舰船做变化检测，体现了全局提取结构信息对港口舰船变化检测的优点。
2)本文方法避免了特征提取与相似性运算等复杂的计算过程，大大提高了运算速度。
3)本方法主要针对高分辨力港口遥感图像的舰船变化检测，虽然能克服一定范围内的配准误差的影响，但当舰船侧靠时，如果其宽度对应的像素尺寸较小，就会被掩盖在海岸线的配准误差中，当图像为高分辨力图像时，该因素可以得到有效削减，因为在高分辨力图像中舰船的像素宽度远大于配准的误差。
5 小结
笔者采用基于海陆分割的方法将舰船的变化转化为海岸舰船整体轮廓的变化，有效去除了照度变化的影响，降低了虚警率。对于高分辨力遥感图像，舰船的变化会引起海岸舰船轮廓的明显变化，从而也降低对配准精度的要求，因此本文的方法对于港口舰船目标的变化检测具有较强的实际应用价值。
参考文献
[1]CANNY J.A computational approach to edge detection[J].IEEE Trans.Patten Analysis and Machine Intelligence,1986,8(6):679-698.
[2]潘文卿,李毅.基于中值-游程共生矩阵的纹理特征提取[J].微计算机信息,2007,23(21):303-305.
[3]DURUCAN E,EBRAHIMI T.Change detection and background extraction by linear algebra[J].Proceeding of the IEEE,2001,89(10):13681381.
[4]房自立,陈涛,周石琳.一种基于微分不变量的图像变化检测方法[J].计算机仿真,2007(9):172-175.
目标分割 篇4
在电视制导系统中,CCD捕获的电视序列图像通过自适应阈值二值化成为二值图像后,系统快速识别图像中包含的多个不同目标并提取其形状、面积、坐标位置和其他特征的能力,是电视制导系统自动识别和跟踪导弹目标、抵抗各种主动干扰[1]的关键技术。为了将多个不同目标的特征信息提取出来,常用标记二值化图像连通区域的方法。主要的连通域标记方法有如下几种:区域增长法、反复扫描法、两次扫描法、图像索引法。其中,图像索引法基于图像索引不同的表示方式又可分为四叉树表示、链码表示、游程表示等[2,3,4]。上述的二值图像标记算法对于电视制导系统来说存在两大缺点:一是实时性不强,一般要对图像进行两次遍历;二是所需要的存储空间多,而且空间分配不灵活,对于相对简单的情况空间的占用也不会减少[5,6]。针对现有算法的上述弊端,配合本电视制导系统由FPGA加DSP组成的硬件并行处理系统,我们设计了基于二值图像索引图的快速目标标记和特征提取算法:首先对原始图像进行一次遍历生成索引图,由FPGA完成,这时无需进行任何图像标记和计算的操作;然后由DSP针对索引图进行一次附加了计算的遍历,即可快速完成二值图像的目标标记和特征提取。
2 建立索引图
2.1 索引图的结构设计
在本算法中最为核心的数据结构就是索引图。在本跟踪系统中,二值化后的图像由两种灰度值的像素点组成,亮的点用“1”表示,暗的点用“0”表示。我们跟踪的目标为飞行中的导弹,其特点是亮度值比背景要高,所以在本系统中,亮的点表示了要跟踪的目标,而暗的点是目标的背景。由于我们需要的是目标的信息和特征,所以我们在建立索引图的时候只考虑亮点的信息。一幅图像是由很多行组成的,在单独的一行中,由可能的目标的形态特征可知,亮点一般都会连成一段段连续的游程,我们就以这一段段连续亮点组成的游程为基本单位,建立我们的索引图。事实上在文献[7]中提到了以游程为单位建立索引图的办法,但我们在他的基础上进一步完全舍弃了暗点的信息,并且事实证明舍弃暗点信息后我们的算法完全能够实现标记目标并输出目标面积、形心等特征的功能,这样就进一步节省了储存空间的开销。
我们所建立的索引图由标识了单个游程的许多索多索引单元组成,每一个索引单元都包含了Begin、End、Length、Line和Tag五个项目,每个项目包含的具体信息见表1中说明,其中坐标轴定义满足基本的图像坐标定义即原点位于左上角。
索引单元中Length和End是两个有所重复的信息,因为Begin+Length=End,但我们在后面的编程中发现涉及End大小的比较运算非常的频繁,直接由FPGA给定End值可以减轻DSP的运算负担,达到以一点点的空间换取实时系统中非常宝贵的时间的效果。
2.2 索引图的生成
按照设计,索引图的生成由FPGA来完成,对原始图像的遍历只需进行一遍,就可以建立起完整的索引单元数组。这一部分的核心算法是前一像素比较法,即我们定义一个辅助变量prepixel用来表示当前像素点的前一像素的值。这样每当遍历到一个像素点,像素点的值有0和1两种情况,prepixel的值也有0和1两种情况,综合起来就是“00”、“01”、“10”、“11”四种情况。其中“00”、“11”都没有发生状态的变化,而“01”、“10”则分别表示了亮点段的终结和开始,在这两种情况下建立和储存索引单元即可。需要注意的是当到达一行的末端(最右端)的像素点时,必须给出额外的判断;如果当前正在遍历亮点段,则亮点段终结;如果当前是一个孤立的亮点(即末端像素点是亮点,之前是暗点),则新建一个索引单元并马上结束它。
3 基于索引图的目标信息获取算法
在得到了原始图像的索引图即索引单元结构数组之后,我们要通过遍历此索引图得到我们需要的全部信息,包括目标的个数,各个目标的面积、质心,为了方便后面要进行的目标识别操作,还要计算出各个目标的二阶矩不变向量。根据系统的上述设计目标,我们设计了一套基于索引图的目标信息获取算法,只需遍历索引图一次,就可同时计算得出所有需要的信息,算法具体流程如下:
第一步,初始化。
需要初始化的变量包括目标计数器target Number,连通计数器connect Number,标记计数器tag Number,用于存放目标面积的临时数组Areatmp[],用于存放目标∑xi、∑yi、∑xiyi、∑xi2和∑yi2值的临时数组co Xtmp[]、co Ytmp[]、mxytmp[]、mx2tmp[]和my2tmp[],以及个别用于数值传递的临时变量,以上变量值都初始化为0,循环变量i值设为1。这里xi表示组成目标的任一像素点在图像中的横坐标值,∑xi表示组成目标的所有像素点的横坐标值的累加,其余以此类推。
第二步,从第一个索引单元开始遍历索引图。
由索引图的生成算法可知在索引图中各个索引单元排列的顺序与其在原始图像出现的顺序,按从左到右,从上到下的方向保持一致。所以第一个索引单元一定是第一个目标,将此索引单元的Tag值记为1,标记计数器记为1,Areatmp[],co Xtmp[],co Ytmp[],mxytmp[],mx2tmp[]和my2tmp[]这几个临时数组的第一位都根据其定义计算并存放上相应的值,并初始化两个用于标记操作行的变量linenow和linepre为当前遍历行的y坐标和前一遍历行的y坐标。
第三步,循环变量i加1,检查是否已经遍历完毕。
如果遍历完成了,进入第七步;如果没有则进入第四步。
第四步,检查当前遍历的索引单元data(i)的Line值是否与linenow一样,若不一样则将linenow置为当前索引单元Line值,linepre置为linenow减1。
第五步,从当前索引单元的前一个单元起逆向遍历索引图,检查排在当前索引单元之前的其他索引单元与当前单元的8-连通关系。
a):设定循环变量j=i-1。
b):j值减1,到j=0时循环终止,进入第六步,否则进入c)。
c):检查data(j)的Line值,如果Line值小于linepre,说明data(j)不位于当前索引单元data(i)所在行的前一行,所以data(j)不可能与data(i)连通,此时循环将马上终止,进入第六步。如果Line值等于linepre,说明data(j)有可能和当前索引单元data(i)是连通的,进入d)。
d):判断两个索引单元是否8-连通,若不连通,进入b)。如果发现8-连通关系,将连通计数器connect Number加1,进入e)。
e):当connect Number等于1时,更改当前索引单元data(i)的Tag值为逆向遍历到的索引单元data(j)的Tag值。根据定义算出当前索引单元的面积、∑xi等值后,与各个临时数组中位于data(i).Tag位置的值相累加。
当connect Number大于1时,说明已经不止一个前向索引单元与当前索引单元连通了。此时必须将各个临时数组如Areatmp[],co Xtmp[]等中位于data(j).Tag位置的值与位于data(i).Tag位置的值合并并储存于data(i).Tag位置,将data(j).Tag位置的值置0。然后再生成一个逆向遍历循环,遍历当前i值以前的所有索引图单元并将所有Tag值为data(j).Tag的索引单元的Tag值改为data(i).Tag。
做完上述操作后回到b)。
第六步,如果在经历了第五步之后connect Number的值仍然为0,说明当前索引单元属于一个新的目标。将tag Number值加1后赋给当前索引单元的Tag值。将所有在第二步中提到的临时数组的第i位根据其定义计算并存放上相应的值,重设linenow和linepre为当前遍历行的y坐标和前一遍历行的y坐标。
如果connect Number不为0,则只是简单的将connect Number置为0。
完成上述操作后返回第三步。
第七步,此时索引图遍历已经完成。从Areatmp[]等数组中抽取所有非0值即得所需的目标信息,再代入公式[8]计算可得到目标个数及所有目标的面积、质心坐标和二阶矩不变向量。
4 针对序列图像处理的并行性设计
在本系统中,待处理的电视图像以场为单位,图像大小为512像素×256像素,场周期为20ms。FPGA输出索引图时,它不需要知道整个图像后面的内容,只需一行一行地扫描图像,并顺序输出索引单元,而不会出现前后两幅图像混淆的情况。
而在DSP针对索引图进行计算时,由本文2中所述算法可知,所有的比较和计算操作都只与已经遍历过的索引单元相关,当然在DSP的内部储存空间中可能需要一些空间来储存已经遍历过的索引单元,但索引单元的总数以及当前遍历的索引单元之后的所有索引单元,都对当前的遍历行为没有影响。
由此可知,通过一个双口RAM相连接,在FPGA输出第一个索引单元之后,DSP就可以开始进行计算了,而当FPGA输出完整个索引图后,DSP将在这之后的某一时刻结束计算。DSP不需要等待FPGA输出完整个索引图后才开始计算,这一设计给系统带来了极高的并行性。对双口RAM的读写操作可以采用信号灯操作(即PV操作)的方式来进行控制,通过两个信号灯变量“FPGAwrite”和“DSPread”(FPGAwrite初始化为双口RAM的容量大小,DSPread初始化为0)来保证双口RAM中的数据的正确性。
5 系统实验
系统实验分为模拟仿真实验和靶场实弹飞行实验两种情况。图1是一幅模拟视场中包含四个目标的二值化图像,应用前述算法对该图像进行处理得到了四个目标的相关信息如表2所示。从表中可以看出,使用本文提出的二值图像目标快速标记及特征提取算法可以非常准确地得到目标个数、质心坐标、目标面积和二阶不变矩量,为后续的目标识别和定位跟踪提供了可靠的保证。
在靶场实弹飞行实验中,导弹飞行非常平稳,高精度地击中了3000m的目标,从整个跟踪过程的电视制导系统输出结果看,应用本文算法的系统处理时间从未超过20ms场周期,即没有出现图像分割失败或不连续的情况,很好的满足了系统实时性的要求。表3是截取了电视制导系统跟踪导弹过程中连续10场图像导弹目标的特征输出结果,从表中可以看出,系统对导弹目标的标记和特征提取正确,导弹目标得到了准确的识别和精确的跟踪。
6 结论
本文采用一种基于索引图的快速目标标记算法,实现了电视制导系统序列图像的分割与目标特征提取。在该算法中,原始图像经过一次遍历可得一张只含目标信息的索引图,在对原始图像遍历时不进行任何图像标记和计算的操作;所有的标记和计算仅针对索引图,即只针对被压缩了的图像数据,数据计算量显著减少。在电视制导系统的硬件使用上,索引图的建立由FPGA完成,索引图的标记和计算由DSP完成,两项工作并行完成。本文特别设计了针对索引图遍历的优化算法,对索引图只需遍历一遍,并且边遍历边计算,所有计算只与已经遍历的索引单元节点相关。这样的前向型流程设计使FPGA和DSP之间的数据传递实现了流水线式操作,提高了系统的并行处理效率。经系统实验证明,本文的算法完全可满足电视制导系统快速实时识别和跟踪导弹目标的要求。
参考文献
[1]刘光灿,白廷柱,周中定.红外测角仪抗红外干扰的信息处理方法[J].光电工程,2006,33(4):6-9.LIU Guang-can,BAI Ting-zhu,ZHOU Zhong-ding.Anti infrared interference information processing method of the infrared angular instrument[J].Opto-Electronic Engineering,2006,33(4):6-9.
[2]Suzuki K,Horiba I,Sugie N.Linear-time connected-component labeling based on sequential local operation[J].Computer Vision and Image Understanding,2000,89:1-23.
[3]Zenzo S D,Cinque L,Levialdi S.Run-based algorithms for binary image analysis and processing[J].IEEE Transactions on Pattern Recognition and Machine Intelligence,1996,18(1):83-89.
[4]Dillencourt Michael B,Samet Hannan,Tamminen Markku.A general approach to connected-component labeling for arbitrary image representations[J].J.ACM,1999,39(2):253-280.
[5]陈忠碧,张启衡.一种适合于多目标检测的图像分割方法[J].光电工程,2004,31(5):34-37.CHEN Zhong-bi,ZHANG Qi-heng.An image segmentation algorithm suitable for multi-object detection[J].Opto-Electronic Engineering,2004,31(5):34-37.
[6]刘关松,吕嘉雯,徐建国,等.一种新的二值图像标记的快速算法[J].计算机工程与应用,2002,4:57-59.LIU Guan-song,LJia-wen,XU Jian-guo,et al.A new algorithm for fast pixel labeling in binary images[J].Computer Engineering and Applications,2002,4:57-59.
[7]王铁生,施鹏飞.二值图像的快速标记方法及其应用[J].微型电脑应用,2004,20(6):6-9.WANG Tian-sheng,SHI Peng-fei.Fast labeling of binary images and its application[J].Microcomputer Applications,2004,20(6):6-9.
目标分割 篇5
在数字图像处理中,常常要对一幅图像中一些较为复杂封闭区域进行分割,以提取所需要的部分。常用的分割方法有基于间断的边缘检测技术和基于区域的门限技术[1,2]。这些分割技术,有效地将目标与背景分开,但对于目标之间存在交叉重叠情况,一般分割为同一个物体,如果要将它们分开,只能在常用分割的基础上,采用其他算法,边缘检测技术或门限技术已经无能为力。
对于交叉重叠的图像是由两个或多个目标构成的,它们通过常用的分割方法已当做前景分割出来[3]。目标之间尺寸、外形特征具有相似性,即使不具有相似性,也不构成区分目标的特征,它们之间存在交叉重叠的原因是它们位置之间的关系,而边缘轮廓点很好地确定了目标的位置,根据边缘轮廓点位置确定其所属的目标区域,也是模式识别的过程,所以可以用模式识别的方法解决交叉重叠的目标分割问题。
模式识别有决策识别方法、结构识别方法、神经网络识别方法和支持向量机识别方法。模式识别的前提是已知所分的类,所以这里考虑两个目标的交叉重叠情况,由于目标边缘轮廓位置有很多,希望分类的过程是一个机器学习的过程。神经网络的识别方法是基于经验风险的,需要大量的样本以保证其泛化能力,而实际很难具备足够多的样本进行训练,所以采用支持向量机实现交叉重叠目标的二类分类问题。
1 支持向量机交叉目标图像分割原理
在目标类别已知的情况下的图像分割即是将目标特征点进行分类的问题。支持向量机方法是建立在统计学习理论的VC维理论和结构风险最小原理基础上的,根据有限的样本信息在模型的复杂性(即对特定训练样本的学习精度)和学习能力(即无错误地识别任意样本的能力)之间寻求最佳折衷,以期获得最好的推广能力[4]。
1.1 线性可分的最优分类直线
对于图像目标特征点是2维实空间中的相分离的目标特征点,我们希望能够把这些点通过一条直线分开,通常被称为线性分类器。有很多分类器都符合这个要求。但是我们还希望找到分类最佳的直线,即使得属于两个不同类的数据点间隔最大的那条直线,该亦称为最大间隔直线。如果我们能够找到这条直线,那么这个分类器就称为最大间隔分类器。
图1中,实心点和空心点分别代表图像目标的特征点,H为将两类特征点没有错误地分开的分类直线,H1和H2分别为过各类特征点中离分类直线最近的特征点且平行于分类直线的直线,H1和H2之间的距离∆称作分类间隔h。分类间隔与分类直线集合的VC维满足如下关系[5]:
对于两类线性可分情况,给定训练样本集,其中。假设分类直线H的方程为ωTx+b=0,如果yi=1,则ωTx+b>0,否则ωTx+b<0。根据分类直线的性质,任意样本点xi到H的有符号距离为:
所有样本点到分类直线的绝对距离:,那么寻找最大间隔分类直线就是寻找使得D最大的相关权系数向量ω和偏置b。根据Karush-Kuhn-Tucker最优化条件,
其中αi≥0为拉格朗日乘子,α*为最优解。称所有对应于α*>0的向量为支持向量,这样,最优分类直线的权系数向量可以表达为
通过最优权系数向量ω*和偏置b*,就可以求得上述两类问题的最优分类判别函数
1.2 重叠目标分割的支持向量机
线性分类器只能对完全分离的目标进行分类,分类能力十分有限。况且在实际分类问题中,分类问题又往往表现为非线性问题。对于交叉重叠目标的分割而言,是一个线性不可分问题。
支持向量机在解决非线性分类问题时,将输入空间通过特定函数的非线性映射,变换到高维特征空间,然后在高维特征空间中基于结构风险最小化原则寻找最优线性分类面,所找到的最优线性分类面对应着原输入空间的非线性分类面,如图2所示。
它可能会导致维数灾难问题,但给出了明确的提示:支持向量分类器只涉及向量(输入空间或变换空间)间的内积运算,这可以巧妙地利用核函数方法来避免高维特征空间中可能出现的维数灾难问题。
首先通过一非线性映射必将输入空间映射到高维特征空间F:
通过拉格朗日乘子法求得的最优分类判别函数为
所求得的最优分类判别函数为:
这样,通过核函数,将输入矢量从输入空间的线性不可分情况变换为特征空间中的线性可分情况。
2 交叉重叠目标的分割
对于存在交叉重叠目标的染色体图像如图3(a)所示,两个目标呈交叉状,具有一定的交叉重叠区域。
2.1 交叉重叠图像的预分割
原始图像背景和目标在灰度上差别较大,且灰度分布相对较均匀,其灰度直方图如图3(b)所示,对其采用阈值分割如图3(c)所示。对于二类的重叠区域,是同时属于两个区域的,从位置分布看,存在三类区域,第一类的区域、第二类区域和重叠区域,而且重叠区域不能与第一类区域分开,也不能与第二类区域分开,所以不符合分类可分的条件。
2.2 基于支持向量机的交叉重叠目标分割
2.2.1 输入空间
对阈值分割的图像提取边缘如图3(d)所示,边缘存在两类,而且每一类存在不连续性,虽然有同时满足两类的交点存在,但比较少。基本满足分类可分的条件,则提取的边缘点所在位置就构成了特征矢量。
2.2.2 训练样本获取
由于分类器是通过对训练样本学习得到的,因此,训练样本的选取对分类器的泛化性能有很大的影响。对于任何一个实际问题,训练样本数足够多且分布良好是学习分类器性能良好的基础。目前主要有两种样本获取方法,一种是自动随机选取方法,另一种是人工选取方法。对于有参考结果的分类问题,一般采用自动随机选取方法,而没有参考结果的分类问题,一般采用人工选取方法。这里采用人工选取的方法选取训练样本。
2.2.3 核函数及其参数
核函数的类型及其参数决定了分类器类型和复杂程度。目前研究的核函数类型主要有线性核函数、多项式核函数、径向基核函数和S形核函数。核函数及其参数的确定主要采用试参法和最优化方法。这里采用试参法比较确定核函数及其参数。
2.2.4 分割结果
根据确定的输入空间,核函数及其参数,训练得到判别函数,对图3(d)进行分类分割,在分类分割的基础上,对同类分开的边缘点进行连接,得到了较连续地分割轮廓。如图4(a)和4(b)所示。
3 结论
通过实验可以看出,通过支持向量机有效地对重叠区域进行了分割,但这是在分类类别已知条件下进行的分类分割,所以适用于一幅图像中目标的数目是已知的情况,而且关注的是二类目标的分割,对于多个重叠目标的分割需要进一步地研究。
摘要：针对两个目标的交叉重叠,一般分割算法会将其分割为同一个目标的问题,提出了基于支持向量机的分类分割算法。通过分析支持向量机线性可分与线性不可分的分类原理,研究了两个交叉重叠目标的特征属性,提出了提取目标的边缘点坐标作为输入空间的特征向量;分析了支持向量机的训练样本、核函数等对分割的影响,设计了基于支持向量机的分类分割算法。通过实验表明,该算法有效地解决了交叉重叠目标的分割问题。
关键词：交叉重叠,图像分割,支持向量机,线性不可分
参考文献
[1]许建华,张学上,李衍达.支持向量机的新发展[J].控制与决策,2004,19(5):481-484.
[2]袁亚湘,孙文瑜.最优化理论与方法[M].科技出版社,2001.
[3]F.Xu,X.Li and M.Cattoen.Aerial images segmentationbased on SVM[J].Proceedings of the seeondinternational conference on machine learning andcybemeties,2003:2207-2211
[4]R.A.Reyna and M.Cattoen.Segmentingimages with supportvectormachines[J].IEEE Int.Conf.Image Proc.,2000:820-823.
目标分割 篇6
1 总体架构变尺度进化框架的设计
本文所提变尺度进化包含合并、进化、判别和分解4个步骤。框架如图1所示。
为了便于描述, 设图像I包含m×n个像素, 其中Iij (R, G, B) (i=1, 2, …, m, j=1, 2, …, n) 表示第i行第j列所在像素的R, G, B取值。合并步骤是将图像I按照所处坐标位置划分为p×q个区域, 如图2所示。其中, floor (m/p) 表示小于但最接近m/p值的整数, mod (m/p) 则表示m除以p所得的余数。然后将每个区域看作一个像素, 称为“区域像素”Igij, 其中g表示当前所在尺度的序号, 初始序号为0, 每分解1次序号加1。区域像素的R, G, B值为区域中所有像素的均值, 记为Igij (R, G, B) , i=1, 2, …, p, j=1, 2, …, q。
区域合并步骤只在整个算法的初始阶段执行一次, 通过将图像等分而得到粗粒度的像素, 此后进化算法对这些粗粒度像素进行分割, 达到一定判别准则后即进行粗粒度像素的分解, 再对分解后的像素执行进化算法, 直到所有像素均分解为单一像素且达到进化算法的迭代停止准则。
判别步骤是为了保证图像分割的准确度, 在进化到一定时期以后通过关键解的变化情况来决定是否需要对粗粒度像素进行逐步分解。所谓关键解是指相对于周围其他解, 它的某些目标函数取值仅有小幅变化, 而另外一些目标函数取值则出现大幅变化, 如图3所示。
这些解是解集中的拐点位置, 表明图像分割结果有重要的变化, 是感兴趣的解。因此当这些解变化不大时, 说明当前尺度下的进化已经足够充分, 需要分解区域以执行更小尺度下的进化。关键解的检测方法为:对多目标优化所得解集中的每一个解, 计算其与左侧第k个邻域解的斜率bk1, 以及右侧第k个邻域解与该解的斜率bk2, k=1, 2, …, k0, 然后将所有k0个bk1-bk2值的均值作为当前解的评估结果;评估结果越大说明所在位置的突变程度越大, 本文将所有解对应的评估结果降序排列, 选取评估结果最大的前z个解作为关键解, 其中z为设定的参数, 最小取值为1, 最大取值为解集的所有解。而进行区域分解的判别标准则为:在某一尺度的进化过程中, 累积t0次连续两代关键解的目标函数值的欧氏距离小于设定的阈值ε。因为小于一定的阈值则说明当前粒度下聚类所得的结果已经趋于稳定, 需要再更细一层像素粒度下进行聚类。
分解步骤是对于当前尺度下的每个图像区域, 分别以横向和纵向的中间位置为边界, 将其划分为4个子区域。然后计算每个子区域像素的R, G, B均值, 再对各个子区域相邻边界位置的像素进行局部调整。调整的方式为:对于边界位置的每一个像素, 计算其与各个子区域R, G, B均值的欧氏距离, 按照距离最近原则划归新的子区域, 最后更新各子区域的R, G, B均值。经过分解以后图像中的区域数量将变为原先的4倍, 当某一区域的像素个数等于或少于4个时, 则直接分解为单个像素。
2 多目标图像分割算法的设计
2.1 多目标函数的设计
本文所设计的多目标函数为2个, 称为紧致度指标和连接度指标。其中紧致度指标与文献[8]所提类似, 如式 (1) 所示
式中:x为进化算法的编码, 对应某一图像分割结果;wij, k表示区域像素Igij与第k个类的隶属关系, 若属于第k类则为1, 否则为0;C (x) 表示编码x所对应的总分割类数;vk则表示属于第k类的区域元素的均值[11]。而连接度指标则如式 (2) 、式 (3) 所示
式中:L=l1, l2, l3, l4分别表示区域像素Igij在其上、下、左、右4个方向上的邻域区域像素个数;表示不存在。
所提连接度指标与文献[8]的区别在于dij, nn (k) 取值的条件不同。已有方法仅仅判别区域像素与其邻域是否属于同类, 若不是则按照距离远近做出惩罚。但图像通常包含有噪声或者一些由极少像素构成的对象。这些像素无关主要对象的识别, 若将其作为一类, 则会影响分割结果的连接度指标判别, 使其取值偏大, 导致算法误以为此分割结果不合适。为此, 对惩罚条件作了修改:若区域像素Igij与其邻域Ignn (k) 不属于同类, 并且Ignn (k) 的左侧和右侧邻域区域像素中不同时存在和Igij属于同类的情况, 则做出相应惩罚, 如图4所示。
图4中“·”、“□”和“#”分别表示3类对象, “△”表示噪声像素, 原先连接度倾向于将区域 (1) 和 (3) 作为两类对象, 而改进后的连接度可以去除噪声的干扰, 正确地将其划分为一类对象。
2.2 算法描述
多目标图像分割算法是基于经典的多目标聚类算法MOCK[10]改进而得的, 用于图1所示框架的进化步骤中。其采用整数型编码x= (x11, x12, …, x1q, …, xp1, xp2, …, xpq) , 其中xij与图像中的区域像素Igij相对应。xij的取值范围为1到p×q, 按照从左至右、从上至下的顺序分别对应图像中的p×q个区域。若xij=r×s, 则表示Igij与Igrs存在连接边。通过上述编码, 图像中的不同区域像素构成了一个众多边连接的网络图。在初始化阶段, 编码的生成方式为:利用最小生成树算法得到一个网络图, 其中边的长度值为边两端R, G, B值的欧氏距离, 然后将前C个最长的边断开, 从而将所有区域像素分为C类, 其中C随机从[1, Cmax]中选取。在进化过程中, 其采用的交叉和变异算子与MOCK算法相同。这些算子通过不断的断开和建立新的连接边来对网络图进行调整, 从而形成新的子图, 使得图像分割的类数以及区域发生变化。此外, 在每次图像的尺度发生变化时, 需要对上一尺度下所得解集中各个解进行重新编码, 并重新计算相应的目标函数值。
3 实验结果与分析
为了验证算法的有效性, 选取标准图像Sailboat和Terra做测试, 如图5所示。
设置了两种对比算法, 分别为:1) 文献[8]提出的多目标聚类图像分割算法, 记为MOCKIS;2) 连接度指标未做改进, 其余与本文算法相同, 记为CMEISV。
3.1 参数设置
相关参数的设置为:MOCKIS的所有参数设置与文献[8]相同;MEISV和CMEISV的种群大小为50, 存储多目标优化所得解集的集合大小也为50, 合并步骤中p和q的取值均为8, 判别步骤中参数k0, z, t0以及ε的取值分别为3, 3, 10和10-3, 区域像素在4个邻域方向上的近邻数量l1, l2, l3, l4均取值为5, 最大类数Cmax则设为50, 迭代停止条件为所有区域分解为单个像素并且连续t0代关键解的变化量小于阈值ε。所有算法中像素的相似性度量均是以R, G, B值之间的欧氏距离作为评价标准的。
3.2 分割效果对比与分析
3种算法在Sailboat和Terra图像上的测试结果, 如图6和图7所示。图6和图7中, 子图a~c为本文所提算法MEI-SV在优化结束时所得3个关键解的分割结果, 子图d~f为对比算法CMEISV所得关键解的分割结果, 子图g则为文献[8]所提供的MOCKIS的最佳分割结果。
从图6结果显示, 本文提出的MEISV所得的3个关键解均可以将树木 (近处) 、草地、树林 (远处) 、天空和湖泊这些景物区分开, 其中子图b和c还识别出湖泊中的船, 子图c还识别出天空中的部分云彩。相比而言, 对比算法CMEISV虽然也将大部分景物识别, 但是由于连接度指标对噪声和少量像素构成的对象过于敏感, 使得图像分割以后显示出大量小的分割区域, 反而不利于主要信息的判别。对比算法MOCKIS的结果则更为粗糙一些, 其未能将图中的树林与草地、天空和云彩、湖泊和船只区分开来。此外, 由子图a~c还可以发现MEISV所得到的几个关键解随着分割类数的增加, 其细节信息也逐渐增多, 颜色相近的两个物体 (如天空和云彩) 也逐渐区分。这可以为技术人员提供不同层次下有价值的图像分割信息。
从图7中结果也可以得出类似结论:本文算法可以将远近不同的树林、田野、山峦等区分开, 而对比算法CMEISV则得到的结果过于杂乱, 缺乏层次性, MOCKIS则划分得过于简单, 一些信息被忽略 (如近处草地中包含有黄色和绿色两种草) 。
3.3 运算时间对比
除了分析算法所得图像分割结果的质量, 本文还在相同运行条件下测试了所提算法MEISV、MOCKIS和MEIS在运行时间上的差别。其中MEIS与本文算法MEISV采用相同的编码、交叉和变异以及目标函数, 只是不进行变尺度操作, 直接对各个像素点进行多目标图像分割。3种算法的迭代停止条件均设为函数调用次数达到预先设定的15 000次。测试结果如表1所示。
s
从表1结果可以看出本文算法在所用时间最短, 在图像Sailboat上为MEIS的48.08%, 为MOCKIS的48.86%, 在图像Terra上则分别为55.53%和54.80%。可见变尺度进化框架在保持求解质量的前提下, 可以有效减少优化过程所消耗的时间。
4 小结
提出的变尺度进化的多目标图像分割算法设计了先将局部像素合并再在进化过程中逐步分解的框架, 有效降低了算法的运行时间, 同时保证了图像分割的质量。其中设计的改进连接度指标对噪声和少量像素所构成的对象不敏感, 从而有效降低了算法所受到的干扰。标准图像Sailboat的实验结果表明了改进算法的有效性, 其所得分割结果能识别出图像中的主要内容, 具有层次清晰的特点, 而且算法消耗的时间最多减少达一半以上。
参考文献
[1]江成顺, 汪先超.两相图像变分分割凸松弛模型快速算法[J].计算机学报, 2013, 36 (5) :1086-1096.
[2]靳璐, 付梦印.基于遗传模糊核聚类的图像分割[J].模式识别与人工智能, 2013, 26 (1) :205-210.
[3]任通, 程江华, 金阳.一种基于白像素增量比的字幕图像分割算法[J].电视技术, 2014, 38 (5) :190-193.
[4]李永乐, 娄静涛, 张茂军, 等.基于全向总变分最小化的折反射散焦模糊图像复原方法[J].光学学报, 2013 (8) :99-105.
[5]王璐, 胡晰远, 彭思龙.基于分块的空间变化抖动模糊图像的全局模糊去除[J].计算机辅助设计与图形学学报, 2012, 24 (6) :766-774.
[6]王冬冬, 张炜, 金国锋, 等.尖点突变理论在红外热波检测图像分割中的应用[J].红外与激光工程, 2014, 43 (3) :1009-1015.
[7]李磊, 金良海, 宋恩民.基于区域合并和图割的非监督彩色图像分割算法[J].华中科技大学学报:自然科学版, 2013, 41 (12) :44-47.
[8]SHIRAKAWA S, NAGAO T.Evolutionary image segmentation based on multiobjective clustering[C]//Proc.2009 IEEE Congress on Evolutionary Computation.NY, USA:IEEE Press, 2009:2466-2473.
[9]BANDYOPADHYAY S, MAULIK U, MUKHOPADHYAY A.Multiobjective genetic clustering for pixel classification in remote sensing imagery[J].IEEE Trans.Geoscience and Remote Sensing, 2007, 45 (5) :1506-1511.
[10]HANDL J, KNOWLES J.An evolutionary approach to multiobjective clustering[J].IEEE Trans.Evolutionary Computation, 2007, 11 (1) :56-76.
目标分割 篇7
数字水印已成为一种有效的数字产品版权保护手段，针对视频版权保护和内容认证的数字视频水印技术日益得到人们的重视。目前，原始域视频水印算法的基本思想是通过修改视频载体本身像素或变换域的系数来嵌入水印，很少考虑视频本身的内容特征[1]，水印与视频内容联系不紧密，嵌入的水印信息被分散到视频帧的所有像素中，降低了视频的质量，同时没有达到保护视频关键内容的目的。为了增强水印的不可见性，文献[2,3,4]提出利用载体特征来构造水印的零水印方案，水印嵌入时不对载体做任何修改，具有很强的隐蔽性。为了增强对视频内容的保护，文献[5]提出基于视频对象的水印嵌入及检测方案，依据MPEG-4中视频对象编码特点，将水印嵌入到归一化的视频对象平面VOP(video object plane)中，算法对旋转、缩放等几何攻击具有一定的鲁棒性，但算法运行效率低，不能满足实时性要求。文献[6]提出一种利用Zernike矩旋转不变性的视频对象零水印算法，算法能有效抵抗各种常见几何失真攻击，但算法计算量大，对JPEG压缩、帧剪切等攻击鲁棒性较差。文献[7]提出基于运动目标检测的视频水印算法，其主要思想是从视频中检测出运动目标，再将其作为水印嵌入到视频I帧离散余弦变换DCT(Discrete Cosine Transform)系数最低位LSB(Least Significant Bit)中，能在视频图像被局部篡改的条件下恢复原帧图像中主要内容，属于自嵌入视频水印算法，但水印嵌入时修改视频I帧引起的误差在解压时将会被传播扩散，引起视频质量下降，而且水印的信息量较大，抵抗常见视频攻击的鲁棒性弱。文献[8]提出将水印嵌入到运动目标的奇异值分解系数中，降低水印嵌入提取的复杂度，提高水印的隐蔽性，但是水印只嵌入在视频的某帧图像中，抵抗针对视频的压缩、帧删除、帧剪切等攻击能力较差。文献[9]提出一种将水印嵌入到彩色视频帧的每一通道的水印方案，但同样存在对高斯噪声、旋转等攻击不够稳健的问题。针对以上方案的不足，本文提出一种基于运动目标子块分割的视频零水印算法，利用不同关键帧中运动目标子块间能量关系构造基于视频内容的特征向量，再将代表版权信息的水印零嵌入到特征向量中。水印与视频内容特征紧密联系在一起，不仅可以保护视频的重要内容信息，还增强水印抵抗几何攻击的能力。
1 视频关键帧与运动目标的提取
1.1 提取视频关键帧
视频是由在时空上连续的视频帧构成，相邻视频帧之间的运动具有连续性，为了去除时域冗余，H.264压缩编码时通过先选取关键帧，再运用运动估计和运动补偿技术重构连续帧。本文选用欧氏距离算法[10,11]来计算不同视频帧间图像距离，为了与H.264帧间压缩编码预测原理相兼容，选取帧图像发生突变的帧作为关键帧，不仅增强水印抗视频压缩编码能力，还降低了计算复杂度，达到实时处理要求。
以L帧图像为一组，通过式(1)、式(2)计算每帧的帧间欧氏距离Sk，选择每组中帧间距离变化最大的帧为视频关键帧，共选K帧，并保存位置密钥。图1给出视频帧间欧氏距离变化趋势。
式中，fk-1(x,y)、fk(x,y)和fk+1(x,y)为视频中连续三帧图像的亮度值，k(k>1)为帧的编号，tk为视频第k帧的帧差，Sk为视频第k帧的帧间欧氏距离。
1.2 提取视频运动目标
运动目标代表了视频的重要信息，对视频进行保护时，需重点保护这些关键视频内容。常见视频运动目标检测方法有背景法、帧差法和光流法等[12]，本文采用文献[13]提出的改进帧差法来提取视频中的运动目标，利用连续三帧图像，通过图像间的“差分”，“与”和“异或”操作准确提取图像运动目标轮廓，改善三帧差分法提取的运动目标出现轮廓重叠情况。具体步骤如下:
(1)对连续三帧图像分别进行“差分”处理，得到两帧差分图像p1、p2:
(2)差分图像p1和p2进行“与”处理，得到图像p3，进行“异或”操作得到图像p4:
(3)图像p3和p4进行“与”处理，得到提取的运动目标轮廓图像:
其中，T为阈值，图2为选取阈值T=15时，通过改进帧差法从视频帧中提取的运动目标。
2 基于运动目标子块分割的视频零水印算法
2.1 算法原理
首先，将视频进行分帧处理，利用帧间欧氏距离提取关键帧，运用改进差分法提取视频关键帧中运动目标，并计算关键帧运动目标的形心位置坐标。然后对关键帧中运动目标进行分块处理，选择关键帧中运动目标形心所在块构成三维体块，再将三维体块分割成大小相等的小三维体块，提取每个小三维体块的特征向量。水印嵌入时，将置乱后的待嵌入水印采用零水印方式嵌入到特征向量中，保存产生的密钥，水印提取时，根据密钥从特征向量中提取水印。
利用小三维体块中不同子块的DCT域直流(DC)系数构造特征向量的目的是:视频关键帧图像在经过有损压缩、低通滤波、次抽样、A/D和D/A转换等信号处理时，对DC分量的保护比中低频交流(AC)分量好，水印嵌入DC分量中，具有更强的稳健性。另外，关键帧中运动目标形心所在的子块处于运动目标的中心位置，当对帧图像进行一定程度旋转、缩放处理时，可以保证子块内容相对变化量最小，增强抵抗攻击能力，实验结论证实了这点。算法具体实现过程如图3所示。
2.2 水印的嵌入
2.2.1 水印的预处理
为了提高嵌入水印的安全性和去除水印图像像素之间的相关性，本文将二值水印图像W进行Arnold置乱加密，利用Arnold变换周期性特点可恢复置乱后的水印图像W1，图4为置乱度为15时的水印图像。
2.2.2 零水印的构造
结合DCT的能量集中特性和去相关性，对小三维体块中每个子块进行DCT，提取所有子块的DCT直流系数计算均值，再通过比较每个子块DCT直流系数与均值的大小关系来产生特征向量，最后利用特征向量实现零水印的构造，具体步骤如下。
步骤1根据帧间欧氏距离方法从视频图像序列中选出K帧关键帧，运用改进差分法提取关键帧中运动目标，并依据式(8)计算关键帧运动目标的形心坐标。
式中:Q为运动目标图像中像素值为1的点的总数，xi为像素值为1的第i点的行坐标，yi为像素值为1的第i点的列坐标。
步骤2将关键帧中运动目标所在区域分割成互不重叠的64×64块，选取每个关键帧中运动目标形心所在块构成大小为64×64×K的三维体块，再将这个三维体块分解成64个大小都为8×8×K的小三维体块。
步骤3对第一个小三维体块中所有子块进行离散余弦变换，得到变换后每个子块的直流系数DC(j),j=1,2，…，K，按式(9)计算这个小三维体块中所有子块直流系数的均值Aver:
按式(10)所示，比较子块的直流系数与均值的大小关系产生该小三维体特征向量v1。
然后依次提取其它小三维体块的特征向量，将所有特征向量按行排列构成大小为64×K的二维特征向量V，这个二维特征向量就是整个视频的特征向量。
步骤4利用加密后的水印图像W1和提取的视频特征向量V按式(11)方法构造零水印，即:
其中:⊕为异或运算，R为构造零水印时生成的版权密钥，将R进行保存，作为版权判断的依据。为了增强密钥的安全性，可以将密钥进行加密后再保存。
该水印嵌入算法中，水印信息没有直接嵌入视频当中，而是利用视频特征向量来构造零水印，在不影响视频质量的条件下，实现了含视频特征的零水印构造。
2.3 零水印盲提取
水印提取是水印嵌入的逆过程，提取方法如下:
步骤1根据密钥，选取视频序列的关键帧，并提取关键帧中运动目标，对关键帧中运动目标区域进行分块，选择运动目标形心所在块构成三维体块。
步骤2将三维体块分成64个大小都为8×8×K的小三维体块，对每个小三维体块中所有子块进行DCT，利用不同子块DCT直流系数与均值的关系构造特征向量，可从64个小三维块体中提取出视频特征向量V'。
步骤3利用版权密钥R和特征向量V'做异或运算，得到加密后的水印图像W'1。
步骤4对加密后的水印图像进行Arnold恢复，得到提取的水印图像W'。
步骤5计算W和W'之间的归一化相似度NC(Normalize Correlation)进行版权认证，NC计算公式如下:
3 实验结果与分析
本文采用MATLAB软件实现仿真，为简单起见，只考虑视频帧仅有一个运动目标的情况，选取标准视频序列foreman和vectra作为原始视频进行实验，嵌入的水印图像是大小为64×64的二值图像。实验中参数K为64,L为4。
3.1 不可见性
由于该水印采用零水印方案，水印信息没有真正地嵌入到视频当中，未对原始视频做任何修改，视频的质量不会受到影响。图5(a)给出原视频的一个关键帧图像，视频未受到任何攻击时，提取水印与原水印的相似度为1，图5(b)给出提取的水印图像，从视觉上判断，提取的水印图像也是非常清晰的。
3.2 鲁棒性测试
(1)常见信号处理攻击
对测试视频分别进行3×3滤波，均值为0，方差为0.01的椒盐噪声、高斯噪声，JPEG压缩(质量因子为50)等攻击，表1给出了相应的测试结果。从表1可知，该算法抵抗常见信号处理攻击的能力优于文献[4]和文献[6]中的算法。
(2)旋转攻击
对视频序列的每一帧图像都进行旋转处理，表2显示在不同旋转角度下，提取水印与原水印的相似度，并与文献[3]中算法的抗旋转性能相比较。文献[3]中采用Zernike矩抗旋转攻击，通过实验数据对比可知，本文算法对旋转攻击的抵抗力更强，图6给出视频逆时针旋转10°时提取的水印图像。
(3)缩放攻击
对视频序列的每一帧图像都进行缩放处理，表3显示在不同缩放比下，提取水印与原水印的相似度，表3数据说明算法对缩放攻击有一定的抵抗能力。图7给出视频缩放95%时提取的水印图像。
(4)压缩攻击
压缩攻击是针对视频的常见攻击，视频进行传输时常常进行压缩编码处理，因此，视频水印算法应该对压缩编码攻击具有较强的鲁棒性。本实验在H.264参考软件JM8.6上进行仿真，通过对原始视频分别进行H.264三种模式压缩编码处理，解压后提取水印结果如表4所示。提取水印NC值都在0.9以上，能有效抵抗H.264压缩编码攻击。
(5)帧内裁剪攻击
对视频序列的每一帧图像都裁剪一部分，表5显示在不同裁剪率下，提取水印与原水印的相似度，当裁剪率达到50%时，提取的水印图像还很清晰，说明算法对裁剪攻击具有很强的鲁棒性。图8给出帧裁剪率为50%时提取的水印图像。
(6)帧删除攻击
帧删除是针对视频的一种攻击，通过删除视频帧来破坏视频的完整性，从而阻碍水印的提取，表6给出在不同帧删除率下，提取水印与原水印的相似度，实验数据说明算法能有效抵抗帧删除攻击。图9给出帧删除率为20%时提取的水印图像。
4 结语