互信息模型（精选7篇）
互信息模型 篇1
径流作为重要的水文要素之一,受气候、地理、环境、人类活动等多方面因素的影响,表现出很强的随机性、模糊性、灰色性、非线性等特性[1]。径流预测精度的提高一直是国内外学者关注的热点问题[2]。径流预测精度的提高在于对历史径流序列的充分挖掘,找出径流变化的规律[3]。常用的预测方法有多元回归模型[4]、模糊模式识别[5]、人工神经网络[6]等方法。
RBF神经网络相比于多层前馈网络(MFN)具有良好的泛化能力,网络结构简单,可以避免不必要的和冗长的计算[7]。RBF神经网络能在一个紧凑集合任意精度下,逼近任何非线性函数[8]。目前在很多领域都有广泛的应用[9,10,11]。RBF神经网络应用的关键问题之一是神经网络结构设计和网络参数调整的问题,2004年伍长荣[12]提出一种改进的RBF神经网络算法,该算法可以在没有提前获知神经网络结构的前提下,训练出最优结构的RBF神经网络及网络参数。该算法被广泛应用于各个领域[13,14],取得了良好的效果。但该算法存在不足之处,在前期未考虑输入变量(影响因子)选择的问题,神经网络的输入变量过多,会导致网络结构过于复杂,预报误差的增加;输入变量输入过少,又无法很好地解释输出变量的变化机理。在水文预报影响因子选择的问题上,还存在与输出变量在时间上的滞后问题,这使得影响因子的选择更为复杂[15]。针对该问题,本文提出了一种基于互信息的改进RBF神经网络预测模型。采用互信息理论,对神经网络的输入变量进行筛选,选出合理的输入变量,再以网络拟合误差为指标,利用改进的最邻近聚类法确定出神经网络的结构和网络参数。本文以雅砻江流域沪宁水文站为例,将基于互信息的改进RBF神经网络应用到沪宁站日径流预测中。结果表明,改进后的径流预测方法能够很好地改善改进的RBF神经网络算法的缺陷,预测精度较高,是一种有效的短期径流预测方法。
1 互信息理论
目前筛选神经网络输入变量常用的方法有主成分分析法[16]、因果关系分析法[17]、正交最小二乘法[18]等。但皆存在不足之处,主成分分析法虽然操作简单,但水文序列之间一般都存在着复杂的非线性关系,该种方法无法反映出这种非线性关系。因果关系分析法只能给出变量间相关关系的定性描述,无法进行定量的分析。正交最小二乘法能够计算出每个输入变量对输出变量的单独贡献,但计算过程比较复杂。
互信息(mutual information,MI)是用于表征变量相关性的一种方法。互信息的大小代表变量间相关信息的多少,变量耦合越强,互信息越大[19]。互信息既能描述变量间的线性相关关系,也能描述变量间的非线性相关关系,且计算量小,因此在变量选择中得到了广泛的应用[20,21]。
当随机变量X,Y相互独立时,其联合分布密度等于二者边缘分布密度乘积,即:
对于离散型随机变量的N个观察值,变量X,Y之间的互信息表达式为:
当X,Y相互独立时,,则MI=0;当X,Y不相互独立,存在函数关系时,MI的值将趋近正无穷大,相关程度越大,MI值越大。
2 改进的RBF神经网络算法
RBF神经网络的隐含层个数及网络参数的选择对神经网络的性能有着重要的影响,伍长荣[12]将改进的最邻近聚类法应用于神经网络的结构设计和参数修正中。改进的最邻近聚类法是一种在线自适应动态聚类学习算法,构造神经网络的过程中不必提前获知神经网络隐含层节点的个数,聚类完毕后得到的RBF神经网络结构最佳,并具有学习时间短、计算量小等特点[22]。该算法解决了最邻近聚类算法中未将输出信息考虑入聚类标准、聚类半径固定不变及形成每个聚类后,聚类中心未随样本后期的变化而作出调整的缺点。具体改进方法见本文第3节步骤(4)-(7),这里不在赘述。改进的RBF神经网络预测模型在各领域中的应用均取得了良好的预测效果,是一种有效的预报模型,但该算法并未考虑神经网络输入变量的选择问题,如果考虑变量的选择问题,筛选出合理的输入变量,预测精度有进一步提升的可能性。基于此,本文将互信息应用于该预测模型中,提出了一种基于互信息的改进RBF神经网络预测模型,并以雅砻江流域沪宁水文站日径流预报为例,验证了这种预测模型的可行性。
3 基于互信息的改进RBF神经网络预测模型
针对改进的RBF神经网络算法存在的问题,本文提出了一种基于互信息的改进RBF神经网络算法。找出所有对输出变量可能有影响的影响因子,利用互信息理论选择出与输出变量互信息较大的输入变量;在输入变量选择的基础上,利用改进的最邻近聚类法进行神经网络结构的设计和参数调整,从而改进网络的预测性能。算法步骤如下:
(1)计算概率密度。给定的M组输入和输出样本,计算
对于包含N个观察值的X,在未知其概率密度函数具体形式的条件下,可用核方法(Kernel Method)来计算其概率密度[23],公式如下:
式中:代表xi的概率密度函数;d代表X的维数;S代表X的协方差矩阵;det S代表S的行列式;λ为窗口宽度(bandwidth),窗口宽度的选择决定着计算结果的好坏,依据经验窗口宽度可估计为:
(2)变量选择。利用公式(2)计算出每个输入变量与输出变量之间的互信息MI大小,选择满足MI(Xi;Y)>δiMI(Y;Y)的变量,δi∈(0,1)代表相关阈值。确定神经网络输入层节点数和对应的输入变量。
δi的范围可以由
(3)确定神经网络输入层后,为消除各变量的数量级间的差异对神经网络的影响,需要先对所有变量进行归一化处理。
(4)计算筛选后的所有样本之间的距离及平均值:
选出最靠近样本xi的q个样本,间距分别为di1,di2,…,diq,则平均值为:
式中:珚di可反映出xi样本邻近区域的密度。
(5)从数据对(x1,y1)开始,将x1作为第1个聚类中心,令A(1)=y1,B(1)=1,并设定一个合理的聚类半径r。
(6)计算到第k组样本时,假设已经形成l个聚类,中心分别是1,2,…,l。分别求出样本点(xk,yk)到这l个中心的欧式距离,假设‖xk-u‖是最短距离,则u便是(xk,yk)的最邻近聚类。
(7)令:
若:
则将样本(xk,yk)划入聚类u中,且有:
式中:cutmp代表聚类u中全部样本的输入之和。
否则,将(xk,yk)创建为一个新聚类,并且:
(8)聚类完成后,假设共形成v个聚类,令,k′=1,2,…,v,将训练样本输入RBF神经网络,计算网络拟合的误差平方和E:
式中:fj代表输入xj时神经网络的输出。
(9)若神经网络拟合误差E满足目标精度要求,则计算结束,当前网络结构和网络参数是该精度下的最优结果。否则利用公式(13)根据精度要求按照梯度下降法调整网络参数r,并返回第(7)步重新计算,直至满足要求为止。
式中:η∈(0,1)为学习速率。
4 实例应用
沪宁水文站位于雅砻江干流,也是锦屏二级水电站的入库水文站,该站的径流变化对于水电站水库调度、发电及农业灌溉等有重要影响。本文选取沪宁水文站1994-2011年共17a汛期(5-10月)的天然日径流、降雨量和上游水文站日径流作为分析对象。
采用1994-2010年共16a汛期(5-10月)的实测径流资料作为训练样本,共3 128组数据。选取可能影响沪宁站日径流的影响因子:选择沪宁站预测日前1日至前5日日流量、沪宁站预测日当日降雨量、预测日前1日至前5日降雨量、三滩站预测日前1日至前5日日径流和乌拉溪站预测日前1日至前5日日径流作为影响因子(三滩和乌拉溪站位于沪宁站上游),共21个影响因子。
计算各影响因子与沪宁站预测日日径流的互信息结果见表1~4。
沪宁站预测日日径流的自信息MI=21.138 3,本文取δ1=0.155,δ2=0.064。从表1和表2可得出,输入变量选择沪宁站预测日前1日、前2日、前3日日径流,沪宁站预测日前2日、前3日、前4日、前5日降雨量作为神经网络输入变量。这里要特别说明的是,从表3和表4可以看出,三滩水文站出流经过1日传播至沪宁站,乌拉溪水文站出流经过2日传播至沪宁站,故三滩和乌拉溪站日径流影响因子只选择这2个便可。
采用2011年汛期实测径流资料作为预测对照数据。RBF神经网络采用3层网络结构,输入层包括前沪宁站预测日前1日至前3日日径流、前2日至前5日降雨量、三滩站预测日前1日日径流、乌拉溪站预测日前2日日径流。对数据进行归一化处理,采用改进的最邻近聚类法对神经网络进行训练并作出预测,对最终所得数据实行反归一化处理,并同实际径流资料进行比较分析。
网络训练拟合误差目标越小,拟合精度越高,样本中心宽度也随之减小,但为防止发生过度拟合现象,训练误差目标不宜设定得过低。训练误差目标取E=0.5,经训练得出的神经网络中心宽度为0.095。利用训练完成后得到的神经网络进行2011年汛期日径流的预测,采用确定性系数DC、流量过程相对误差EQ和预报合格率QR3个指标来检验算法对日径流的预测效果进行评定。
DC、EQ和QR的计算方法如下:
式中:Q0(i)为实测流量,m3/s;Qc(i)为预测流量,m3/s;珚Q0为实测流量均值,m3/s;N为样本数;n为合格预报次数;m为预报总次数;DC的最佳值为1,当DC<0.6时预测精度较差;EQ的最佳值为0,当EQ>0.5时预测精度较差;预报值允许误差取20%。
表5显示了基于互信息的改进RBF神经网络预测效果指标与单一RBF神经网络及改进的RBF神经网络预测效果指标的对比,图1显示了3种预报模型预测值和实际值的对比,图2显示了3种预测模型对2011年汛期连续184d的预报相对误差的绝对值。
从表5、图1和图2可以看出基于互信息的改进RBF神经网络预测模型能更好地预测出水文站日径流,相对于单一RBF神经网络和改进的RBF神经网络算法预测结果确定性系数有所提高,流量过程相对误差降低。在2011年汛期连续184d的变化中,预测相对误差在±20%以内的合格率达到96.20%,平均相对误差2.86%,相对于原算法预测效果有明显提升。但从图2中可以看出基于互信息的改进RBF方法的预测结果中依然有误差较大的点产生(相对误差绝对值>20%),这是因为这些点在神经网络训练过程中从未出现过,神经网络的精度很大程度上取决于训练样本的代表性和精确度,所以在实际应用中应尽量使用数据容量较大的样本,以获得更准确的预测结果。
5 结论
针对改进RBF神经网络算法输入变量未经过筛选的缺点,本文提出了一种基于互信息的改进RBF神经网络预测模型,并将其应用于雅砻江沪宁水文站日径流预测中,并与原预测模型进行对比,通过沪宁站2011年汛期日径流预测结果可以发现:
(1)基于互信息的改进RBF神经网络预测模型能有效地选择影响输出变量的影响因子,去除冗余输入变量,对于简化神经网络结构,提高预测效果都有很好的效果。该模型应用于日径流预测,能够有效地改善改进的RBF神经网络预测模型的缺陷,模型学习速度较快,预测精度较高,预测结果精度和合格率皆优于原预测模型。
(2)基于互信息的改进RBF神经网络具有较强的逼近非线性函数的特性,可以对任意非线性函数进行任意精度的逼近。能够很好的拟合水文系统中径流这种复杂的非线性输入、输出间的映射关系。但在训练过程中为防止过拟合现象而导致预测精度降低现象的产生,应合理选择训练拟合误差目标。
基于互信息的改进RBF神经网络预测模型的预测误差随机性较强,若加强对预报误差的研究,挖掘预报误差的潜在规律,进行预报误差实时校正,有进一步提高预报精度的可能性,也是作者今后的研究方向。
摘要：针对日径流过程随机性、非线性、模糊性等特点,吸取互信息变量相关性表征功能和RBF神经网络的非线性逼近能力,建立基于互信息的改进RBF神经网络预测模型。首先,利用互信息对神经网络输入变量进行筛选;其次,利用改进的最邻近聚类算法确定神经网络的隐含层个数和网络参数;最后,利用训练好的神经网络进行径流预测。以雅砻江流域沪宁水文站日径流为实例进行预测,结果表明:与单一RBF神经网络模型及其改进模型相比,基于互信息的改进RBF神经网络预测模型克服了原模型中未对输入变量进行选择的缺陷,提高了预测精度,增强了预测稳定性,为短期径流预测研究提供了新途径。
关键词：互信息,最邻近聚类,RBF神经网络,日径流预测
一种改进的互信息特征选择方法 篇2
本文针对互信息(MI)特征选择方法分类效果较差的现状,提出了一种改进的互信息特征选择方法CMI。该方法考虑了特征项在当前文本中出现的频率以及互信息值为负数情况下的特征选取,从而能更有效地过滤低频词。在文本自动分类器KNN上的实验表明该方法极大地提高了分类精度。
1 互信息特征选择方法
文本集中的单词、短语往往多达数万甚至数十万个,如果直接用来构成文本特征向量,必将带来所谓的“维数灾难”和计算复杂性太高,不能满足实际的性能需求等问题。因此,很有必要对特征向量进行降维处理。特征选择的依据是特征对分类作用的大小,通常用一个统计量或者评价函数来度量,把度量值小于阈值T的那些特征过滤掉,剩下的即认为是有效特征。选择没有改变原始特征空间的性质,只是从原始特征空间中选择了一部分重要的特征,组成一个新的低维空间[3]。
互信息(Mutual Information:MI)在统计语言学领域被广泛使用[4],它体现了特征与类型之间的相关程度。特征项t和类别之间的互信息定义[5]:
其中:P(t,c)为C中出现特征t的文本数除以训练集的大小;P(t)为训练集中出现t的文本数除以训练集的大小;P(c)为训练集中属于类型C的文本所占的比例。
如果有m个类型,于是对每个特征项t都有m个值,通常取它们的平均,即平均互信息。平均值大的特征被选择的可能性大。平均互信息如公式(2)所示:
2 改进的互信息方法
互信息体现着特征与类型之间的相关程度,当特征的出现只依赖于某一类型时,特征与该类型的互信息很大,当特征与类型相互独立时,互信息为0;在进行特征选择时,分别计算出各个特征项的MI值,从原始特征空间中删除低于既定阈值的特征项,将高于该阈值的特征项构成文本向量的特征子集。互信息评估函数没有考虑特征项在当前文本中出现的频率,在公式(2)中,不同特征项在训练集中出现的概率和在类ci中出现的概率相同时,低频词比高频词的MI值更高,即此种情况下低频词易被选入特征子集中,从而影响了分类的效果。在计算MI值时加上特征项频率的条件限制,能有效地过滤低频词。
从公式(2)可以得出,P(t,ci)/P(ci)描述的是特征出现在类ci中的概率,P(t)描述的是特征在训练集中出现的概率。P(t)值越小,且P(t,ci/P(ci)值越大,则计算出的互信息值就越大,该特征项就越有可能被选取;反之,P(t)值越大,且P(t,ci)/P(ci)值越小,则计算出的互信息值就越小,甚至为负数,该特征项被选取的可能性也就越小。但是互信息值是负数说明该特征项很少或不出现在当前类别中,而是出现在其他类别中,即负相关。进行特征选择时,通常会把负值大的特征项过滤掉,而实际上,这些特征项对正确分类也具有重要的意义。
综合以上两个因素,我们对公式(2)进行如下变换来改进互信息方法,即带限制条件的互信息方法(Constrained Mutual Information:CMI):
其中f(t)为特征项在当前文本中出现的频率,其它同公式(2)。对于低频词,按公式(3)计算的CMI值将小于其MI值,从而有利于过滤掉低频词;对于负相关的特征词,按公式(3)计算的CMI值为正数值,从而很可能选为特征子集。
3 实验及其分析
3.1 语料集
实验采用的训练集和测试集来源于中科院计算所谭博士整理的中文文本分类语料库-Tan Corp V1.0(下载地址为:http//www searchforum.org.cn/tansongbo/corpus.htm),我们把其中的数据平均分成两半分别组成训练集Tan Corp Train和测试集Tan Corp Test。
3.2 评价标准
文本分类中普遍使用的性能评估指标有查全率R(Recall)、查准率P(Precision)、F1测试指标、宏平均F1和微平均F1等。查全率=被正确分类的文本数/被测试文本总数;查准率=正确分类的文本数/被分类器识别为该类的文本数;对于一次测试,准确率和查全率一般是成反比的。提高准确率,查全率会下降;提高查全率,准确率会下降。F1指标综合了P和R两个指标,可以对分类器进行整体评价,如公式(4)所示:
宏平均F1和微平均F1是以两种不同的平均方式求得的全局F1指标。
3.3 分类器及实验
K最近邻居算法(KNN)是文本分类中比较著名的经典分类算法,我们应用KNN分类器进行了实验,其中概率估算方法采用基于词频统计,特征选择方式采用全局选取;
实验比较结果如表1以及图1、图2所示。
从表1以及图1、图2的实验数据可以看出,在相同的训练集和测试集条件下,改进的互信息方法所取得的分类效果远高于未经改进的互信息方法。这说明了在计算MI值时加上特征项频率的条件限制,能有效地过滤低频词,并且计算所得的那些互信息负值大的特征项,对文本分类同样具有重要意义。
4 结束语
互信息是常用的一种特征评估函数,但在实际的中文文本分类中其分类精度一直较低。该文分析了其影响分类精确度的两个因素,提出了一种改进的特征选择方法,该方法考虑了特征项在当前文本中出现的频率以及互信息值为负数情况下的特征选取,从而能更有效地过滤低频词,在文本自动分类器KNN上的实验表明该方法极大地提高了分类精度。
摘要：特征选择是中文文本自动分类领域中极其重要的研究内容,其目的是为了解决特征空间高维性和文档表示向量稀疏性之间的矛盾。针对互信息(MI)特征选择方法分类效果较差的现状,提出了一种改进的互信息特征选择方法IMI。该方法考虑了特征项在当前文本中出现的频率以及互信息值为负数情况下的特征选取,从而能更有效地过滤低频词。通过在自动分类器KNN上的实验表明,改进后的方法极大地提高了分类精度。
关键词：中文文本自动分类,特征选择,互信息
参考文献
[1]Lewis D D.An evaluation of phrasal and clustered representations on a text categorization task[C].Proceedings of15th ACM International Conference on Research and Development in Information Retrieval(SIGIR-92),1992:37-50.
[2]Kohavi R,John G H.Wrappers for feature subset selection[J].Artifi-cial Intelligence Journal,1997,97(1-2):273-324.
[3]Aha D W,Bankert R L.A comparative evaluation of sequential fea-ture selection algorithms[C].Proceedings of the5th International Workshop on Artificial Intelligence and Statistics,1995:1-7.
[4]Church L W.Hanks P K.Word association norms,mutual information and lexicography[C].Vancouver,Canada:Proceedings of A-CL27,1989:76-83.
互信息模型 篇3
随着多媒体、机器学习、模式识别技术的快速发展和应用,其已经在图像处理领域得到了广泛的普及,能够提高图像搜索、图像增强的成效。图像处理过程中,图像分割是图像处理的关键技术之一,其可以能够预处理图像和提取关键特征,降低图像噪声,为图像增强和分析提供预处理结果,降低图像处理时的信息量,又能够保持图像内部结构特征。随着图像分割技术的研究,已经取得了显著的成效,陈圣国等人基于随机游走算法和SSFCM算法提出了一种半监督图像分割算法,能够实现图像特征准确提取[1]。姜平等人提出基于特异度和自适应分类策略的图像分割算法[2]。刘光辉等人分析多尺度马尔科夫随机场在图像分割中产生的块效应,提出一种基于多尺度置信度传播图像分割算法[3]。杨勇等人提出了一种基于多尺度结构张量的图像分割算法,采用无监督方法对彩色纹理图像进行分割[4]。范朝冬等人提出一种基于小概率的Otsu图像分割算法[5]。皮志明等人融合深度和颜色信息提出一种图像分割算法[6]。李积英等人融合量子克隆进化与二维Tsallis熵等技术提出一种图像分割算法[7]。
图像分割虽然已经大幅度提升准确度,但是对于具有复杂背景和多目标的图像,图像分割不准确,不能够保留图像内部结构特征。为了解决上述问题,本文提出了一种基于互信息的图像分割算法-ISMI,能够有效地提高图像分割的精准度,同时能够将一幅图像中的多个不同目标分割出来。
2 基于互信息的图像分割算法设计
图像分割过程中,互信息可以度量任两个像素点的概率包含程度,也就是能够独立像素点的重合情况[8]。互信息的定义如下描述:
定义1:给定一个离散随机变量(X,Y)~p(x,y),p(x)=∑Yp(x,y) ,p(y)=∑Xp(x,y) ,则随机变量X和Y之间互相包含的互信息为:
如果两个像素点的概率是逻辑独立的,互信息取值为零,达到最小值I(X; Y)= 0 。互信息满足对称性,I(X; Y)= I(Y; X) 。
互信息应用于图像分割中其目标是尽可能地保留相邻片区之间的互信息,压缩相关的信息到瓶颈变量中,反映图像内部结构特征。具体的,使用矩阵M(X,Y)存储一个二值化图像的信息,其中变量X和变量Y分别表示二值化的图像的行和列,则ISMI算法采用行列双向划分的思想执行图像分割操作,具体的图像分割过程如下所述:
(1)ISMI算法对图像的行X进行划分,使用Y(Ŷ)作为度量划分过程中各个分片之间的互信息。在这个过程中,要尽可能地保留Y(Ŷ)的信息量,以便能够使得图像的行结构相似的区域分割到一个片内。
(2)ISMI算法对图像的列Y进行划分,使用X( X̂)作为度量划分过程中图像的各个区域之间的互信息。在这个过程中,要尽可能地保留X(X̂)的信息量,以便能够使得图像的列结构相似的区域分割到一个片内。
(3)设定某一个阈值,将其作为(1)和(2)交替执行的一个阈值,以便二者能够交叉进行,同时实现图像分割。
通过对ISMI算法进行分析,可以得知在图像分割过程中,可以使用互信息表示I(X; Y) 表示一幅图像包含的互信息量,I(TX; X) 表示图像的行分割后拥有的互信息,I(TY; Y) 表示图像的列分割后拥有的互信息,I(TX; Y) 表示图像初始执行行分割时要尽可能保留的互信息,I(TY; X) 表示图像初始执行列分割时要尽可能保留的互信息,I(TX; TY) 表示图像进行行、列分割中期需要保留的信息。因此,ISMI算法的目标函数可以使用公式(2)描述:
由公式(2)可知,ISMI算法在执行图像分割的过程中,需要最小化I(TY; X) 和I(TY; Y) ,同时尽可能地保留I(TX; TY) 、I(TX; Y) 和I(TY; X) 。因此,在图像分割过程中,假设图像分割产生的互信息损失可以使用公式(4)表示:
ISMI算法具体描述如下:
输入:原始图像包含的互信息I(X; Y) ,图像的行X,图像的列Y,协作参数α和平衡参数β。
输出:图像行分割结果(Tx,Ty)。
算法步骤:
1) 初始化图像的行X,图像的列Y,β=∞,a =1;
2) 将图像分割为c和Ty,使用公式(3)计算图像分割产生的互信息损失量cost(tm,tn) ,1≤i≤j≤|X|,1≤m≤n≤|Y|;
3) 选择Min(Min(cost(ti,tj)),a Min(cost(tm,tn))) 的图像进行分割;
4) 使用公式(3)更新下一次执行图像分割时的互信息损失量cost(ti + 1,tj + 1) ,cost(tm + 1,tn + 1) ;
5) 直到图像产生分割完成,算法结束;否则,回到第3步;
3 实验及结果分析
为了能够验证本文ISMI算法的有效性,在MATLAB9.0 环境中实现图像分割算法,并且与基于多尺度局部区域置信度传播算法的图像分割和结合SSFCM与随机游走的半监督图像分割算法进行比较,图像数据集分别是CT图像(图1(a))、海岛图像(图2(a))和动物图像(图3(a))。
CT图像分割中,ISMI算法可以实现精确分割,准确的划分出CT图像的轮廓,并且能够将内脏器官划分出来,准确度非常高,如图1(b)所示。基于多尺度局部区域置信度传播算法对CT图像分割之后,可以获取CT图像的轮廓,但是无法将身体内器官划分清楚,准确度较低;结合SSFCM与随机游走的半监督图像分割算法可以需要人工进行设置和划分,但是需要通常设置划分人的经验不足,难以获取准确的CT图像轮廓,内部器官也非常模糊,图像分割效果非常弱,CT图像处理已经在医学图像处理中得到了广泛的普及和应用,具有较高的潜在应用价值。
海洋中的岛屿的分割效果过程中,ISMI算法可以准确地将岛屿中的图像分割出来,准确度较高,分割效果比较准确。基于多尺度局部区域置信度传播算法和结合SSFCM与随机游走的半监督图像分割算法图像分割结果较为模糊,置信度传播算法可以划分一个模糊的岛屿轮廓,随机游走算法的无法准确盘底岛屿在图像中的位置,效果不太理想。
一幅图像通常包括多个同种类型的目标,因此图像分割算法需要识别出来多个目标的清晰轮廓,比如在斑马群图像、高速公路汽车等,都需要迅速的获取目标图像,需要处理更多的应用。单目标和多目标图像分割过程中,ISMI算法可以精确地识别出单个目标,并且分割结果较为准确。在多个目标图像分割过程中,基于多尺度局部区域置信度传播算法如果背景简单并且毫无遮挡,可以识别出来目标,如图3(c)所示。基于SSFCM与随机游走的半监督图像分割算法对于多个目标进行分割时,其无法识别多个同类目标的轮廓,分割效果非常差,如图3(d)所示。ISMI算法可以精确的识别每一个目标对象的轮廓,如图3(b)所示。
4 结束语
基于互信息的图像分割算法可以从行、列两个方向对图像进行分割,分割中尽可能的保存图像内部结构特征,实验结果显示本文算法可以提高图像分割精确度,同时可以将一幅图像中的多个目标分割出来。
参考文献
[1]陈圣国,孙正兴,周杰,等.结合SSFCM与随机游走的半监督图像分割算法[J].计算机辅助设计与图形学学报,2013,(7):1074-1082.
[2]姜平,窦全胜.基于点特异度和自适应分类策略的眼底图像分割方法[J].通信学报,2015,8(8):161-170.
[3]刘光辉,任庆昌,孟月波.基于多尺度局部区域置信度传播算法的图像分割[J].北京工业大学学报,2014,7(7):124-128.
[4]杨勇,郭玲,王天江.基于多尺度结构张量的多类无监督彩色纹理图像分割方法[J].计算机辅助设计与图形学学报,2014,26(05):812-825.
[5]范朝冬,欧阳红林,张英杰.基于小概率策略的Otsu图像分割方法[J].电子与信息学报,2013,(9):111-113.
[6]皮志明,汪增福.融合深度和颜色信息的图像物体分割算法[J].模式识别与人工智能,2013,(2):24-26.
[7]李积英,党建武,王阳萍.融合量子克隆进化与二维Tsallis熵的医学图像分割算法[J].计算机辅助设计与图形学学报,2014,(3):35-37.
互信息模型 篇4
弹头与弹壳痕迹比对检验学在公安实践中可以判断发射枪支以证实犯罪[1]。目前的弹头与弹壳痕迹比对已经由二维信息转到三维信息,三维信息中包含了非常重要的深度信息,深度信息在枪弹痕迹检验学比对中是非常重要的[2,3,4,5]。基于此,我们研发了弹痕三维纹理获取系统,该系统能够实现微观的高精度测量。该系统获取的三维信息平面的分辨率能够达到2.75μm,深度信息的精度能够达到0.5μm,如此高的精度为后续的弹痕比对奠定了坚实的基础。在传统的枪弹痕迹比对学中,弹痕比对一直是判断两颗子弹是否发自同一支枪的重要依据。但若在案发现场找到的子弹弹痕受到了破坏时,将不能用于弹痕比对。近几年来,弹壳尾部撞针痕迹的比对受到了越来越多的重视,将弹壳比对和弹痕比对的结果进行综合分析能够得出更准确的结论。
传统的弹壳比对都是基于二维灰度信息进行特征点的提取、配准,对基于弹壳三维信息比对来说,其获取的是弹壳的深度信息,传统的比对方法将不再适用。在三维信息的配准计算领域,主要有两种方法:一是基于几何特征的配准计算,二是基于体素特征的配准计算。基于几何特征的配准算法需要提取出物体的几何特征,然后再进行匹配;而基于体素特征的配准算法则是直接利用弹痕图像的灰度值进行相似度计算[6]。由于基于几何特征的配准算法需要物体具有明显的几何特征,这对于弹壳处的撞针压痕来说并不适用,因此本系统采用了基于体素特征的配准计算。
基于体素特征的相似度计算主要有绝对互信息测度法[6]、归一化互相关系数法[7]、图像灰度差分法[8]等。绝对图像灰度差分法原理简单,计算速度快,但不太稳定,有时不能正确找到匹配的位置,而互相关算法则能较好的完成任务,它是通过计算两图像间互相关函数的极大值来实现的。
1 弹壳三维信息及预处理
本系统获取的弹壳三维图像如图1,2所示。
图1为三维信息中的深度信息映射到灰度值。由映射后的灰度图我们可以看到,弹壳的尾部主要包含两个主要的信息,一是外围的圆形信息,二是撞针形成的中间黑色的近似圆形的孔洞。对于外部的圆形信息对于同一型号的子弹来说都是相同的,不具有唯一的特征信息,因此不用对其做任何的分析。对于中间的孔洞信息,则是撞针与弹壳的撞击形成的,包含着撞针的形状和纹理信息,具有唯一的特征信息,因此,通过分析此信息可以进行子弹与枪支的比对工作。
1.1 圆心的计算
首先对弹壳尾部图像进行二值化,如图3所示。
经过二值化的图像分为两部分,一是外部的圆,一是内部的撞针轮廓图。对外部的圆计算其圆心利用最小二乘法进行圆的拟合,进而计算出其圆心坐标,记为(x0,y0)。
1.2 撞针质心的计算
由于撞针的形状不规则,对其质心的计算不能进行圆或椭圆的拟合,根据质心计算公式进行计算,如下式:
1.3 距离的计算
距离的计算公式为
通过距离值可以定量计算撞针对弹壳的撞击位置,进而初步判定两个弹壳是否发自同一支枪。
2 体素特征的互信息测度配准
基于体素的配准方法主要分为三个步骤:空间变换、配准测度的计算以及配准参数优化[6]。
2.1 空间变换
它表示两个弹壳撞针数据的三维空间对应关系,建立此对应关系是图像配准的基础。通过对数据的三维空间变换来使得两组数据的配准测度最大,达到空间位置一致的目的。
由于弹壳为一圆柱体,同时又为刚体,因此对于两组弹壳数据来说,将圆心坐标作为弹壳三维数据的原点,直接将弹壳2以Z轴为旋转轴进行旋转,此时就完成了两个弹壳的空间变换,旋转公式如下[2]:
2.2 配准测度计算
配准测度是图像配准成功与否的基础,也是判定图像空间位置配准的依据,合适的配准测度需要满足两个条件[1]:一是配准测度的函数局部的极值点较少,二是配准测度函数对图像配准的位置描述准确。在配准测度的计算中,互信息方法是一种非常有效的方法,它直接基于图像的像素进行配准,不需要进行特征提取、分析,自动化程度很高。对于两幅数字图像A,B,其灰度值的分布即为概率分布,则其互信息表达式为
其中:边缘概率分布pA(i)、pB(i)与联合概率分布pAB(i,j)为两幅图像重叠部分的归一化联合直方图,即
式中:i为重叠部分图像A中的灰度值,j为重叠部分图像B中的灰度值,h(i,j)为重叠部分两幅图像灰度值为(i,j)的像素对总数,为重叠部分的像素对总数。对于图像A,B的熵及其联合熵,有如下关系:
对于互信息与联合熵来说,它们对图像的大小与重叠区域非常敏感,为了解决此问题,Maes等提出了熵的互相关系数的概念,简写为CECC:
后来又有人提出了归一化的熵的互信息Y(A,B):
2.3 配准参数的优化
基于最大互信息的三维图像的配准过程,实际上是一个通过对多参数进行迭代的最优化过程,所以优化策略的选择直接关系到配准的速度以及配准结果的精度。很多学者对于优化策略也进行了相关的研究,比如模拟退火法、多层次搜索等,但此类算法太复杂,计算量大,有时对复杂的图像配准结果不稳定,对于弹痕比对系统来说,稳定的结果是最关键的,因此需要对算法进行改进。
3 本系统配准方案
对于本系统的数据来说,其灰度值是由基于三维的深度信息转换得到的。同时由于在获取弹壳数据的过程中,弹壳的摆放位置不可能完全一致,因此深度信息的高度为0的基准也不可能做到完全一致,弹壳摆放也可能存在倾斜的情况,综合考虑以上的诸多因素,提出了以下的改进算法,流程图如图5所示。
在上述流程中,高斯滤波主要完成在采集弹壳数据时0高度的基准不完全一致产生的偏差,对弹壳的数据只选取中间平坦的部分进行高斯滤波,这样有两点好处:
1)中间平坦的部分高度均匀,数据获取的精度也高,滤波效果好,滤波结果能够代表弹壳的空间位置,这样两个弹壳在减去滤波平面后能够处于同一高度坐标系。
2)撞针部分的数据与其它地方高度差别大,高频信息丰富,参与滤波计算会对滤波平面产生较大的影响,同时不参与滤波计算还能够保留最原始的撞针信息。
在互信息测度的计算过程中,由于在采集过程中弹壳会有一定的倾斜,两个弹壳的倾斜情况不可能完全一致,因此提出了基于迭代的互信息测度的计算。
弹壳本身可以看做一个刚体,所以对于倾斜的情况下,两组数据的高度信息只要乘以一个系数就能进行倾斜的校正,系数的选择采用迭代的方法进行计算,从中找出互相关测度最大的一个系数。
由于弹壳的数据为基于深度信息的三维数据,此时对于撞针的不同区域来说,在相同的倾斜角度差的情况下,偏离的距离是不同的,如图6所示。
对于三维空间内的两点C1与C2,做出其在xoy平面的投影,则其在z轴方向上的高度为h1与h2,很明显h1
式中:i,j分别为以圆心为坐标原点的相对坐标值,i=0,1,...,W;j=,1,...,H;n(28)0,1,...,NKi,j表示在任一像素点处的最终修正系数,k n为迭代的系数,N为迭代总次数,W为待配准数据转换为图像的宽度,H为待配准数据转换为图像的高度。为了减小计算量,特选择撞针处的数据进行互相关测度的计算。
4 实验结果与分析
对于迭代系数kn的取值范围,根据系统的实际情况,选择0到0.01之间的21个数,步长为0.000 5进行迭代计算,对同一枪支的弹壳,其最大互相关测度值为0.68,此时kn=0.0055;不同枪支的弹壳互相关测度值不够稳定,结果如图7,图8。
由图7,图8可以得出以下结论:
1)对于不同枪支的弹壳,其互相关测度小于0.5,对不同的修正系数,其变化剧烈,反映敏感;
2)对于同一枪支的弹壳,其互相关测度大于0.6,对于不同的修正系数,变化平缓;
3)当kn=0时,此时的情况就是不做任何修正,两种情况下的互相关测度值都不高,利用修正系数对同一支枪的弹壳进行修正效果非常明显;对不同枪支来说,其没有相关性,因此修正对判定结果没有影响。
通过分别对12组不同枪支和同种枪支弹壳的撞针信息进行互相关测度计算,修正前和修正后的结果如图9和图10所示。
由表1可以得出,对于所比对的不同枪支与同种枪支的各12组弹壳结果来看,自适应变系数方法对不同枪支的弹壳影响不大,最大提升7.535 2%,平均提升2.137 9%;对于相同枪支弹壳的提升非常明显,最大提升30.075 7%,平均提升12.724 9%。
5 结论
本文根据现代公安系统在枪支案件侦破时所利用的枪弹痕迹比对学的要求,提出了基于三维信息的弹壳撞针相似度比对。研究了比对过程中影响比对结果的因素,对传统的比对方法进行了改进,给出了比对方案的具体工作流程。通过使用自适应变系数互相关测度的迭代法找出最优的比对结果。实验结果表明:新方法对不同的枪支弹壳比对的结果影响不大,平均提升2.137 9%,对于相同枪支弹壳的提升非常明显,最大提升30.075 7%,平均提升12.724 9%。这对于提升弹痕比对结果的成功率具有重要意义。
参考文献
[1]王放明.枪案物证检验技术现状与发展[J].刑事技术,2003(2):29-31.WANG Fang-ming.The Summary of the New Adanced Technology About Evidence Examination in Gun Case[J].Forensic Science and Technology,2003(2):29-31.
[2]Vorburger T V,Yen J H,Bachrach B,et al.Surface Topography Analysis for a Feasibility Assessment of a National Ballistics Imaging Database[M].U.S.A:Technology Administration,U.S.Department of Commerce,2007.
[3]A Superior Solution:What Makes Forensic Technology’s IBIS TRAX-3D the Most Advanced Ballistic Imaging Solution in the World Today?[R/OL].http://www.forensictechnology.com,2009.
[4]Toni B,Brinck M Sc.Comparing the Performance of IBIS and BulletTRAX-3D Technology Using Bullets Fired Through10Consecutively Rifled Barrels[J].Journal of Forensic Sciences(S0022-1198),2008,53(3):677-682.
[5]Computer Assisted3D Analysis Tools for Forensic Applications[R].Intelligent Automation,Inc.2008.
[6]刘小平.三维超声心动图最佳切面自动检测方法的研究[D].上海:上海交通大学,2010.LIU Xiao-ping.Auto-Detection of the Optimal Cross Sections in3D Echocardiographic Images[D].Shanghai:Shanghai Jiao Tong University,2010.
[7]罗曼.针对弹壳图像的配准与融合方法研究[D].长春:东北师范大学,2010.LUO Man.Research on Cartridge Case Image Registration and Fusion[D].Changchun:Northeast Normal University,2010.
[8]马丙辰,谌海新,马桂珍.基于标记点的刚体图像配准方法研究[J].计算机工程与应用,2005,41(6):68-71.MA Bing-chen,CHEN Hai-xin,MA Gui-zhen.Rigid-Body Image Registration Based on Landmarks[J].Computer Engineering and Applications,2005,41(6):68-71.
[9]王淑珍,谢铁邦,常素萍.一种新型弹头痕迹测量仪[J].兵工自动化,2009,28(7):31-34.WANG Shu-zhen,XIE Tie-bang,CHANG Su-ping.A New Warhead Marks Measuring Instrument[J].Ordnance Industry Automation,2009,28(7):31-34.
互信息模型 篇5
粗糙集理论是1982年由波兰科学家Z.Pawlak创立的一种数据分析理论。粗糙集理论具有很强的定性分析能力,即不需要预先给定某些特征或属性的数量描述,而是直接从给定问题的描述集合出发,通过不可分辨关系和不可分类确定给定问题的近似域,从而找出该问题的内在规律。
通常情况下,近似空间中的属性并不是同等重要的,特别是当近似空间中的数据是随机采集时,冗余属性更为普遍。冗余属性的存在,一方面是资源的浪费,同时也影响产生的决策规则的正确性和简洁性。目前国内外出现的一些属性约简算法都是利用属性重要性作为启发式信息,从信息系统或决策系统中找出最优约简,因此也可称为启发式算法。在算法思想上主要有两种思路:第一种是从条件属性的核出发,根据属性的重要性不同逐次将重要性最高的属性加入到核中,直到满足某种条件。第二种是从整个条件属性空间出发,根据属性的重要性不同,逐次删除重要性最小的属性,直到满足某种条件。本文对常见的属性约简算法如差别矩阵方法、MIBARK算法等进行了分析对比,在此基础上提出了基于属性重要性和互信息的MIBARK改进算法。
2 基本概念
定义1设U是非空有限集合,对于任何子集称为U中的一个概念,U中的任何概念簇,称为U的抽象知识。粗糙集理论中以等价关系代替分类。当用R表示论域U中对象之间的等价关系时,则U/R表示U中的对象根据关系R构成的所有等价类族。若且∩P(P中全部等价关系的交集),就是P上的不可分辨关系,记为IND(P)。
定义2设R为一等价关系簇,并且r∈R,若IND(R)=IND(R-{r}),称r为R中可省略的,否则r为R中不可省略的。
(1)当对如果r不可省略,则簇R为独立的。当R是独立的,如果存在属性子集则P也是独立的。
(2)对于属性子集使得IND(Q)=IND(P),且Q为最小子集,则Q称为P的约简,表示为Red(P)。
(3)P中所有约简属性集中都包含的不可省略关系的集合,即约简集Red(P)的交集称为P的核。表示为Core(P),即:Core(P)=∩Red(P)
定义3设K=(U,R)为一知识库,为了度量知识的依赖性,定义如下:
k=r P(Q)=Card(Pos P(Q))/Card(U)Card表示集合的元素个数
(1)当k=1时,则称知识Q完全依赖于P,即论域中的全部元素可通过知识P划入U|Q的初等范畴;
(2)当k=0时,则称知识Q完全独立于知识P,即论域中没有元素可通过知识P划入U|Q的初等范畴;
(3)当0
系数r P(Q)可以理解为知识P和知识Q之间的依赖程度。
来衡量,即去掉某一属性子集后计算依赖度SGF的变化,变化越大,则该属性子集越重要。
3 常见的属性约简算法
3.1 一般约简算法
一般约简算法是根据求属性核Core的的思想,考察条件属性集中删除某一属性后正区域是否发生变化,以此来判断该属性是否重要。
输入:决策表T=〈U,C∪D〉,C、D分别为条件属性和决策属性。
输出:决策表的核Core
利用一般约简算法能够得到决策表的一个属性约简结果,但不一定是满意的属性约简结果,而且该算法所需要的时间和空间代价都很高,如果决策表中属性和对象个数较多,将是一个组合爆炸问题。
3.2 差别矩阵方法
差别矩阵是粗糙集中一个重要概念,它将决策表中关于属性分类的信息浓缩到一个矩阵当中,可用于决策表的属性约简。差别矩阵的定义如下:
设信息系统S,论域U={x1,x2,…,xm}是研究对象,条件属性C={c1,c2,…,cm},决策属性D。定义系统的差别矩阵为M(s),其元素为
其中i,j=1,2,3,…,n,这里n=|U|。
利用差别矩阵进行属性约简的实质是利用逻辑运算中的吸收律和其它演算法则来达到数据约简的目的,当面临的是较小规模数据集时,采用基于差别矩阵的属性约简是比较高效的。
输入:决策表T=〈U,C∪D〉,C、D分别为条件属性和决策属性。
输出:T的约简属性集
基于差别矩阵的属性约简算法可以得到决策表的所有可能的属性约简结果,可以根据实际问题需要选取满意的结果,它实际上是将对属性组合情况的搜索演变成为逻辑公式的化简,但随着对象数目的增加,差别矩阵的维数将会大大增加,因此该算法适合于处理较小规模数据集。
3.3 MIBARK算法
在求解决策表属性约简的时候,可以利用决策表条件属性和决策属性之间的互信息。在决策表中增加某个属性所引起的互信息的变化的大小可以作为该属性重要性的度量。MIBARK算法的思想也在于此。
输入:决策表T=〈U,C∪D〉,C、D分别为条件属性和决策属性。
输出:T的一个相对约简
(1)对C-B中的每个属性p,计算互信息I(p,D|B);
(2)选择使互信息I(p,D|B)最大的属性,记为p(若同时存在多个属性达到最大值,则从中选取一个与B的属性值组合数最少的属性作为p);并且B=B∪{p};
(3)若I(B,D)=I(C,D)则终止,否则转(1);
Step4:最后得到的B就是C相对于D的一个相对约简。
MIBARK算法也是一种启发式算法,在多数情况下能够得到决策表的最小属性约简。
4 基于属性重要性和互信息的MIBARK改进算法
本文提出的基于属性重要性和互信息的MIBARK改进算法的主要思想是:直接以属性依赖度为衡量标准,逐步添加属性到候选属性集R中,然后考虑候选属性集中两两属性的互信息,从候选属性集中删除对正确分类贡献不大的属性,这样就能保证在较短的时间内得到简化的属性集。该算法之所以要采用先添后删的方法,是因为前向选择时没有考虑条件属性之间的依赖关系,而事实上后来属性的加入很可能使某个候选属性成为冗余,因此需要判断条件属性之间的互信息,如果互信息很大的话,说明两者之间存在较强的依赖关系,应该在不影响分类质量的前提下将之删除。
4.1 基于属性重要性和互信息的MIBARK改进算法
输入:决策表T=〈U,C∪D〉,C、D分别为条件属性和决策属性,互信息阈值δ。
输出:决策表的一个约简R
根据算法得到集合R为决策表的一个约简。
该算法的思想就是先选择尽可能多的属性进入候选属性集,从而保证了对条件属性的约简不失真,最大限度保留了原决策表中的客观信息,而后将候选属性集中那些对分类效果贡献不大的属性删除,保证了结果的简洁性。由此可见,本算法更加侧重于属性集的简化,同时由于候选属性的个数远远少于原条件属性的个数,因此本算法能够得到较理想的约简结果。
4.2 仿真实验
表1所示决策表是一组原始气象数据经过离散区间划分后得到的数据,应用基于属性重要性和互信息的MIBARK改进算法对决策表进行属性约简。设互信息阈值δ=0.5,经计算得到r C(D)=7/12。经过分别计算R中属性的重要性及两两属性间的互信息,最终无属性满足I(ai,aj)>δ且r R-{aj}(D)=r C(D)的条件,因此,得到最终约简属性集R={a,b,c,d},得到最终决策表(如表2所示)。
经过属性约简和属性值约简后的决策表得到很大程度简化,得到的决策规则在数量和质量上都与专家结论基本一致,有较好的应用效果。
5 结束语
本文在对决策表属性约简的典型算法进行分析比较的基础上,提出了基于属性重要性和互信息的MIBARK改进算法,直接以属性重要性为衡量标准,逐步添加属性到候选属性集中,从而保证了对条件属性的约简不失真;而后通过属性重要性和互信息计算将候选属性集中那些对分类效果贡献不大的属性删除,保证了结果的简洁性,并通过实例对研究成果进行分析论证,得到了较好的应用效果。
参考文献
[1]王国雍..Rough sets理论与知识获取.西安交通大学出版社,2001.5.
[2]顾沈明,吴伟志,高济.不完备信息系统中知识获取算法[J].计算机科学,2005,32(9)149-152.
[3]杨善林,倪志伟.机器学习与智能决策支持系统.北京:科学出版社,2004
[4]Jack Jelonek,Krzysztor of Knawcic,Roman Slajinski.Rough Set Reduction of attributes and their domains for Neural Network.Computational Intelligence,11(2):213-220
[5]Duntsch I,Gediga G.Uncertainty Measures of Rough Set Prediction.J of Artificial Intelligence,1998,106(1):77-107
[6]Yao Y Y.Constructive and Algebraic Methods of The theory of Rough Sets.Journal of Information Sciences,1998(109):21-47
[7]Wang M,Yang J,Xu ZJ,Chou KC:SLLE for[8]predicting membrane protein types.J Theor Biol2005,232(1):7-15.
互信息模型 篇6
准确高效的图像分割对于SAR图像信息的解读具有重要意义。仿生学计算, 由于其操作简单灵活并具高效性而被广泛应用于图像分割中。它可以被分为2类:进化算法 (Evolutionary Algorithms, EA) 和集群智能算法 (Swarm Intelligence, SI) 。进化算法, 比如遗传算法 (Genetic Algorithm, GA) , 受自然选择和优胜劣汰的启发而被提出;集群智能算法, 比如人工鱼群算法 (AFS) 和粒子群优化算法 (PSO) , 则借鉴了动物觅食行为。
ABC算法是一种以蜜蜂觅食作为基础研究出来的新集群智能算法。文献[1]中证明了它在方程优化方面比PSO、GA、EA、DE和PS-EA (Particle Swarm Inspired Evolutionary Algorithm) 算法效率高、速度快。作为一个有力的优化工具, 该算法还鲜少被应用于图像分割领域。因而, 若将分割后图像和原图像的最大模糊信息量用作ABC算法的适应度函数 (Fitness Function) , 则此种算法可被用来估计大幅SAR图像分割的全局阈值, 能够改善大计算量的效率。
1人工蜂群算法
1.1人工蜂群算法的基本原理
在ABC算法[1]中, 蜂群智能系统由蜂群、食物源和蜂巢 (因为蜜蜂在蜂巢中跳舞来交换信息, 也称为舞蹈区) 组成。蜂群成员包括3类:雇主蜂 (Employed Bees) 、侦察蜂 (Scouts) 和雇佣蜂 (Onlookers) 。雇主蜂和特定食物源具有一对一关系, 负责引导雇佣蜂开采花蜜或者独自开采花蜜, 它总是记住本次采集花蜜时所处最佳食物源位置, 并在它周围一定范围内贪婪地探寻更佳食物源, 如果发现新食物源更佳, 就会废弃旧食物源;雇佣蜂在蜂巢, 它和雇主蜂交流完信息后, 负责根据食物源的收益率选择是否选定某食物源为局部最佳食物源, 食物源的收益率与花蜜的丰富度、离蜂巢的距离和获得花蜜的困难程度都有关;侦察蜂负责随机地寻找其他食物源, 它的数目为整个蜂群的5%～20%[2]。在采蜜全过程中, 蜂群行为主要包括寻找食物源和废弃食物源, 寻找到最佳食物源位置的过程就是寻找某个问题的最佳优化解过程。
1.2人工蜂群算法的实现
初始化蜂群大小并计算每一个雇主蜂的适应度函数以及记录下当前最大蜂蜜值和对应雇主蜂位置;每个雇主蜂在它所在蜂蜜附近寻找新蜂源位置, 计算其适应度函数, 并根据贪婪原则更新新蜂源位置;根据每个新蜂源的适应度计算整个雇主蜂部队的收益, 设蜂群位置为xi, 它的适应度函数为fi, 那么收益Pi可以表示为:
每个雇佣蜂根据收益来选择蜂源位置并寻找新的蜂源位置, 计算适应度函数;记录整个蜂群 (包括雇主蜂和雇佣蜂) 的最大蜂蜜值及其蜂源位置, 同时检查是否满足丢弃条件, 如果满足则在目标函数的范围内随机产生新的解来替代该值。
2模糊互信息
2.1互信息
互信息量[3]的概念源于信息论, 它是2个随机变量统计相关性的一种测度, 设A, B是2幅图像, 那么2幅图像的互信息可以用熵表示为:
MI (A, B) =H (A) +H (B) -H (A, B) 。
式中, H (A) 和H (B) 为图像A, B的熵;H (A, B) 代表A, B的联合熵。根据信息熵的定义, 互信息可以写成:
式中, pA (a) 、pB (b) 为A, B灰度的概率密度分布;pAB (a, b) 为A, B灰度的联合概率密度分布。
2.2模糊互信息
参数定义同互信息部分, 图像A, B的模糊互信息 (Fuzzy Mutual Information, FMI) 可以定义为:
式中, μ (ai, bi) 为图像A中灰度ai和图像B中灰度bi之间的相关系数, 满足0≤μ (ai, bi) ≤1, 针对不同应用场景会有不同确定方法;参数α是大于0的可调因子;FMIm (A, B) 为参数型模糊互信息量。
3基于FMI和ABC算法的图像分割
本文算法将图像分割简化为分割成目标区域和背景区域2部分, 以最大模糊互信息量为分割判据, 以ABC算法作为优化方法, 其算法流程如下:
① 图像预处理。针对SAR图像的相干斑噪声, 对原图像A进行Lee Sigma滤波[4];然后利用模糊域映射, 选用S型曲线, 对滤波后图像灰度值再次进行处理, 最终得到模糊增强[5]的图像。
② 计算原图像A和分割图像B之间的模糊互信息量。设图像灰度变化范围为0～L-1, 应用模糊互信息量进行图像分割时, 首先要定义原图像A中任意灰度级与二值化图像B中的目标 (背景) 区域的平均灰度级之间的隶属度;然后才能计算原图像A和二值化图像B之间的模糊互信息量。其中模糊隶属度定义为:
式中, mO (t) 和mB (t) 分别为分割图像B中目标和背景的平均灰度。
最终得到分割阈值t为:
式中, 参数α>0。
根据文献[6], 当α→0时, 上述分割准则退化为传统互信息量分割准则。
③ 利用ABC算法, 设定蜂群大小、丢弃次数以及最大迭代次数等参数, 将最大模糊互信息作为适应度函数以分割图像, 最终得到最优分割阈值t, 其流程图如图1所示。
4实验结果和讨论
为了验证算法的准确性和高效性, 实验从3个方面进行了设计:① 传统互信息方法和本算法的分割准确性的比较;② 遗传算法和本算法分割速度的比较;③ 遗传速度和本算法收敛性的比较。
实验数据是日本星载ALOS的L波段单通道大幅数据, 大小为481×2 161, 显示区域为日本成田机场。采用Intel公司Xeon系列E5405型号CPU, matlab版本为R2008b。参考文献[7], 本算法将蜂群大小设为10, 最大迭代次数设为30, 丢弃次数设为10, 蜂蜜位置的上下边界分别为0和255。而遗传算法中, 群体规模设为50, 最大迭代次数为80, 交叉率为0.5, 变异率为0.02。传统互信息分割结果如图2 (c) 所示, 发现通过ABC方法求得的阈值为210, 分割后有较多的噪声和纹理, 而本算法α设为1, 求得阈值为238, 得到的结果如图2 (d) 所示, 是比较完整的机场轮廓。从计算速度方面来看, 遗传算法得到阈值为235所用的时间为635.034 s, 而本算法计算时间为198.487 s。
此外, 在比较遗传算法和本算法的区别时还发现, 本算法在第7次迭代开始得到稳定的最终fitness函数最优解, 而遗传算法则经历折线寻优的过程, 最终从第25次迭代开始得到波动不大的最终fitness函数最优解, 从中也可以看出本算法具有较好的收敛性。
5结束语
实验证明人工蜂群算法具有以下优点:① 正反馈。正反馈机制能够扩大局部最优解的数量, 增加迭代次数和雇主蜂的数目有利于找到全局最优解。② 分布式计算和并行性。分布式计算要求个体要独立地搜索最优解, 雇主蜂互相独立可以防止过早收敛。每个雇主蜂更新最优食物源时是互相独立的, 便于编写并行程序, 提高代码的效率。③ 鲁棒性。该算法稍加修改可以应用在很多实际工程问题中, 并且得到的解具有收敛性[9]。
在此基础上, 探索了一种大幅SAR图像目标分割的方法, 以最大模糊互信息为判据, 以ABC算法优化求解阈值, 检测出原图像中尽可能多的目标信息, 并以人工蜂群算法作为阈值选取的工具, 自动检测出复杂环境下的SAR图像中的目标, 检测有效, 算法简单。
参考文献
[1]KARABOGA D, BASTURK B.A Powerful and EfficientAlgorithm for Numerical Function Optimization:ArtificialBee colony (ABC) Algorithm[J].Journal of GlobalOptimization, 2007, 39 (3) :459-471.
[2]李峰磊.蜂群算法研究与应用[D].南京:河海大学硕士论文, 2008:16-17.
[3]刘立新.多阈值模糊互信息图像分割方法[J].计算机工程与应用, 2009, 45 (25) :166-168.
[4]潘诚, 戴晓燕.基于CV模型的SAR图像机场感兴趣区域检测[J].无线电工程, 2012, 42 (7) :10-12.
[5]LIU B, CHENG H D, HUANG J H, et al.AutomatedSegmentation of Ultrasonic Breast Lesions Using StatisticalTexture Classification and Active Contour Based onProbability Distance[J].Ultrasound in Medicine andBiology, 2009, 35 (8) :1 309-1 324.
[6]CHEN G, ZUO H F.2-D Maximum Entropy Method ofImage Segmentation Based on Genetic Algorithm[J].Journal of Computer-Aided Design&Computer Graphics, 2002, 14 (6) :530-534.
互信息模型 篇7
关键词：图像配准,红外图像,可见光图像,仿射变换,互信息
1 引言
近年来各种新的成像设备逐步应用到电力系统中来,例如红外热成像设备在电力设备测温方面的应用,以及可见光成像设备在电力设备状态监视方面的应用。为了使多次成像或多种成像设备的信息可以得到综合利用,弥补单一成像设备的缺陷,使电力设备的在线监测和故障诊断更准确,则必须使用多传感器图像融合技术。多传感器图像融合技术可以有效综合多源图像信息的互补性和冗余性,因此融合图像包含比任何一个输入通道的图像更丰富的信息,具有更高的可靠性,有利于提高对图像信息的分析和识别能力[1]。图像配准是图像融合技术的基本环节,只有经过配准后的图像才能进行有效的融合,它是对取自不同时间、不同传感器或不同视角的同一景物的两幅图像或多幅图像匹配、叠加的过程。
图像配准的方法总体上可以分为两类:基于灰度统计特性的方法和基于特征的方法[2,3]。由于红外图像和可见光图像反映了物体不同的物理特性,所以提取一致的特征比较困难,并且图像间的像素灰度相关性也比较小,因此单一地采用上述两种配准方法都不能使红外图像和可见光图像精确地配准。针对这个问题本文提出了一种基于最大互信息的配准方法,即首先对图像进行边缘增强,突出其特征,然后利用最大互信息原则来实现红外与可见光图像的配准。
2 红外与可见光图像的配准
图像配准,在本质上是通过寻求两幅图像间的一种空间变换,将两幅图像中对应于空间同一位置的点联系起来。它是一个将两幅图像进行一对一映射的过程。近年来,图像配准特别是多模态图像配准成为图像处理领域的研究热点。
红外图像与可见光图像指来源于不同传感器、不同时间、不同角度的同一目标景物的数字图像,它们是目标在光谱的不同波段———红外、可见光波段的固有特性的体现,因此红外与可见光图像配准属于“多模态配准”[4]。
红外与可见光图像处于不同波段,它们之间有以下区别:首先,在可见光波段,对比度相对较高,它由反射率和阴影决定。在红外波段,对比度由发射率和温度决定。特别是作为温差的一个结果,对比度可以在很大的范围内变化。其次,两者图像特征具有不同的灰度值,在红外图像中出现的特征不一定在可见光图像中也出现。与单一类型传感器相比,从红外图像和可见光图像中提取一致特征困难更大,误匹配可能会出现,因此需要采用相似不变特征。
3 互信息在图像中的表示
互信息是信息论中的一个基本概念,是两个随机变量统计相关性的测度,用来度量两个随机变量的统计依赖性或者一个变量包含另一个变量的信息量。据信息理论,两个随机变量A,B间的互信息可定义为式(1):
其中,pA(a)和pB(b)为边缘概率分布,pA,B(a,b)为联合概率分布,当两幅图像达到最佳配准时,它们的对应像素的灰度互信息应为最大。
根据熵的定义,则:
对于图像X,px(a)表示为图像X中第a灰度级的像素个数与总的像素个数之比。而pA,B(a,b)则表示两图像的像素对数(图像A中第a灰度级和图像B中第b灰度级)与总像素对数之比。通过分析不难看出:如果两幅图像精确配准时,其互信息达到最大。因此基于互信息准则的配准过程,就是搜索最佳的变换参数,使两图像间的互信息达到最大。
两幅图像A和B的互信息可以定义为式(4):
这里H(A)和H(B)分别是图像A和B的平均信息量,而H(A,B)则是它们的相关平均信息量。当互信息量I(A,B)达到最大值时,图像A和B就应当被认为是配准了。pA(a)、pB(b)为边缘概率密度函数,pA,B(a,b)为联合概率密度函数,它们可以由式(5)、(6)、(7)得到:
h(a,b)是这两幅图像的联合直方图,它是通过统计两幅图像的对应位置的灰度对(a,b)出现次数得到的[5,6]。
4 基于最大互信息的图像配准算法
4.1 图像边缘加强
从红外图像中可以发现,由于红外图像反映的是景象中物体的辐射特性,因此,不同物体交界(即边缘所在处)的地方比较模糊,不会像可见光图像那样清晰,这将导致对红外图像进行边缘提取时,与可见光的边缘图像相比较存在几何误差,使得配准结果得不到满意的效果。而基于区域的灰度像素值,灰度变化的二阶统计特性是关键,而增强的边缘则是最明显的特征,灰度信息越丰富,灰度二阶特性就越稳定,越能反映出图像的边缘信息,利用这种稳定的信息,有利于提高配准性能。因此,本文采用了边缘增强的技术来进行图像预处理。灰度图像中,处于边缘附近像素的光强度有着明显的变化,其变化情况随着场景中照明条件的不同和构成边缘的各相交面取向的不同而不同。
红外热成像系统对热辐射物体敏感,热细节对比度很低、动态范围非常有限,在不同目标背景温度下会失去自然表象。另外,热成像系统的非均匀性也是个很大的干扰因素。边缘增强的算子很多,如Sobel算子、Robert算子、LOG算子、Canny算子等。考虑到Robert算子、LOG算子在锐化图像中的噪声、条纹等同样得到加强,这在图像处理中会造成伪边缘与轮廓,Canny算子对噪声的抑制效果很好,但同时也将部分有用边缘当成噪声滤除了,而Sobel算子则在一定程度上克服了这些问题,因此,本文采用了Sobel算子。
4.2 互信息的计算
原理上,当两幅基于共同物理结构的图像达到最佳配准时,他们对应像素的灰度互信息应为最大,可求出最佳配准参数。对于在不同时间或不同条件下获取的两幅图像A(x,y)和B(x,y)的配准,就是采用两幅图像的互信息作为相似性测度,并寻找一个最优的空间变换关系,使得经过空间变换后,两幅图像间的相似性达到最大[6]。
图像的灰度直方图表示单幅图像中像素的灰度出现的频率,而联合直方图表示的是两幅尺寸相同的图像A和B之间对应位置上的像素对的灰度组合出现的频率。在联合直方图中,起主要作用的一般是图像的低频部分。因此,为提高图像的配准速度,对边缘加强的两幅低频图像来计算联合直方图,并据此计算配准参数。
两幅图像A和B的联合直方图可由式(8)求出:
式中l1=0,1...255,l2=0,1...255;
A(m,n)和B(m,n)分别为图像A和B中坐标为(m,n)的像素灰度;
若把联合直方图看作一幅256×256的图像,则各像素的坐标为(l1,l2),灰度为jhAB(l1,l2)[7]。
4.3 相关性度量
在红外实时图像与可见光参考图像之间的共性得到了增强后,可用去均值归一化灰度互相关值作为实时图像和参考图像的相似性度量,互相关系数ρ的计算方法如式(9):
其中Gr(i,j)表示参考图像在(i,j)点的灰度值,Gr大小为Mr*Nr;Gs(i,j)表示实时图像在(i,j)点的灰度值,Gs大小为Ms*Ns,且Ms
4.4 待配准图像几何畸变的矫正
式中(x,y)为参考图像(可见光图像)的边界点坐标集,(x',y')为配准后的坐标集,k、θ、Δx和Δy为图像的配准参数。
按最大相关原则求取k、θ、Δx和Δy的最佳值。获得配准参数后,就可以对图像作相应的几何变换。变换后的坐标值不一定为整数,即坐标值经变换后不一定落在像素点上,因此需要对变换后的图像进行重新采样和插值。插值的方法主要有:最近邻域法、双线性插值法和三次插值法。几种插值方法的原理基本相同。每次处理时,首先在输入图像中找到与输出图像中对应的点,然后计算点附近像素的加权平均值,并将它赋给输出像素。权值由每个像素与点之间的距离决定。三种方法中的插值精度从低到高依次为:最近邻域,双线性插值,三次插值,而运算速度则正好相反,折中考虑以上两个因素,选用双线性插值法。
5 实验结果与分析
针对上述算法本文进行了仿真实验。图1为红外CCD得到的图像,图2为可见光CCD得到的图像。将可见光图像作为标准参考图像,红外热图像相对于参考图像来说有明显的旋转和平移变化。获取最佳配准参数后,即可根据仿射变换模型将红外图像向可见光图像作相应的几何变换,得到配准后的图像如图3所示。
从图2可以看出,两幅图像之间的旋转和平移差别得到了一定的修正。
6 结论
基于最大互信息的图像配准方法是一种相对较新的图像配准方法,本文将该方法应用于红外与可见光图像的配准。为了提取适合红外和可见光图像配准的点,首先对两幅图像采用Sobel算子增强边缘,提升红外和可见光图像的有效边缘信息;接着建立仿射变换模型,依据相似性度量的原则确定图像间的最佳配准参数;最后根据得到的最佳配准参数,将红外图像向可见光图像做仿射变换,完成配准。实验结果表明采用本文提出的方法可以实现红外图像和可见光图像的配准,但实验中采用Sobel算子增强图像边缘,存在一定的漏检和误检,对边界相似性度量的准确性有一定影响。需要采用精度高的边缘增强算法,并优化配准参数,以实现精确配准。
参考文献
[1]刘卫光,郭师红.红外与可见光图像实时配准融合系统[J].红外技术,2004,26(5):66-67.
[2]叶波,陆雪松.基于互信息图像配准中的局部极值问题研究[J].计算机工程与应用,2007,43(6):58-61.
[3]雷凯,刘艳滢,王延杰,等.一种新的基于图像主轮廓的配准算法[J].微计算机信息,2007,23(2-3):267-268,240.
[4]江静,张雪松.红外与可见光图像互信息法自动配准算法研究[J].华北科技学院学报,2006,3(4):73-78.
[5]周永新,罗述谦.基于形状特征点最大互信息的医学图像配准[J].计算机辅助设计与图形图像学报,2002,7(14),13-14.
[6]李伟.基于最大互信息的多源图像配准研究[J].深圳信息职业技术学院学报,2006,4(4):25-28.
[7]刘哲星,李树祥.基于联合直方图区域计数的时间序列图像自动配准方法[J].中国图像图形学报,2002,7(5):450-456.
[8]D.Sarrut and S.Miguet,Similarity Measures for Image Registration[J].In European Workshop on Content-Based Mukimedia Indexing,Toulouse,France,IHMP TIRIT.1999,10,263-270.
[9]曾文锋,李树山,王江安.基于仿射变换模型的图像配准中的平移、旋转和缩放[J].红外与激光工程,2001,30(1):18-20.