模糊特征

2024-10-28

模糊特征（精选7篇）

模糊特征篇1

0 引言

粒子群优化是由美国社会心理学家Kenndy和电气工程师Eberhar于1995年提出的一种基于种群的仿生优化方法[1,2],与蚁群优化、蛙跳优化等组成了群智能大家庭。近年来,粒子群优化得到了国内外研究学者的关注,研究方向不断聚焦,新研究课题层出不穷,成果不断出现,专门讨论粒子群优化(或以粒子群优化为主的群智能)的著作有10余部,在中国知识资源总库中以“粒子群”为标题搜索到的相关博士论文有48篇,在收录欧美国家2 000余所知名大学的优秀博硕士论文的PQDT学位论文全文库中以“particles swarm”为题名搜索到博士论文有14篇,国内外粒子群优化研究者进行了综述[3,4,5,6,7]。

粒子群优化是一种典型的群智能优化技术,因其模型简单,参数较少,易于实现等优势,在不同的工程领域得到了广泛的应用。粒子群优化的研究对象属性越来越复杂,优化参数和变量逐渐增多,人为主观因素不断加强,再加之仿生方法本身的模糊不确定性,粒子群体行为中的模糊特征越来越明显。本文从粒子群优化方法本身、优化设计、工程对象属性和模糊建模优势等方面,探讨粒子群优化方法的模糊特征。

1 粒子群优化理论研究

由于粒子群优化理论研究的实际困难,研究者需要简化粒子群优化模型,或提出一些假设条件,以方便粒子群优化理论的研究。常见的简化条件有:单个粒子、搜索停滞、无随机性、粒子间相互独立等,这些简化条件能够在一定程度上认识粒子优化的某些方面,得到的结论有待于在实际工程应用中检验。

R. Poli等对粒子群优化研究进行了比较全面的综述,本文总结粒子群优化理论研究脉络大体可分为确定型粒子群优化和随机型粒子群优化两个阶段,其中确定型粒子群优化理论研究常见的假设条件见表1,随机型粒子群优化理论研究可参考文献[7]。

2 粒子群优化方法的模糊特征分析

2.1 粒子群优化本身的模糊特征

粒子群优化模仿昆虫、兽群、鸟群和鱼群等的群集行为,按照某种合作的方式寻找食物,群体中的每个成员通过学习自身的经验和其他成员的经验来不断改变其搜索模式。在它们实际移动过程中,每个成员赋予了“记忆功能”(种群中的全局最优解和个体历史最优解)、“学习功能”(向着最优位置靠拢)和“自我调整功能”(设置不同的加速度权重调整当前速度对下一时刻速度的影响),所以确定种群全局最优个体、自身历史最优个体及向二者移动力度具有一定的模糊特征。

注:“√”表示研究者采用了相应的假设条件。

2.2 粒子群优化设计的模糊特征

在粒子群优化方法设计中,模糊特征主要体现在以下几个方面:

(1) 通过一个模糊系统自适应调整粒子群优化方法的参数,该思想最早追朔到1999年,Yuhui Shi等在2001年提出了一种模糊自适应粒子群优化方法[8],对此进行了比较系统的阐述,即通过标准化的当前粒子群最佳性能评价和惯性权重作为输入,通过模糊控制系统输出惯性权重的变化量,从而实现对惯性权重的自适应调整,在该思想的指引下,Hongbo Liu等采用最小速度来避免粒子群优化早熟[9],利用模糊控制器来调整最小速度的阈值,Wenping Chang等利用适应值函数的均方偏差和进化速度模糊控制粒子群优化过程的权重因子[10]。

(2) Xuelei Meng等在粒子群优化速度更新方程中引入隶属度函数[11],通过定义隶属度函数的类型以达到效率和速度的均衡,并指出简单的隶属度函数可以得到更快的收敛速度,而精确平滑的隶属度函数得到更好的结果。

(3) 粒子群优化方法中速度和位置表示由实数向量转化为模糊矩阵,该思想首先是由W.Pang等在2004年提出[12],H.Liu等提出了新的方法并将其应用到车间调度问题[13]。

(4) 模糊理论也引入粒子群优化,黄信想采用模糊理论描述粒子与粒子群的关系并按隶属度进行变步长的混沌变异[14]。Bilal Alatas等较系统地研究了模糊和混沌理论与粒子群优化的关系并提出了12种嵌入混沌映射的粒子群优化方法[15]。

2.3 粒子群优化工程对象的模糊特征

(1) 人为主观因素不断加强。

随着粒子群优化应用领域的不断拓展,现实生活中的经济、工业和生态等领域的问题都可转化到优化的框架中研究,但是该优化框架具有统计的不确定性和数据本身的不精确性,需要考虑专家综合自身的感知。

(2) 粒子群优化工程对象属性越来越复杂,优化参数和变量逐渐增多。

一方面,粒子群优化工程对象状态无法明确的划分,序列具有模糊性;另一方面,研究对象的无后效性具有模糊性,即当前数据与历史数据的相关性是不确定的,因此在工程实际应用中需要体现研究对象的模糊属性。

2.4 模糊建模在仿生学研究中的应用

Valeri Rozin等指出模糊模型能够分析仿生技术[16],并应用模糊模型对蚂蚁觅食的行为进行建模(该模型在人工系统中实现,例如自治机器人)。他们还列举了通过模糊建模研究生物行为学的原因有:

(1) 很多动物或人的行为是模糊的,比如对轻度刺激的反应是一个有目的的动作,这暗示着这个动物或人要做什么。在有目的的动作和整个反应之间没有明显的界限,二者组成一个统一体;

(2) 在动物行为现象的描述和分析处理时经常需要语言描述和表达,而没有确定的数学模型;

(3) 近期出现了基于模仿生物现象而出现的人工产品和机制的仿生学研究,比如棘鱼的区域行为的研究、控制三肠虫对光线适应性的机制的建立、大苍蝇种群大小的自动调整等。

人工专家系统来源于生物行为,随着其不断的发展,仿生领域的研究越来越受到关注。模糊模型能够按照一个系统的方式对仿生学进行有效的研究。粒子群优化是一种典型的仿生群智能优化技术,模糊建模可按照一个系统的方式对该仿生优化方法进行有效的理论研究和应用研究。

3 结语

在粒子群优化理论研究的背景下,文中从四个方面探讨了粒子群优化的模糊特征,得到如下结论:粒子群在优化过程中具有一定的模糊性;粒子群优化与模糊理论有效融合,相互促进;工程对象模糊属性、统计的不确定性和数据本身的不精确性比较明显;模糊建模可按照一个系统的方式对粒子群优化等仿生优化方法进行有效的研究。

摘要：粒子群优化是一种典型的群智能优化技术,在不同的工程领域得到了广泛应用。概述了粒子群优化理论研究进展,从粒子群优化方法本身、优化设计、工程对象属性和模糊建模优势等方面,探讨了粒子群优化的模糊特征。

关键词：群智能,粒子群优化,模糊建模,隶属度函数

模糊特征篇2

人脸识别在身份验证、安全系统等方面具有广泛的用途。基于代数的人脸识别方法是当前人脸识别方法的主流,在此类方法中,基于K-L变换的特征脸识别方法[1]和基于Fisher鉴别准则[2,3]的识别方法使用较广。然而,Fisher鉴别准则在实际使用中经常会遇到小样本问题,已有很多学者提出了改进Fisher准则的相应的算法[4,5],Fuzzy Fisherface[4]是其中著名方法之一,但是Fuzzy Fisherface仅在计算样本类内中心样本时考虑了样本分布信息,并没有充分利用样本分布信息,并且忽视了模糊类内散布矩阵的奇异性问题。为了克服这些困难,提出了一个称为完备模糊Fisher的特征提取方法,并通过实验证明该方法是有效的。

1 完备模糊Fisher

Fuzzy Fisherface具有以下缺点:模糊类间散布矩阵和模糊类内散布矩阵没有完全利用样本分布信息;在PCA特征子空间里,模糊类内散布矩阵仍然有可能是奇异的;模糊类内散布矩阵的零空间里存在重要的鉴别信息。

为了克服Fuzzy Fisherface的缺点,提出了基于完备模糊Fisher的特征提取方法。充分利用样本的分布性,同时提取模糊类内散布矩阵的零空间和非零空间的鉴别信息。根据模糊K近邻算法得到样本隶属度信息,重新定义样本的模糊类间散布矩阵和模糊类内散布矩阵,构造完备模糊Fisher的鉴别准则函数。

1.1模糊K近邻方法

假定训练样本由X=(x1,x2,…xn)构成,那么相应的隶属度函数就表示了当前某一样本对于所有类别的依赖程度。设隶属度矩阵为U=⎣uij」,其中i=1,2,…c,j=1,2,…n。矩阵中的元素uij表示训练样本中的第j个样本对于第i类的依赖程度,并且这个隶属函数必须满足以下条件:

$\sum_{i = 1}^{c} u_{i j} = 1$ , 其中 $0 < \sum_{j = 1}^{n} u_{i j} < n$ 。 (1)

关于相应的隶属函数可以通过模糊k近邻准则得到:计算训练样本集中任意两个样本之间的欧氏距离,构成一个n×n的距离矩阵。将得到的距离矩阵的对角线上的元素置为无穷大。对上述步骤得到的距离矩阵的每一列按照距离值从小到大排列。根据新的距离矩阵得到k个最近邻点,和这k个最近邻点的类别信息。根据以下的公式计算第j个样本跟第i类的隶属度。

$u_{i j} = {\begin{cases} 0.51 + 0.49 \times (n_{i j} / k) 如果 i 等于 j 所属的类别 \\ 0.49 \times (n_{i j} / k) 否则 \end{cases}$

。 (2)

上述表达式中,nij表示第j个样本的k个最近邻点中属于第i类的样本个数。由此,可以得到所有的样本对于所有类别的隶属度矩阵:

$U = [u_{i j}] (i = 1, 2, \dots, c, j = 1, 2, \dots n)$ 。 (3)

1.2完备模糊Fisher的思想

充分利用样本的分布信息是完备模糊Fisher的关键。根据模糊集理论及模糊K近邻算法,可以得到反映样本分布的隶属度矩阵,然后根据隶属度矩阵重新定义样本的类间散布矩阵和类内散布矩阵,得到样本的模糊类间散布矩阵和模糊类内散布矩阵。样本的模糊类间散布矩阵和模糊类内散布矩阵定义如下:

$F S_{w} = \sum_{i = 1}^{c} \sum_{x_{i} \in w_{i}} u_{i j}^{p} (x_{j} - m_{i}) (x_{j} - m_{i})^{Τ}$ , (4)

$F S_{b} = \sum_{i = 1}^{c} \sum_{i = 1}^{n} u_{i j}^{p} (m_{i} - m) (m_{i} - m)^{Τ}$ 。 (5)

参数p是常数可用来控制模糊隶属度影响。模糊Fisher鉴别准则函数定义如下:

$W_{C F F i s h e r} = \underset{W}{a r g m a x} \frac{| W^{Τ} F S_{b} W |}{| W^{Τ} F S_{w} W |}$ , (6)

在FSw非奇异的情况下,可以通过计算(FSw)-1FSb前(c-1)个最大特征值对应的特征向量作为所需的投影向量。在小样本情况中,FSw往往是奇异的。通常的做法就是先用PCA降维,在PCA特征子空间中计算FSw,避免FSw奇异的情况,这样做忽视了FSw的零空间的鉴别信息。受完备LDA(Linear Discriminant Analysis)的思想[6]的启发,分别提取FSw的零空间和非零空间的鉴别信息,以使不丢失任何鉴别信息。假设Φ $_{w}^{⊥} = s p a n {v_{q + 1}, \dots, v_{m}}$ 和Φ $_{w} = s p a n {v_{1}, \dots, v_{q}}$ 分别是模糊类内散布矩阵FSw的零空间和正交补空间,v1,…vq,vq+1,…,vm是FSw的从大到小排列的特征向量,前q个为非零特征值对应的特征向量。在Φ⊥w空间内,设P1=[vq+1,…,vm],准则函数式(6)可理解为式(7):

$W_{i r} = \underset{W}{a r g m a x} | W^{Τ} \bar{F S_{b}} W | ‚ \bar{F S_{b}} = Ρ_{1} F S_{b} Ρ_{1}$ 。 (7)

在Φw空间内,设P2=[v1,…,vq],准则函数式(7)可理解为式(8):

$W_{r} = a r g_{W} \max \frac{| W^{Τ} F S_{b} W |}{| W^{Τ} F S_{W} W |} ‚$

FSb=P2FSbP2,FSw=P2FSwP2。 (8)

显然准则函数可通过特征值分解求得最优解。新的特征提取方法充分利用了样本的分布信息,提取了模糊类内散布矩阵的零空间和非零空间的鉴别信息,所以称为基于完备模糊Fisher的特征提取方法。

1.3执行算法

基于前面的讨论,现在详细描述算法:

① 通过PCA变换,将原始图像从RN变换到Rm(m=rank(St)),设PCA投影矩阵为P。

② 根据模糊K近邻算法在PCA特征子空间内,计算得到样本的模糊类中心和样本隶属度矩阵。

③ 根据模糊类中心和样本隶属度矩阵,计算模糊类间散布矩阵FSb和模糊类内散布矩阵FSw,计算出FSw的特征向量从大到小为v1,…,vm,假设前q个为非零特征值对应的特征向量。

④ 令P1=[vq+1,…vm],重新计算得到相应Φ⊥w空间内模糊类间散布矩阵 $\bar{[C X 1] F S [C X]_{b}} = Ρ_{1}^{Τ} F S_{b} Ρ_{1}$ ,计算得到 $\bar{F S_{b}}$ 的前l个最大特征值对应的特征向量w1,…wl,得到Φ⊥w空间鉴别向量位:yj=P1wj,j=1,…l。

⑤ 令P2=[v1,…vq],重新计算得到相应Φw空间内模糊类间散布矩阵和模糊类内散布矩阵:

FSb=PT2FSbP2,FSw=PT2FSwP2。计算得到(FSw)-1FSb的前d-l个最大特征值对应得特征向量wl+1,…wd,得到Φw空间鉴别向量为yj=P2wj,j=l+1,…d。

⑥ 最终的投影鉴别向量是W=P[y1,…yl,…yd],将所有的样本投影到W进行特征提取,然后用分类器进行识别。

2 实验验证

2.1实验1

实验采用Yale人脸库验证该算法。采用的分类器是最小中心距离分类器。Yale人脸库中包括了15个人的165幅灰度人脸图像。每个人由11幅照片构成。这些照片在不同的表情和光照等条件下拍摄。实验中,图像被处理成100×80维的形式。图1显示了该人脸库中的部分人脸图像。

实验中依次取每个人的前l(l=3,4)张图像训练,剩余图像进行测试。实验中用以下方法进行特征提取:PCA[1]、LDA[5]、CLDA[7](Clustering Linear Discriminant Analysis)、Fuzzy Fisherface[7]和新提出的完备模糊Fisher方法。分类器采用的是最小余弦距离分类器。在LDA和Fuzzy Fisherface的第一步PCA变换和PCA中,保持98%的能量,分别降维到34维和43维。在模糊K近邻算法执行过程中,可认为每个样本主要近邻为同类别剩余的样本,故K=l-1。控制模糊隶属度影响的参数p取为:p=40。识别结果及相应的维数如表1所示。

从表1可以发现完备模糊Fisher方法的识别率明显超过其他方法。有以下2点原因:① 重新定义的模糊类间散布矩阵和模糊类内散布矩阵充分利用了样本分布信息,在PCA、LDA和CLDA中则没有考虑样本分布信息,在Fuzzy Fisherface中仅在定义模糊类样本中心时考虑了样本分布信息,没能充分利用样本分布信息;② 完备模糊Fisher同CLDA一样考虑了零空间鉴别信息,同时提取了零空间和非零空间的鉴别信息。

2.2实验2

实验2在FERET [8]人脸库上进行。采用其中部分的人脸图像,共200人,每人由7幅图像构成,并且对原始FERET库的人脸图像做预处理,只保留相应图像中的人脸部分。处理后的人脸图像归一化为80×80的形式,图2显示了该人脸库中的部分人脸图像。

实验中依次取每个人的前l(l=4,5)张图像训练,剩余图像进行测试。实验中依次取每个人的前l(l=3,4)张图像训练,剩余图像进行测试。实验中用下方法进行特征提取:PCA (eigenface) [3]、LDA (Fisherface)[5]、CLDA[7]、Fuzzy Fisherface[4] 和新提出的完备模糊Fisher方法。分类器采用的是最小余弦距离分类器。在LDA和Fuzzy Fisherface的第一步PCA变换和PCA中,保持98%的能量左右,分别降维到375维和433维。在模糊K近邻算法执行过程中,K=l-1。控制模糊隶属度影响的参数p取为:p=2。识别结果及相应的维数如表2所示。从表2中看出所提出方法的识别性能明显优于其他方法。

3 结束语

基于完备模糊Fisher的特征提取方法,根据模糊K近邻计算出样本隶属度矩阵,根据样本隶属度矩阵重新定了样本类中心和模糊类间散布矩阵和模糊类内散布矩阵,重新定义的模糊Fisher鉴别准则充分利用了样本分布信息,在模糊类内散布矩阵的零空间和非零空间提取鉴别向量,保证了不丢失鉴别信息。在Yale人脸库和FERET人脸库上的试验证明了基于完备模糊Fisher的特征提取方法的有效性。

参考文献

[1] TURK M,PENTLAND A. Eigenfaces for Recognition[J].Journal of Cognitive Neuroscience,1991,3(1): 71-86.

[2] ZHUANG X S,DAI D Q. Improved Discriminant Analysis for High-dimensional Data and its Application to Face Recognition[J].Pattern Recognition,2007,40(5):1570-1578.

[3] KWAK K C,PEDRYCZ W. Face Recognition Using a fuzzy Fisherclassifier[J].Pattern Recognition,2005,38(10):1717-1732.

[4] KELLER J M,GRAY M R,Givern J A. A Fuzzy k-nearest Neighbour Algorithm[J].IEEE Trans. Syst. Man Cybernet,1985,15(4): 580-585.

[5] BELHUMEUR V,HESPANHA J,KRIEGMAN D. Eigenfaces vs Fisherfaces: Recognition Using Class Specific Linear Projection[J].IEEE Trans. On PAMI, 1997,19(7):711-720.

[6] ZHUANG X S,DAI D Q. Improved Discriminant Analysis for High-dimensional Data and its Application to Face Recognition[J].Pattern Recognition, 2007,40(5):1570-1578.

[7] YANG J,YANG J Y. Why can LDA be Performed in PCA Transformed Space[J].Pattern Recognition, 2003,36(2):563-566.

[8] PHILLIPS P J,MOON H,RIZVI S A,et al. The FERET Evaluation Methodology for Face-Recognition Algorithms [J]. IEEE Trans. On PAMI,2000,22(10):1090-1104.

模糊特征篇3

模因论是在达尔文进化论基础上阐释文化进化规律的理论。牛津大学著名的动物学家Richard Dawkins于1976年在《自私的基因》一书中首次提出模因的概念(meme),此词是通过模仿基因(gene)而创造出来的。与基因作为生物进化的基本单位相似的是,模因是文化传播的基本单位。Wilkins(1998)认为模因是社会文化信息的最小单位,它与一个选择过程有关。这一过程包含了有利于或不利于它的选择倾向来使其改变,而这种选择倾向能超越其自身的内在发展趋势。模因不是一成不变的,而是在具体的社会语境下不断发生变化的,而且它的变异和传播都是被选择的,是通过模仿、复制得到传播和发展的。

而模糊语言的广泛流传也是依靠语言使用者不断对其进行模仿、复制和传播。因此,从模因论的角度来看,传播中模糊语言的本质就是模因,“它像病毒一样,从一个人的大脑感染到另一个人的大脑。”(Dawkins,1976)模因论恰好为探索模糊语言的传播机制提供了有效的途径。

1 模糊语言的隶属度与强势模因

在模因的生存过程中,有一些模因能成为强势模因而得以继续传播,而有些则被淘汰甚至消亡。

Blackmore(1999)认为模因之间相互竞争,以感染人们的头脑为目的并传播开来。

她指出“复制因子的自我复制能力各不相同。在自我复制的过程中,有些胜过了其他的复制因子,从而将他们毁灭。我们在生活中经常能碰到的模因,都是一些成功的模因,即能在自我复制的竞争中获胜的模因。”这些成功的模因就是强势模因,它包括从古至今的习俗、传统、成语等;广泛流传的流行歌曲、网络语言等;某一时期内使用频率很高的流行语等。其中不乏如“那确实”,“七里八里”、“貌似”等年轻人特别喜欢用的模糊语言。但就模糊语言模因来说,并非每个模糊词都能成为强势模因,其被复制并得以传播的能力也并不相同,这是由模糊语言本身的模糊语义特征所决定的。

雷可夫(1982)认为语义界限是模糊的,这种模糊性可用隶属度来说明。扎德(1972)把隶属度作为主要方法来计量模糊,主要内容是:集合的边界不固定,元素所属集合的隶属度除0,1两值外,还可取0到1之间的任意实数作为值。雷可夫运用扎德的模糊集理论来释义模糊语义,对模糊语义形式化进行研究,并指出同一集合里的词具有等级差别。以集合“鸟”为例:

鸟的层次:

知更鸟、麻雀

小鸡、鸭子、

企鹅、鹑鹅

蝙蝠

这些结论可用图1中的不相联系的小圆圈表示:

此图表明,隶属度绝非一刀切的问题,而是表示不同程度。也就是说,模糊语言有别于精确语言,从逻辑上来说,它的语义并非用二值逻辑即用非此即彼来做结论,而是属于多值逻辑的问题即任意成员与典型成员有多么接近。在这个例子中,知更鸟为典型词,也是人们头脑中“鸟”的典型概念。而小鸡作为家禽与知更鸟的相似度较大,企鹅次之,但还能把它们归于鸟类。然而,蝙蝠却不大属于这类。因而,人们看到知更鸟马上能做出它是鸟的判断,说到鸟很容易联想到知更鸟的形象,却很难将蝙蝠与鸟联想到一块。所以,人们识别典型成员比非典型成员所用的时间要短一些,从模因论来看,就是被复制迅速一些,从而典型成员更容易被模仿、复制得到传播而成为强势模因。

模糊词的隶属度与模因传播的优势存在着一定的联系,某个集合中的典型词在一定的社会文化中更有可能成为强势模因,也就是说能在选择机制中处于优势地位。那么,作为强势模因的模糊语言是怎样被选择的呢?在这里,很有必要探讨一下模因的选择机制的问题。

2 模糊语言模因的语义特征与选择机制

Heylighen(1999)指出模因的复制和传播必须经历四个阶段:即同化、记忆、表达、传输。这四个阶段相互联系、周而复始、永不停息,从而构成了模因的复制链和生命周期。选择在每个阶段都存在,有的被淘汰,有的却存活下来。Heylihgen(1999)认为最能实际预测成功模因(successful meme)即适应性最强的模因(fitter meme)的方法是形式化普遍选择标准。某个模因如果更符合其中一条标准则一定会在数量上超过其他模因。他总结的选择标准如表1所示。

Heylighen提出的四个选择标准,即客体标准(objective)、主体标准(subjective)、主体间标准(intersubjective)和模因中心标准(meme-centered)。客体指独立于宿主的一切事物和模因;主体是指同化模因的主体,即

宿主;主体间指的是不同主体之间的相互影响;模因中心只停留在模因本身的层面。

这四个标准包含了两个层面,前三个涵盖了模因与外部介质,媒介,宿主等外部因素的关系,而第四个标准则是指模因内部的结构。在这些标准下,模因如同基因一样遵循适者生存的法则。当然,每一个生命阶段都存在不同的标准。Dawkins(1976)认为有可能获胜的模因一定要在保真度(copying-fidelity)、长久性(longevity)、多产性(fecundity)这三方面均获得较高的表现值。模糊语言的语义特征恰好使其能满足此选择机制的要求,从而始终能成为强势模因而得以传播。

2.1 不确定性符合新颖、简单和传达适度信息标准

张乔(1998)认为模糊语义的三大主要特点是:不确定性、确定性和变异性。模糊语义的外延边界是不确定的。如“早晨”一词,具体是指几点几分,人们无法给出一个精确的说法。“10点20分”是早晨的话,那“10点40分”就离早晨的概念稍远一点了。但人们一般问候:“早晨好!”而不说“10点20分好。”这个简单的例子说明了模糊语义的界限是模糊和延续,难以确定的。

模糊语义的不确定性使其在选择机制中占上风。如在同化阶段,客体如具有独特性,主体如果是新颖简单的,主体间的影响是权威正式的,而模因本身具有自我辩白的能力,这样的模因就会被选择。也就是说,这种选择是多维的,满足了以上选择标准中任何一项的模因都在数量上要大大多于其他模因。同化是指模因感染新的宿主,进入他的记忆中并存储于大脑的过程。在这一过程中,独特、简短或意想不到的信息更易被新宿主同化,记住和传播。

如某人买车花了10200元,一般情况下,人们说他花了10万元,精确数字表达了模糊的概念。这种以简代繁的方法符合同化阶段所要求的新颖简单的主体性标准和记忆阶段所要求的适度的主体间标准。这种不确定性不但不阻碍人们的正常语言交际,反而由于人们用最少的词语表达了最大的信息量,而具有了较高的保真度因而能在大脑中保持较长久的记忆。从而使得模糊语言模因能在短时间内被大量复制,比精确语言具有更明显的优势。

2.2 确定性符合统一性与连贯性的标准

模糊语义的确定性是相对的。虽然模糊语义的边界是模糊不清的,但中心部分是基本确定的。如图一所示的“鸟”的集合。知更鸟是“鸟”是不可辩驳的。而蝙蝠是否属于“鸟”则是有待商榷的。另外,这种确定性还表现在模糊语义边界的局部确定性,如“高个子”的边界,“一米八”是高个子,然而“一米七二”算不算呢?因此,如果把模糊语义的边界分成上限和下限,则这个词的上限是确定的,下限却不确定。这种确定性使得模因在记忆阶段中被选择。

模因的记忆阶段,也就是宿主对其大脑中的信息进行选择和淘汰的过程。在这一过程中,与大脑中已有的信息相符度高的或对于宿主来说有价值有用的信息将会更适应选择标准,即主体准则的统一性与连贯性的标准。

如王维的诗歌《鸟鸣涧》中写道:“人闲桂花落,夜静春山空。”诗人用“闲”、“静”、“空”来描述寂静的春夜里山林中的景象,增加了表意的“统一连贯性”,准确形象的描绘了宁静的空谷,静谧的气氛以及静谧之外的空寂之情!在某些特定的语境下,模糊语言由于具有含蓄和意味深长的特点,能将确切的中心意义提炼、浓缩并把精华存留下来,然后以最简洁的形式被人们所广泛且轻松地掌握。

2.3 变异性满足符合度和集体统一度原则

模糊语义的变异性包括不确定成分本身的变化和模糊与精确语义之间的相互转化。不确定成分自身变化是指其边界模糊上、下限随不同的社会文化因素的变化而变化。如:“高个子”的下限在中国的南方应是“1米75”,而在中国北方则应是“1米80”,在欧洲可能是“1米85。”这个词的上限也是没有精确数值的。模糊语义与精确语义在特定条件下可相互转化。如:“他打了我一下”这里的“一下”是“一次”的意思,是精确的数量词。而“你等我一下”此处的“一下”则是时间词,具体指多长时间无法

确定,在不同的语境中,“一下”这个词的具体意义应具体分析。

在模因的表达与传播阶段,即宿主在实际交际中,将记忆中的模因调用出来而进入能被别人感知的介质中并借助各种载体扩大自己的传播范围的过程。一个模因一旦被人们所识别,并迅速的被许多不同的团体所接受从而成为越来越多人模仿的对象,最终就能在短时间之内迅速扩散到整个社会。这一选择准则为主体间准则的符合度和集体统一度原则。

如“超级女声”本指2005年由湖南卫视主办的一档全民选秀活动,后来参赛选手被简称为“超女”。随后,“超女”的使用更加广泛,可指在某一领域很有才能的人,其意义与“超人”相似,但专指女性,如称某位学术名人为“学术超女”等等。这一模糊语言模因原来的意义发生了拓展、延伸,与人们头脑中本来的模因结构相符,因此新模因能在社会上各种不同的团体之间广为流传。

3 结束语

模糊语言反映了现实世界的模糊性,其语义边界也具有模糊的特征,在实际交际中,有着很强的生命力,被人们不断复制和传播。用隶属度的方法来形式化模糊语义可以看到典型词在传播过程中能成为强势模因,从而比其他词更易得到广泛的传播。而从模因选择机制的视角出发,把模糊语言置于模糊语义学的视野下加以考察,有助于进一步解释模糊语言模因的传播过程及其规律。因此,很有必要将模因论与模糊语言的研究结合起来,探究模糊语言在社会文化进化过程中的动态发展过程,以提高人们运用模糊来进行语言表达的能力。

参考文献

[1]Dawkins R.The Selfish Gene[M].Oxford:Oxford University Press,1976.

[2]Wilkins J S.What's in a Meme?Reflections from the Perspec-tive of the History and Philosophy of Evolutionary Biology[J].Journal of Memetics-Evolutionary Models of Informatiuon Transmission,1998(5).

[3]Blackmore S.The Meme Machine[M].Oxford:Oxford University Press,1999.

[4]雷可夫.模糊限制词与释义标准[J].廖东平,译.国外语言学,1982(2):23-27.

[5]Zadeh L A.Quantitative fuzzy semantics[J].Information Sci-ences,1972(3):159-176.

[6]Heylighen F.What Makes a Meme Successful?Selection Cri-teria for Cultural Evolution[J].15th Int.Congress on Cybernet-ics,1998(5).

[7]张乔.模糊语义学[M].北京:中国社会科学出版社,1998.

模糊特征篇4

模糊聚类分析是多元统计分析的一种, 也是无监督模式识别的一个重要分支。模糊聚类分析被广泛应用于模式识别、图像处理、知识发现、计算机视觉和模糊控制等许多领域。模糊聚类分析已有很多方法, 在基于目标函数的聚类方法中最具有代表性的是模糊C-均值聚类方法 (Fuzzy C-means, FCM) [1,2], 最初又称ISODATA聚类方法, 它是由Dunn[3]从硬C-均值聚类方法 (Hard C-means, HCM) [4]引出的, 后又经过Bezdek归纳并加以完善。FCM方法是通过对目标函数的迭代优化实现对给定有限样本集的划分[4]。在当前基于目标函数的模糊聚类分析方法研究中, 都是基于这一基本思想而提出的算法。

这里从分析给定样本集合中样本点本身、样本点与聚类中心距离、样本点隶属度和样本点统计特征出发, 提出了基于统计特征加权的模糊C-均值聚类方法 (Weighting Fuzzy C-means, WFCM) , 并将该方法应用于灰度图像的二值化。

1 模糊C-均值聚类方法 (FCM)

对于给定的有限样本集X={x1, x2, …, xk, …, xn}, xk (k=1, 2, …, n) 是第k个样本的特征向量。假如X被分成C类, 则X的模糊划分空间Ef可表示为:

Ef={μik|μik∈[0, 1]};对任意 $k ‚ \sum_{i = 1}^{c} μ_{i k} = 1$ ;对任意 $i ‚ 0 < \sum_{i = 1}^{n} μ_{i k} < n$ 。

式中:μik表示样本集X中第k个样本点xk隶属于第i类的隶属程度, 即对于X中的任意样本点xk, 其隶属于第i类的隶属度在区间[0, 1], 并且X中每个样本点xk隶属于C类的隶属度之和为1。设pi (i=1, 2, …, c) 表示样本集中第i类的聚类中心, pi= (pi1, pi2, …, pis) ∈Rc, 则可定义FCM方法的目标函数为:

$\begin{array}{l} J_{m} (U, Ρ) = \sum_{i = 1}^{c} \sum_{k = 1}^{n} μ_{i k}^{m} (d_{i k})^{2} \\ s . t . U \in E_{f} ‚ m \in [1, + \infty) (1) \end{array}$

式中:U=[μik]c×n是隶属度矩阵;P是聚类中心矩阵;m是模糊加权指数, 又称平滑参数, 用以控制模糊聚类的模糊程度。m越大, 模糊程度越大;m越小, 模糊程度越小。由于m用来控制隶属度在各类之间共享的程度, 所以m越大, 模糊性就越大。引入模糊加权指数m的含义是:如果不对隶属度进行加权, 则从硬聚类目标函数扩展到模糊聚类目标函数就没有什么实际意义。目标函数Jm (U, P) 的值反映了某种差异性定义下的类内紧致性, Jm (U, P) 越小, 聚类越紧致。dik是一种距离范数, 表示样本元素xk与第i类的聚类中心pi之间的距离dik, 是元素点与聚类中心的相似程度, 一般可以表述为:

$d_{i k}^{2} = ∥ x_{k} - p_{i} ∥_{A} = (x_{k} - p_{i})^{Τ} A (x_{k} - p_{i}) (2)$

式中:A是s×s阶的对称正定矩阵;用I表示单位矩阵, 当A=I时, dik表示欧氏距离 (Euclid) ;当A≠I时, dik表示马氏距离 (Mahalanobis) 。

为了使得模糊聚类的目标函数达到最优解, 可取聚类的准则, 即在极值 $\sum_{i = 1}^{c} μ_{i k} = 1$ 的约束条件下, 使得min[Jm (U, P) ]。因此, 该问题可以理解为带约束条件的最优化问题, 即在隶属度 $\sum_{i = 1}^{c} μ_{i k} = 1$ 的约束条件下, 使得 $\min [\sum_{i = 1}^{c} W_{k} (μ_{i k})^{m} (d_{i k})^{2}]$ 。依据最优化计算方法, 可以运用拉格朗日乘数法求解上述最优化问题, 即得到U和P。首先利用目标函数Jm (U, P) 和隶属度约束条件来构造拉格朗函数:

$Y = \sum_{i = 1}^{c} (μ_{i k}^{m}) (d_{i k})^{2} + λ (\sum_{i = 1}^{c} μ_{i k} - 1) (3)$

由∂Jm (U, P) /∂Pi=0, 即可得到聚类中心:

$Ρ_{i} = \sum_{k = 1}^{n} (μ_{i k}^{m}) x_{k} / \sum_{k = 1}^{n} (μ_{i k}^{m}) (4)$

由∂Y/∂μik=0, 即可得到隶属度:

$μ_{i k} = 1 / \sum_{j = 1}^{c} (d_{i k} / d_{j k})^{\frac{2}{m - 1}} (5)$

根据聚类中心、隶属度和目标函数之间的迭代运算, 即可求得样本集的聚类中心值和各样本点的隶属度值。依据上文叙述, FCM方法的具体步骤如下:

(1) 初始化:取模糊加权指数m, 聚类的类别数c (2≤c≤n) , n为数据样本点的个数, 迭代停止阈值ε为一小正数, 初始的隶属度值U (0) , 以及迭代次数l=0;选择任一距离内积范数‖·‖;

(2) 由初始化值, 根据公式 $Ρ_{i}^{(l)} = \sum_{k = 1}^{n} (μ_{i k}^{m})^{(l)} x_{k} / \sum_{k = 1}^{n} (μ_{i k}^{m})^{(l)}$ 可得到聚类中心P $_{i}^{(l)}$ ;

(3) 由聚类中心P $_{i}^{(l)}$ 可得到隶属度U (l+1) ;

(4) 当|Jm (U, P) (l+1) -Jm (U, P) (l) |≤ε时, 迭代停止;否则l=l+1, 重复步骤 (2) 和步骤 (3) 。

2 基于特征加权的模糊C-均值聚类方法 (WFCM)

本文提出的基于特征加权的FCM方法, 其加权的目标函数主要考虑了4个重要因素:样本点本身的特性、样本与聚类中心的模糊关系、样本点与聚类中心的距离、样本统计特性对模糊聚类的影响程度。现定义加权的FCM目标函数为:

$\begin{array}{l} J_{m} (U, Ρ, W) = \sum_{i = 1}^{c} \sum_{k = 1}^{n} W_{k} μ_{i k}^{m} (d_{i k})^{2} \\ s . t . U \in E_{f} ‚ m \in [1, + \infty] (6) \end{array}$

式中:Wk为样本元素xk的权系数, 主要作用在于将聚类中心向权值大的样本调整; $\sum_{k = 1}^{n} W_{k} = 1$ , 当Wk=1/n时, WFCM变为FCM, 即每个样本对任意聚类中心的作用相同。根据FCM方法的求解原理, 其WFCM方法的具体步骤如下:

(2) 由初始化值, 根据公式:

$Ρ_{i}^{(l)} = \sum_{k = 1}^{n} W_{k}^{(l)} (μ_{i k}^{m})^{(l)} x_{k} / \sum_{k = 1}^{n} W_{k}^{(l)} (μ_{i k}^{m})^{(l)}$

可得到聚类中心P $_{i}^{(l)}$ ;

(3) 由聚类中心P $_{i}^{(l)}$ 可得到隶属度U (l+1) ;

(4) 当|Jm (U, P, W) (l+1) -Jm (U, P, W) (l) |≤ε时, 迭代停止;否则l=l+1, 重复步骤 (2) 和 (3) 。

3 基于统计特征的权值计算方法

对于给定的有限特征样本集X={x1, x2, …, xk, …, xn}, xk= (xk1, xk2, …, xkt, …, xkm) (k=1, 2, …, n) 是描述第k个样本的m维特征向量。由于样本集中样本点本身的特征向量个数与特征样本点总数之比反映了该样本点在特征样本集合中的统计分布情况, 所以基于统计特征的权值计算方法为:

$W_{k} = \frac{特征向量等于 x_{k} 的样本数}{样本点总数 n} (7)$

式 (7) 中:Wk值的大小表示特征样本点xk对特征样本集的重要程度。

4 WFCM方法在灰度图像二值化中的应用

文献[5,6,7]给出了基于灰度直方图的图像模糊聚类分割方法。这里依据上文提出方法的思想, 分别给出一维灰度统计特征和二维灰度统计特征两种情况下的加权模糊C-均值聚类算法的图像二值化结果。

4.1 基于一维灰度统计特征加权的WFCM方法应用

设原灰度图像I (i, j) , 其图像大小为M×N (i=1, 2, …, M;j=1, 2, …, N) , 则一维灰度统计特征可定义为:

$Η (i) = n (i) / (Μ \times Ν) ‚ i = 0, 1, 2, \dots, 255 (8)$

式中:n (i) 是灰度值为i的像素在图像I (i, j) 中出现的次数;H (i) 为概率。此时的权值定义为:Wi=H (i) (i=0, 1, 2, …, 255) 。这时输入算法的特征就是原图像I (i, j) 的一维灰度值, 即xk= (xk1, 0) , xk1=I (i, j) , k=1, 2, …, M×N。

4.2 基于二维灰度统计特征加权的WFCM方法应用

由于图像每点像素值与其邻域空间的像素值有很大的相关性, 因此可利用图像的这一特点构建二维灰度统计特性。对原灰度图像I (i, j) , J (i, j) 是I (i, j) 经过二维中值滤波器滤波以后得到的图像。因为中值滤波对干扰脉冲或点状噪声等有良好的抑制作用, 所以利用该滤波器对原图像滤波能取得好的平滑去噪作用。设一个滤波器窗口为A, 尺寸为N= (2k+1) (2k+1) , 则对于图像{Iij, (i, j) ∈Z2} (这里 (i, j) 为取遍Z2的某子集) 的二维中值滤波器有以下定义:

Jij=med{Ii+r, j+s, (r, s) ∈A}

在此, 中值滤波所采用的窗口大小为3×3或5×5, 即以输入图像I (i, j) 各点为中心的3×3或5×5邻域的中值作为输出图像J (i, j) 该点处的像素值, 则[I (i, j) , J (i, j) ]就组成了一个二元特征向量组。此时, 即可定义二维灰度统计特征权值H (s, t) , s是原始图像I (i, j) 的灰度值;t是I (i, j) 经过二维中值滤波以后的灰度图像J (i, j) 的灰度值。由此二维灰度统计特征就可定义为:

$\begin{array}{l} Η (s, t) = \frac{n (s, t)}{Μ \times Ν} ‚ s = 0, 1, 2, \dots, 255; \\ t = 0, 1, 2, \dots, 255 (9) \end{array}$

式中:n (s, t) 表示灰度值分别为s和t的像素在图像I (i, j) 和图像J (i, j) 中出现的次数;H (s, t) 为概率。可令带分类样本组成的二元组Ni= (s, t) , (i=0, 1, 2, …, 256×256-1) 。此时权值可定义为Wi=H (s, t) (i=0, 1, 2, …, 256×256-1) , 此时输入算法的特征就是原图像I (i, j) 灰度值和滤波以后的图像J (i, j) 灰度值, 共二维灰度值, 即xk= (xk1, xk2) , xk1=I (i, j) , xk2=J (i, j) , k=1, 2, …, M×N。

4.3 实验结果与比较

在提出的算法中, 取m=2, ε=0.01, 距离范数‖·‖为欧式内积。由于是对灰度图像进行二值化分割 (即为2类) , 则c=2。灰度图像的二值化可以看成灰度图像聚成两类[8], 再将两类的中心点值变为{0, 255}。其FCM和WFCM算法收敛后的图像二值化处理过程是先设定隶属度阈值ζ (0.5≤ζ<1) , 则:

$x_{k 1} = {\begin{matrix} 255, & 若 μ_{1 k} \geq ζ \\ 0, & 若 μ_{1 k} < ζ \end{matrix} ‚ k = 1 ‚ 2, \dots ‚ Μ \times Ν (10)$

式中:μ1k≥ζ表示第k个象素点隶属于第一类的隶属度大于ζ, 则取第k个像素点的灰度值为255, 否则取该点的灰度值为0。

图1是一幅洪水的合成孔径雷达灰度图像及其8种二值化方法处理结果。其原图中含有土地域、水域和浸润域 (土地域与水域的公共域) 共计3个区域单元。下面将本文提出的方法与其他经典二值化方法[9,10,11]的结果进行比较, 图1 (b) 是otsu方法二值化结果, 图1 (c) 是最大交叉熵方法二值化结果;图1 (d) 是最小交叉熵方法二值化结果;图1 (e) 是最大模糊散度方法二值化结果;图1 (f) 是最小模糊散度方法二值化结果;图1 (g) 是FCM方法二值化结果;图1 (h) 是一维统计特征加权WFCM方法二值化结果和图1 (i) 是二维统计特征加权WFCM方法二值化结果。

从以上二值化方法的结果图中可以看出, 采用最大交叉熵方法和最大模糊散度方法不能将原灰度图像中的土地域与水域分割。这与其算法本身以及与原图像中的灰度统计特征分布有关。采用ostu方法以及最大方差方法、最小交叉熵方法、最小模糊散度方法和FCM方法进行图像二值化, 基本上能将土地域与水域分割, 但浸润域仍然存在模糊性。采用一维灰度统计特征和二维灰度统计特征加权的WFCM方法能将土地域与水域分割, 三个区域单元的纹理和交界处都能很好的区分, 并保持了三个区域中内部的连通性和一致性。

上述8种二值化方法所确定的最优分割阈值如表1所示。

从表1可以看出, 给出的两种WFCM方法收敛后所得的聚类中心能较正确地定位聚类中心以及确定每个像素点所属的类别;而其他6种二值化方法所得的最佳阈值不能很好地分割原图像。

从提出的两种方法可以看出, 利用二维灰度统计特征作为权值聚类时, 相当于增加了一维灰度特征, 也就是说利用了图像的两维灰度特征 (原图像的灰度和原图像平滑后的图像灰度) ;利用一维灰度统计特征作为权值, 相当于只利用了图像的一维灰度特征 (原图像的灰度) 。在原图像背景较复杂情况下, 由于图像各区域之间的交界不明显, 存在模糊性, 这时采用二维灰度统计特征加权的WFCM算法能取得很好的二值化分割。在背景较简洁时, 直接采用一维灰度统计特征加权的WFCM算法较方便, 而且一维比二维的实时性要好。

5 结语

在利用样本点的统计特征, 提出了两种基于统计特征加权的模糊C-均值聚类方法, 并将其应用于图像二值化处理中。在用于图像二值化时, 可以利用图像的一维灰度统计特征和图像的二维灰度统计特征作为权值的WFCM方法。由于在对灰度图像二值化时, 既考虑图像灰度分布, 又考虑邻域相关信息, 因而可以很好地保证图像各区域内部的连通性和一致性。此外, 本文给出的利用一维灰度统计特征和二维灰度统计特征作为权值进行样本集聚类, 这种思想可以拓展到多维情况。本文提出的算法思想可与合成孔径雷达成像算法相结合用于合成孔径雷达的目标定位、检测和识别。

摘要：从传统目标函数聚类方法的思想出发, 在基于样本集统计特征的基础上, 提出基于统计特征加权模糊C-均值聚类方法, 并提出基于统计特征的权值计算方法。分别利用图像的一维灰度特征与一维灰度统计特征加权和二维灰度特征与二维灰度统计特征加权, 将两种特征加权的模糊聚类方法应用于灰度图像二值化, 并将该方法的处理结果与其他二值化方法处理结果进行详细的比较。实验结果表明, 该方法能够有效地实现图像的二值化。

关键词：统计特征,模糊C-均值聚类,图像二值化,权值

参考文献

[1]Fan Jiulun, Zhen Wenzhi, Xie Weixin.Suppressed Fuzzy C-means Clustering Algorithm[J].Pattern RecognitionLetters, 2003, 24:1 607-1 612.

[2]Duda R O, Hart P E, Stork D G.Pattern Classification[M].2版.北京:机械工业出版社, 2004.

[3]张爱华.基于模糊聚类分析的图像分割技术研究[D].武汉:华中科技大学, 2004.

[4]高新波.模糊聚类分析及其应用研究[M].西安:西安电子科技大学出版社, 2004.

[5]刘健庄.基于二维直方图的图像模糊聚类分割方法[J].电子学报, 1992, 20 (9) :40-46.

[6]高新波, 李洁, 姬红兵.基于加权模糊C均值聚类与统计检测指导的多阈值图像自动分割算法[J].电子学报, 2004, 32 (4) :661-664.

[7]甄文智.抑制式模糊聚类算法及其应用[D].西安:西安电子科技大学, 2003.

[8]丁震, 胡钟山.FCM算法用于灰度图像分割的研究[J].电子学报, 1997, 25 (5) :39-43.

[9]赵勇, 吴成茂.基于Itakura Saito散度的图像阈值法[J].现代电子技术, 2006, 29 (15) :88-91.

[10]章毓晋, 图像分割[M].北京:科学出版社, 2001.

[11]王向阳, 王春花.基于特征散度的自适应FCM图像分割算法[J].中国图形图像学报, 2008, 13 (5) :906-910.

模糊特征篇5

入侵检测系统 (Intrusion Detection System, IDS) 是网络安全防卫体系中的关键部件。为了提高检测率, 在一个实际的分布式网络系统中往往需要配置多套IDS设备。由于网络上不同的IDS针对同一个安全事件都可能分别发出警报, 即使是同一个IDS也可能对某个安全事件发出多个警报。多个异类IDS的协同配置在有效增强网络系统安全性的同时, 会产生大量的重复报警或警报冗余, 从而给安全分析与管理工作造成沉重负担。警报聚合是对冗余警报进行聚类、合并处理的必要过程。目前常用的警报聚合方法主要是通过直接判断警报的攻击类型、源宿地址、时戳信息等特征属性是否完全相同 (精确匹配法) , 或者基于概率与统计分析的相似度算法 (可能性理论) [1,2]。本文认为模糊理论比精确匹配法和可能性理论更适合于处理入侵警报信息在雷同或相似“程度”上的不确定性, 因此本文算法基于模糊逻辑, 综合分析警报的攻击类型特征、时间特征、空间特征三维属性, 通过分别定义具体的隶属函数, 按照模糊相似度对入侵警报进行聚合。

2 算法基本原理

本算法的基本思想是依据如下经验知识:两个警报的攻击类型特征相同程度越高, 越有可能属于同一个攻击过程;两个警报的时间间隔越短, 越有可能属于同一个攻击过程;两个警报的源地址相近程度越高, 越有可能属于同一个攻击过程。

首先, 对于攻击类型特征属性, 从抽象到具体 (如attack-class, attack-type, sub-type, …, name) , 建立攻击特征类属Classification层次关系。文献[3指出网络攻击可按攻击意图划分为四类:发现类 (Discover) 、扫描类 (Scan) 、拒绝服务类 (DoS) 、权限提升 (Escalation) 。例如IP-Sweep属于发现类, PortScan属于扫描类, SYN-Flood属于拒绝服务类, Buffer-Overflow属于权限提升类。警报属性分类简化了聚合算法, 并提高了警报聚合效率, 因为只有从属于同一类别的警报才有可能被聚合在一起。

在不同的警报分类下, 时间、空间属性相似度有不同的考虑方法和侧重点, 讨论如下:

1) 发现类攻击警报主要是攻击者要探询某些IP、域名或者网络是否存在, 通常会在较短时间内发出大量查询信息, 因此源IP地址需要较大程度上精确匹配, 目标IP至少需要网络地址匹配, 查询时间间隔比较短, 因此对于发现类警报主要考虑这三种属性值, 另外还可以通过字符串属性来判断其查询的域名是否类似等;

2) 扫描类警报往往通过端口扫描和漏洞扫描工具进行, 因此此类警报主要是目标IP地址精确匹配, 源IP地址网络匹配 (因为有时其会发出一些伪造的IP地址包) , 格式串也很重要, 因为同一种工具发出的数据包往往有一些相同的特征在里面, 时间属性也需要重视, 有的扫描会在短时间内发出大量包, 但是有的扫描比较隐蔽, 比如可能隔几分钟或者发出一个包, 可以把时间间隔设置得比较大来聚合这类扫描警报, 这就需要动态调节时间;

3) 拒绝服务类警报通常由大量主机协同进行, 因此对源IP地址的匹配并无多大意义, 主要考虑的是目标IP和端口精确匹配, 时间间隔很短, 攻击数据包通常也是类似的, 因此数据包大小和格式串的匹配有时也可占一定权重;

4) 权限提升类警报一般是针对某一网络内所有主机或者单个目标主机以自动方式运行远程攻击程序, 因此主要考虑目标网络和目标端口的精确匹配, 通常源IP地址即为攻击者IP, 因为攻击程序相同, 因此数据报特征必然相同, 同时时间间隔也很小。

本算法的基本步骤为:首先根据警报中的攻击类型信息进行分类, 然后根据攻击源地址、目标地址、端口和时间信息合并重复警报或由同一攻击引起的多条警报, 融合警报信息, 消除冗余信息, 减少警报数量。每条原始警报均为已经后台信息转换模块转换后的标准入侵检测消息交换格式 (Intrusion Detection Message Exchange Format, IDMEF) 警报, 警报聚合的结果将产生若干超警报。超警报代表了一类原始警报, 每当有新警报idmef_newalert来临时, 警报聚合模块将idmef_newalert与已经存在的超警报比较, 通过相似度比较算法判决该警报是否与某超警报相似, 如是则加入该超警报, 否则自行成为一条新的超警报。

3 特征属性相似度的计算

对于攻击类型属性, 由于警报聚合的目的是尽可能地合并一次攻击产生的多个原始警报信息, 因此合并的这些原始警报必然具有相似的攻击类型, 可以将具有相似类型的多条警报合并为一条单一的聚合警报。文献[4,5]从多个阶段讨论和总结了多种分类策略与方法。警报聚合时按照设定的分类抽象粒度, 只需要对从属于同一类别的警报进行属性聚合即可。

定义攻击类型属性相似度:

对于某些攻击, 如类型未知的攻击或基于异常检测到的攻击, 还需要定义特征属性 (数据包、格式串等属性) 相似度:

对于空间特征属性, 分析不同类型攻击的源地址、宿地址、源端口、宿端口所具有的特性。由于攻击者通常会选择随机的源端口, 因此警报的空间特征主要针对源地址、宿地址及宿端口。表1列举了几种常见攻击的空间特征, 其中“/”表示无意义 (基于传输层以下协议的攻击, 宿端口是无意义的) 。对于不同类型的攻击具有不同的空间特征, 在警报聚合时, 需要为每类攻击指定空间特征。

定义IP地址属性相似度:

IP地址的比较基于无类别域间路由 (Classless Inter-Domain Routing, CIDR) 格式分析, IPv4地址由32位二进制数组成, r表示两IP地址从高位开始相等的位数。

定义端口属性相似度:

对于时间特征属性, 不同类型的攻击通常具有不同的时间特性。一次持续性攻击具有连续性, 并且由于这种攻击通常都是由攻击工具自动完成, 因此攻击进行的速度比较稳定。对不同的攻击事件给出不同的时间间隔阈值, 这个阈值由统计时间间隔的均值决定。注意到IDMEF定义了DetectTime、CreateTime、AnalyzerTime、StartTime、EndTime等多个时间属性, 为方便起见, 本文使用TimeStamp (或ntpstamp) 来描述, 而不涉及具体的时戳算法细节。

定义时间属性相似度:

4 基于多属性相似度的聚合算法

警报间的冗余关系包括重复关系和并发关系, 通过对多个冗余警报的聚合得到超警报 (Hyper-Alert, Meta-Alert) 。对于并发警报, 通过警报聚合, 同时得到攻击次数、攻击频度等信息。

定义1 (重复关系) 对于任意两个警报信息和, 除时间属性之外, 其它属性值均相同, 并且满足

则称和满足重复关系。其中, 为指定的时间间隔阈值。

定义2 (并发关系) 对于任意两个警报信息和, 除AgentId、时间属性之外, 其它属性值均相同, 并且满足

则称和满足并发关系。其中, 为指定的时间间隔阈值) 。

每类超警报由一张链表维护, 超警报链表按照某ntpstamp时间戳属性值递增排序。超警报与原始警报的唯一区别在于AdditionalData子类中的alertset属性, 而警报的类别由Classification子类的category属性标识。对于每条原始警报idmef_newalert, 判决算法如下:

从Classification子类中的category属性得知其所在警报类别, 对相应超警报链表中每条超警报Idmef_MetaAlert, 应用相似度比较算法:

1) 与每条超警报的比较是通过与超警报中包含的原始警报进行相似度比较, 本文的算法取其中五条ntpstamp属性值与Idmef_newalert最接近的原始警报, 然后取五个相似度值的平均值作为Idmef_newalert与Idmef_MetaAlert的相似度;

2) 取相似度最大的超警报作为最终判决的超警报, 如相似度低于预先设定的阈值, 则该警报成为一条新的超警报, 新的超警报通过复制该原始警报而成, 唯一的变化在于alertset属性, 将包含自身的警报消息标识;如果大于阈值, 则其属于该超警报, 只需要将自身的警报ID加入到该超警报的alertset属性中, 并保持alertset中的警报消息依然按ntpstamp时间递增排序。

5 结语

分布式IDS的协同配置在有效增强网络系统安全性的同时, 会产生大量的重复报警或警报冗余, 从而给安全分析与管理工作造成沉重负担。入侵警报聚合主要利用初级警报间的类型特征和时空属性相似性关系归并重复警报和并发警报, 是降低警报数量、提升警报质量的必要技术手段。为有效消除警报冗余、改善入侵检测的效果和性能, 本文提出了一种基于特征属性模糊相似度的入侵警报聚合算法。该算法基于模糊逻辑综合分析警报的攻击类型特征、时间特征、空间特征三维属性, 通过分别定义具体的隶属函数, 按照攻击类型和时空特征属性模糊相似度对入侵警报进行聚合, 并可通过设定不同的相似度阈值来调节聚合结果, 比传统的精确匹配法和概率统计方法更适合于处理入侵警报冗余信息的相似性。

摘要：分布式入侵检测系统的一个显著缺陷是会产生大量的重复警报。为有效消除警报冗余, 改善入侵检测的效果和性能, 本文提出了一种基于特征属性模糊相似度的入侵警报聚合算法。该算法基于模糊逻辑, 综合分析警报的攻击类型特征、时间特征、空间特征三维属性, 通过分别定义具体的隶属函数, 按照攻击类型和时空特征属性模糊相似度对入侵警报进行聚合, 比传统的精确匹配法和概率统计方法更适合于处理入侵警报信息的相似性。

关键词：警报聚合,入侵检测,模糊逻辑

参考文献

[1]Valdes A, Skinner K.Probabilistic Alert Correlation[A].Proceedings of the 4th International Symposium on Recent Advances in Intrusion Detection[C].Berlin:Springer-Verlag, 2001:54-68.

[2]龚俭, 梅海彬, 丁勇, 等.多特征关联的入侵事件冗余消除[J].东南大学学报, 2005, 35 (3) :366～371.

[3]DainOM, Cunningham RK.Fusinga Heterogeneous Alert Streamin to Scenarios[EB/OL].http://www.ll.mit.edu/mission/communications/ist/publications/acm_02_omd_rkc.pdf.

[4]王晓程, 刘恩德, 谢小权.攻击分类研究与分布式网络入侵检测系统[J].计算机研究与发展, 2001, 38 (6) :727-734.

模糊特征篇6

网络上每天都涌现出许多事件的新闻报道、分析和评论等, 其种类之多、信息量之大以及变化之快等特点使得人们难以及时、准确地获取事件的重要信息。为了满足用户对事件信息获取的需求, 事件自动摘要技术应运而生。目前, 主流的事件摘要方法可以分为与领域无关的一般事件摘要方法[1]和基于领域知识的事件摘要方法[2]。前一种方法通过分析和利用事件新闻体的结构等特征, 抽取新闻中较为重要的部分, 并生成事件摘要。尽管这种方法不用考虑任何的领域知识, 可以简单地移植于不同的事件领域, 但是选取出的重要信息可能不能真正地满足用户需求。后一种方法则参考一些特定的领域知识或者具体用户的需求, 抽取新闻中与用户需求内联相关的内容, 并生成事件摘要。尽管这种方法考虑了用户需求, 但是选取出的相关信息也可能在新闻中并不重要, 且不够准确。

针对上述问题, 本文提出了一种基于句子特征与模糊推断的中文突发事件自动摘要实现机制 (如图1所示) 。该实现机制可以分为三部分:新闻预处理、单篇新闻摘要、事件摘要。新闻预处理部分预处理每一篇事件新闻文档, 包括句子切分、分词标注等。单篇新闻摘要部分综合使用与领域无关的句子分析技术和基于领域知识的模糊推断技术处理每篇新闻, 抽取既相关又重要的句子生成新闻摘要。事件摘要部分将各新闻摘要句聚合到不同的主题类别中, 计算各个主题下每个句子的权重, 抽取和组织权重较大的句子, 最终生成事件的多主题摘要。

1单篇新闻摘要

1.1句子特征分析

根据句子和所在新闻的结构特征, 为新闻中的每个句子计算特征权重。权重的大小表示句子的重要性, 权重越大, 句子越重要。要考虑的句子特征有:

· 位置特征一般地, 事件新闻开头或结尾部分的内容要比中间部分的内容更加重要。因此, 根据句子在新闻中所处的位置特征, 可以推测句子的重要性。

· 长度特征 Katz[3]在其研究中提到:对于文档中表达中心意思的有用信息 (名词、动词等) , 其出现频率并不随着文档内容的增加而增大。因此, 本文提出根据一个句子中包含有用信息的数量判断该句句子的重要性。

· 词项权重在句子中, 不同的词项有着不同的作用。利用词项出现的频率和文档频率可以计算出各词项的权重, 综合考虑句中所有词项的权重可以区分新闻中句子的重要性。一般地, 包含较多重要词项的句子会更加重要。

· 与标题的相似度新闻标题常常使用简短的文字概括新闻的中心内容。因此, 与新闻标题越相似的句子就越能概括新闻的主要内容, 也就越重要。

使用句子特征合一函数 (1) , 综合以上四个句子特征, 计算句子的特征权重:

$s c o r e_{f e a} (S) = \sum_{i = 1}^{4} α_{i} \cdot f e a t u r e_{i} (S)$ (1)

其中, S表示新闻中句子, featurei (i=1, 2, 3, 4) 是句子的四个特征, 分别对应于句子的位置、长度、词项权重和相似度特征, αi是句子第i个特征的系数, 本文将它们分别设置为0.2, 0.1, 0.2和0.5。

1.2模糊推断机制

使用模糊推断技术分析新闻中各个句子与用户需求的内在相关性, 旨在寻找新闻中相关性较强的内容以更好地满足用户。

根据事件的性质, 可以将中文突发事件划分为自然灾害类、人为事故类和疾病暴发类等突发事件。对于每一类突发事件, 根据用户获取事件信息的一般需求, 我们手工地从对应的事件语料中抽取和组织若干字、词和短语, 并构建了事件领域术语表。例如, 自然灾害类术语表中有诸如“死亡人数”、“无家可归”和“受伤人数”等术语;人为事故类术语表中有“被困井下”、“肇事者”和“下落不明”等术语;疾病暴发类术语库中有“疑似病例”和“住院治疗”等术语;它们反映着用户获取对应事件信息的一般需求。因此, 将领域术语表作为参考, 从新闻中抽取与其较相关的句子生成摘要, 能够提高新闻摘要的质量。

句子的相关分析是建立在句子中词项与对应领域术语表中术语之间的相关分析上的。本文提出了四种相关性指标综合衡量词语对之间的相关关系:

· 词汇关联度根据两个词语含有相同字符的个数, 可以推测词语对在词形上的相关强度。含有越多相同字符的词语对就越相关。

· 词性差异度除了词汇关联度以外, 还可以根据词语的词性判断词语对是否相关。本文采用海量分词器[4]对事件新闻进行分词, 并只考虑方向名词、一般名词、地点、时间、动词、姓名等九类词性。根据不同词性间的关系, 本文组织和构建了一棵词性关系树。根据两个词语的词性在词性关系树中的路径距离, 可以判断词语对在词性特征上的差异。

· 义元相关度知网[5]使用义元信息描述一个概念, 义元是HowNet中最小的语义单元, 不同位置上的义元具有不同的描述能力, 义元和义元之间存在着复杂的关系。根据两个词语共有义元的个数, 可以判断词语对在概念上的相关度。共享越多相同义元的词语对会越相关。同时, 以义元所处位置的倒数作为义元权重可以区别不同位置义元的作用。

· 关系差异度基于对知网和中文突发事件语料的研究, 本文提出了一种以义元为基础的概念结构, 它是一种描述不同义元事件关系的层次结构。根据两个词语的所有义元对在义元概念结构中的平均路径距离, 可以判断词语对在事件关系上的差异。

使用模糊逻辑机制[6], 综合考虑两个词语的以上四种相关性指标, 计算词语对的语义相关度。在模糊逻辑机制 (如图2所示) 中, 初始层由条件节点组成, 每个条件节点与词语对的一个相关性指标相互对应。条件节点具有若干种状态, 初始层的输出是输入变量当前值与其条件节点当前状态的匹配度。规则层由若干规则节点构成, 每个规则节点与一个模糊规则互相对应, 每个模糊规则由条件语句和结论组成, 条件语句使用与运算符将几个条件相连。规则节点根据输入条件的情况, 判断并输出模糊规则的匹配结果。结论层由唯一的结论节点构成, 该结论节点收集来自规则层的所有规则的匹配结果, 计算和融合这些匹配结果, 并最终输出词语对的语义相关度SRS。

将句子中词项与对应领域术语表中术语之间最大语义相关度 (2) 作为句子与用户具体需求的内在相关性。

$s c o r e_{s r s} (S) = \sum_{t_{i} \in S} \max_{t_{j} \in G} S R S (t_{i}, t_{j})$ (2)

其中, ti是句子S中的词项, tj是对应领域术语表G中的术语, SRS (ti, tj) 表示两个中文词语的语义相关度。

1.3单篇新闻摘要生成

综合句子的结构特征重要性和与用户需求的相关性, 使用公式 (3) 计算新闻中句子的综合权重。

score (S) =α·scorefea (S) +β·scoresrs (S) (3)

其中, α和β分别是句子特征权重和相关度的控制参数, 分别设置为0.4和0.6。最后, 选择和组织新闻中综合权重大于阈值0.65的句子生成对应的新闻摘要。

2事件摘要

对使用上述方法自动生成的所有新闻摘要, 使用K-Means聚类算法将句子聚合到不同的事件主题类别中。同一主题类别中的句子在内容上非常相似, 共同描述着事件某一方面的内容;不同主题类别中的句子相似性比较低, 它们从各方面描述着对应事件。在完成句子聚类后, 从各个主题类别T中选择满足条件公式 (4) 的句子, 添加到对应的主题摘要句集合ST中。其中, Z (Si) 使用Z-模型[7]为各个主题下每个句子计算权重, 权重的大小描述着句子与主题的相似程度, Sim (Si, Sj) 使用余弦函数计算待考虑句子Si与已选句子Sj的相似度, λ为控制参数, 设置为0.4。根据上述条件公式, 可以从事件各主题类别中抽取比较重要的句子, 同时还能够保证不造成冗余。

$\underset{S_{i} \in Τ - S_{Τ}}{a r g m a x} [λ (Ζ (S_{i}) - (1 - λ) \max_{S_{j} \in S_{Τ}} S i m (S_{i}, S_{j}))]$ (4)

根据上述方法, 选择各个类中权重大的句子, 对于源于不同新闻中的句子, 按照新闻报道时间将句子排序, 优先选择最新新闻中的句子;对于源于同一新闻中的句子, 按照在原文中出现的顺序将句子排列, 最后生成并输出事件的多主题摘要。

3实验结果

为了验证本文方法的有效性, 我们手工地从人民网、CCTV新闻、新浪News等新闻专线上收集了国内外68起突发事件的1122篇报道, 并以此构建了中文突发事件语料库。

在语料库中, 自然灾害事件包括地震类11起、海啸类9起、火山爆发类12起、台风类8起;人为事故事件包括交通事故类3起、恐怖袭击类8起、生产安全类5起;疾病暴发事件包括人类传染病类6起、牲畜疾病类6起。对于每个突发事件, 收集了约20篇新闻报道。基于中文突发事件语料库, 我们比较了基于句子特征、基于模糊推断和本文提出的三种单篇新闻摘要方法, 并验证了基于句子特征和模糊推断的事件自动摘要实现机制。图3中的结果表明本文提出的单篇新闻摘要方法要明显优于基于句子特征的单篇新闻摘要方法和基于模糊推断的单篇新闻摘要方法, 能够更好地为事件的单篇新闻生成摘要, 从而真正地满足用户需求。

有5名自愿者对采用本文提出的事件自动摘要方法生成的事件摘要进行打分[1,5], 分数越高则表示事件摘要的质量越好。表1列出本文提出事件自动摘要方法在中文突发事件语料库上的平均性能。用户对突发事件摘要的总体平均评分为3.73, 该结果表明该方法能够有效地对中文突发事件自动生成摘要。

4结束语

为了更好地解决事件自动摘要问题, 本文综合考虑句子的结构特性以及与对应事件领域的内在相关性, 提出了基于句子特征和模糊推断的事件自动摘要实现机制。在中文突发事件语料库上进行了实验, 结果证明该方法能够有效地为突发事件自动生成摘要。

参考文献

[1]Nobata S C, Sekine H, Isahara.Evaluation of Features for Sentence Ex-traction on Different Type of Corpora.In Proceedings of the ACL′03workshop on MSQA, 2003 (12) :29-36.

[2]Varadarajan R, Hristidis V, System A.for Query-Specific DocumentSummarization.In Proceedings of CIKM′06, 2006:622-631.

[3]Katz S M.Distribution of content words and phrases in text and lan-guage modeling.Natural Language Engineering, 1996, 2 (1) :15-59.

[4]海量分词研究版 (Hyland) :http://www.hylanda.com/product/fenci/.

[5]董振东.知网-2000:http://www.keenage.com/html/paper/html.

[6]Lee C S, Chen J Y, Jian Z W.Ontology-based fuzzy event extraction a-gent for Chinese e-news summarization.Expert Systems with Applica-tions, 2003, 25:431-447.

模糊特征篇7

水环境治理是个巨大的系统工程,其中水质现状评价是其重要的分支之一。如何根据评价指标体系的特征,对水环境质量现状进行评价将是今后水质评价研究的重点。

1 常规水质数学评价模式[1,2,3,4,5]

Jacobs在20世纪60年代提出水体质量评价的水质指数(WQI)概念和公式以来,国内外就不断有文献讨论水质评价的方法。但至今仍缺乏统一的、公认的评价模式。

通过资料分析,综合各类代表性综合评价方法如表1所示。

针对不同的水质评价方法的适用条件,分析各类水质指标的特点,选用模糊评价法和人工神经网络来进行实例研究。

2实例应用

采用BP网络模型实现BP网络方法在水质评价中的应用;采用模糊综合指数法,以取大取小法来确定模糊算子。将两种方法水质评价结果进行比较,具体结果如表2所示。

由两种综合水质评价法得出的结果可以看出:

(1)用BP模型评价的结果比用模糊综合评价的结果差异性要小,如野尤泾桥、巴城工农桥等。

(2)部分水质控制断面丰水期、平水期的水质远好于枯水期。

(3)该地区大部分地表水水质不符合标准,主要污染指标为BOD5、氨氮。

3原因分析

模糊综合评价法在本案例中采用的是取大取小法,即权重与单因子评价结果先取小,再由此结果中取大,突出的是主因子,评价结果很大程度上由主因子来决定。在部分断面指标中,由于主因子的污染程度低,评价结果就偏低;反之则结果偏高。因此,在模糊综合法进行水质评价时权重起到了非常重要的作用,同时由于在此方法中权重的取值不够客观、可量化程度不高,都会直接影响最后的水质评价结果。

BP模型即反向传播网络。它模仿人体的神经网络,通过构建各个层次的神经元,并通过训练样本对每个神经元进行赋值,来达到最终目标。BP网络与模糊综合评价的相同点即都需要对各个指标进行权重的赋值,不同点也可以说BP网络的优点即它的赋值是客观的、可学习的,使得它的评价结果更加科学化、可信。从案例评价结果可以看出,BP模型的评价结果更加统一,更符合实际。

(1)由于部分水质控制断面不同水期的水量变化很大,如在雨季,大量雨水混合着污染物未经处理就直接排入地表水中,造成在丰水期和平水期的污染加重,尤其是面源污染。

(2)通过调查该地区的排水系统及排水方式可知,该地区主要工业区和居民区的排水系统主要采用合流制,收集率较低。工业区主要有化肥厂、屠宰场等,居民生活水平较高。因此,该地区的排水水质指标中有机物指标、氨氮含量很高,尤其到雨季,废水与雨水同排,有很大一部分溢流形成了面源污染,从污染评价结果中就反映为丰水期、平水期的水质比枯水期污染严重。

4结语

通过两种典型水质综合评价方法,对某市的各个典型水质控制断面进行水质现状评价,发现该地区大部分地表水污染严重,超标情况严重为有机物、氨氮。通过分析原因,建议该地区应尽快完善排水系统,进行雨污分流,并提高污废水收集率;污染严重的工业区尤其要加强排水系统的建设,有条件的搬离地表水附近,建立工业区自己的污水处理系统,达标后再排到市政排水系统。

通过对两种方法的评价结果进行分析发现,由于人工神经网络BP模型在水质评价指标因子权重确定上更加科学和客观,同时更注重在水质评价指标系统中的综合性,使得BP模型评价结果可信度更高,更接近实际情况。而模糊综合评价法虽然充分体现了水环境的特点即模糊、灰色的,但由于在权重的确定、模糊算子的确定等方面不够客观,更多依赖于人为因素的不确定性,因此评价结果可比性较差,评价可重复性较低。

摘要：文章通过分析各类代表性综合评价方法的优缺点,结合水质评价对象的特点,优选出模糊综合评价法和神经网络BP模型法。利用实例研究来分析该两种典型水质综合评价方法在水质评价应用上的适用性,同时通过各个代表性地表水水质指标的现状评价结果,来分析地表水体污染情况。

关键词：水质污染,特征分析,模糊综合评价法,人工神经网络,BP法

参考文献

[1]李如忠.水质评价理论模式研究进展及趋势分析[J].合肥工业大学学报(自然科学版),2005(4):369-373.

[2]陈守煜,李亚伟.基于模糊人工神经网络识别的水质评价模型[J].水科学进展,2005(1):88-91.

[3]LOHANI B N,TODINO G.Water quality index forChao Phraya river[J].Environmental Engineering,1984(6):1163-1177.

[4]PRATI L.Assessment of surface water quality by asingle index of pollution[J].Water Research,1971(5):741-751.

【模糊特征】推荐阅读：

粒子群优化的模糊特征08-04

灰色模糊07-16

模糊理论10-18

模糊逻辑10-20