贝叶斯推理

贝叶斯推理（共10篇）

贝叶斯推理 篇1

0 引言

现代大型复杂系统的贝叶斯网络结构也是庞大复杂的,对于诊断推理存在困难。因此在进行诊断推理前,应适当地对其网络结构进行简化。本文采用分簇优化联合树算法对贝叶斯网络结构进行简化处理及推理运算,下面介绍分簇优化联合树算法及其用于网络参数学习及诊断推理算法。

1 分簇搜索算法基本思想

用于故障诊断的贝叶斯网络的结构是非常复杂的,并且由于其结构的复杂性致使故障诊断推理也非常复杂,因此,通过贝叶斯网络结构学习,寻找一个与训练数据拟合度高且网络复杂性相对较低的网络结构成为一个非常有意义和研究价值的问题。由式可知,n个变量构成的贝叶斯网络结构的数目是指数级的,要从这些可能存在的网络结构空间中搜索出最优的网络结构也是很难的。当n=10时,需要搜索的模型个数就已经达到约为4.17*1018,可见搜索空间太大,为了缩小搜索空间,有效地找到最优解,一个较好的搜索算法就非常必要。

贝叶斯网络结构的学习实际就是优化搜索的问题。基于分簇的优化搜索方法就是将问题节点划分为团簇结构。团簇结构思想最早用于物理和化学领域中对分子和原子的处理,而在近代,团簇结构在许多领域得到了广泛的应用,包括模式识别,数据分析,图像处理等。许多学者都在这方面做出了研究,旨在发现能够用于更好聚类方法的簇结构,不同的网络拓扑结构对于分簇算法都是不同的。人工智能越来越多地研究这种方法,使之成为一种较为优秀的搜索算法。基于簇的搜索方法被证实较好地用于解决TSP问题。这种方法的主要优势在于不会陷入局部最优,并且搜索时间非常短。

分簇算法的基本思想是把网络结构中的节点划分为若干个簇,簇内依据某种事先约定的值进行连接,在簇与簇之间,也根据这种约定进行点与点之间的连接,这里设定一个阀值,节点间的关联程度大于这个阀值时就连接这两个节点,最终基于簇的这种搜索算法将形成一个团簇树状结构。

基于簇的结构学习算法是由初始的贝叶斯网络结构经过优化搜索构造出用于诊断的树形结构。设用于该算法的阀值为θ,由当前信息得到相关节点的关联程度为θij,表示第i个节点和第j个节点的关联程度,设两个数据结构D 1,D 2分别存放局部网络的起始参数节点表和目标节点表,首先把网络的所有节点都放入D 1表中。具体的步骤如下:

步骤1:随即选取一个起始节点V1,比较与V1相关的各个节点的θ1k值,若θ1k≥0,则将V1和Vk划分到一个簇S1内,把簇S1中的节点都从D1表中移出,放入表D2中。

步骤2:如果D1为空表,则转到步骤4。

步骤3:在D1表中随即选取一个节点Vn,比较与Vn相关的各个节点,分两种情况:

(1)若无关联节点,则将Vn单独划分到簇S2中,并将节点Vn从表D1中移出,放入表D2中,转入步骤2。

(2)若有关联的节点,且关联值为θnm,若θnm≥0,则将Vn和Vm划分到一个簇S2中,把簇S2中的节点从D1表中移出,放入表D2中,转入步骤2。

步骤4:在簇到S1之Sn间,观察是否簇间有相关联的节点,若相关联,且关联值θij≥θ,则将Vi与Vj相连接。

该算法的最终目的是搜索出一个较为简单的网络结构,减少网络推理的复杂度,使学习后的网络结构能够使用精确推理算法来实现推理,得出一个较为准确的结果。

搜索的过程如图1所示。

从图1可以看出,在经过分簇搜索之后,网络结构(d)比网络结构(a)有了一定程度的简化。

有效的贝叶斯网络推理算法是贝叶斯网络的重要内容,也是其应用的前提。大型复杂的故障诊断系统,所建立的贝叶斯网络模型也具有非常复杂的结构,为了降低贝叶斯网络的推理复杂度,使其更容易应用于解决实际问题,一般的推理算法都是在简化网络结构上进行研究的。下面来分析经过分簇结构优化算法后的网络推理。

2 联合树推理

分簇优化联合树算法实现对贝叶斯网络的诊断推理。分簇优化联合树算法是分簇优化算法与联合树算法的结合,其流程图如图2所示。分簇优化已在前文介绍,下面介绍流程图中其余步骤。

2.1 贝叶斯网络转化为联合树

将贝叶斯网络B转化为联合树,分为四步:建立B的Moral图;三角化Moral图;确定所有的团(Cliques);建立联合树。

(1)建立B的Moral图

简历Moral图的过程就是找出每个节点的父节点,并将他们用无相边两两相连,同时将所有有向边改为无向边。

(2)三角化Moral图

在Moral图中添加一些无向边,使图中每个大于或等于4的环中,都存在一条边连接两个非相邻节点。这就完成了对Moral图的三角化。

(3)确定所有的团(Cliques)

对Moral图三角化的目的就是找到构成联合树的所有团。团是Moral图三角化后最大的全连通子图,团中每对不同的节点都有边相连。

(4)建立联合树

利用得到的团,添加一些边和分隔节点就可构造一棵联合树T。联合树T要满足:树中任意两个团C,C′在连接它们的路径上的所有团节点必须包含变量C∩C′。

2.2 初始化

将贝叶斯网络转化为联合树后,就要对联合树的所有节点指定参数,即对联合树进行初始化。下面的算法实现了对满足条件的联合树参数的指定。

若联合树中的团Ci由X1,X2,…,Xr,r个节点组成,每一个节点有Sr个状态,则共有个状态组合。i代表Ci的分布函数,ij代表图Ci第j个状态组合的分布函数。具体步骤是:

for一个随机变量V

找到包含V的家庭的团Ci;

fori=1,…,n(n为团的数目)

orj=1,…,m(m为团C状态组合的个数)

初始化Φij,使Φij=1;

forj=1,…,m

Φij=Φij*P(Vj|Pa(Vj))

2.3 消息传递

对联合树进行初始化后,要在联合树上进行消息传递。通过个团节点之间的消息传递,可以是联合树达到全局一致,即达到稳态。如图3所示是团节点间一次消息传递的过程。

从节点Ci到Cj的一次消息传递过程包括以下几步:

(1)产生消息:

(2)吸收信息,更新团结点的分布函数:

(3)更新分隔节点的分布函数:

2.4 概率计算

当一个联合树通过消息传递满足全局一致性后,即可计算任意随机变量V的概率分布。找到任意一个包含变量V的团节点C,通过可计算出变量V的分布。

2.5 加入证据

若有新的证据加入,重复证据收集和证据扩散的过程,直到得到全局一致的联合树为止。当联合树再次满足全局一致性时,对任意的团C有:C=P(C,e),(e表示加入的证据)。要计算假设的变量V的概率分布,首先找到任意一个包含变量V团结点C,,再根据条件概率公式,求出变量V的概率分布

3 结束语

有效的贝叶斯网络推理算法是贝叶斯网络的重要内容,也是其应用的前提。大型复杂的故障诊断系统,所建立的贝叶斯网络模型也具有非常复杂的结构,为了降低贝叶斯网络的推理复杂度,使其更容易应用于解决实际问题,一般的推理算法都是在简化网络结构上进行研究的。而分簇简化联合树算法在对网络结构简化之后再进行网络推理,一定程度上简化了网络推理的难度。

摘要：大型复杂贝叶斯网络的诊断推理存在困难,在其推理诊断之前对网络结构进行适当的简化,可以有效地加快诊断推理速度。采用分簇联合树算法实现对网络结构的简化与推理。主要介绍了分簇搜索算法的基本思想、实现步骤及联合树推理算法,并将它们结合使用,使贝叶斯网络的简化推理更有效。

关键词：贝叶斯网络,概率推理,分簇理论,联合树

参考文献

[1]Wang Weidong,Zhu Qingxin.A Hierarchical Clustering Algorithmand Cooperation Analysis for Wireless Sensor Networks[J].Journalof Software,2006,17(5):1157-1167.

[2]Stephenson T.A.An Introduction to Bayesian Network Theory andUsage[Z].IDIAP-PR,Feb,2000.

[3]Gregory F Cooper,Edward Herskovits.A Bayesian method for theinduction of probabilistic networks from data[J].Machine Learning(S0885-6125),1992,9(4):309-347.

[4]衡星辰,覃征,邵利平,等.动态贝叶斯网络在复杂系统中建模方法的研究[J].系统仿真学报,2006,18(4):1002-1005.

[5]邢永康.信度网理论及应用研究:[D].重庆:重庆大学,2001.

[6]Huang C,Darwiche A.Inference in belief networks:a proceduralguide[J].International Journal of Approximate Reasoning,1994,11:1-58.

贝叶斯推理 篇2

【摘要】对于一道考研真题，比较分析了文献[1]和[2]中的方法，借助MATLAB将随机试验并不直观的样本空间以编程的方式呈现，利用MATLAB仿真随机试验的数值结果进行曲线拟合，拟合结果与文献[1]中的结果非常接近，误差不超过10-3，因此验证了文献[1]中方法是正确的。并通过理论分析指出了文献[2]中方法错误的原因，修正了文献[2]中方法的计算过程，给出了P（ 1|A2）正确的计算公式。理论分析方法能更深刻地理解贝叶斯公式，理论分析结果与文献[1]中方法相同。

【关键词】条件概率 全概率公式 贝叶斯公式 MATLAB仿真

【中图分类号】O211.5【文献标识码】A 【文章编号】2095-3089（2016）08-0128-02

文献[1]和[2]中对于同一道概率问题给出了两种解法，分析也是大相径庭，结果迥异。究竟哪种方法是正确的，本文将通过MATLAB数值模拟和理论分析两种方法进行讨论分析，两种方法的结果都与文献[1]相同。文献[1]和[2]中讨论的概率题如下：

例：设有来自三个地区的各10名，15名和25名考生的报名表，其中女生的报名表分别为3份，7份和5份，随机地取一个地区的报名表，从中先后抽出两份。已知后抽到的一份是男生表，求先抽到的一份是女生表的概率P。

文献[1]中方法：用事件Hj表示报名表是第j地区考生的，j=1，2，3，事件Ai表示第i次抽到的是男生表，i=1，2。显然A1，A2，A3构成完备事件组，且

P（H1）=P（H2）=P（H3）= ，P（A2|H1）= ，P（A2|H2）= ，P（A2|H3）= ，P（ 1A2|H1）= = ，P（ 1A2|H2）= = ，P（ 1A2|H3）= = 。

由全概率公式得

文献[2]中方法：当H1发生时，P（ 1|A2）= ，当H2发生时，P（ 1|A2）= ；当H3发生时，P（ 1|A2）= ，因此，

以下通过MATLAB数值模拟和理论分析论证文献[1]中方法是正确的。

1.利用MATLAB仿真随机试验

利用定义计算条件概率，通过缩减样本空间的方式也可以计算条件概率。本文借助MATLAB将并不直观的样本空间以编程的形式呈现出来，从而实现在缩减的样本空间中计算条件概率。

条件概率满足概率的三个公理化条件，因此条件概率也是概率。根据伯努利大数定律可以得到：在取法条件不变的情况下，相互独立地重复试验多次，在第二次抽取到的是男生表的条件下，第一次抽取到的是女生表的频率近似于其概率。

在MATLAB R2014a环境下进行仿真随机实验，利用40次得到的数值结果进行曲线拟合，拟合函数为y=-2.437×10-11x+0.3279，显然，此拟合曲线（如图1）几乎平行与x轴，y轴截距为0.3279，非常接近0.32787.

两次改变女生数据，通过MATLAB模拟出的概率值依然与文献[1]中结果非常接近（见表1），且误差不超过10-3。 综上，本文认为文献[1]中方法正确，文献[2]中方法错误。

2.理论分析

文献[2]中方法忽略了“先抽到的一份是男生表的条件下”这个条件，错误地认为取自三个地区的概率仍为 ，违背了贝叶斯公式，人为地制造出P（A2|A1|H1）这样不存在的概率。

在先抽到的一份是男生表的条件下，经过计算发现报名表来自第一区的概率为

文献[2]中方法产生错误的另一主要原因是利用不存在的概率，错误地使用贝叶斯公式，“当H1发生时，P（ 1|A2）= ”的确切表述应该是“P（ 1H1|A2H1）= ”。

结合上面两种原因，将文献[2]中方法修正如下：

当H1发生时，P（H1|A2）= = = ，P（ 1H1|A2H1）= ；

同理，当H2发生时，P（H2|A2）= ，P（ 1H2|A2H2）= ；当H3发生时，P（H3|A2）= ，P（ 1H3|A2H3）= ；

3.结论

本文利用MATLAB仿真随机试验的方式验证了文献[1]中方法的正确性，通过理论分析指出了文献[2]中方法错误的原因，修正了文献[2]中方法，给出了P（ 1|A2）又一计算公式：

P（ 1|A2）= P（Hi|A2）P（ 1Hi|A2Hi）。

通过对此问题的研究，有助于加深对于条件概率问题的理解，尤其对于全概率公式和贝叶斯公式的掌握具有实际的指导意义。本文方法可以使学生今后避免犯同类错误，对于教师的教学也具有指导意义。

参考文献：

[1]张宇.概率与数理统计（9讲）[M].北京：北京理工大学出版社，2016.

[2] 李永乐，王式安，季文铎. 考研数学复习全书（数学三）[M]. 国家行政学院出版社，2016.

作者简介：

贝叶斯推理 篇3

我国近年发生的煤矿重特大事故70%以上都是责任事故, 而在所有导致这些重大事故的直接原因中, 人因所占比率高达97.67%[1]。因此, 从人因角度研究煤矿生产中的不安全行为, 对降低我国煤矿事故的发生率具有非常重要的意义。

现有的人因分析工具———人因分析与分类系统 (human factors analysis and classification system, HFACS) 模型从不安全行为、不安全行为的前提条件、不安全行为的监督以及组织因素四个层次对事故产生的原因进行了详细分解, 从人因角度建立了一个全面的事故原因分析和分类工具[2]。利用HFACS通过统计分析可以分析哪些因素是事故发生的主要原因以及原因之间影响的相关性和显著性, 从而实现事故规律的挖掘。例如, Lenné等利用HFACS对澳大利亚发生的263起事故的原因进行了频率统计, 并分析了各原因之间的让步比 (odds ratio, OR) 及其置信区间[3]。Patterson等利用HFACS分析了澳大利亚Queensland发生的508起煤矿事故, 研究发现技能差错是最常见的不安全行为[4]。陈兆波等利用HFACS分析了煤矿重大事故和一般事故原因的不同之处[5]。李彦斌等利用HFACS对电网企业人为事故中的隐性危险源进行了辨识[6]。

煤矿事故调查报告是人因分析的基础, 因此事故原因调查准确与否直接关系人因分析的结论。煤矿事故的不可重现性决定了事故原因的调查主要依赖于现有的传感信息和相关人员的访谈, 因此事故原因的调查具有很强的不确定性, 如何通过事故发生后的相关信息提高事故原因调查的准确性就成为一项非常重要的研究工作。

近年来, 在医疗诊断、生命科学、工业和工程控制等领域广泛应用的贝叶斯网络技术通过系统地描述随机变量之间的关系并将其图形化, 进而利用贝叶斯公式对随机变量发生的概率进行推理[7]。该方法目前已经成为研究复杂系统不确定性推理和数据分析的一种非常有效的工具, 并且广泛的运用于安全领域。例如, 高扬等利用贝叶斯网络分析了航空器看错落错跑道事故的影响因素[8]。赵金宝等利用贝叶斯网络推理了车辆类型、事故地点和交通参与者等因素的影响下交通事故类型的概率分布[9]。

为此, 笔者将HFACS与贝叶斯网络相结合, 在利用煤矿事故HFACS分析结果建立煤矿事故人因贝叶斯网络模型的基础上, 以煤矿事故调查信息为证据推理导致煤矿事故发生的深层次原因, 从而提高事故原因调查的准确性。

1 基于HFACS的煤矿事故人因的贝叶斯网络因果图

利用贝叶斯网络对煤矿事故原因进行推理是以煤矿事故人因的贝叶斯网络因果关系图和贝叶斯网络参数为基础的。因为HFACS已经包含了事故发生涉及的所有人因因素, 并且从四个层次上对其进行了明确的划分。因此, 基于煤矿安全事故的HFACS分析结果, 可以确定事故人因之间的依赖关系。

选取从国家煤矿安全监察局事故调查司网站上获取的100起煤矿安全事故调查报告 (如巨底冲煤矿“7·9”瓦斯窒息事故调查报告、冷水江市富旺煤矿“5·18”煤与瓦斯突出事故调查报告等) 为样本, 利用HFACS对其进行分析。基于100起煤矿安全事故调查报告的HFACS分析结果, 利用卡方检验分析HFACS的上下层次是否有因果关系以及因果关系是否显著。

假设H0∶煤矿安全事故HFACS不同层次的人因因素间没有显著的因果关系;H1∶煤矿安全事故HFACS不同层次的人因因素间有显著的因果关系。通过计算, 可确定H0成立的情况下的概率P值, 当P值小于0.05时, 上层人因因素对下层人因因素具有显著的因果关系, 即拒绝假设H0, 接受H1;当P值大于0.05时, 上层人因因素对下层人因因素不具有显著地因果关系, 即接受假设H0, 拒绝H1。进一步, 通过让步比 (OR, Odds Ratio) 可以分析HFACS上层人因因素的发生是否会引起下层人因因素发生概率的变化。当OR值大于1, 表示上层人因因素的发生会增大下层人因因素发生的可能性;如果OR值小于1, 则表示上层人因因素的发生不会引起下层人因因素发生可能性的变化。

基于100起煤矿安全事故调查报告的HFACS分析结果, 利用Spss13.0, 通过卡方检验和让步比分析, 统计结果见表1。

根据表3, 煤矿安全事故人因之间的因果关系图可以表示为图1。

因此, 煤矿安全事故的人因因素之间具有很强的因果关系。例如, 管理过程漏洞的发生会增加监督不充分、没有发现纠正问题及违规监督发生的概率。

假设连接两个节点的箭头表示两个随机变量是非条件独立的;节点中变量间若没有箭头相互连接表示随机变量彼此间为条件独立。因此, 图1可作为煤矿安全事故人因的贝叶斯网络结构。

2 煤矿事故人因贝叶斯网络的参数估计

贝叶斯网络参数是指贝叶斯网络的条件概率表集合, 用来表示子节点同其父节点之间的条件概率值。在给定贝叶斯网络的结构后, 如何利用给定样本数据确定贝叶斯网络模型各结点处的条件概率是进行贝叶斯网络推理的一个关键性问题。目前, 常见的参数学习方法有最大似然估计算法、贝叶斯估计算法、不完备数据下参数学习[10]等。

利用最大似然估计算法, 对某一人因因素 (贝叶斯网络因果图中的某一节点) , 通过建立的煤矿事故人因因果关系图确定影响该因素的父因素 (该节点的父节点) , 在此基础上以100起煤矿安全事故报告的HFACS人因分析结果为样本, 在给定该人因父节点集值的情况下, 通过计算该节点不同取值的出现频率并以之作为该节点的条件概率。

假定每个煤矿事故人因因素只有两个离散的状态, 也即不发生 (用1表示) , 发生 (用2表示) , 通过计算得到的贝叶斯网络参数见表2。

3 煤矿事故人因的推理

利用建立的贝叶斯网络进行推理分析, 是贝叶斯网络要解决的主要任务之一。贝叶斯网络的DAG图形模式给出了所有变量的一个完整的联合概率分布, 其推理过程意味着在给定一组证据变量 (原因) 确切值的情况下, 计算一组查询变量 (结果) 的概率分布。

目前贝叶斯网络的推理方法大致可以分为准确推理和近似推理, 贝叶斯网络准确的概率推导是一个NP-hard问题[9], 实际应用中常选择有效的算法进行近似推理。目前应用较广泛的是联合树推理算法, 并且该算法可以在Matlab中可以通过jtre_inf_engine直接调用。

以山西汾西矿业集团双柳煤业2003年5月16日13时发生的顶板事故为例, 通过事故调查和分析, 事故原因如下:

1) 当班带班长在支护作业前, 未严格执行“敲帮问顶”是造成事故的直接原因。

2) 在打锚杆时, 未按照《作业规程》要求, 使用临时支护而在未支护区进行空顶作业, 是造成事故的主要原因。

3) 盯面安全员和跟班队领导现场监督不严, 虽然查出现场隐患, 现场做了安排打临时支护, 但未进一步落实, 对违章行为和人员没有及时进行制止, 是造成事故的另一原因。

4 职工安全教育不够、思想麻痹是造成事故的重要原因

基于HFACS, 对事故的原因进行分析可以发现:带班长严格执行“敲帮问顶”是属于违规;未按照《作业规程》要求是违规和技能差错;盯面安全员和跟班队领导现场监督不严是属于监督不充分的原因;对违章行为和人员没有及时进行制止属于未发现和纠正问题;职工安全教育不够是监督不充分;思想麻痹是个人准备状态和精神状态的原因。因此, 事故调查确定的证据为P (E=2) =1, P (F=2) =1, P (H=2) =1, P (I=2) =1, P (L=2) =1, P (M=2) =1。基于联合树算法, 对事故原因进行推理, 结果见表3。

利用建立的贝叶斯网络进行人因推理的结果显示, 在上述事故中, 由于监督不充分 (E) 、没有发现和纠正问题 (F) 、个人准备状态 (H) 、精神状态 (I) 、技能差错 (L) 和违规 (M) 四个人因的出现, 管理过程漏洞 (A) 出现的概率为0.8792、管理文化缺失 (C) 出现的概率为0.7262、技术环境 (K) 出现的概率为0.7026。因此, 基于事故调查的基本信息, 利用贝叶斯网络技术能够很好地实现对煤矿安全事故深层人因的推理, 从而有助于事故调查人员更准确和更全面的对事故原因进行追究。进一步, 当事故调查者不确定某一项原因是否发生时, 如事故调查人员通过调查发现技能差错 (L) 有0.6的可能性发生, 也即提供一个软证据P (L=2) =0.6, P (L=1) =0.4, 同样可以利用贝叶斯网络对事故原因进行推理。

利用事故调查的结果, 利用贝叶斯网络对煤矿安全事故人因进行推理的过程中发现如下问题:

1) 煤矿事故人因贝叶斯网络模型是以现有事故调查报告的HFACS分析结果为基础, 因此HFACS分析结果完备性直接关系到贝叶斯网络模型的正确性。因此, 需要设计科学方法提高HFACS分析结果的正确性。

2) 现有事故调查报告是利用HFACS进行分析的样本。但是, 根据国家煤矿安全监察局煤安监调查字 (2005) 56号的规定, 我国目前的煤矿事故报告一般包含事故单位概况、事故经过及抢险和善后情况、事故原因及性质 (包含直接原因、间接原因和事故性质) 、对事故责任人员和单位的处理建议、防范措施几个部分, 其中事故原因的调查中以责任认定为主, 所以现有的煤矿事故调查报告对于事故发生的深层次原因, 如操作者的身体状态、智力状况、所受的安全和技能培训状况以及安全管理体系方面的缺失因素等人因描述不够充分。因此, 完全基于事故调查报告的HFACS分析结果建立煤矿安全事故人因的贝叶斯网络模型有一定的局限性。进一步, 可以与专家法相结合设计煤矿安全事故人因的贝叶斯网络模型。

5 结论

1) 在利用HFACS对100起煤矿事故进行人因分析的基础上, 通过卡方检验和让步比分析, 构建了煤矿安全事故人因的贝叶斯网络因果关系图。

2) 利用煤矿事故的HFACS分析结果, 通过最大似然法估计了煤矿事故人因贝叶斯网络的参数, 并利用联合树推理算法以双柳煤业顶板事故的信息为证据, 对事故发生的深层次人因进行了推理研究。研究发现, 贝叶斯网络推理技术能够帮助事故分析人员有效地提高事故原因调查的准确性。

3) 研究过程还发现, 现有的HFACS指标内涵与煤矿事故中的表现形式难以对应, 因此有必要设计科学的分析方法提高煤矿事故HFACS分析结果的正确性, 进一步, 现存的煤矿事故调查报告主要集中在事故的责任认定上, 因此对事故发生的深层次人因调查不充分, 因此有必要建立煤矿事故的调查标准以规范事故调查过程。

参考文献

[1]陈红, 祈慧, 宋学锋, 等.煤矿重大事故中管理失误行为影响因素结构模型[J].煤炭学报, 2006, 31 (5) :689-696CHEN Hong, QI Hui, SONG Xue-feng, et al.The structural model of affecting factors of management misconduct in coal mine fatal accidents in China[J].Journal of China Coal Society, 2006, 31 (5) :689-696

[2]Wiegmann D A, Shappell S A.A human error analysis of commercial aviation accidents using the human factors analysis and classification system[R].The Report of Office of Aviation Medicine Federal Aviation Administration, 2001:1-18

[3]LennéM G, Salmon P M, Liu C C, et al.A systems approach to accident causation in mining:an application of the HFACS method[J].Accident Analysis and Prevention, 2012, 48 (2) :111-117

[4]Patterson J M, Shappell S A.Operator error and system deficiencies:analysis of 508 mining incidents and accidents from queensland, Australia using HFACS[J].Accident Analysis and Prevention, 2010, 42 (4) :1379-1385

[5]陈兆波, 曾建潮, 董追, 等.基于HFACS的煤矿安全事故人因分析[J].中国安全科学学报, 2013, 13 (7) :116-121CHEN Zhao-bo, ZENG Jian-cao, DONG Zui, et al.Analysis of human factors in coal mine accidents based on HFACS[J].China Safety Science Journal, 2013, 13 (7) :116-121

[6]李彦斌, 金宁, 洪梦琳.基于HFACS和灰色关联法电网企业人为事故隐性危险源的辨识与评价[J].中国安全生产科学技术, 2013, 9 (2) :157-161LI Yan-bin, JIN Ning, HONG Meng-lin.Human accident hidden hazard identification and evaluation of power grid enterprise based on HFACS and grey correlation analysis method[J].Journal of Safety Science and Technology, 2013, 9 (2) :157-161

[7]冀俊忠, 刘椿年, 沙志强.贝叶斯网模型的学习、推理和应用[J].计算机工程与应用, 2003, 39 (5) :24-27JI Jun-zhong, LIU Chun-nian, SHA Zhi-qiang.Bayesian network model learning, inference and application[J].Computer Engineering and Applications, 2003, 39 (5) :24-27

[8]高扬, 葛培荣, 李阳.基于贝叶斯网络的航空器看错落错跑道事件研究[J].中国安全生产科学技术, 2010, 6 (2) :66-70GAO Yang, GE Pei-rong, LI Yang.Analysis of take-off or landing wrong runway in civil airport based on bayesian network[J].Journal of Safety Science and Technology, 2010, 6 (2) :66-70

[9]赵金宝, 邓卫, 王建.基于贝叶斯网络的城市道路交通事故分析[J].东南大学学报 (自然科学版) , 2011, 41 (6) :1300-1306ZHAO jin-bao, DENG Wei, WANG Jian.Bayesian network based urban road traffic accidents analys[J].Journal of Southeast University (Natural Science Edition) , 2011, 41 (6) :1300-1306

贝叶斯推理 篇4

决策者依据先验概率分布及期望值准则进行最优方案的选择。由于先验概率不能完全反映客观规律，所以就必须要补充新信息，修正先验概率，得到后验概率。后验概率是根据概率论中贝叶斯公式进行计算，这就是我们通常所讲的贝叶斯决策模型。

一、贝叶斯风险决策模型

（一）基本理论

贝叶斯决策模型是决策者在考虑成本或收益等经济指标时经常使用的方法。贝叶斯方法是一种广泛运用于系统工程，金融和保险等各个领域的投资决策方法，是一种现代风险型决策法，是统计决策理论的重要分支，贝叶斯决策的理论基础是贝叶斯概率公式。它被运用在对信息掌握不完备或者存在主观判断下的风险型决策方法，风险型决策方法是根据预测各种事件可能发生的先验概率，通过调查、统计分析等方法获得较为准确的情报信息，以修正先验概率，然后再采用期望值标准或最大可能性标准等来选择最佳决策方案。这样使决策逐渐完善，越来越符合实际情况，可以协助决策者做出正确的决策。由于由贝叶斯定理可以推出通过抽样增加信息量能够使概率更加准确，概率准确则意味着决策风险的降低，所以贝叶斯定理保证了该决策模型的科学性。

（二）决策模型的建立

风险决策贝叶斯模型的建立一般分为三个步骤，具体过程如下：

第一步，风险投资者在进行企业项目决策时，最终的目的都是要获得较高的投资收益，而每一个项目方案的收益都取決于诸多风险变量未来的状态，因而风险资本投资决策是一个风险型多指标决策问题。

第二步，构造判断矩阵。决策者以本层次上的因素为准则，两两比较因素Yi、Yj的相对重要程度，给出标度aij，构造一系列判断矩阵A＝（aij），其中，aij>0，aij＝1/aij，aii＝1。

第三步，建立投资决策模型。

二、风险收益函数的贝叶斯决策

决策者面临着几种可能的状态和相应的后果，依据过去的信息或经验去预测每种状态和后果可能出现的概率，在这种情况下，决策者根据确定的决策函数计算出项目在不同状态下的函数值，然后再结合概率求出相应的期望值，然后依此期望值做出决策行为。贝叶斯决策法是最常见的以期望为标准的分析方法。

贝叶斯决策模型是决策者在考虑收益指标时经常使用的方法，以收益型问题为例，其基本思想是在已知不确定性状态变量 的概率密度函数f（ ）的情况下，按照收益的期望值大小对决策方案排序，则最优方案为使期望收益最大的方案。

接下来看一个具体决策实例。某百货商场过去200天关于商品B的日销售量纪录，商品B的进价为200元/件, 售价为600元/件，如果当天销售不完，余下全部报废，求该商品的最佳日订货量a*，及相应的期望收益金额EMV*和EVPI。该商场商品B的销售状态空间为 ，这些状态发生的概率也可以推测出来。根据此状态空间，决策者的决策空间为 。当商场的销售量为 ，而进货量为 时，商场的条件收益为：而相应的期望收益为 。

从经济角度看当日订货量等于日销售量时，商场没有因为多定货或少定货而造成的机会损失，因此获得的收益最大，所以此例理论上的最大利润为EPC=2720元。但在实际工作中这个值很难得到，除非商场能够根据情况随时调整进货量，因此商场的经营者往往追求的是期望收益的最大值，在此例中当订货量为7时期望收益最大，EMV*和EVPI分别为2460元和260元。

EVPI的含义为由于情报不准确而造成的商场的赢利损失。为了追求更多的利润，决策者总是希望获取一些准确信高的信息，只要费用小于预期收入，决策者就可以考虑购买由信息公司提供的情报信息。这些信息主要是通过抽样调查或其他途径得到的概率，与凭借经验预测出来的概率不同它们的可靠性更高，这种概率称为后验概率。一般的用后验概率代替先验概率进行贝叶斯决策, 往往可以得到更准确的方案，这种用后验概率代替先验概率再进行贝叶斯决策，就成为后验分析法。需要指出的是有些情况下并非用后验分析法就一定比先验分析好，如果两者选择的方案相同，则意味着后者在增加成本的情况下收益并没有增加，显然此时先验比后验更加有效率。

三、结论

由于在生活中许多自然现象和生产问题难以完全准确预测，因此决策者在采取相应的决策时总会带一定的风险。贝叶斯决策法是将各因素发生某种变动引起结果变动的概率凭统计资料或凭经验主观地假设，再进一步对期望值进行分析，由于此概率并不能证实其客观性，故往往是主观的和人为的概率，本身带一定的风险性和不肯定性。

风险投资中，各风险因素概率分布的获得往往取决于风险决策者的经验和态度，投资风险的分析需要依据大量的信息，而信息的获取是一个渐进的过程。从决策者的主观概率与调查分析的结果取二者之一都是片面和不准确的。而贝叶斯方法正好能将这二者信息结合起来，在决策者及专家的定性判断基础上，根据新信息，对先验概率进行修正，能得出较为准确的结论。当风险投资决策者对先验阶段的估计把握不大时，决策者就可利用这方法决定是否要再做进一步的调查，并对先验概率进行修正，从而减少决策的风险程度。

参考文献：

[1]朱金玲.贝叶斯决策分析及改进.江苏统计应用研究.2000(6).

[2]肖芸茹.论不确定条件下的风险决策.南开经济研究.2003(1).

贝叶斯网络 篇5

贝叶斯网络是一种概率网络, 它是基于概率推理的图形化网络, 以下是贝叶斯网络中涉及的概率知识:

(1) 条件概率[2]:设A, B是两个事件, 且P (A) >0, 称P (B|A) =P (AB) /P (A) 为在事件发生的条件下事件发生的条件概率。

(2) 联合概率[2]:设A, B是两个事件, 且P (A) >0, 它们的联合概率为:P (AB) =P (B|A) /P (A) 。

(3) 全概率公式[2]:设实验的样本空间为S, A为E的事件, B1, B2, …, Bn为E的一组事件, 满足:互不相容; (3) P (Bi) >0, i=1, 2, …, m。则有全概率公式:。

(4) 根据 (1) 、 (2) 和 (3) , 很容易得到贝叶斯公式[26]:。

(5) 先验概率[2]:根据历史的资料或主观判断所确定的各种事件发生的概率, 该概率没能经过实验证实, 属于检验前的概率, 称之为先验概率。

(6) 分隔定理 (d-seperation) [3]:设A, B, C为网络节点中三个不同的子集, 当且仅当A与C间不存在以下情况的路径时, 称B隔离了A和C, 记作:D:

(1) 所有含有聚合弧段的节点或其子节点是B的元素。

(2) 其它节点不是B的元素。

(7) 条件独立性假设[4]:依据分隔定理, 如果B隔离了A和C, 则认为A和C是关于B条件独立的, 即:P (A|C, B) =P (A|B) 。

2贝叶斯网络的结构

贝叶斯网络又称信念网络, 一个典型的贝叶斯网络由两部分组成[5]:第一部分是一个有向无环的图形结构G, 其中每个节点代表一个变量, 节点之间的有向弧段反映了变量间的依赖关系, 指向节点X的所有节点称为X的父节点, 图1为一个贝叶斯网络的拓扑结构;另一部分是与每个节点相关的条件概率表 (CPT, conditional probability table) , 该表列出了此节点相对于其父节点的所有可能的条件概率。

贝叶斯网络规定以节点Xi的父节点为条件, Xi与任意非Xi子节点条件独立, 按此约定有n个节点的贝叶斯网络的联合概率分布为[6]:

其中π (Xi) 是网络中Xi父节点集合∏ (Xi) 中的变量取值后的一个组合。若Xi没有父节点, 则集合∏ (Xi) 为空, 即P (Xi|π (Xi) ) =P (Xi) 。

3贝叶斯网络的推理

贝叶斯网络的推理通常是从先验知识入手, 按贝叶斯规则沿网络弧线层层演进而计算出我们感兴趣的概率。依据贝叶斯学派的观点, 概率推理本质上就是信任度的传播, 按推理方向贝叶斯网络有三种重要的推理模式[7]。

3.1因果推理或自上而下的推理

此模式是从先验概率开始的正向推理过程。之所以称为因果推理, 是因为贝叶斯网络中相连两节点表达了一种直接的因果关系。以图1为例, 求概率:, 因果推理的过程可总结如下:

(1) 将询问节点 (X4) 的其它父节点 (未在条件中出现) 加入到询问节点, 条件不变, 对新节点的所有状态求和。

(2) 利用贝叶斯规则将和式中的每一项展开, 因为伴随询问节点的CPT只提供了形式为P (Xi|π (Xi) ) 的概率。

3.2诊断推理或自下而上的推理

此模式是在已知结论的前提下, 推断出可能引发该结论的原因。以图1为例, 求概率P (X1|X4) 的过程为:, 其中P (X4|X1) 需利用因果推理求得。所以诊断推理的主要一步是将概率转换为因果推理的形式。

3.3解释推理

问题中已经包含了原因和结果, 这时如果要推断其它导致该结果的原因, 就需要运用解释推理。解释推理可概括为:诊断推理中运用因果推理。例如求P (X1|X4, X2) 的过程:, 这就是解释推理, 其中P (X4|X2) 也需要利用因果推理, 本质上解释推理是前两种模式的混合。

4结束语

综上, 贝叶斯网络是一系列变量的联合概率分布的图形表示。实际上这种表示法最早被用来对专家的不确定知识编码, 今天它们在现代专家系统、诊断引擎和决策支持系统中发挥了关键作用。贝叶斯网络的一个被经常提起的优点是它们具有形式的概率语义并且能作为存在于人类头脑中的知识结构的自然映像。这有助于知识在概率分布方面的编码和解释, 使基于概率的推理和最佳决策成为可能。论文主要介绍了贝叶斯网络的概率基础、拓扑结构以及贝叶斯网络的推理。

参考文献

[1]王军, 周伟达.贝叶斯网络的研究与进展[J].电子科技, 1999 (8) :5-7.

[2]盛骤, 谢式千, 潘承毅.概率论与数理统计[M].北京:高等教育出版社, 第2版, 1989:18-25.

[3]Judea Pearl.Causal diagrams for empirical research.Biometrika, 1995, 82 (4) :669-709.

[4]余东峰, 孙兆林.基于贝叶斯网络不确定推理的研究[J].微型电脑应用, 2004, 20 (8) :6-8.

[5]Luis M.de Campos, Juan M.Fernández-Luna, Juan F.Huete.Clustering terms in the Bayesian network retrieval model:a new ap-proach with two term-layers.Applied Soft Computing, 2004, 4:149-158.

[6]Berthier Ribeiro-Neto, Iimério Silva, Richard Muntz.Bayesian network models for IR.Soft Computing in Information Retrieval Tech-niques and Application, 2000:1-32.

贝叶斯网络模型概述 篇6

1 贝叶斯网络模型的描述

贝叶斯网络(BN),又称为信度网,由一个有向无环图(Directed Acylic Graph,DAG)和条件概率表(Conditional Probability Table,CPT)组成[1]。

贝叶斯网络分类模型(BNC)的形式化的描述如下:

n元随机变量X={X1,X2,…Xn}的贝叶斯网络模型是一个二元组B=(Bs,Bp)。Bs=(X,E)是一有向无环图(directed acrylic graph,DAG),其中X={X1,X2,…Xn}为结点集,每个结点可看成取离散或连续值的变量(本文限定其只取离散值);E是有向边的集合,每条边表示两结点间依赖关系,依赖程度由条件概率参数决定。称Bs为BN模型网络结构。Bp={P(Xi/∏Xi),Xi∈X}是贝叶斯网络模型的一组条件概率分布的集合。在各结点取离散值的情况下,BP为一组条件概率表(conditional probability tables,CPTs)的集合。∏Xi是在Bs中Xi所有父结点的集合,表示结点Xi在其父结点某一取值组合状态下的条件概率分布。这说明,在贝叶斯网络模型中,结点的取值依赖于其父结点的取值状态。

这里,学习贝叶斯网络的问题描述为:给定Xi中的一组实例构成的训练集合D=X={X1,X2,…Xn},找到一个与D匹配最好的网络B。这样,学习贝叶斯网络的问题转化为优化问题。这时类变量和属性变量不加区别。

实际处理这个问题的方法是在可能的网络构成的空间中进行启发式搜索。搜索成功的关键是确定一个合理的评分函数,评价网络对训练数据的匹配程度,以指导搜索。

有两种主要的评分函数[2]:贝叶斯评分函数和最小描述长度原理(MDL:minimal description length)评分函数。它们是渐进正确的,即随着样本数目的增加,得分最高的网络将任意逼近样本的概率分布。

2 构造贝叶斯网络的方式

一般情况下,构造贝叶斯网有三种不同的方式:

(1)由领域专家确定贝叶斯网的变量(有时也称为影响因子)节点,然后通过专家的知识来确定贝叶斯网络的结构,并指定它的分布参数。这种方式构造的贝叶斯网完全在专家的指导下进行,由于人类获得知识的有限性,导致构建的网络与实践中积累下的数据具有很大的偏差。

(2)由领域专家确定贝叶斯网络的节点,通过大量的训练数据,来学习贝叶斯网的结构和参数。这种方式完全是一种数据驱动的方法,具有很强的适应性,而且随着人工智能、数据挖掘和机器学习的不断发展,使得这种方法成为可能。如何从数据中学习贝叶斯网的结构和参数,已经成为贝叶斯网络研究的热点。

(3)由领域专家确定贝叶斯网络的节点,通过专家的知识来指定网络的结构,而通过机器学习的方法从数据中学习网络的参数。这种方式实际上是前两种方式的折衷,当领域中变量之间的关系较明显的情况下,这种方法能大大提高学习的效率。

可以看出,在由领域专家确定贝叶斯网络的节点后,构造贝叶斯网的主要任务就是学习它的结构和参数。很显然,学习结构和参数不是完全独立的。一方面节点的条件概率很大程度上依赖于网络的拓朴结构;另一方面,网络的拓朴结构直接由联合概率分布的函数来决定。

然而,一般情况下,我们还是把这两个方面分开来进行。这是因为,带有太多连接的复杂网络结构所需观测的参数较多,而为使获得这些参数达到某种信任程度所需的数据量随着参数数目的增加而迅速增长,并且复杂的结构需要太大的存储空间及冗长繁琐的计算过程才能产生预测和解释。因此,为使贝叶斯网作为知识模型是可用的,在学习过程中致力于寻找一种最简单的网络结构是非常必要的,这种简单的结构模型称之为稀疏网络,它含有最少可能的参数及最少可能的依赖关系。

根据构成贝叶斯网络的结点变量是离散的变量且取有限个值或是连续的变量或是既有连续变量又有离散变量三种不同情况,贝叶斯网络的类型可以分为离散型、连续型、混合型三种[3]。

近年来,关于贝叶斯网络的理论研究重点集中于贝叶斯网络的结构学习和参数学习方面。结构学习是指对于每一特征节点找到除根节点之外的所有父节点,参数学习是指在己知结构的基础上获得上述参数的估计。

当我们在贝叶斯网络中把其中代表类别变量的节点作为根节点,其余所有变量都作为它的子节点时,贝叶斯网络就变成了分类器[4]。

3 贝叶斯网络模型的优点

通过提供图形化的方法来表示和运算概率知识,贝叶斯网络克服了基于规则的系统所具有的许多概念上和计算上的困难。贝叶斯网络与统计技术相结合,使得其在数据分析方面拥有了许多优点,与规划挖掘、决策树、人工神经网络、密度估计、分类、回归和聚类等方法相比,贝叶斯网络的优点主要体现在:

(1)贝叶斯网络使用图形的方法描述数据间的相互关系,语义清晰,易于理解。图形化的知识表示方法使得保持概率知识库的一致性和完整性变得容易,可以方便地针对条件的改变进行网络模块的重新配置。

(2)贝叶斯网络易于处理不完备数据集。对于传统标准的监督学习算法而言必须知道所有可能的数据输入,如果缺少其中的某一输入就会对建立的模型产生偏差,贝叶斯网络的方法反映的是整个数据库中数据间的概率关系模型,缺少某一数据变量仍然可以建立精确的模型。

(3)贝叶斯网络允许学习变量间的因果关系。在以往的数据分析中,一个问题的因果关系在干扰较多时,系统就无法做出精确的预测。而这种因果关系己经包含在贝叶斯网络模型中。贝叶斯方法具有因果和概率性语义,可以用来学习数据中的因果关系,并根据因果关系进行学习。

(4)贝叶斯网络与贝叶斯统计相结合能够充分利用领域知识和样本数据的信息。贝叶斯网络用弧表示变量间的依赖关系,用概率分布表来表示依赖关系的强弱,将先验信息与样本知识有机结合起来,促进了先验知识和数据的集成,这在样本数据稀疏或数据较难获得的时候特别有效。

4 小结

贝叶斯推断理论提供一种概率手段,为数据建模提供了一个统一的框架,而且它为算法的分析提供了理论基础。尽管关于贝叶斯网的理论研究还很不完善,应用研究还处于起步阶段,但在许多领域中已显现出令人瞩目的效果,可以预见随着技术的进步,贝叶斯网模型将发挥越来越重要的作用。

参考文献

[1]张少中,王秀坤,孙莹光.贝叶斯网络及其在决策支持系统中的应用[J].计算机工程,2004.30(10):1-3.

[2]胡玉胜,涂序彦,崔晓瑜,程乾生.基于贝叶斯网络的不确定性知识的推理方法[J].计算机集成制造系统.2001.7(12):65-68.

[3]林士敏,田凤占,陆玉昌.贝叶斯网络的建造及其在数据采掘中的应用[J].清华大学学报(自然科学版).2001.41(1):49-52.

贝叶斯网络诱导的内积空间 篇7

将贝叶斯网络与核函数结合起来,综合两者的优势,这一方法被广大研究者充分重视。如文献[4,5,6]提出了隐性马尔可夫模型的核函数,文献[7]提出了新的结合概率模型和核函数的方法。一个给定的贝叶斯网络诱导的概念类(即决策函数的类),在数据点集或者超平面中,线性分类器的误差边界多以欧几里德维数或几何边际的形式给出。应用随即投影技术,文献[8,9,10]给出了任意具有较大边际的线性排列可转化为维数较低的线性排列,文献[11]讨论了在允许一定误差的条件下,低维的线性排列;给出了维数较小的线性分类器存在较大边际的结论。文献[12]讨论了在欧几里德半空间里,VC维为常数的概念类的最大边际问题;文献[13]讨论了在布尔域上的贝叶斯网络的计算模型,给出了一般贝叶斯网络诱导的概念类维数的上下界。

文中讨论了将贝叶斯网络作为计算模型,变量在布尔域上取值的两类分类任务的问题。重点研究了几类常见贝叶斯网络,讨论了可以表示该贝叶斯网络诱导的概念类的最简单的内积空间,(这里“最简单”是指内积空间的维数尽可能低。)集中在具有标准点乘定义的欧几里德内积空间来讨论。文中通过分析概念类的VC维来确定贝叶斯网络维数的下界,同时VC维可用于估计贝叶斯网络诱导的概念类的复杂性,也可用于判断概念类的分类性能,VC维也被广泛的应用于其它领域,如模式识别、神经网络等。

1 预备知识

定义1 区域X中的一个概念类C是指一族函数f∈C,∀x∈X,有f(x)=1或f(x)=-1。

一个有限集合S={s1,…,sm}⊆X称作被概念类C可分是指对任意m维向量b∈{1,-1}m,存在概念类f∈S,使得f(si)=bi,(i=1,…,m)。

概念类C的Vapnik-Chervonenkis(VC)维指$\mathit{V}\mathit{C}\dim (\mathit{C})=\sup \{m|\mathit{S}\subseteq \mathit{X},\mathit{S}$被C可分,且$\left|\mathit{S}\right|=m\}$。

定义2 一个贝叶斯网络N满足

(1)有向无圈图G=(V,E),V表示有限点集,E⊆V×V表示边的集合;

(2) 参数(pi,α)i∈V,a∈{0,1}mi∈(0,1),其中mi表示节点i的父节点的个数,即$m{}_i=\left|\{j\in \mathit{V}|(j,i)\in \mathit{E}\}\right|$;

(3) 可以将(0,1)中的某些值赋给集合中的参数,这样的约束是被允许的。

Pi表示节点i的父节点的集合,则$m{}_i=\left|\mathit{{\rm P}}{}_i\right|$,且完全连接图N是指对每一个节点i有Pi={1,…,i-1}。

定义3 由n个节点构成的贝叶斯网络图,其分布诱导的类记作DN,当每个节点在布尔域上取值时,其分布为

${\rm P}(x)={\displaystyle \prod _{i=1}^n{\displaystyle \prod _{\alpha \in \{0,1\}{}^{m{}_i}}p}}{}_{i,\alpha }^{x{}_i{\rm M}{}_{i,\alpha }(x)}(1-p{}_{i,\alpha }){}^{(1-x{}_i){\rm M}{}_{i,\alpha }(x)}$ (1)

其中,${\rm M}{}_{i,\alpha }(x)={\displaystyle \prod _{j\in {\rm P}{}_i}x}{}_j^{\alpha {}_j}$,且x0 j=1-xj,x${}_j^1$=xj。

定义4 由n个节点构成的贝叶斯网络图N,DN为其导出的分布类,由网络N诱导的概念类CN是指形式为sign$\left(\log \frac{{\rm P}(x)}{Q(x)}\right)$的一族函数,其中x∈{0,1}n,P(x),Q(x)∈DN。

定义5 在X域上的概念类C的d维线性排列是指存在d维向量(uf)f∈C和(vx)x∈X使得∀f∈C,x∈X∶f(x)=sign(uTfvx),在概念类C的d维线性排列中,最小的d记作E dim(C)。

如果概念类CN是由贝叶斯网络N导出的,则可以用E dim(N)替代E dim(C)。

引理1[13] 任一个概念类C满足E dim(C)≥VC dim(C)。

引理2[13,14,15] 任一个由n个节点构成的,变量在布尔域上取值的贝叶斯网络N,满足

${\displaystyle \sum _{i=1}^{n}2}{}^{m{}_i}\le \mathit{E}\dim (\mathit{{\rm N}})\le \left|{\displaystyle \underset{i=1}{\overset{n}{\cup }}2}{}^{\mathit{{\rm P}}{}_i{\displaystyle \cup \{}i\}}\right|\le 2{\displaystyle \sum _{i=1}^{n}2}{}^{m{}_i}$ (2)

2 当变量在布尔域上取值时,几个常见贝叶斯网络的维数

定理1 在布尔域上取值的n个节点构成的贝叶斯网络图Nk,结构如图1所示,则E dim(Nk)=n+k+1。

证明:由引理2知贝叶斯网络图NkE dim的下界

${\displaystyle \sum _{i=1}^{n}2}{}^{m{}_i}=1+{\displaystyle \sum _{i=2}^{k+1}2}+{\displaystyle \sum _{i=k+2}^{n}1}=n+k$ (3)

上界${\displaystyle \underset{i=1}{\overset{n}{\cup }}2}{}^{{\rm P}{}_i{\displaystyle \cup \{}i\}}={\displaystyle \underset{i=2}{\overset{k+1}{\cup }}\{}J{}_i|\subseteq \{A{}_1,A{}_i\}\}{\displaystyle \underset{i=k+2}{\overset{n}{\cup }}\{}A{}_i\}$ (4)

所以$\left|{\displaystyle \underset{i=1}{\overset{n}{\cup }}2}{}^{{\rm P}{}_i{\displaystyle \cup \{}i\}}\right|=n+k+1,n+k\le \mathit{E}\dim (\mathit{{\rm N}}{}_k)\le n+k+1(5)$

集合S:当j=1,…,n,eoj表示第j个分量为1,其余分量为0的n维向量;e11表示所有分量为1的n维向量,当i-2,…,k+1时,e1j表示第1个和第j个分量为1,其余分量为0的n维向量。则$\left|\mathit{S}\right|=n+k+1$。

$\log \frac{{\rm P}(x)}{Q(x)}x{}_1\log \frac{p{}_1}{q{}_1}+(1-x{}_1)\log \frac{1-p{}_1}{1-q{}_1}+{\displaystyle \sum _{i=2}^n{\displaystyle \sum _{\alpha \in \{0,1\}}(}}x{}_i{\rm M}{}_{i\alpha }(x)\log \frac{p{}_{i\alpha }}{q{}_{i\alpha }}+(1-x{}_i){\rm M}{}_{i\alpha }(x)\log \frac{1-p{}_{i\alpha }}{1-q{}_{i\alpha }})(6)$

当i=0,1,j=1,2,…,n,eij∈S时,令eij=(aij1,aij2,…,aijn),S的二分集合为(S-,S+)

$\text{当}m=1,2,\cdots ,n\text{时}\{\begin{array}{l}p{}_{m\alpha }^{ij}=\frac{1}{2},a{}_{ij{}_m}=1,\text{当}\mathit{e}{}_{ij}\in \mathit{S}{}^{+}\\ p{}_{m\alpha }^{ij}=2{}^{-2{}^{m-1}n}/2,\text{其}\text{他}\end{array}$

$\{\begin{array}{l}q{}_{m\alpha }^{ij}=2{}^{-2{}^{m-1}n}/2,\text{当}a{}_{ij{}_m}=1,e{}_{ij}\in \mathit{S}{}^{+}\\ q{}_{m\alpha }^{ij}=\frac{1}{2},\text{其}\text{他}\end{array}$

则$\left|\log \frac{p{}_{m\alpha }^{ij}}{q{}_{m\alpha }^{ij}}\right|=2{}^{m-1}n,\left|\log \frac{1-p{}_{m\alpha }^{ij}}{1-q{}_{m\alpha }^{ij}}\right|＜1$。若i=0,且当e0 j∈S+,J∈{1,…,n}时

$\log \frac{p(\mathit{e}{}_{0j})}{q(\mathit{e}{}_{0j})}=\log \frac{p{}_{j\alpha }^{0j}}{q{}_{j\alpha }^{0j}}+{\displaystyle \sum _{\begin{array}{l}i=1\\ i\ne j\end{array}}^n}{\displaystyle \sum _{\alpha \in (0,1)}{\rm M}}{}_{i\alpha }(x)\log \frac{1-p{}_{i\alpha }^{0j}}{1-q{}_{i\alpha }^{0j}}$ (7)

$\log \frac{p{}_{j\alpha }^{0j}}{q{}_{i\alpha }^{0j}}=2{}^{j-1}n,\left|{\displaystyle \sum _{\begin{array}{l}i=1\\ i\ne j\end{array}}^n}{\displaystyle \sum _{\alpha \in (0,1)}{\rm M}}{}_{i\alpha }(x)\log \frac{1-p{}_{i\alpha }^{0j}}{1-q{}_{i\alpha }^{0j}}\right|＜n-1,2{}^{j-1}n-(n-1)＞0$,则sign$\left(\log \frac{{\rm P}(\mathit{e}{}_{0j})}{Q(\mathit{e}{}_{0j})}\right)=1$。若i=1,j=1即e11∈S+时,$\log \frac{{\rm P}(x)}{Q(x)}={\displaystyle \sum _{i=1}^{n}2}{}^{i-1}n=n(2{}^n-1)＞0$。若i=1,j∈{2,…,k+1},e1j∈S+时

$\log \frac{{\rm P}(x)}{Q(x)}=\log \frac{p{}_1^{1j}}{q{}_1^{1j}}+\log \frac{p{}_{j1}^{1j}}{q{}_{j1}^{1j}}+{\displaystyle \sum _{\begin{array}{l}i=2\\ i\ne j\end{array}}^n}{\displaystyle \sum _{\alpha \in \{0,1\}}{\rm M}}{}_{i\alpha }(x)\log \frac{1-p{}_{i\alpha }^{1j}}{1-q{}_{i\alpha }^{1j}}(8)$

$\begin{array}{l}\log \frac{p{}_1^{1j}}{q{}_1^{1j}}=n,\log \frac{p{}_{j1}^{1j}}{q{}_{j1}^{1j}}=2{}^{j-1}n,|{\displaystyle \sum _{\begin{array}{l}i=1\\ i\ne j\end{array}}^n}{\displaystyle \sum _{\alpha \in (0,1)}{\rm M}}{}_{i\alpha }(x)\log \\ \frac{1-p{}_{i\alpha }^{1j}}{1-q{}_{i\alpha }^{1j}}|＜n-1,\text{s}\text{i}\text{g}\text{n}\left(\log \frac{{\rm P}(x)}{Q(x)}\right)=1。\end{array}$

综上所述,对任意二分集合(S-,S+),存在P(x),Q(x)使得当eij∈S+时,f(eij)=1当eij∈S-时,f(eij)=-1。由引理1知E dim(Nk)=n+k+1。

定理2 在布尔域上取值的n个节点的构成完全连接的贝叶斯网络图NF,则 VC dim(NF)=2n-1。

证明:由文献[13]中的定理17知,

$\mathit{V}\mathit{C}\dim (\mathit{{\rm N}}{}_F)\ge {\displaystyle \sum _{i=1}^{n}2}{}^{i-1}=2{}^n-1$ (9)

先证VC dim(NF)≤2n-1:

当n=2时,$\log \frac{{\rm P}(x)}{Q(x)}=x{}_1\log \frac{p{}_1}{q{}_1}+(1-x{}_1)\log \frac{1-p{}_1}{1-q{}_1}+x{}_2(1-x{}_1)\log \frac{p{}_{20}}{q{}_{20}}+(1-x{}_2)(1-x{}_1)\log \frac{1-p{}_{20}}{1-q{}_{20}}+x{}_{2}x{}_1\log \frac{p{}_{21}}{q{}_{21}}+(1-x{}_2)x{}_1\log \frac{1-p{}_{21}}{1-q{}_{21}}(10)$

当b=(1,1,1,1)时,即

$\{\begin{array}{l}\log \frac{p{}_1}{q{}_1}+\log \frac{p{}_{21}}{q{}_{21}}＞0\\ \log \frac{p{}_1}{q{}_1}+\log \frac{1-q{}_{21}}{1-q{}_{21}}＞0\\ \log \frac{1-p{}_1}{1-q{}_1}+\log \frac{p{}_{20}}{q{}_{20}}＞0\\ \log \frac{1-p{}_1}{1-q{}_1}+\log \frac{1-p{}_{20}}{1-q{}_{20}}＞0\end{array}$

(11)

由于当$\log \frac{p{}_i}{q{}_i}＞0$时,$\log \frac{1-p{}_i}{1-q{}_i}＜0$,分析可知式(11)不能同时成立,所以当然n=2时,VC dim(N′F)=22-1=3。

假设当n=k时,不存在P(x),Q(x)使得$f(s{}_i)=b{}_i,\mathit{S}=\{s{}_i|s{}_i\in \{0,1\}{}^n,i=1,\cdots ,2{}^k\},\mathit{b}=(b{}_1,b{}_2,\cdots ,b{}_{2{}^k})=(1,1,\cdots ,1)\in \{-1,1\}{}^{2{}^k}$

当n=k+1时,若存在P′(x),Q′(x)使得$\mathbf{f}({\mathbf{s}}^{\prime }{}_{\mathbf{i}})={\mathbf{b}}^{\prime }{}_{\mathbf{i}},{\mathit{S}}^{\prime }=\{s^{\prime }{}_i|s^{\prime }{}_i\in \{0,1\}{}^n,i=1,\cdots ,2{}^{k+1}\},\mathit{b}=(b^{\prime }{}_1,b^{\prime }{}_2,\cdots ,b^{\prime }{}_{2{}^{k+1}})=(1,1,\cdots ,1)\in \{-1,1\}{}^{2{}^{k+1}}$

$\log \frac{{{\rm P}}^{\prime }(x)}{Q^{\prime }(x)}={\displaystyle \sum _{i=1}^k{\displaystyle \sum _{\alpha \in \{0,1\}{}^{i-1}}x}}{}_i{\rm M}{}_{i\alpha }(x){}_i{\rm M}{}_{i\alpha }(x)\log \frac{p{}_{i\alpha }}{q{}_{i\alpha }}{\rm M}{}_{i\alpha }(x)\log \frac{1-p{}_{i\alpha }}{1-q{}_{i\alpha }}(12)$

在式(12)中,若$\log \frac{p{}_{(k+1)\alpha }}{q{}_{(k+1)\alpha }}＞0$,则$\log \frac{1-p{}_{(k+1)\alpha }}{1-q{}_{(k+1)\alpha }}＜0$,由于α′∈{0,1}k,则对任意$s{}_i\in \mathit{S},{\displaystyle \sum _{i=1}^k{\displaystyle \sum _{\alpha \in \{0,1\}{}^{i-1}}x}}{}_i{\rm M}{}_{i\alpha }(x)\log \frac{p{}_{i\alpha }}{q{}_{i\alpha }}+(1-x{}_i){\rm M}{}_{i\alpha }(x)\log \frac{1-p{}_{i\alpha }}{1-q{}_{i\alpha }}＞0$,与前面n=k时,不存在P(x),Q(x)使得f(si)=bi矛盾。

所以当n=k+1时,也不存在P′(x),Q′(x),使得f(s′i)=b′i,s′i∈S′,bi=1,i=1,…,2k+1

同样,当b=(-1,-1,…,-1)∈{-1,1}2k+1时,也不存在P′(x),Q′(x),使得f(s′i)=b′i

定理3 在布尔域上取值的n个节点构成的完全连接的贝叶斯网络图NF,则E dim(NF)=2n-1

证明:由定理2和引理1知E dim(NF)的下界为2n-1,由文献[13]的结论18知E dim(NF)的上界

${\displaystyle \underset{i=1}{\overset{n}{\cup }}2}{}^{\mathit{{\rm P}}{}_i{\displaystyle \cup \{}i\}}={\displaystyle \underset{i=1}{\overset{n}{\cup }}\{}J{}_i|J{}_i\subseteq \{A{}_1,A{}_2,\cdots ,A{}_i\}\}=\{J|J\subseteq \{A{}_1,A{}_2,\cdots ,A{}_n\}\}(13)$

$\left|{\displaystyle \underset{i=1}{\overset{n}{\cup }}2}{}^{\mathit{{\rm P}}{}_i{\displaystyle \cup \{}i\}}\right|=2{}^n$,即2n-1≤E dim(NF)≤2n

现在证明存在uf,vx∈R2n-1,使得对任意f∈C,x∈X∶f(x)=sign$(u{}_{f}v{}_x),\mathit{S}=\{x{}_1,x{}_2,\cdots ,x{}_{2{}^n}\},\left|\mathit{S}\right|=2{}^n,x{}_i\in \{0,1\}{}^n,x{}_1\to \mathit{e}{}_1,x{}_2\to \mathit{e}{}_2,\cdots ,x{}_{2{}^n-1}\to \mathit{e}{}_{2{}^n-1},x{}_{2{}^n}\to \mathit{e}{}_{2{}^n}$令vx∈{e1,e2,…,e2n},

当i=1,…,2n-1时,ei表示第i个分量为1,其余分量为0的2n-1维向量,e2n表示所有分量均为-1的2n-1维向量,可令$\mathit{u}{}_f^{\text{Τ}}=\left\{\log \frac{{\rm P}(x{}_1)}{Q(x{}_1)},\log \frac{{\rm P}(x{}_2)}{Q(x{}_2)},\cdots ,\log \frac{{\rm P}(x{}_{2{}^n-1})}{Q(x{}_{2{}^n-1})}\right\}$,则对任意f∈C/{f2n},有f(x)=sign(uTfvx),由定理2的证明知,不存在P(x),Q(x)使得对所有xi∈S,i=1,…,2n,sign$\left(\log -\frac{{\rm P}(x{}_i)}{Q(x{}_i)}\right)=-1$或sign$\left(\log \frac{{\rm P}(x{}_i)}{Q(x{}_i)}\right)=1$,即若f(x2n)=1,则存在i∈{1,…,2n-1},使得$\log \frac{{\rm P}(x{}_i)}{Q(x{}_i)}＜0$,即sign$\left(\log \frac{{\rm P}(x{}_i)}{Q(x{}_i)}\right)=-1$则存在P(x),Q(x)使得uTfvx2n=uTfe2n>0,即f(x2n)=sign(uTfvx)

同理可证,f(x2n)=-1时结论成立。

由以上证明可知∃uTf,vx∈R2n-1,使得f(x)=sign(uTfvx),则E dim(NF)=2n-1。

3 结束语

基于利他的贝叶斯均衡研究 篇8

基于Marco G和Morgan J于2008年提出非合作博弈轻微利他理论[10],王能发[11]在企业成本信息完全公开且成本相同的条件下,引入利他因子0<ε<1,推广至n个企业的利他博弈,并且分析了随着利他因子的变化,总产量和总利润的变化规律,为实际竞争中打破垄断提供了最优策略。

本文推广张维迎[7]的结论,分析对手成本信息不完全公开下的古诺-纳什模型,比较成本信息完全公开与否对两个企业最优均衡产量的影响。并引入利他因子0<ε<1,讨论两个企业在成本信息不完全公开竞争中实现利他(期望)利润最优化的贝叶斯利他均衡产量,分析了利他因子对两个企业贝叶斯利他均衡产量的影响。

一、成本信息不完全公开的古诺模型

企业1的成本c1为公共信息,企业2的成本c2是两点分布的随机变量,c2以概率p21取到低成本c2L,以概率p22取到高成本c2H。其中p21+p22=1,p21cL2+p22c2H=Ec2。

企业1和企业2的利润函数:

假设1:π1(q1,q2),π2(q1,q2)分别为企业1和企业2的利润函数;

假设2:产品价格p=a-q1-q2,其中a为常数且a>c1,a>c2。

企业2的利润函数极值条件为:

企业2的反应函数:

由于企业1不知道企业2的使用成本,所以考虑企业1的期望利润函数:

企业1的期望利润函数的极值条件为:

企业1的反应函数:

联立(1)式,解得:

(q1*,q2*)即为两个企业在成本信息不完全公开下的贝叶斯均衡产量。

定理1设企业1在成本信息完全公开下的纳什均衡产量为q1*L和q1*H,有q1*L<q1*<q1*H,企业2在成本信息完全公开下的纳什均衡产量为q2*L和q2*H,有q2*H<q2*<q2*L。

证明:若企业2公开成本为c2=c2L,得到企业1的纳什均衡产量:

若企业2公开成本为c2=c2H,得到企业1的纳什均衡产量:

由于c2L<Ec2<c2H,所以

同理可证,对企业2有q2*H<q2*<q2*L。证毕。

结论:若企业2公开成本为c2=c2L,则企业1的纳什均衡产量低于贝叶斯均衡产量,企业2作出相应反应;若企业2公开成本为c2=c2H,则企业1的纳什均衡产量高于贝叶斯均衡产量,企业2作出相应反应。

定理2设企业1在成本信息完全公开下的最优期望利润为Eπ1*L(q1*L,q2*L)和Eπ1*H(q1*H,q2*H),在成本信息不完全公开下的最优期望利润为Eπ1*(q1*,q2*),有Eπ1*L(q1*L,q2*L)<Eπ1*(q1*,q2*)<Eπ1*H(q1*H,q2*H);企业2在成本信息完全公开下的最优利润为π2*L(q1*L,q2*L)和π2*H(q1*H,q2*H),在成本信息不完全公开下的最优利润为π2*(q1*,q2*),有π2*H(q1*H,q2*H)<π2*(q1*,q2*)<π2*L(q1*L,q2*L)。

证明:设企业1在成本信息不完全公开下的最优期望利润为Eπ1*(q1*,q2*),有Eπ1*(q1*,q2*)=(q1*)2

根据定理1,有q1*L<q1*<q1*H,则

同理可证,对企业2有π2*H(q1*H,q2*H)<π2*(q1*,q2*)<π2*L(q1*L,q2*L)。证毕。

结论:两个企业在成本信息不完全公开下的最优(期望)利润介于成本信息完全公开下的两个最优(期望)利润之间。

二、成本信息不完全公开下,考虑利他的古诺模型

在成本信息不完全公开的古诺模型里,引入利他因子0<ε<1。建立企业1和企业2的利他函数:

假设1:π1ε(q1,q2),π2ε(q1,q2)分别为企业1和企业2的利他函数;

假设2:产品价格p=a-q1-q2,其中a>0,a均为常数;

假设3:ε为利他因子,0<ε<1。

企业2的利他函数极值条件为:

企业2的反应函数:

由于企业1不知道企业2的使用成本,所以考虑企业1的利他函数期望:

企业1利他函数期望的极值条件为:

企业1的反应函数:

联立(2)式,解得:

(q*1ε,q*2ε)即为两个企业在成本信息不完全公开下考虑了利他的贝叶斯利他均衡产量。

定理3设企业1在成本信息完全公开下的纳什利他均衡产量为q1ε*L和q1ε*H,有q1ε*L<q*1ε<q1ε*H,企业2在成本信息完全公开下的纳什利他均衡产量为q2ε*L和q2ε*H,有q2ε*H<q*2ε<q2ε*L。

若企业2公开成本为c2=c2L,得到企业1纳什利他均衡产量:

若企业2公开成本为c2=c2H,得到企业1纳什利他均衡产量:

同理可证,对企业2有q2ε*H<q*2ε<q2ε*L。证毕。

结论:若企业2公开成本为c2=c2L,则企业1的纳什利他均衡产量低于贝叶斯利他均衡产量,企业2作出相应反应;若企业2公开成本为c2=c2H,则企业1的纳什利他均衡产量高于贝叶斯利他均衡产量,企业2作出相应反应。此结论与成本信息不完全公开的古诺模型结论一致。企业2成本信息不完全公开时,企业1采用的最优贝叶斯(利他)均衡产量介于企业2公开成本时的两个纳什(利他)均衡产量之间,企业2作出相应反应。

图2企业2的纳什利他均衡产量和贝叶斯均衡利他产量比较

考虑下列情形的数值模拟。

设a=2,c1=1,c2L=0.6,c2H=0.9,p21=0.5,p22=0.5,此时,Ec2=p21c2L+p22c2H<c1。取0<ε<0.7,做出企业1纳什利他均衡产量和贝叶斯利他均衡产量的比较图图1及企业2纳什利他均衡产量和贝叶斯利他均衡产量的比较图图2。由图1、图2观察到,无论企业2成本信息是否完全公开,企业1的均衡产量均随着利他因子的增大而减小。企业2的均衡利他产量随着利他因子的增大而增大,说明当企业2的成本具有明显优势时,企业2更倾向于利他。

定理4当0<ε<1时,两个企业的贝叶斯利他均衡总产量为Qε*(ε),满足Qε*(1)<Qε*(ε)<Qε*(0)。

证明:当0<ε<1时,两个企业的贝叶斯利他均衡总产量为Qε*(ε),有:

因为c1<a,c2<a,Ec2<a,所以:

因此Qε*单调递减。又

即Qε*(1)<Qε*(ε)<Qε*(0)。证毕。

结论:此结论具有一般性,无论企业2成本信息是否完全公开,两个企业的利他均衡总产量随着利他因子ε的增大而减少。

三、结束语

面对成本信息不完全公开的竞争,企业1的贝叶斯均衡产量介于成本信息完全公开时的两个纳什均衡产量之间,企业2相应作出反应,这一特征,在考虑了相同利他因子的情况下仍然成立。成本信息不完全公开下的最优期望利润,可能会比成本信息完全公开下的最优期望利润小,但是不失为化被动为主动的最优竞争策略。而两个企业总产量随着利他因子的增加而减少,这为企业在成本信息不完全公开下的反垄断提供决策参考。结论推广到n个企业成本信息不完全公开的竞争是否成立,或一般化为企业间的差异利他,结论会怎样改变,有待进一步论证。

摘要：本文比较了成本信息公开与否对两个企业均衡产量的影响,在成本信息不完全公开的情况下,引入利他因子0<ε<1,建立企业在成本信息不完全公开下的利他函数,讨论了两个企业在成本信息不完全公开下的贝叶斯利他均衡产量。

贝叶斯推理 篇9

收稿日期： 20131119

基金项目： 黑龙江省科技厅自然科学基金项目(F201108)

摘要： 研究了主元分析与贝叶斯决策相结合的人脸识别方法。利用主元分析提取人脸图像训练集的特征子空间,将训练图像和测试图像投影到该子空间,提取特征向量及计算统计特性,利用最小错误率贝叶斯决策规则对测试图像进行分类,从而实现人脸识别。大量实验表明:主元分析能将人脸图像的特征信息有效地映射在特征子空间,同时采用贝叶斯决策规则能够快速准确地对人脸图像进行分类。

关键词： 主元分析; 贝叶斯决策; 人脸识别

中图分类号： TP 391.4文献标志码： Adoi： 10.3969/j.issn.10055630.2014.02.007

Research on face recognition methods based on

principal component analysis and Bayesian decision

QUAN Xinghui, MU Haiwei, L Xiuli, ZHANG Hua

(College of Electronic Science, Northeast Petroleum University, Daqing 163318, China)

Abstract： A method for face recognition based on principal component analysis(PCA)and Bayesian decision is described. Extracting feature subspace of face image training sets using PCA, the training images and test images are projected in the subspace, the eigenvectors are extracted and the statistical properties are calculated,adopt Bayesian decision based on minimum error rate to realize face recognition. Experimental results show that PCA is well in the subspace of face images to extract feature information, by Bayesian decision can quickly and accurately classify the face images.

Key words： principle component analysis; Bayesian decision; face recognition

引言人脸识别技术是模式识别和人工智能领域的一个热门课题,它覆盖了图像处理、模式识别、人工神经网络、生理学及心理学等许多学科的内容,具有非常广泛的应用前景［12］。通常人脸识别系统包括人脸检测、人脸预处理、人脸特征提取和人脸识别等主要步骤。本文提出了一种主元分析结合最小错误率贝叶斯决策实现人脸分类识别的算法。1主元分析原理及人脸特征子空间提取基于主元分析(principle component analysis,PCA)的人脸特征提取方法是建立在KL变换基础上的。因为人脸结构的存在,当把这样的人脸图像归一化之后,这些图像在这个高维空间中不是随机、散乱地分布而是存在特定的规律。因此,通过KL变换用一个低维子空间描述人脸图像,同时又可以提取所需要的识别信息。

1.1主元分析原理对于一幅人脸图像,用f(x,y)来表示,这里x和y指空间中的坐标。实际在计算机的应用中,人脸图像f(x,y)在空间坐标和灰度上都己经被离散化了,因此可以用一个矩阵来表示一幅人脸图像,矩阵中的每一个元素对应图像中的一个像素点,而矩阵中的相应元素的值对应该点的灰度等级。选择人脸库中每个人一定数量的图像构成训练集,其余形成测试集,用于测试系统性能。一幅N×N的图像按列相连可构成一个N2维列向量,通过主元分析方法用一个低维子空间来表示原始图像［3］。设训练集中有M幅大小为N×N的人脸图像,将每幅图像看作是长度为N2的列向量,记作［x1 x2…xM ］。用μ表示M幅人脸图像的平均向量:μ=1M∑Mi=1xi(1)求出每一幅图像与平均向量的差异,把差异运用KL变换,用训练集的协方差矩阵作为产生矩阵,即S=1M∑Mi=1xi－μxi－μT=1MQQT(2)光学仪器第36卷

第2期全星慧，等：基于PCA与贝叶斯决策的人脸识别算法

其中:Q=［x1－μ,x2－μ,…,xM－μ］(3)1.2基于KL变换的人脸特征子空间提取KL展开是图像压缩的一种最优正交变换。人们将其应用于特征提取,形成了利用子空间投影进行模式识别的基础。为了求N2×N2维矩阵的特征值和正交归一的特征矢量,直接计算几乎是不可能的，为此引出奇异值分解定理(SVD)［4］:设秩为r、大小为n×r的矩阵X,存在两个正交矩阵:U=［u0,u1,…,ur－1］∈pn×rUTU=1(4)

V=［v0,v1,…,vr－1］∈pr×rVTV=1(5)以及对角阵:Λ=diag［λ0,λ1,…,λr－1］∈pr×r且λ0≥λ1≥…λr－1(6)满足X=UΛ1/2VT(7)其中,pn×r、pr×r分别表示矩阵的大小为n×r,r×r,λi(i=0,1,…,r－1)为矩阵XXT和XTX的非零特征值,ui和vi分别为XXT和XTX对应于λi的特征矢量。推论U=XVΛ1/2(8)故由式(2)构造矩阵R=QTQ∈pM×M(9)容易求出其特征值λi及相应的正交归一特征矢量vi(i=0,1,…,M-1)。因而S的正交归一特征矢量由推论可得ui=1λiQvii=0,1,…,M-1(10)经KL变换可以得到一组由大到小特征值λi对应的特征向量ui,称之为“特征脸”。有了这样一个由“特征脸”组成的降维子空间,任何一幅人脸图像都可以向其做投影并获得一组坐标系数,这组系数表明了该图像在子空间中的位置,从而可以作为人脸识别的依据。2贝叶斯决策理论及人脸分类识别

2.1贝叶斯决策理论及规则贝叶斯决策理论是统计模式识别中的一个基本方法［5］。已知总共有c类物体,讨论在下列条件下对某一样本按其特征向量x分类的问题［6］:(1)各类别ωi=1,2,…,c的先验概率P(ωi)及类条件概率密度函数p(xωi)已知。(2)类别数一定。贝叶斯公式为P(ωix)=p(xωi)P(ωi)p(x)=p(xωi)P(ωi)∑ci=1p(xωi)P(ωi)(11)最有代表性的决策规则分别为基于最小错误率的判决准则和基于最小风险的判决准则。本文采用基于最小错误率的判决准则,即若P(ωix)=maxj=1,2,…,cP(ωjx),则x∈ωi(12)2.2训练样本特征统计利用贝叶斯决策进行分类,首先需要求取各类样本的统计特性,即通过对各类训练样本在特征空间上的投影,得到每一个样本的特征向量,并对各类训练样本的特征向量分别求均值和协方差矩阵。

nlc202309040401

2.3测试样本特征提取及分类识别对测试图像在特征空间进行投影,得到特征向量。利用测试样本的特征向量及各类训练样本的特征向量均值和协方差矩阵,分别计算各类的类条件概率密度及先验概率,从而可以计算得到测试样本的各类后验概率,根据最小错误率的贝叶斯决策规则,后验概率较大者,即为测试样本归属类别,从而给出分类识别结果。3实验分析本文采用ORL人脸数据库,该数据库包含40位人脸图像数据,每人10幅，共400幅图像组成［7］。每幅图像的分辨率为112×92,灰度级256。这些图像面部表情、面部遮掩物、时间、光照等各不相同。本文任选库中4人,各任意选取5张图像作训练样本,这4人的训练图像如图1所示。将训练样本进行主元分析,提取特征子空间,同时将各类训练样本投影到子空间得到相应的特征向量,对各类训练样本的特征向量求均值和协方差矩阵,并计算各类的先验概率及类条件概率密度。

图1读取的人脸训练样本

Fig.1The face training samples

图2测试样本

Fig.2The test sample

表1测试样本所对应的后验概率

Tab.1Posterior probability of the test samples

第一类第二类第三类第四类4.809 4×10-222.625 9×10-246.909×10-224.098 4×10-20

在第四类人脸图像中,任选测试样本以外的一张图像作为测试样本,其测试样本如图2所示。将测试样本投影到特征子空间得到相应的特征向量,利用式(11)计算测试样本的后验概率分布如表1所示。最后根据基于最小错误率的贝叶斯决策规则得出测试样本属于第四类。实验比较了不同数目的训练样本下,该人脸识别算法的识别率。从ORL人脸库中随机选取4,5,6,7,8幅图像作训练样本,剩余图像用作测试样本,对不同数目的训练样本各重复实验10次,识别率都在97%以上。4结论本方法结合主元分析提取人脸特征及贝叶斯决策实现分类识别。主元分析能有效地提取原始人脸图像特征,而不依赖于面部表情,光照等因素,不仅降低了运算量而且保证了特性的稳定性,而使用基于最小错误率的贝叶斯决策规则进行分类,算法不仅简单实用而且大大提高了识别的速度。通过实验表明,本文提出的算法识别的准确率比较高。参考文献：

［1］刘艳丽,赵跃龙.人脸识别技术研究进展［J］.计算机工程,2005,31(3):1011.

［2］朱树先,张仁杰,郑刚.基于RBF神经网络的人脸识别［J］.光学仪器,2008,30(2):3133.

［3］全星慧,于丽,计春悦.基于主元分析的人脸识别方法研究［J］.科学技术与工程,2010,10(24):60636065.

［4］陈元春.基于矩阵主成分分析的人脸识别方法研究［D］.武汉:武汉理工大学,2012:2642.

［5］边肇祺,张学工.模式识别［M］.北京:清华大学出版社,2000:721.

［6］LI Z F,TANG X O.Using support vector machines to enhance the performance of Bayesian face recognition［J］.IEEE Transactions on Information Forensics and Security,2007,2(2):174180.

［7］曾岳,冯大政,付达杰.最小风险贝叶斯决策的二值化人脸识别算法［J］.计算机工程与设计,2011,32(10):3511

基于贝叶斯网络的信息检索模型 篇10

(一) 推理网络模型

推理网络模型采用的是信息检索认识论的观点[4]。该模型中文档节点用dj表示, 术语节点用ki表示, 查询节点用q表示。文档节点、术语节点、查询节点均与用相同符号表示的二进制随机变量相关。U={k 1, k 2, ..., k t}表示t维的向量空间, 变量k1, k 2, ..., kt为U定义了2t种状态, u表示其中一种状态。

根据查询q对文档dj进行排序, 其结果可以用来度量dj的观测值为查询q提供了多少证据支持。在推理网络中, 文献dj的排序可用P (q|d j) 来计算[2], 其计算方法如下:

其中α是一个常数因子, 因为没有对任何文档给出特定的先验概率, 所以一般采用一个统一的先验概率分布, 在有关推理网络的早期著作[1,5]中, 规定观测一篇文档dj的先验概率为, N为系统中的文献总数, 因而:

利用基本条件及贝叶斯定理, 公式 (1) 可变为下式:

具体定义方法参考文献[4]。

(二) 信念网络模型

信念网络模型也是基于概率认识论描述的, 但是这种模型采用的是一个明确定义的样本空间, 因而产生了一种不同于推理网络的网络拓扑, 即将网络中的文档和查询分离开来。

在信念网络中, 术语集合U={k 1, k 2, ..., k t}是一个论域 (discourse) , 同时为信念网络模型定义了样本空间。u⊂U是U的一个子集, 且g i (u) =1⇔ki∈u。每个索引术语被看作是一个基本概念, 因此U被看作是一个概念空间, 概念u是U的子集。文档和用户查询用概念空间U中的概念表示。

定义在样本空间U上的概率分布P如下所示, c是空间U中的一个概念, 表示一篇文档或一个用户查询:

公式 (5) 将p (c) 定义为空间U中c的覆盖度 (degree of coverage) , 公式 (5) 表示概念空间中的所有概念均是等概率发生的。

与给定查询q相关的文档dj的排序被理解为一种概念匹配关系, 它反映了概念q提供给概念dj的覆盖度。因此在信念网络中用p (dj|q) 计算文档dj关于查询q的排序。根据条件概率、公式 (5) 及贝叶斯定理可得:

其中η为规范化因子, 对概率P (d j|u) , P (q|u) 的不同定义可使信念网络检索模型包括由各种经典信息检索模型 (布尔模型、矢量模型、概率模型) 产生的排序策略。具体定义方法参考文献[2]。本文提出的扩展模型就是以基本信念网络模型为框架的。

(三) 简单贝叶斯网络检索模型

简单贝叶斯网络检索模型中的变量由两个不同的集合组成, V=T∪D:集合T={T1, T2, ..., TM}, 集合D={D1, ..., DN}, T和D中的变量均是二值的。变量Dj取值集合为, 其中和dj分别表示在给定查询下文档Dj不相关和相关。变量Ti取值集合为, 其中分别表示术语不相关和相关。

网络拓扑结构的建立基于以下三个假设:

1. 如果术语Ti属于文档Dj, 则术语节点Ti和文档节点Dj之间有弧。这反映了文档和其索引术语之间的依赖关系;

2. 文档节点之间没有弧, 也就是说文档节点之间的关系只是通过索引它们的术语表示出来;

3. 已知文档Dj中索引术语是否相关的情况下, 文档Dj和其它任何文档Dk是条件独立的, 也就是说文档Dj是否相关只受索引它的术语的影响, 而不受其它文档的影响。在网络中表现为弧的指向是由术语节点指向文档节点。

由这三个假设最终确定网络的拓扑结构。网络包括两个子网:术语子网和文档子网, 弧是由第一个子网中的节点指向第二个子网中的节点。该模型与推理网络模型和信念网络模型最大的区别是在网络中没有包含查询节点, 也就是说该模型是查询独立的, 查询只是作为证据在网络中传播。

BNR模型各类节点中存储的条件概率计算如下:

(2) 对于文档节点需要估计条件概率分布p (dj|π (Dj) ) , 其中π (Dj) 是Dj的父节点集Π (D j) 取值后的任意一种组合。因为文档节点可能有大量的父节点, 所以需要估计和存储的条件概率的数目是很巨大的。因此, 简单贝叶斯网络检索模型采用了专门的正则模型来表示条件概率:

其中R (π (Dj) ) 是π (Dj) 中相关术语的集合, 权重wij满足wij≥0且。这样在π (Dj) 中的相关术语越多, Dj的相关概率越大。

简单贝叶斯网络中节点的数目通常比较大, 节点之间的连接也是多路经的, 每个节点也可能包含大量的父节点, 所以考虑到检索的效率问题, 一般的推理算法是不能使用的。因此, 简单贝叶斯网络检索模型设计了特殊的推理过程可以非常有效地计算需要的概率, 并且证明了得到的结果和在整个网络中实施精确推理得到的结果是一样的:

根据术语子网的拓扑结构, 则当Ti∈Q时p (ti|Q) =1, 当Ti∉Q时p (ti|Q) =1/M, 这时公式 (8) 可改写为:

权重wij有多种计算方法, 可参考有关文献。

参考文献

[1]Howard Robert Turtle, W.Bruce Croft.Inference networks for document retrieval.Proceedings of the13th ACM-SIGIR Conference, 1990:1-24.

[2]Berthier Ribeiro-Neto, Richard Muntz.A belief network model for IR.Proceedings of the19th ACM-SIGIR Conference, 1996:253-260.

[3]Ricardo Baeza-Yates, Berthier Ribeiro-Neto.现代信息检索.北京:机械工业出版, 2005:24-42.

[4]Howard Robert Turtle, W.Bruce Croft.Evaluation of an inference network-based retrieval model.ACM Transactions on information systems, 1991, 9 (3) :187-222.