算法及算法评价（共12篇）
算法及算法评价 篇1
自动问答系统是目前自然语言处理领域一个非常热门的问题,它既能够让用户用自然语言提问,通过语义理解,又能够为用户返回一个简洁、准确的答案,而不是一些相关的网页,让用户人工从大量的文档中搜寻自己需要的答案。因此,自动问答系统和传统的依靠关键字匹配的搜索引擎相比,能够更好地便、快捷、高效等特点,有广阔的应用价值。问答系统主要包括问题分析、信息检索和答案抽取三个模块。其中答案抽取的优劣直接影响着整个问答系统的性能,本文所要研究的重点就是答案抽取模块实现过程中所采用的一些策略[1]。
目前研究句子相似度的方法,主要方法有有向量空间模型(Vector Space Model,VSM),编辑距离计算语义相似度,基于树核算法的句法分析树等[2]。以上方法可概括为三类:基于词形的句子相似度计算,基于词义特征的句子相似度计算以及基于句法分析特征的句子相似度计算。同时,这三类方法也反映出了句子的三个重要特征:词形特征、词义特征以及句法特征。但是,这三类方法也都存在着自身的缺点,比如:基于词特征的方法同义词以及一词多义情况计算效果不太好,因为这种方法只考虑了词语在上下文中的统计信息,而没有考虑词语蕴含的语义信息[3]。词义特征的方法由于词典的不全面和一些未登录词的语义代码的缺失,也给计算带来了一定的误差;而句法分析的方法由于算法的正确性与句法分析技术的正确率耦合性太强,而现在句法分析的技术还有待完善,从而导致该种方法的准确率难以提高,使得方法实用性不强,因此考虑到将其特征信息进行综合,力求从多方面更完整的刻画一个句子,更加全面、准确地衡量句子之间的相似度,并抽取出符合用户要求的答案。
1 基于不同句子特征和相似度计算方法
1.1 向量空间模型的词形相似度计算
向量空间模型(Vector Space Model,VSM)由Salton等人于20世纪60年代末提出,并成功应用于著名的SMART系统。在VSM中,每一篇文档都被表示为一个t维空间内的向量,其中t为系统中索引词的总数。如果用Wi,j表示第i个索引词在答案文档aj中的权重.
那么答案文档的向量为:aj=(W1,j,W2,j,⋯,Wt,j),查询的向量为qk=(W1,k,W2,k,⋯,Wt,k)。将文档和查询都表示成t维空间的向量之后,可以用它们在t维空间中的距离,即夹角的余弦,来量化文档向量的相似度,从而得到词形特征上的相似度:
目前主要是通过统计方法来获得权重,被广泛使用的权重公式是:
式中:TFk,j(Term Frequency)表示索引词Wk在文档aj中出现的频率;而IDFk(Inverse Document Frequency)表示索引词Wk的反比文档频率,即包含索引词的文档个数[4]。
1.2 基于编辑距离计算的语义相似度计算
这种方法的思想是通过计算句子的词语语义相似度从而得到句子的相似度[5]。句子词语的相似度通过计算词语对应的概念在概念层次体系结构中的距离得到的,概念间的距离又由概念的上下位、同义和反义关系得到。
基于语义信息的方法需要依赖于比较完备的大型语义词典,这些词典是按照概念间层次关系组织的。在英文方面,常用的有代表性的语义词典有word Net等;汉语方面有《知网》、(How Net)、《同义词词林》等。本文中把词义距离定义为两个词对应的义元在义元树中的最短距离。因此首先采用了词义消歧,然后进行词义距离的计算[6]。假设有两个词语W1,W2,先计算这两个词语之间的语义距离,在《同义词词林扩展版》中查到它们的语义编码,然后利用如下的公式计算它们的语义距离:
式中:n为语义代码开始不用于第n层,例如“苹果”在《同义词词林扩展版》中的语义代码为Bh07A14,词语“香蕉”的语义代码为Bh07A34,Dist(苹果,香蕉)=2;
两个词语的相似度:
设2个句子A和B,A包含的词为A1,A2,…,Am,B包含的词为B1,B2,…,Bn,则词Ai(1≤i≤m)和Bj(1≤j≤n)之间的相似度可用s(Ai,Bj)来表示,这样就得到两个句子的相似度:
1.3 基于浅层语义树核的句法相似度计算
树核算法[7]是对两个句子的结构相似程度的判定,本文在利用stanford句法分析器将句子分析为树状结构以后,利用树核算法处理两个句子的树状结构,从而计算出两个句子句法结构之间的相似度。
比较两个树状结构时,可将树T表示成全部子树类型的向量形式:
式中:hi(T)是第i个子树类型在T中出现的次数。将树表示成向量形式后,树T1和树T1之间的相似度可以用两个向量h1(T)和h2(T)之间的点积来计算[8]。一般为了降低算法复杂度,用Kernel核函数隐含地计算向量的点积:
式中:NT1和NT2是T1,T2中的节点集合;而Δ(n1,n2)是以节点n1和n2为根的公共子树数量[9]。
1.4 综合特征相似度计算
经过以上介绍,两个句子的多特征相似度算法有三个重要的参数即句子间的词形,语义,以及句法结构的相似度以后,对不同特征的相似度用加权的方法进行综合。遗传算法权重优化,是为了能选择一组可能的参数组合{a,b,c},使得答案抽取的评价指标得到优化。遗传算法求权重避免了主观经验确定参数的不可靠性,通过数学模型和人工智能的方式训练数据调整权重参数使自适应函数结果最优。
2 利用遗传算法对综合特征相似度算法中的参数进行优化
1975年,美国密歇根大学的计算机科学教授John.H.Holland和他的同事与学生提出了具有开创意义的遗传算法理论和方法。它使用了群体搜索技术,将种群代表一组问题解,通过对当前种群施加选择(初始化、选择、杂交和突然变异4个遗传操作,从而产生新一代的种群,并逐步使种群进化到包含近似最优解的状态[10]。
遗传算法可以形式化描述为:
式中:N为种群规模;Xini(X1,X2,⋯,XN)为初始种群,Xi(1≤i≤N)为种群个体,是经过二进制或实数编码的串;SΩ,ΘΩ,ΔΩ为遗传算法的选择操作,交叉操作,和变异操作,通过选择交叉和变异算子,可以从初始种群出发到达期望的目标种群,τ为终止条件。
(1)编码和初始化种群。初始化种群Xini中三个参数的取值在[0,1],因此选择实数编码,每个权重用3位数编码表示,取值范围[0,999],如果要保证权值之和为1,可用以下公式变换成归一化权值:
先根据专家评分获得一组适当的经验值,经过迭代选优,选出最优的值。
(2)选择算子。简单的遗传算法采用轮盘赌方式选择交配组,即适应度函数与平均适应度的比例来确定个体复制比例,为了加快遗传进化速度,增强算法全局收敛性能,本文用改进的类似精英选择的方法选择算子。
算法描述如下:
(3)交叉算子。采用单点多点交叉,在随机选择父本和母本以后,产生的个体中,挑选出最优的两个个体加入新的种群中。
(4)变异算子。采用一种可变变异概率的方法,这一方法的算法描述为:
这样就使得种群中好的基因不被破坏,有利于不良基因的去除。
(5)适应度函数。适应度函数是判断个体优劣的目标函数,适应度函数的定义如下:
适应度函数引入F值均值指标归一化平衡反映召回率和准确率,F值定义为[11]:
3 实验结果和分析
测试集的选用哈尔滨工业大学问答集合中来自非相关领域的50条问句作为初始数据集T。s为T中的问句,s∈T。依次选取T中的s作为百度的索引项,利用HT-ML Parser软件包对查询返回的网页P进行标签分析[11],提取出P中的前10个标题作为数据集TS,s′为TS中的一条句子,s′∈T。实验采集TS数据集共500条句子,对s与相应数据集TS中的S进行相似度计算。
评价方法如下:
precision(查准率)定义为:
含有正确候选句的个数抽取出的候选句总数recall(查全率)定义为:
含有正确答案候选句个数文档中正确候选句总数
式中:R1为数据集中人工判定的相似句子对集合;R2为相似度算法判定的相似句子对集合。表1中列出了本文的方法和传统的三种句子相似度计算方法计算句子相似度查准率,查全率和F均值的对比结果。
通过实验对比这3种方法,发现在所测试的语料库中,关键词的词形相似度有较好的效果,因为选择的语料库是选自不同领域,本身同义词的出现概率不高,然而由于句子分析的一系列技术还不是很成熟,针对句子分析的相似度计算效果不是很理想,带来误差。从表1中可以看出经过遗传算法对权重的优化,综合答案抽取的相似度算法对评价指标有了一定的提高,尤其是对于F值,并好于其他三种方法。因为各种类型的语料特点不同,三种方法也各有不同的侧重,综合加权的方法是一种较为全面、效果较好的算法。适用于相同和不同领域的测试集,表现最佳。
4 结语
本文讨论了一种基于遗传算法的多特征答案抽取评价方法。答案抽取的过程中,综合了空间向量模型,基于编辑距离计算以及句法分析树三种算法,应用遗传算法空间搜索全局最优解的优势,对取权值进行优化,以达到评价指标最优的效果[12]。实验中证实了这一结果,下一步应针对不同的领域,如限定域,开放域和常用提问集FAQ[13]的问答系统中进一步验证这一结论。
算法及算法评价 篇2
基于DHGF算法的建筑火灾风险评价
将改进的Delphi 法、层次分析法、灰色关联法、模糊评判法运用在建筑火灾安全系统评价的不同阶段,依据灰色理论和模糊数学,提出了一种从定性到定量转换的`综成算法,即DHGF算法,在介绍该方法基本原理和评价流程的基础上,运用实例阐述了它在建筑火灾风险评价中的具体应用.
作 者：贾玉莲 王凤英 JIA Yu-lian WANG Feng-ying 作者单位：中北大学化工与环境学院,太原,030051刊 名：安全与环境工程英文刊名：SAFETY AND ENVIRONMENTAL ENGINEERING年，卷(期)：16(6)分类号：X928.7 X972.4关键词：建筑火灾 风险评价 DHGF算法 灰色理论 模糊数学
算法及算法评价 篇3
关键词：学生成绩评价；教学管理；聚类算法；k-means
中图分类号：G434 文献标志码：A 文章编号：1673-8454（2014）13-0075-04
一、引言
在学校教育中，考试与教学不可分割，考试成绩扮演着检验学生学习情况和状态的重要角色。因此，成绩评价对于检测和监控教育质量、引导教师的教学行为，督促学生积极努力地学习是非常有必要的。现在，学校里拥有各种系统和各类数据库，积累了大量的学生成绩数据，但是由于工作人员缺乏相关挖掘知识和技术，只能通过Excel工具的简单统计获得少量信息，隐藏在这些大量数据中的信息不能得到应用。因此，如何利用学生前期的考试成绩数据进行统计分析对提高学生的知识水平有着至关重要的意义。面对这一挑战，数据挖掘技术应运而生，并逐渐显示出了强大的生命力，[1]作为数据挖掘的重要算法，k-means算法是一种硬聚类方法，即在n维的欧几里得空间把n个样本数据分成k类。[2]由于k-means聚类算法对噪声和孤立点敏感以及对处理大数据集非常有效的特点，[3]本文将k-means算法应用于成绩分析，从而全面地分析学生考试结果。
本文所引用的文献一阐述了成绩管理的作用、现状以及现有成绩管理的不足，并说明了决策树算法及粗糙集理论在成绩管理中的作用；文献二介绍了k-means聚类算法，并在此基础上提出了一种改进的遗传k-means聚类算法；文献三在分析k-means聚类算法优缺点的基础上进行改进，并通过实验比较了改进算法与原算法的优劣；文献四介绍了典型的数据预处理技术，实现了一种基于日志请求的参考文件的启发式会话识别算法。
论文利用k-means聚类算法对学生的成绩进行评价、统计和分析，从而确定学生的学业成绩在一个群体中所处的相对位置，为提高学生的成绩做准备，为教学工作提供反馈信息，并采取针对性的补救措施，从而进一步提高学校的教学质量。
二、基于聚类算法的成绩评价方案
1.总体设计方案
本论文将按图1所示，设计总体方案。同时论文将选用所在学院的成绩数据库，成绩数据库中包括了学生所有课程的考试成绩。
第一步，数据采集，为了保证数据的完整性和准确性，首先必须做好原始数据的选择和整理工作，本文选取学院某个年级的学生在某一学期的课程成绩。
第二步，数据预处理，数据预处理是一个逐步深入、由表及里的过程，经过数据审查、数据清理、数据转换和数据验证四大步骤对数据进行预处理，解决数据冲突和数据不一致等问题，最终形成一份学生成绩表。[4]
第三步，执行聚类算法在确定挖掘任务后，通过编写k-means聚类算法在matlab程序代码，实现k-means在学生成绩分析上的处理。
第四步，聚类结果评价，对聚类结果所发现的信息进行解释和评价。采用k-means聚类算法后，在学生成绩评价中，每一个类就是一个成绩群，不同的类相应地对各个成绩群进行了划分，也相应地给出了不同成绩群的中心成绩，这些中心成绩就是学生成绩划分参考标准之一。
第五步，提出针对策略，将挖掘出来的信息提供给教学决策者，调整教学策略，进一步指导教学工作，提高学生成绩。
2.基于k-means的算法设计原理
图2给出了K-means算法研究学生成绩的流程，在整个设计流程中，存在两个关键问题，分别是成绩的表示和成绩的距离计算，对于第一个问题，论文将每个学生各科目的考试成绩看做q维向量，记作xi=（x1i，x2i，…，xqi），（i=1，2，…，n），其中xki表示学生编号为i的第k门科目的成绩，成绩采用百分制，并根据不同的科目赋予不同的权重。对于第二个问题，论文采用欧式加权距离来定义学生成绩之间的距离，将聚类组数设为P，cj（j=1，2，…，p）为聚类中心，则成绩到聚类中心的距离可以用公式表示为：
xi-cj=■，（1≤j≤p）（1）
其中，q为粒子的属性组成的维数，？諼k为各属性的权值；
对所有学生的各科成绩进行分组聚类的K-means聚类算法的具体步骤如下：
Step1：设学生成绩集为Q=（x1，x2，…xn-1，xn），其中xi=（x1i，x2i，…，xqi）；
Step2：随机选取每个类里的一个粒子作为初始聚类中心c1，c2，…，cP；
Step3：根据公式（2）将学生成绩集Q中的对象xi（i=1，2，…，n）依次按欧式平均距离分配给距离最近的中心cj（j=1，2，…，p）。
xi-cj=min（■），（1≤j≤p）（2）
其中，q为粒子的属性组成的维数，？諼k为各属性的权值；
Step4：按公式（3）计算P个聚类新的中心cj（j=1，2，…，P）。
cj=■■xi，j=1，2，…，P（3）
其中，Nj为第j个聚类Sj中所包含的粒子个数；
Step5：如果各个聚类中心cj（j=1，2，…，p）不再变化，否则结束，否则返回Step3。
3.基于成绩评价的学生管理策略
在论文设计方案中，将学生（其中不包含不及格需要补考的学生）分为四类，分别是优秀、良好、中等、偏差，并从自我发展和教学管理两方面向不同类别的学生提出了建议性策略。（见表1）endprint
三、实证分析
1.实例描述与成绩评价过程
第一步：数据采集
通过学院提供的数据库，选取某个年级的学生在某一学期的课程成绩。学生该学期均有8门功课，分别是信息资源管理、概率论、会计学、口语、工程力学、毛概、体育、数学实验，依次对应的加权是0.2、0.2、0.2、0.1、0.1、0.1、0.05、0.05，学生成绩均为百分制，随机选择200名学生的成绩形成一张原始成绩单。
第二步：数据预处理
论文将200名学生原始成绩单集成为一张成绩单。通过数据处理，使表中的每一个数据都是唯一和没有疑义的，同时对空白数据进行填补或者删除。首先考虑到数据库中存在“0分”异常数据会对k-means算法造成很大的影响，因此本论文不将其考虑在研究范围内。同时，通过Excel工具将成绩小于60分的选出，所对应的该学生成绩也不采取k-means算法进行处理，因为成绩一旦低于60分，该学生要进行补考，相应分数也会做更改处理。本论文数据采集的200名学生中一共有10人出现挂科情况，接下来会对剩下的190名学生的考试成绩做k-means算法处理。
第三步：k-means算法对学生成绩进行分析处理
确定聚类个数k值，聚类个数要接近于所用的聚类变量的个数，本次实验选取k=4。通过数据初始中心分析，随机选择几个学生的学习成绩作为初始聚类中心，通过matlab算法实现。
实验结果可视化：（见图3-图7）
2.实证结果分析
（1）由图3可知，第二类学生成绩为优秀，第一类学生成绩为良好，第三类学生成绩为中等，第四类学生成绩为偏差。通过计算，优秀和良好的人数占总人数的47%，中等和偏差的人数占总人数的48%，其余为存在挂科学生的比例，说明本文随机选取的这个专业整体的学习状态有待进步，相关教职人员和教师应该采取必要的措施提高学生学习的积极性。同时，通过分析研究还可以发现，每一科学生成绩随中心的变化都会影响整体成绩的分布情况，特别是像会计学、概率论、信息资源管理等加权比较重的科目。
（2）如图4、5、6、7所示，距离第二个聚类中心更近的21名学生聚成一类；距离第三个聚类中心更近的52名学生聚成一类；距离第四个聚类中心更近的44名学生聚成一类；距离第一个聚类中心更近的73名学生聚成一类。从中可以看出相近的成绩都被划分到了同一类，从而弥补了传统划分方法“在学生成绩差别不大的情况下，经过划分后结果可能相差很大”的缺陷。
（3）聚类分析技术的应用不仅可以使190名学生清楚自己相对于整体成绩的位置，还可以体现某类学生某些学科的不足，从而提醒教学人员针对性地采取相应的措施，实验结果可以为教学人员制定出有针对性的解决办法提供依据，从而提高学生后期的学习成绩。
四、结论
本文研究k-means聚类算法在学生成绩评价分析中的应用。通过对数据的预处理，采用k-means算法，利用matlab工具对数据进行处理分析，弥补了传统统计方法的缺陷。并针对不同类型的学生，给出了学生自我发展策略和教学管理策略，从而为后期提高学生成绩和教学质量做准备。
参考文献：
[1]谭庆.基于k-means聚类算法的试卷成绩分析研究[J].河南大学学报（自然科学版），2009，39（4）： 412-415.
[2]刘婷，郭海湘，诸克军，高思维.一种改进的遗传k-means聚类算法[J].数学的实践与认识，2007，37（8）：104-111.
[3]周爱武，于亚飞. k-means聚类算法的研究[J].计算机技术与发展，2011，21（2）：61-65.
[4]张丽伟，李礼.Web 挖掘中数据预处理技术研究[J].电脑知识与技术，2010，6（15）： 4324-4325.
（编辑：王天鹏）endprint
三、实证分析
1.实例描述与成绩评价过程
第一步：数据采集
通过学院提供的数据库，选取某个年级的学生在某一学期的课程成绩。学生该学期均有8门功课，分别是信息资源管理、概率论、会计学、口语、工程力学、毛概、体育、数学实验，依次对应的加权是0.2、0.2、0.2、0.1、0.1、0.1、0.05、0.05，学生成绩均为百分制，随机选择200名学生的成绩形成一张原始成绩单。
第二步：数据预处理
论文将200名学生原始成绩单集成为一张成绩单。通过数据处理，使表中的每一个数据都是唯一和没有疑义的，同时对空白数据进行填补或者删除。首先考虑到数据库中存在“0分”异常数据会对k-means算法造成很大的影响，因此本论文不将其考虑在研究范围内。同时，通过Excel工具将成绩小于60分的选出，所对应的该学生成绩也不采取k-means算法进行处理，因为成绩一旦低于60分，该学生要进行补考，相应分数也会做更改处理。本论文数据采集的200名学生中一共有10人出现挂科情况，接下来会对剩下的190名学生的考试成绩做k-means算法处理。
第三步：k-means算法对学生成绩进行分析处理
确定聚类个数k值，聚类个数要接近于所用的聚类变量的个数，本次实验选取k=4。通过数据初始中心分析，随机选择几个学生的学习成绩作为初始聚类中心，通过matlab算法实现。
实验结果可视化：（见图3-图7）
2.实证结果分析
（1）由图3可知，第二类学生成绩为优秀，第一类学生成绩为良好，第三类学生成绩为中等，第四类学生成绩为偏差。通过计算，优秀和良好的人数占总人数的47%，中等和偏差的人数占总人数的48%，其余为存在挂科学生的比例，说明本文随机选取的这个专业整体的学习状态有待进步，相关教职人员和教师应该采取必要的措施提高学生学习的积极性。同时，通过分析研究还可以发现，每一科学生成绩随中心的变化都会影响整体成绩的分布情况，特别是像会计学、概率论、信息资源管理等加权比较重的科目。
（2）如图4、5、6、7所示，距离第二个聚类中心更近的21名学生聚成一类；距离第三个聚类中心更近的52名学生聚成一类；距离第四个聚类中心更近的44名学生聚成一类；距离第一个聚类中心更近的73名学生聚成一类。从中可以看出相近的成绩都被划分到了同一类，从而弥补了传统划分方法“在学生成绩差别不大的情况下，经过划分后结果可能相差很大”的缺陷。
（3）聚类分析技术的应用不仅可以使190名学生清楚自己相对于整体成绩的位置，还可以体现某类学生某些学科的不足，从而提醒教学人员针对性地采取相应的措施，实验结果可以为教学人员制定出有针对性的解决办法提供依据，从而提高学生后期的学习成绩。
四、结论
本文研究k-means聚类算法在学生成绩评价分析中的应用。通过对数据的预处理，采用k-means算法，利用matlab工具对数据进行处理分析，弥补了传统统计方法的缺陷。并针对不同类型的学生，给出了学生自我发展策略和教学管理策略，从而为后期提高学生成绩和教学质量做准备。
参考文献：
[1]谭庆.基于k-means聚类算法的试卷成绩分析研究[J].河南大学学报（自然科学版），2009，39（4）： 412-415.
[2]刘婷，郭海湘，诸克军，高思维.一种改进的遗传k-means聚类算法[J].数学的实践与认识，2007，37（8）：104-111.
[3]周爱武，于亚飞. k-means聚类算法的研究[J].计算机技术与发展，2011，21（2）：61-65.
[4]张丽伟，李礼.Web 挖掘中数据预处理技术研究[J].电脑知识与技术，2010，6（15）： 4324-4325.
（编辑：王天鹏）endprint
三、实证分析
1.实例描述与成绩评价过程
第一步：数据采集
通过学院提供的数据库，选取某个年级的学生在某一学期的课程成绩。学生该学期均有8门功课，分别是信息资源管理、概率论、会计学、口语、工程力学、毛概、体育、数学实验，依次对应的加权是0.2、0.2、0.2、0.1、0.1、0.1、0.05、0.05，学生成绩均为百分制，随机选择200名学生的成绩形成一张原始成绩单。
第二步：数据预处理
论文将200名学生原始成绩单集成为一张成绩单。通过数据处理，使表中的每一个数据都是唯一和没有疑义的，同时对空白数据进行填补或者删除。首先考虑到数据库中存在“0分”异常数据会对k-means算法造成很大的影响，因此本论文不将其考虑在研究范围内。同时，通过Excel工具将成绩小于60分的选出，所对应的该学生成绩也不采取k-means算法进行处理，因为成绩一旦低于60分，该学生要进行补考，相应分数也会做更改处理。本论文数据采集的200名学生中一共有10人出现挂科情况，接下来会对剩下的190名学生的考试成绩做k-means算法处理。
第三步：k-means算法对学生成绩进行分析处理
确定聚类个数k值，聚类个数要接近于所用的聚类变量的个数，本次实验选取k=4。通过数据初始中心分析，随机选择几个学生的学习成绩作为初始聚类中心，通过matlab算法实现。
实验结果可视化：（见图3-图7）
2.实证结果分析
（1）由图3可知，第二类学生成绩为优秀，第一类学生成绩为良好，第三类学生成绩为中等，第四类学生成绩为偏差。通过计算，优秀和良好的人数占总人数的47%，中等和偏差的人数占总人数的48%，其余为存在挂科学生的比例，说明本文随机选取的这个专业整体的学习状态有待进步，相关教职人员和教师应该采取必要的措施提高学生学习的积极性。同时，通过分析研究还可以发现，每一科学生成绩随中心的变化都会影响整体成绩的分布情况，特别是像会计学、概率论、信息资源管理等加权比较重的科目。
（2）如图4、5、6、7所示，距离第二个聚类中心更近的21名学生聚成一类；距离第三个聚类中心更近的52名学生聚成一类；距离第四个聚类中心更近的44名学生聚成一类；距离第一个聚类中心更近的73名学生聚成一类。从中可以看出相近的成绩都被划分到了同一类，从而弥补了传统划分方法“在学生成绩差别不大的情况下，经过划分后结果可能相差很大”的缺陷。
（3）聚类分析技术的应用不仅可以使190名学生清楚自己相对于整体成绩的位置，还可以体现某类学生某些学科的不足，从而提醒教学人员针对性地采取相应的措施，实验结果可以为教学人员制定出有针对性的解决办法提供依据，从而提高学生后期的学习成绩。
四、结论
本文研究k-means聚类算法在学生成绩评价分析中的应用。通过对数据的预处理，采用k-means算法，利用matlab工具对数据进行处理分析，弥补了传统统计方法的缺陷。并针对不同类型的学生，给出了学生自我发展策略和教学管理策略，从而为后期提高学生成绩和教学质量做准备。
参考文献：
[1]谭庆.基于k-means聚类算法的试卷成绩分析研究[J].河南大学学报（自然科学版），2009，39（4）： 412-415.
[2]刘婷，郭海湘，诸克军，高思维.一种改进的遗传k-means聚类算法[J].数学的实践与认识，2007，37（8）：104-111.
[3]周爱武，于亚飞. k-means聚类算法的研究[J].计算机技术与发展，2011，21（2）：61-65.
[4]张丽伟，李礼.Web 挖掘中数据预处理技术研究[J].电脑知识与技术，2010，6（15）： 4324-4325.
算法及算法评价 篇4
一、现有的信用评价体系及其特点
目前, 淘宝、易趣等个人电子商务网站建立了各自的信用评价体系。各个网站的信用评价规则有所不同, 有的网站采用“所有评价一起积分”的制度, 有的网站则采用“买卖信用值分离”的制度。但大多数遵循以下模式:交易成功后, 在评价的有效期内, 交易双方就该笔交易做出评价。评价分为“好评”、“中评”、“差评”三档, 并且每种评价对应一个信用积分 (好评——+1分;中评——0分;差评——-1分) 。用户所显示的信用总积分为以往所有交易的代数和, 且不同的信用积分对应不同的信用等级。
现有信用评价体系简单且较为实用, 它利用了一种古老的信誉机制:口碑, 即已有的客户评价对其他客户的影响。它使互不相识的买家和卖家之间可以相互了解并进行交易, 为C2C电子商务减轻了信用危机。C2C电子商务中的卖家, 一旦有了良好的信用积累, 就能吸引到全国甚至全球不同地区的买家来进行交易, 从而以较低的网络成本来获得良好的收益;相反, 如果他的信用记录不好, 则较难吸引到买家。而对买家而言, 现有的信用评价系统也可以帮助其在短时间内查找到信誉良好的卖家, 降低交易的风险。买家可以很容易地掌握卖家的信用情况:信用指数越高, 好评越多, 卖家的可信度也就越高。同时, 现有的信用评价体系的另一个优点是它的易用性。现有机制的评价打分规则简单明了, 符合普通用户的操作习惯, 不受使用者知识水平的限制。
二、现有信用评价体系的不足
现有的信用评价体系, 采用较为简单的分数累积方法, 主要存在以下问题:
1、信用度的变化仅与交易笔数有关, 而与交易金额无关:也就是说, 进行一笔几元钱的交易与进行一次上千元的交易所获得的评价机会是一样的, 而且信用积分的增长幅度也是相同的。这使得一些卖家通过多次小额交易在短时间内迅速提高其信用度。例如一些卖饰品小店或游戏点卡的卖家, 其信用指数增长会很快。一旦这种卖家转而去卖手机或电脑等贵重商品, 就形成了信用指数不对等的问题。如果这种卖家利用以往积累的信用度恶意欺诈, 那买家将承受较大的交易风险。
2、信用评价算法与评价用户自身的信用无联系:信用度高的用户与信用度低的用户在作出评价时, 对卖家信用变化的影响是相同的。这就无法调动评价用户对交易进行及时评价的积极性, 造成部分用户交易后不做出评价的情况, 导致评价的随意性。实际上, 评价用户信用度越高, 说明其在历史交易过程中表现得越好, 在交易后对信用评价的参与度越高, 更能客观公正的反应交易行为。
3、信用评价的真实性存在问题:在对网上社区的调查中发现, 信用指数的真实性一直受到广大用户怀疑。卖家可能一次注册多个会员名进行信用欺诈, 欺骗真实买家;或者与其他亲密会员间达成协议, 互换好评, 获取信用积分, 即所谓的“刷信用”。许多C 2 C网站亦存在对他人进行恶意评价的现象, 利用自己或朋友注册的其他用户名对竞争对手进行多次“中评”和“差评”, 影响卖家的信用度, 误导潜在的其他买家。
4、新卖家难以得到与老卖家等同的竞争机会:根据现有的信用评价体系, 无法区分某个卖家的信用积分低是由于其信用不好还是因为该卖家是新进用户。由于从众心理, 即使该卖家的商品和服务再好, 多数买家还是更愿意与信用度高的老卖家进行交易, 而不愿尝试与新卖家进行交易。这使得新进的卖家更难获得交易机会, 信用积分增长更加缓慢。
三、改进的C2C电子商务信用评价模型
针对上述问题, 笔者从以下几个方面作出了改进。
(一) 综合多方面因素, 确定本次交易的评分Tc
现有的评价体制中, 买家给出的评分是模糊笼统的。实际上, 一次交易完成后, 影响用户评分大小的因素很多, 包括商品的质量、性价比, 卖家的服务态度, 快递的速度等等。为了量化买家的评分, 使其更加客观准确, 可以在评分时引入因素权重分配制度。
Tc为针对本次交易, 评价用户 (买家) 对卖家给出的评分, 称为本次的综合评分;Ck为某一参考因素的评分, ak为其相应的权重, m为影响用户评分的因素个数。则有:
以“商品的质量”为例, 若一般用户觉得其在各项影响因素中是最重要的, 则我们将它的相应权重设置为较大。
(二) 考虑被评用户 (卖家) 的历史好评率
被评用户完成交易后的积分, 不仅包括本次交易所得的评分, 也应考虑其历史积分。记T1为本次交易考虑历史积分影响后的评分, ω1为相应权重, 该如何设置权重大小呢?若卖家共进行了N次交易, 将该卖家得到的历史好评数记为NG, 则ω1可取为卖家得到的历史好评率, 即 。则有:
由此可见, 该卖家得到的历史好评越多, 积分增长越快。
的信用度为解决卖家通过频繁的小额交易,
迅速提高信用积分的问题, 交易金额应作为考评的因素。T2为考虑交易金额影响后的评分。则有:T 2=ω2.T c (Ⅲ)
我们可以按照不同商品的价格等级, 来决定权重ω2的大小。如:0-1元的商品交易, 可将权重设为0.1;1-100元的商品交易, 可将权重设为0.2;100-500元的商品交易, 可将权重设为0.4;500-1000元的商品交易, 可将权重设为0.6, 以此类推……
(四) 考虑评价用户本身的信用度
为了保护卖家不遭受恶意评价, 同时也防止卖家作假, 蓄意给自己好评。在评价中也应考虑评价用户本身的信用度。信用度高的用户作出的评价更具可信度, 对卖家的信用影响应该更大。记T 3为考虑交易金额影响后的评分。则有:
同理, 我们可以按照不同买家的信用积分等级, 来决定权重ω3的大小。买家的信用等级越高, 则ω3设置得越大。
T为综合考虑以上各方面的影响后, 本次交易的最终评分, 则有 ;将 (Ⅰ) (Ⅱ) (Ⅲ) (Ⅳ)
式代入上式, 得到如下模型:
四、其他改进建议通过以上对信用评
则的修正, 我们可以得到更真实、准确的卖家信用积分。但当前评价体系中存在的很多问题, 需要在C 2 C网站建设、电子商务规划、信用体制等方面进行改进。笔者简单提出几点可行性建议:
(一) 调动用户及时评价的积极性
对卖家做出任何评价。而超过一定时间, 很多个人电子商务网站的评价系统将默认其为好评。因此, 电子商务网站应采用各种方式 (如奖励积分或者邮寄礼品等) , 鼓励买家在交易后做出评价, 并写下相应的评语给其他潜在顾客予指导。
(二) 加强信用法制建设
法制建设是社会信用体系形成的基础保障。目前我国还没有专门针对电子商务信用的法律和法规, 因此, 为了加强我国电子商务信用体系的建立, 必须加强相应法律法规的建立与健全。
(三) 失信严惩机制
严格的信用监督和失信惩戒机制, 也应成为我国电子商务信用体系建设不可或缺的部分。在借鉴国外经验的同时, 根据我国市场经济的特点, 制定出符合我国国情的信用惩戒机制。通过对失信违法行为的打击, 提高网上交易用户的信用意识, 改善我国电子商务的信用环境。
参考文献
[1]、刘宏, 金镇, 彭莎莉.电子商务信用及信用体系问题研究[J].电脑学习.2007.02
[2]、朴春慧, 安静, 方美琪.C2C电子商务网站信用评价模型及算法研究[J].情报杂志, 2007.06
[3]、简析C to C电子商务网站信用体系的建立.http://tech.tom.com
[4]、陈丹, 赵树宽, 巩顺龙.电子商务信用管理体系构建研究[J].情报科学.2006, 01, 第24卷, 第1期
算法及算法评价 篇5
基于遗传算法的层次分析法在供应商绿色评价中的应用
在层次分析法中,提出1.0～9.9的重要程度的标度,由决策者认为比较的两个元素的重要程度来确定对应标度的`取值范围,而不是确定的取值,再引入遗传算法,经一致性指标最小目标函数来确定标度的取 值.实例验证表明,基于遗传算法的层次分析建模法可以有效快速地确定判断矩阵来对供应商进行评价,具有很强的实用价值.
作 者：白星发 作者单位：华侨大学工商管理学院管理软件研究所,福建,泉州,362021刊 名：科技创业月刊英文刊名：PIONEERING WITH SCIENCE & TECHNOLOGY MONTHLY年，卷(期)：200720(10)分类号：N94关键词：应商评价 层次分析法 遗传算法
算法及算法评价 篇6
关键字：Floyd-Warshall；最短路径；算法思想引申；旅游路线；APSP
中图分类号：TP311.11 文献标识码：A 文章编号：1007-9599 (2012) 09-0000-02
一、引言
伴随着高科技的日新月异，计算机技术被应用到各个领域，因特网的迅速普及使计算机进一步融入到我们的日常生活中。在这个信息爆炸的e时代，时间显的尤为宝贵，我们不自觉的应用着各种统筹原理和各式各样的“算法”来争取时间，效率至上成了很多个人和组织所追求的意识，就算在旅游休闲时，人们也会想要在有限的资源条件下比别人多赏玩一个“景点”，当然我们追求的不仅仅是多，而且是快。下面就让我们来探讨Floyd-Warshall算法如何帮助我们解决“旅游路线”问题——实现任意两点“最短路径”！
二、算法描述和图解
Floyd-Warshall算法是图论中的一个算法，专业的讲是寻找给定的带权图或有向网G=（V，E）上每对顶点间最短路径的算法，即APSP(All Pairs Shortest Paths)。该算法运用动态规划思想，框架清晰，不包含复杂数据结构，三重嵌套For循环结构紧凑，易于实现，提高了运算效率，边权可正可负。缺点是时间复杂度较高（O( )），不适合计算大量数据。但对于中等规模的输入图仍然相当实用。
任意两点最短距离有三种情况：
（1）两点直达。例如图
（2）通过一个中间点。例如图
（3）通过两个及以上点。例如图
算法过程是用一个矩阵d[][]记录每一对顶点的最短距离，当i等于j时，d[i][j]赋初值为0，当i和j不可达时，d[i][j]赋初值为一个大数，表示无穷。初始化后，依次扫描每一个点，并以其为基点再遍历每一对顶点的权值d[][]，看是否可过该基点让这对顶点间的距离更小。
第一种情况：在初始化的时候已经完成。
第二种情况：对于每一对顶点，遍历所有其它顶点，看是否可以通过一个顶点让这对顶点距离更短，相当于遍历了图中所有的三角形。
第三种情况：如右图的六边形，可先找一点（Y，则
综合上述三种情况，令 为从顶点i到顶点j且满足所有中间顶点皆属于集合{1，2，…，k}的一条最短路径的权值， 为有向边（i，j）的权，得出如下递归表达式：
三、C++核心代码
#define NUM 100
#define INFINITY 32767 //表示权值的正无穷
typedef struct {
char vertex[NUM]； //顶点集
int edges[NUM][NUM]； //存储有向网的邻接矩阵
int vexnum；//点的数目
intarcnum； //弧的数目
}DirectedNet；//有向网
//初始化
void InitializeDN(DirectedNet &DN){//输入点数、弧数和点，依照上述“算法过程”进行初始化 }
//Floyd算法核心
void Floyd(int distance[][NUM]，int path[][NUM]，DirectedNet &DN) {
int i，j，k；
for (i=0；i for (j=0；j distance[i][j]=DN.edges[i][j]； path[i][j]=false； } } for (k=0；k for (i=0；i for (j=0；j if (distance[i][j]>distance[i][k]+distance[k][j]) { distance[i][j]=distance[i][k]+distance[k][j]； path[i][j]=k； }//用數组distance[i][j]来记录i，j之间的最短距离，对所有的k值从1到n } //计算distance[i][k]+distance[k][j]的值，修正任意两点之间的最短距离 } //若小于distance[i][j]，则distance[i][j]= distance[i][k]+distance[k][j] } //否则distance[i][j]的值不变。每计算一次都用path[i][j]记录经过的路径点k } //递归输出路径点 void PathPoint(int path[][NUM]，int i，int j，DirectedNet &DN) { int k=path[i][j]； if (k==false) { return；} PathPoint(path，i，k，DN)； printf("%c->"，DN.vertex[k])； PathPoint(path，k，j，DN)； } //输出最短路径及路径长度 void OutputPath(int distance[][NUM]，int path[][NUM]，DirectedNet &DN) { int i，j； for (i=0；i for (j=0；j if (distance[i][j]==INFINITY) { continue；//若要输出无最短路径信息，只需要注释本行，取消注释下一行 //printf("从 %c 到 %c 没有路径n"，DN.vertex[i]，DN.vertex[j])； } else {if(i!=j){ printf("从 %c 到 %c 最短路径长度为%dt路径"，DN.vertex[i]，DN.vertex[j]，distance[i][j])； cout< PathPoint(path，i，j，DN)； cout< }}}}} 算法描述中“六边形”的任意两点最短路径运行结果： 四、算法思想引申思考 当问题变复杂，不再是单纯的类似“旅游问题”的任意两点最短路径问题，而是变为“最优解”的问题时，还是以“旅游问题”为案例，在存有带权矩阵的结构体中加入诸如路费（int spend）甚至更多的属性，这时问题将变为寻找任意两点间“性价比”最高的路径，并且在最短路径算法基础上又加入了贪心算法思想，如果再加入时间（double time）等属性，那么问题将逐渐演变成一个需要仔细规划的Project，这也是现实中我们更可能面临的问题。所以Floyd算法以及算法思想引申在现实生活中有广泛的应用，能给我们带来很多益处，值得仔细研究和进一步思考。 参考文献： [1]科曼（Cormen，T.H.）.算法导论[M].潘金贵.北京:机械工业出版社,2009,6 [2]严蔚敏,吴伟民.数据结构C语言版[M].北京:清华大学出版社,2007 [3]沈云付.ACM/ICPC程序设计与分析（C++实现）[M].北京:清华大学出版社,2010,7 1.1 DSM及DSM发展现状 能源需求侧管理(Demand Side Management,DSM)的概念源于上世纪70年代的美国,是为了应对能源危机而提出的,从用能侧的角度出发实施能源管理的一种节能解决方案。能源需求侧管理指的是通过采取有效措施,引导电力用户优化用电方式,提高终端用电效率,优化资源配置,改善和保护环境,实现最小成本电力服务所进行的用电管理活动的总称。 DSM是一个宽泛的概念,实施DSM的方法也很多,主要包括: (1)建筑节能改造(改造项目包括建筑围护结构、暖通空调系统、照明系统、动力系统、插座等); (2)工业工艺节能改造; (3)推行峰平谷电价政策; (4)实施可中断负荷电价; (5)发展低谷蓄能项目; (6)发展冷热电三联产和分布式能源; (7)合理配置无功补偿装置等。 随着我国经济和社会的飞速发展,我国的用电峰谷差逐年拉大,电力供需矛盾不断突出,严重制约着我国经济与社会的可持续发展。因此,推广实施需求侧管理势在必行。201 1年,国家发改委、工信部、财政部等六部委联合发布了《电力需求侧管理办法》,要求各地区、各有关部门积极推进电力需求侧管理工作,鼓励电网企业和电力用户积极参与到需求侧管理工作中来,并制定了一系列需求侧管理措施和激励措施,为电力需求侧管理提供了重要的支持和指导。在建筑能源需求侧管理方面,建筑节能改造项目和合同能源管理推广工程均被列为国家“十二五”规划纲要中的节能重点工程,并予以大力支持。国家发改委积极在全国各地多个城市组织开展需求侧管理试点工作,并取得了良好的进展。 但是,我国的DSM工作仍处于起步和探索的阶段,与世界发达国家相比,还存在较大差距,主要包括运作机制不完善、激励政策不到位、项目设计能力与实施经验比较缺乏、项目管理水平有待提高等。此外,我国DSM的宣传力度不足、电力用户的节能意识不强等,也制约着DSM的发展和推广。 1.2 DSM综合评价系统 DSM综合评价旨在全面、系统地对DSM项目的实施情况进行多指标评价,或对DSM项目设计方案进行预评价。通过建立DSM综合评价机制,推行DSM综合评价的发展,可以实现对DSM项目的评审、诊断工作,对DSM项目的改进、提高、示范、宣传等工作起到十分积极的作用。因此,发展和推广DSM,离不开DSM综合评价工作的支持。 由于DSM的发展依赖于先进的通信、计量、控制和信息技术的支持,因此建立DSM信息网络和DSM云平台已成为推动DSM发展的重要举措之一。利用DSM云平台的建筑能源管理系统,可以获取建筑围护、机电设备、暖通系统、动力系统等多项数据,监测各节能技术、节能设备所带来的节能效果,实现节能的量化管理。因此,建立以DSM云平台为基础的DSM综合评价系统,可以很方便地利用信息网络技术开展对DSM的综合评价工作,这是实现和推广DSM综合评价的优秀解决方案之一。本文所讨论的DSM综合评价系统指基于DSM云平台数据采集与处理的DSM综合评价系统。 D S M综合评价问题是一个复杂、多指标的综合评价问题。由于DSM概念十分宽泛,实际的DSM项目种类众多,实施效果和侧重点也各不相同,而且DSM是一个影响广泛的能源管理活动,发电企业、电网企业、电力用户和环境、社会、政府等多方面均会受DSM项目实施的影响。全面、客观地评价DSM项目的实施效果,需要一个复杂而全面的、包含多个层次的、同时包含定量评价指标与定性模糊描述指标的多指标综合评价机制。此外,在DSM综合评价中,注重的是对单一DSM项目做全面系统的评价,而不是对众多同类项目进行排序、筛选等。因此,如何正确地选择综合评价方法,科学、合理、高效地完成综合评价工作,是建设DSM综合评价系统,推动DSM发展所必须解决的问题。 1.3 现行的DSM综合评价方法及其不足 现行的大多数DSM综合评价机制的设计中,一般是基于传统的综合评价理论,从已经发展成熟的综合评价方法及数学模型中进行选择,如模糊综合分析法、灰色综合分析法、层次分析法、主成分分析法等。但是,DSM综合评价中,指标体系复杂、涉及因素众多、部分指标非量化等特点,以及DSM综合评价对单对象评价能力有着较高的要求,使得仅仅依靠样本统计和数学模型的客观综合评价法往往无法胜任D S M综合评价的全过程。 为了解决这些问题,弥补传统综合评价方法在处理复杂非量化指标体系时的缺陷,现有的DSM综合评价往往是在专家组的分项打分或综合打分的基础上,再运用综合评价方法进行分析处理的。通过充分发挥专家组主观评价的优势,可以综合考虑众多因素的影响和评价问题的实际情况,以对非量化指标的优劣做出定性描述或定量打分,这是解决复杂非量化指标评价问题的现行有效途径。但是,传统的专家会议法或专家咨询法等打分方法,由于需要专家组完成分析、交流、评价等工作,评价过程往往效率低下且成本较高。此外,专家组评价的结果还易受专家组的主观偏好的影响,与客观实际形成偏差。 此外,赋权工作也是综合评价工作中的重要环节。权数与变量同为影响评价结果的两大因素之一,在单项指标已经确定的情况下,权数的变化将不可避免地导致评价结论的变化。目前在综合评价中使用的赋权方法很多,可分为主观赋权法和客观赋权法两类,主观赋权法有专家会议法、德尔菲法、层次分析法等。客观赋权法有熵权法、标准离差法、主成分分析法、因子分析法、CRITIC法等。主观赋权法和客观赋权法各有优劣,主观赋权法的优点是专家可以根据实际问题,较为合理地确定各指标间的排序,不需要具备样本数据,缺点是主观随意性大,即使对指标间的相关性加以考虑,也难以准确反映指标体系的内在结构关系;客观赋权法在一定程度上避免了主观赋权法的弊病,具有较强的数学理论依据,但有时确定的权系数可能与实际不符,赋权结果未能反映指标的实际重要程度,常导致赋权结果与客观实际存在差距。 在DSM综合评价中,由于评价指标体系较复杂,影响因素较多,各指标的变量类型不尽相同,因此往往采用主观赋权法进行赋权。但是主观赋权法需要根据专家组的意见进行赋权,因此同依赖专家组打分的综合评价方法一样,存在着效率较低、成本较高、主观随意性较大等缺陷。 1.4 选题意义 由于传统的D S M综合评价方法从赋权到评分等过程都高度依赖专家组的评分,且大多数传统的综合评价方法中都有多样本比较与统计评价的思想。而DSM综合评价是一个对单对象评价能力、复杂指标体系赋权与评价能力、评价效率、评价结果合理性均有着较高要求的综合评价问题,现有的DSM综合评价机制难以很好地解决这些问题,这制约了DSM综合评价系统的发展与推广,也间接影响了DSM的发展。因此,本文旨在通过探究一种综合评价理论中的新型方法——BP人工神经网络法在DSM综合评价中的应用特点和应用可行性,分析人工神经网络评价方法相较于传统评价方法的优劣,以探索充分利用现今发达的计算机技术与大数据、云计算技术的优势,发展DSM综合评价系统的新思路,使得DSM综合评价系统朝着更科学、更高效、更经济、更实用的方向不断发展。 2 BP人工神经网络综合评价法 2.1 人工神经网络简介 人工神经网络(Artificial Neural Network,ANN)是一种旨在模仿人脑结构及其功能的信息处理系统,按国际著名神经网络专家Hecht Nielsen的观点,人工神经网络的定义是:由人工建立的、以有向图为拓扑结构的动态系统,它通过对连续或断续的输入作状态响应而进行信息处理。强大的自学习与自适应能力是人工神经网络的主要特点之一,也是其作为信息处理系统的独特优势之一;除此之外,人工神经网络还具备多种优点,如联想储存、大规模并行处理能力等。这使得人工神经网络成为当下人工智能的重要发展方向之一。 人工神经网络的概念诞生于1943年被提出的M-P模型,1958年,第一个被实现的人工神经网络模型——感知器模型诞生,拉开了人工神经网络发展的序幕。20世纪80年代后,人工神经网络模型获得了飞速发展。1986年,具有误差反向传播学习算法的多层神经网络模型I BP神经网络模型)被提出,成为日后应用最为广泛的神经网络之一。此外,一系列典型的人工神经网络模型,如Hopfield网络、ART模型、玻尔兹曼机等,都逐渐被提出和发展。如今,人工神经网络模型已多达上百种,并在模式识别、自动控制、信号处理、辅助决策、人工智能等众多领域的研究与应用中取得了广泛的成功。 在众多人工网络模型中,BP人工神经网络以其实现较简单、非线性处理能力较强、实用性高、鲁棒性高等优点,成为现今人工神经网络领域中应用最广、研究最多的一种人工网络模型。因此,本文以BP人工神经网络法为例,对人工神经网络评价在D S M综合评价的应用进行研究。 2.2 BP人工神经网络的实现方法 基于误差反向传播(Back Propagation,BP)算法的人工神经网络是神经网络模型中最有实用价值、应用最广泛的一种,属于多层前馈网络。它由输入层、隐含层(一层或多层)、输出层组成,层与层之间的节点全部互相连接,而同层内的节点不互相连接。BP人工神经网络的拓扑结构示意图如图1所示。 BP算法的学习过程是一个利用梯度最速下降法寻找误差最小值的过程。其算法的基本思想是根据网络输出层的误差,从输出层开始反过来调整网络的权值和阈值,最后使得输出的均方根误差最小。在BP人工神经网络中,传统上采用Sigmoid函数(S型函数)作为激励函数,即: 或 在BP人工神经网络的结构上,根据Kolmogorov定理可知,至少具有一个隐层的三层BP神经网络,可以以理论上的任意精度(任意希望小的误差)逼近一个连续的函数。因此,三层或三层以上的BP人工神经网络即可满足人工神经网络的需求。在各层节点数目的确定上,输入层的节点数目一般等于输入向量的维数,输出层节点数目也取决于输出向量的维数,而隐层的节点数目的确定尚无确定的标准,需要根据反复试验的方法,或根据经验公式,来得到隐层节点数目的最终结果。 作为目前最实用、研究最广泛的人工神经网络之一,BP神经网络有着分布式信息存储、大规模并行处理、较强的自学习和自适应性、较好的鲁棒性和容错能力等独特优点。但是,BP神经网络所采用的“梯度下降”算法也存在着训练收敛速度慢、容易陷入局部极小值等问题。因此,BP神经网络也存在许多改进算法,如动量算法、自适应学习速率、Levenberg-Marquardt算法(LMBP算法)等。 2.3 BP人工神经网络在综合评价中的应用 BP人工神经网络的应用十分广泛,在综合评价中也有着较好的适用性。作为一种多层前馈型网络,BP神经网络用于综合评价的基本原理是:把用来描述评价对象特征的信息作为神经网络的输入向量,将代表相应综合评价结果的量值作为神经网络的输出,然后用足够的样本训练这个网络,使不同的输入向量得到不同的输出量值,如果存在误差,则根据误差修正方法调整神经网络各层间连接权值以及隐含层、输出层节点阈值,直到系统误差可以接受为止。完成训练过程的B P神经网络拥有了适合做出综合评价的权值和阈值,在此之后便可以对同类对象做出很好的综合评价。 利用B P人工神经网络进行综合评价的方法,相较于传统的综合评价方法而言,有着革命性的不同。首先,完成训练后的BP神经网络,只要为其提供原始输入数据,便可以独立地完成整个评价过程,其评价过程不依赖于专家打分等手段,保证了综合评价过程的客观性、科学性;其次,由于完成学习后的神经网络内部权值与阈值已经确定,因此之后的整个评价过程可以在极短时间内完成,评价效率很高,且耗费成本低,经济性更好;此外,对于复杂的、涉及因素众多的,同时存在定量与定性指标的评价对象与评价指标体系,传统的综合评价数学模型难以很好地处理这类问题,而通过人做出的主观评价也可能难以考虑周全或保持客观,但神经网络却拥有对这类复杂综合评价问题的评价能力,且评价过程总能保证全面、高效与客观。 但是,BP人工神经网络评价法也并不是万能的,相反,BP人工神经网络评价存在着众多的局限性,这是由于人工神经网络的特点造成的。由于BP人工神经网络综合评价功能的实现高度依赖于训练过程,只有完成训练的人工神经网络才具有综合评价能力。因此,BP人工神经网络的评价能力和评价质量与训练样本集密切相关。而根据实际,这个训练样本集只可能是“专家评价集”,因为若是用其他客观综合评价方法的评价集作为样本,则人工神经网络评价便失去了它的意义。因为在已经有了一个客观存在的“数学模型”能做出评价的情况下,再使用人工神经网络通过训练向该模型“逼近”显然没有意义。所以,BP人工神经网络评价的“学习”实际上就是学习专家对样本的评价方法,希望通过训练让人工神经网络掌握专家的知识与思想。而专家的主观评价总是存在局限性的,因此训练样本仍可能存在不合理、不客观等问题,这将导致完成训练后的BP人工神经网络所做出的评价同样也可能是不合理、不客观的。 由以上分析可知,BP人工神经网络综合评价法并不适合所有综合评价问题,而是有其局限性。使用BP人工神经网络评价法时要考虑以下因素: (1)适用于BP人工神经网络法的综合评价问题,应是在其传统的评价过程中,包括赋权、分项打分、综合打分等几个环节中,至少有一个环节需要专家进行主观评价才能完成的综合评价问题,或是可以通过客观数学模型完成综合评价,但是引入专家主观评价能得到更为合理的评价结果的综合评价问题。 (2) BP人工神经网络评价离不开数量充足的学习样本集的支持,只有在积累了足够多的同类综合评价历史案例,能够确保人工神经网络得到充分的训练之后,人工神经网络的评价质量才能有所保证。 (3) BP人工神经网络法的实施需要计算机技术的支持,且尽管BP人工神经网络能够对复杂的、不同类型的指标体系做出综合评价,但是仍然无法独立地对一些定性指标做出模糊评价,如社会影响力等。这是由于大多数必须进行模糊评价的定性指标往往涉及因素十分复杂,很多指标无法以简单量化的方法反应其优劣,而人工神经网络无论如何模仿人类的思维方式,受限于计算机的处理模式,人工神经网络仍然只能对定量的输入数据做出处理,因此,对于包含了复杂定性指标的指标体系,应用BP人工神经网络法是无法独立完成整个评价的。 由于本文研究的DSM综合评价问题包含复杂的指标体系,同时存在定量与非定量指标,传统上以专家打分为初始评价依据,以主观赋权法作为主要赋权方法,评价流程较为复杂,耗费较大。由以上分析可知,DSM综合评价问题的特点符合B P人工神经网络评价法的适用特点,引入BP神经网络可以发挥其独特的优势,解决一些传统综合评价方法在该评价问题应用中的不足之处。因此,DSM综合评价问题具备应用BP人工神经网络评价法的潜力。 摘要：建筑能源需求侧管理(DSM)是应对能源危机的重要手段之一.DSM综合评价系统对于发展、改进和推广能源需求侧管理意义重大。然而DSM综合评价是一个复杂的多指标综合评价问题,传统的综合评价方法应用在DSM综合评价中往往存在效率低、成本高、主观随意性大等问题。因此.本文探究了BP人工神经网络评价法在DSM综合评价中的应用,结合DSM综合评价的特点,分析其应用的可行性、优越性及现有缺陷,并辅以实例加以论证,为DSM综合评价系统中评价方法的选择提供一种解决方案。 3.1 BP人工神经网络较传统DSM综合评价方法的优势 本文所讨论的D S M综合评价问题是一个复杂多指标的综合评价问题,由于评价问题涉及到了多个方面(发电侧、电网侧、用户侧等),以及评价过程考虑了诸多因素(经济效益、环境效益和社会效益等),其中包括了定量指标和定性指标,因此DSM综合评价方案往往难于设计。在传统的DSM综合评价中,专家的参与是必不可少的,无论是赋权过程还是打分过程,都需要专家的参与才能得到较为合理、满意的结果。而在众多综合评价方法中,模糊综合评价法由于能对专家做出的模糊判断给出较为科学的处理,是应用在DSM综合评价中较多的综合评价方法之一,也是较合适的一种。然而,这种评价方法在实际应用中仍然无法避免评价过程中的随机性、主观偏好等影响,特别是DSM综合评价这样涉及因素错综复杂、评价标准又较为模糊的综合评价问题,很容易在主观、模糊的判断上产生偏差,并引起评价结果的不合理。因此,为了确保评价效果,需要寻找一个“主观问题客观化”的综合评价方法。而BP人工神经网络法既能对这类复杂的多指标综合评价问题做出评价,又能确保评价过程的客观性。因此,BP人工神经网络法不失为替代传统的专家评价法和模糊综合分析法等传统方法,解决DSM综合评价问题中难点的优秀解决方案。 BP人工神经网络法在DSM综合评价中的应用优势,除了能替代专家评价、保持评价过程和赋权过程的客观性外,对于复杂指标体系能同时完成赋权组合以及定量评价也是其优势之一。下面结合DSM综合评价的指标体系加以分析。 DSM综合评价中考虑因素众多,指标体系的设计方案也很多,下面给出一种指标体系设计方案及各指标的评价判据,见表1。 由此可以看出,在DSM综合评价指标体系中,往往既有根据数据大小判断好坏的定量指标,又有只能基于模糊判断的定性指标。在定量指标中,不同指标之间的性质、评价标准、量纲等又不尽相同,很难评判这些指标的好坏及之间影响轻重的关系,例如:“年收益十万元”、“一次性投资200万”、“客户满意度80%”这些数据难以通过主观赋权法直接横向判断权重,而常用的客观赋权法在DSM综合评价中也不大适用。在传统DSM综合评价方法中,无论是模糊评价法还是其他方法,通常是采用统一专家打分的方法,根据专家的经验对各个单项指标先进行评分,使得性质、量纲不相同的指标原始数据转化为同类的分值数据,方便后续的指标赋权、评价结果处理等步骤。但整个评价过程已经经过了多次主观判断处理,而且每次主观判断相对独立,这使得单项评分时的评判标准和之后的赋权标准很可能不统一,导致最后的赋权结果不合理。其实,赋权方法作为一种线性或非线性的数据组合方法,是可以直接对不同性质的原始数据使用,以达到消除指标数据类型差异,完成评价结果组合与处理效果的;只不过,在传统的方法中,这样的赋权工作难以完成。而在BP人工神经网络评价法中,借助于计算机技术与完成训练后形成的内部数学模型,其赋权过程和评价过程是始终统一的。在进行DSM综合评价时可以直接将原始数据(而不是专家单项评分后的数据)作为输入,便能得到最后的评价结果,避免了多次主观评价的衔接中出现的偏差等问题。 除了上述优点之外,BP人工神经网络法在DSM综合评价中的应用还具备其他众多传统方法所无法比拟的优点,包括: (1) BP人工神经网络单对象评价能力强。在完成训练后,BP人工神经网络能单一地完成任何同类对象的评价工作,并保持评价中的客观性。而DSM综合评价中的主要工作类型便是单对象评价,这也恰恰是众多传统综合评价方法中所比较欠缺的一个能力。 (2) BP人工神经网络评价法更经济、更高效。借助于计算机技术的运算能力,在DSM综合评价系统中,只要给出了原始输入数据,通过BP人工神经网络便能很快得出最后的评价结果。相较于需要使用专家评价的传统评价方法而言,人工神经网络法既经济,又高效。而且,对于一个完成训练的人工神经网络而言,其参与的评价工作越多,所评价问题越复杂,则其经济、高效的优势将体现得越明显。 (3) BP人工神经网络评价法有着强大的非线性处理能力,这使得它在DSM综合评价这样复杂的问题中能有更好的精度。传统的评价方法和赋权方法多是基于线性模型而建立的,但是DSM综合评价这样的问题十分复杂,使用单一的线性模型往往难以准确反映出问题的实际情况或者专家的实际判断;而BP人工神经网络则可以通过不断的学习优化,最终得出逼近理想最优模型的非线性模型,对于D S M综合评价这样的复杂问题而言,人工神经网络显然可以给出更合理、更精确的评价。 3.2 BP人工神经网络综合评价法的不足 尽管BP人工神经网络法有着出色的替代专家评价和处理复杂评价问题的能力,在DSM综合评价问题中有着很好的适用性,但是人工神经网络的缺陷与局限性同样不可忽视。BP人工神经网络法在DSM综合评价中的应用所存在的主要不足之处如下: (1) BP人工神经网络评价的科学性、精确性十分依赖于用于训练的样本集,因此训练样本集的数量与质量十分重要。由前文的分析可知,传统的评价方法对于DSM综合评价这样的复杂问题总是存在着或多或少的缺陷,而用于人工神经网络训练的样本集只可能是由传统评价方法完成评价的样本组成,因此训练样本中的评价偏差也是在所难免的。为了尽可能弥补训练样本中的缺陷,只能寄希望于增加训练样本的数量来消除偏差。但是就目前而言,DSM综合评价仍是一个新兴的、发展中的概念,因此要为人工神经网络提供足够多的评价样本进行学习是相对困难的。 (2) DSM是一个十分宽泛的概念,DSM的项目类型也有很多,不同的DSM项目在效益、规模、功能、细节等方面差异较大。这导致了一个单一的指标体系难以适用于所有类型的DSM综合评价问题,也导致了不同情形下的DSM综合评价问题中的权重关系,甚至指标体系都可能存在差异。而人工神经网络评价是基于同类型样本学习,并进行同类型样本评价的综合评价机制,缺乏灵活性,这一方面会使人工神经网络可能缺乏足够的同类样本进行学习,另一方面也使人工神经网络面对灵活多变的评价问题时缺乏评价能力。 (3) BP人工神经网络法的不灵活性导致了人工神经网络评价无法根据社会发展的变化而变化。一个已经完成训练的BP人工神经网络,其内部的权值或阈值已经确定,此后所做出的评价皆是基于已经确定的内部数学模型而定。而DSM作为发展较快的新概念,其评价标准、权重等会随时间而改变,此时如果不重新对BP神经网络进行再训练,则此人工神经网络的评价结果会出现过时性的偏差。 (4) DSM综合评价的指标体系中仍然存在着需要模糊判断的定性指标,如社会影响等,而当前的B P人工神经网络是无法给出定性指标的模糊评价的,因此,所有定性指标仍然需要专家进行评价才能完成。当然,随着社会科学的发展,这些定性指标也可能通过某种方法定量描述,如使用某种指数反应定性指标好坏等。 (5)人工神经网络在进行综合评价时,其评价过程的数学模型和指标权重均是“隐性”的,我们只能由输入值得到输出值,而不了解中间的处理过程。这将使评价过程中可能存在的缺陷被忽略,使得我们可能得到一个不合理的评价结果却难以发现,即使发现也缺乏有效的手段进行直接纠正。 (6)人工神经网络法是基于计算机技术的产物,因此算法缺陷、程序漏洞等问题可能会影响人工神经网络评价的准确性。譬如标准的BP神经网络“梯度下降”的算法中,就存在容易陷入误差的局部极小值,从而难以获得全局最小值的问题。 尽管BP人工神经网络评价法应用在DSM综合评价中时仍存在不足之处,但这不是说明人工神经网络不适合用于DSM综合评价,而是要求我们在使用BP人工神经网络综合评价法时,要科学、合理地进行运用,以达到扬长避短的效果。 4 BP神经网络算例 为了验证BP神经网络在DSM综合评价中的可行性和优越性,本文使用Matlab软件中的神经网络工具箱,对DSM综合评价问题进行仿真计算。 本文选用了不同地区的1 5个DSM项目作为待评样本,先收集整理D S M项目各指标分项的初始数据,再统一组织专家组对这1 5个样本按1-5分打分的方式进行单指标分项评分,然后使用层次分析法赋权和模糊分析法综合的方式得出最终结果。之后随机选择其中10个样本作为训练样本集,对BP人工神经网络进行训练,其中预期输出结果为专家评价的结果;将剩下的5个样本作为测试样本集,用以检测完成训练后的B P人工神经网络进行DSM综合评价时的准确性。下面是使用Matlab软件完成BP人工神经网络建立、训练和评价的过程。 4.1 确定BP神经网络的拓扑结构 由前文可知,根据Kolmogorov定理,具有一个隐层的三层BP神经网络,可以以理论上的任意精度(任意希望小的误差)逼近一个连续的函数。因此,本例选用包含一个隐层的三层BP神经网络作为D S M综合评价系统的神经网络结构。 神经网络用于综合评价问题时,输入层神经元的个数与评价指标体系的个数相等,本例采用的指标体系如表1所示。因此输入层神经元数目n=16。而在本例中,神经网络的目标是输出一个综合评价结果,因此输出神经元数目m=1。 隐层神经元数目的过多或过少会引发训练次数增加或过拟合等问题,将影响神经网络的精度。而隐层神经元数目的确定方法很多,没有统一的标准。这里采用一个参考性的公式:隐层神经元数目=log2n,其中n为指标数量。因此本例中隐层神经元数目确定为4。 4.2 使用Matlab软件的神经网络工具箱构建BP神经网络模型 受限于当前神经网络的处理能力,本例中需要先对各指标初值进行预处理后才能完成神经网络评价。首先,对于定性指标采用模糊评价中的隶属度函数将其定量化。其次,对于其他指标的初数据进行归一化处理,本例中使用最大最小函数premnmx函数完成归一化。 在BP神经网络的建立中,使用非线性S型函数tansig作为输入层到隐层的传递函数,使用线性的purelin函数作为隐层到输出层的传递函数;训练函数使用trainlm函数(即LMBP算法)。 4.3 使用训练样本集对BP神经网络进行训练 使用1 0个DSM综合评价结果样本作为训练样本集进行训练,将归一化后的各指标原始数据作为输入数据,通过专家评价法得到的评价结果设定为期望输出,训练的允许误差设置为0.001。图2为训练过程中训练次数与误差的变化关系图。 由图2可以看出,在训练次数达到120次左右时,BP神经网络模型进入稳定状态,表明此时的BP神经网络已完成训练过程。 4.4 使用训练完成的BP神经网络对测试用样本进行评价 完成训练后的BP神经网络即可用作DSM综合评价,在本例中,使用5个测试样本作为BP神经网络的输入,并将神经网络输出结果与预期评价结果相比较,其中,预期评价结果为由模糊分析法得出的专家评价结果。 DSM评价结果与预期评价结果见表2 (评价等级1-5)。 由图3测试样本的评价结果可以看出,完成训练后的BP人工神经网络所做出的评价等级,与专家模糊评价所得的评价等级相符,而BP神经网络输出的数值评价结果也与预期较为接近,说明本例中所构建的BP人工神经网络对于该DSM评价问题是科学、合理的。 由此可以看出,BP人工神经网络对D S M综合评价问题有着较好的拟合能力,利用改进的LMBP训练算法,能获得较快的训练速度与训练稳定性,对于DSM综合评价这样的复杂问题也能有效消除误差,保证了训练效率和训练质量。经过拟合后的BP人工神经网络模型,能够较真实地模拟专家评价的过程,得出与专家组模糊评价相近的结果。且完成训练后的BP人工神经网络,只要输入初始数据就能立即得到结果,与传统评价方法相比,避免了组织专家组进行评估然后再汇总统计等流程,可以节约大量时间与经费,且能同时完成多个样本的高效而准确的综合评价。由此可见,BP神经网络在DSM综合评价系统中的应用是可行的,且比传统方法更高效、更经济,而又不失准确度,是DSM综合评价系统中综合评价方法选择中的一个优良方案。 5 总结 人工神经网络发展至今,已成为重要的人工智能实现方法之一,在综合评价领域,也有着良好的应用前景。将BP人工神经网络评价法引入DSM综合评价系统中是完全可行且效果良好的。但BP人工神经网络在DSM综合评价方面的应用也是一柄“双刃剑”:一方面,BP人工神经网络评价具有许多传统评价方法所不具备的优势,如高效、经济、自适应能力和非线性处理能力强、能避免主观评价偏差的影响、赋权和评价结果更合理等;但是另一方面,现有的人工神经网络方法仍存在着对训练样本集质量依赖性强、一类神经网络只能用于评价一类问题、评价过程不透明、评价算法可能存在缺陷导致评价结果不合理等问题。由此可见,人工神经网络法不是万能的,在DSM综合评价中应用BP人工神经网络法时,一方面需要根据其特点合理运用,扬长避短;另一方面则需要针对现有BP神经网络法的缺点进行改进与提高,这样才能提升人工神经网络的应用水平和应用效果。 一种更好地使用BP人工神经网络评价的策略是结合使用传统评价方法和人工神经网络法进行DSM综合评价,以达到取长补短的效果。譬如对同一评价对象先使用模糊评价法等其他传统方法进行评价,再用BP人工神经网络法验证其准确性和客观性等。也可以采用部分定性指标仍用专家评价法,而定量指标用BP人工神经网络法的评价方法。不过,为了保持神经网络高效性的优势,通常希望BP人工神经网络法能替代专家评价法做出评价。这时,为了保持人工神经网络评价的准确性,可以采用专家定期抽样评价的方法,其评价结果不仅可以用于检验现有BP人工神经网络可能存在的缺陷,还可以用作训练样本对BP人工神经网络进行再训练,以使BP人工神经网络评价能够跟上客观实际的发展。 1 肯特管道风险评价法 肯特管道风险评价法由管道失效可能性指标与泄漏影响系数构成,其中管道失效可能性指标分为第三方破坏指标、腐蚀指标、设计指标和误操作指标;泄漏影响系数分为扩散系数和产品危害性。相对风险分值是在分析管道失效可能性指标后,求取指标总和,再分析产品危害性和扩散系数,求取泄露影响系数,最后求取指标总和与泄露影响系数的比,即得相对风险分值。 其中: 相对风险分值=指标总和÷泄漏影响系数; 指标总和=第三方破坏指标+腐蚀指标+ 设计指标+误操作指标; 泄漏影响系数=产品危害性÷扩散系数。 管道公司相关人员在收集管道现场数据后,对各指标进行评分,然后根据相对风险分值计算方法便可以算出管道相对风险值。例如,采用肯特法对某输气管道进行相对风险分值计算,为说明问题,这里只选择了该输气管道中的2段典型管道进行分析,管段的评分见表1。 由表1可以知道,管段1的得分为366分,管段2的得分为354分。为了研究方便,取泄漏影响系数为1,故可以算出管段1的风险值为366,管道2的风险值为354。在肯特管道风险评价法中,风险值越高表示管道越安全,故管段1相对于管段2更安全。但考查每一指标的“占该项评分比例”一项,其中管段1“内腐蚀”一项,该项得分为5分,占该项评分的25%,表明管段1内腐蚀情况相当严重,由管道的实际情况也可判断管段1的风险明显高于管段2。因此,由肯特法累加计算得出的管道风险值评价的结果会偏离管道实际风险情况。故对肯特管道风险评价算法进行改进。 2 改进算法 指标分值的大小表示该指标失效可能性的大小,因此可以将每个评价指标的得分值(V′)划分为5个区间,每个区间对应相应的失效可能性等级,即低(L)、较低(RL)、中等(M)、较高(RH)、高(H)。然后,将指标失效可能性等级转化为模糊数W,再将模糊数转化为指标的失效概率。最后,将所有指标的失效概率进行相加得到管道失效总概率。 2.1 指标分值与失效可能性等级对应关系 首先,将评价指标的分值平均划分为5个区间,分别与失效可能性等级相对应,见表2。其中,当评价指标的得分值(V′)=评价指标给定分值(V)时,失效可能性为0;当评价指标的得分值(V′)=0时,失效可能性为1。 2.2 指标失效概率计算 2.2.1 指标失效可能性等级转化为模糊数 将指标失效可能性等级转化为模糊数W(即对应失效可能性等级的模糊数),其对应关系见图1。其模糊数的数学表达式见式(1.1)到(1.5)。 2.2.2 模糊数转化为模糊可能性值 采用Lin C.T.和Wang M.J.提出的左右模糊数排序法[8],将模糊数转化为模糊可能性值。首先定义最大模糊集: 然后,计算模糊数左右模糊的模糊可能性值: 其中,ƒw(x)为模糊数W所对应的隶属度函数,W为对应失效可能性等级的模糊数。 最后,计算模糊数的模糊可能性值: 2.2.3 模糊可能性值转化为失效概率Pi 根据参考文献[8]的转化公式,将模糊可能性值转化为失效概率Pi。转换公式见(6)。 2.3 管道失效总概率计算 由于肯特法中各指标满足独立性假设,故管道失效总概率P的计算可以直接将各指标的失效概率相加,见式(7)。 3 实例计算 对肯特管道风险评价方法中指标运算进行了改进,采用提出的算法对某输气管道的2段典型管道进行重新评价。首先,根据表1管道每项指标得分值划分出对应的失效可能性等级,然后再根据失效可能性等级转化为失效概率的相关公式进行指标失效概率计算,其计算结果见表3。 由表3可知,管段1失效总概率为1.71×10-2,管段2失效总概率为2.37×10-3。同样,取泄漏影响系数为1,因此,管段1的风险比管段2的风险大。该评价结果符合2段典型管道现场调查情况,表明这里提出的肯特管道风险评价改进算法计算出的评价结果符合管道实际风险情况。 4 结 论 针对肯特法中评价指标分值累加会隐藏指标低分值情况的不足,采用将指标分值转化为失效概率的方法对肯特管道风险评价算法进行了改进。通过实例计算表明,肯特管道风险评价改进算法更能反映管道的实际风险情况,具有一定的工程应用前景。 参考文献 [1]潘家华.油气管道的风险分析(待续)[J].油气储运,1995,14(3):11-15. [2]姚安林.论我国管道风险评价技术的发展战略[J].天然气工业,1999,19(4):66-69. [3]戴联双,张俊义,张鑫,等.RiskScore管道风险评价方法与应用[J].油气储运,2010,29(11):818-820. [4]张华兵,程五一,周利剑,等.管道公司管道风险评价实践[J].油气储运,2012,31(2):96-98. [5]Muhlbauer,K.W.Pipeline risk management manual[M].Houston:Gulf Publishing Company,1992. [6]周剑锋,陈华国.基于灰色关联度改进的管道相对风险分析方法[J].石油化工设备,2006,35(4):48-51. [7]易云兵,姚安林.基于不确定层次分析法确定管道风险因素权重[J].天然气工业,2006,26(3):149-151. 聚类融合算法被认为是数据分析的有效工具之一, 它通过把多个聚类决策进行融合, 得出更准确的、更壮健的决策[1,2,3,4,5]。然而, 除了研究优良的聚类融合算法, 怎么评价聚类的质量也被认为是难题之一。因为聚类属于无监督学习方法, 并不具备像监督学习方法那样的测试集进行评价。 然而, 在许多聚类融合算法文章的实验部分中[6,7,8,9,10], 先假装不知道数据集的分类标签, 然后在得出聚类决策后, 再用该数据集的基准进行评价。这种测定聚类质量的方法被称为外在方法, 它的基准通常由专家构建。现实中, 这种基准不但昂贵, 而且常常不容易得到。另外, 还有一种不依赖基准的方法, 被称为内在方法。这种方法基于聚类的定义进行评价, 即考察同一簇中的对象是否彼此相似, 不同簇的对象是否彼此分离。但由于这种方法需要利用数据集对象之间的相似度量, 因此需要用户来决定使用哪一种的相似度量, 而用户往往不具备这一方面的先验知识。 据此, 本文提出一种新颖的基于实验的聚类融合算法评价方法, 其基准不需要专家来构造, 也不需要用户去决定使用哪一种相似度量, 它的基准由所有参与评价的聚类融合算法折衷而来, 因此其得出来的聚类质量独立于其中任何一种聚类融合算法, 但又依赖于所有的聚类融合算法, 是一种基于参与评价的聚类融合算法的评价方法。 这篇文章的安排如下:第一部分简述聚类质量评价方法的相关工作;第二部分提出聚类融合算法的实验评价方法框架;第三部分, 基于这个框架, 具体描述如何使用这个方法来评价两种聚类融合算法;实验在第四部分;第五部分则是总结。 1 相关工作 基准是一种理想的聚类结果, 它能够完全反映数据集的结构。根据是否有基准可以参照, 聚类质量评价方法分为外在方法和内在方法。 外在方法使用基准, 它将算法所得出的聚类结果与基准进行对比, 得出评价结果。外在方法的评价依据是, 当聚类结果越接近基准, 它的评价越高。通常情况下, 基准是由专家来评定。 内在方法不使用基准, 它依据聚类的定义, 考察聚类结果中簇的分离情况和紧凑情况。内在方法的评价依据是, 同一簇的对象越紧凑, 不同簇的对象越分离, 那么聚类结果的评价越高。例如, 轮廓系数就是这样一类方法[11]。它结合簇的紧凑性和分类性, 度量出聚类结果的簇的拟合性。 内在方法需要用户设定数据集的对象之间的相似度量, 其聚类质量评价结果依赖于用户对数据集结构理解的先验知识。本文采用的是外在方法, 但其基准不由专家构造。它利用聚类融合算法的特点, 构造多个候选基准, 并在其中挑选优良的候选基准作为基准。这种基准不依赖与专家评价等先验知识, 是由参与评价的聚类融合算法折衷所得出。 2 聚类融合算法的实验评价方法框架 聚类融合算法的实验评价方法分为2个步骤。 ⑴生成基准的框架如图1所示。首先, 通过个基聚类算法分别作用于数据集, 得出个基聚类。然后, 对基聚类采样次, 得出个采样基聚类集。对每一个基聚类集采用参与评价的个聚类融合算法, 得出个融合聚类, 再对这些融合聚类采取聚类融合聚类算法, 得出基于这个采样基聚类集的基准。如此类推, 一共可以得出个基准。最后, 通过对这个基准进行筛选, 得出最终的基准。 ⑵由于已经生成基准, 我们可以利用这个基准采取外在方法的评价方式。给定基准πb和K个由不同聚类融合算法所得的融合聚类, 对每一个融合聚类π={π1, π2, …, πk}, 对每一个融合聚类πi, 都可以得出一个质量评分Qi (πi, πb) 。评分越高, 代表该聚类融合算法得出来的融合结果越好。 聚类质量度量一般满足以下4项标准[11]: (1) 簇的同质性。属于不同的类别的对象应该分在不同的簇。 (2) 簇的完全性。属于同一的类别的对象应该分在同一的簇。 (3) 碎布袋。将异种对象引入碎布袋要比引入纯的簇危害小。 (4) 小簇的保持性。大类别划分成小片比小类别划分成小片危害大。 3 两种聚类融合算法的实验评价方法 本部分介绍参与评价的2种聚类融合算法, singlelinkage clustering (SLC) [2]和iterative voting clustering (IVC) [6], 然后根据第二部分提出的框架, 实现聚类融合算法的实验评价方法。 3.1 两种聚类融合算法 SLC的伪代码如算法一所示。这个算法由三个步骤组成。第一步, 计算每一个结果的co-association矩阵。然后, 把所有co-association矩阵加起来再除于结果的数目。最后, 用single-linkage聚类分层方法来得出聚类合成的结果。 算法一Single-linkage Clustering 输入:数据集X={X1, X2, …, XN} 聚类结果P={P1, P2, …, PL} K是聚类融合结果的分类数 输出:有K类的聚类融合结果P* 初始化:N×N的co-association零矩阵M for每一个聚类结果Pi∈P do M是N×N矩阵, S=1, 2, …, L其中 end for 计算M的single-linkage聚类分层结果。聚类合成结果P*就是有K类的聚类分层结果。 IVC的伪代码如算法二所示。这个算法由2个步骤迭代组成。第1步, 计算聚类合成算法结果中的聚类中心。第2步, 把每一个数据点分配到它最近的聚类中心。 算法二Iterative Voting Clustering 输入:数据集X={X1, X2, …, XN} 聚类结果P={P1, P2, …, PL} K是聚类合成结果的分类数 输出:有K类的聚类合成结果P* 初始化:P* repeat 设Pi={y︳p* (y) =i}是第i类 计算每一组的聚类中心 其中 (Pi) j是聚类结果Pi所有数据点的第j个特征值 for y in Y do 分配p* (y) ←arg miniD (y, ypi) 其中D是汉明距离, end for untilp*不再变化 3.2 聚类融合算法的实验评价方法的实现 根据第2部分提出来的框架, 评价SLC和IVC的实现方法的第1步如图2所示。首先, 基聚类算法使用随机K-means算法, 得到N个基聚类Π={π1, π1…, πn}。 第2步, 采用赌轮盘方式随机选择采样基聚类, 然后分别使用SLC和IVC进行融合, 得到两个融合聚类。最后, 使用SLC把两个融合聚类进行融合, 得到候选基准。重复这个步骤M次, 得到M个候选基准。 其中, 在采用赌轮盘随机采样方式中, 基聚类被选入采样基聚类的概率依照该基聚类的多样性而定。基聚类的多样性越大, 它被选中的概率越大。这是为了确保多样性大的基聚类集能够生成不同的候选基准。 本文采用标准互信息 (Normalized Mutul Information, NMI) 来评价基聚类的正确性和多样性[12]。标准互信息可以计算两个聚类之间共享的统计信息。假设存在两个聚类πa和πb, 它们之间的标准互信息定义如下: 其中:k (a) 表示在聚类πa中簇的个数, k (b) 表示在πb中簇的个数。I表示数据的个数。Iia表示属于聚类πa中簇Cia的个数。Iib表示属于聚类πb中簇Cjb的个数。Iijab表示同时属于聚类πa中簇Cia和聚类πb中簇Cjb的个数。NMI的取值范围在[0, 1]之间。当NMI等于1时, 表示这两个聚类一致。当NMI等于0时, 表示这两个聚类不存在任何共享信息。 根据NMI的定义, 基聚类πp∈Π的多样性的定义[12]如下: 给定融合聚类π*, 基聚类πp的准确率的定义[12]如下: 根据多样性Div (πp) , 基聚类πp被采样选入基聚类集的概率的定义[12]如下: 第3, 对M个候选基准进行筛选评分。本文采取的基准筛选定义:两个融合聚类相似, 并且两个融合聚类的准确性相近。这样的定义是为了减少融合聚类算法SLC对两个融合聚类的影响, 使两个融合聚类更相近似, 并跟基准都具有近似的共享信息。假设两个融合聚类πu*和πv*, 候选基准πB*, 该基准的评分定义如下: 最终, 选取评分最高的候选基准作为基准。 第2步, 本文采用BCubed作为外在方法[11], 它满足第二部分提到外在方法的4个标准。 假设有对象集合X={X1, X2, …, Xn}, 是的一个聚类, C是X的基准。C (Xi) (1≤i≤n) 表示Xi在C的类别, B (Xi) (1≤i≤n) 表示Xi在B的类别。 对于两个对象Xi和Xj (1≤i, j≤n, i≠j) , Xi和Xj在聚类C的正确性的定义如下: BCubed的精度定义如下: BCubed的召回率定义如下: 结合Precision和Recall, 我们使用F度量方法, 其定义如下: F越接近1, 表示聚类质量越好。 4 实验 4.1 实验数据 本文使用2个仿真数据集和3个UCI数据集。2个仿真数据分别是U02和SP01, 其分布如图3和图4所示。数据集的具体说明如表1所示。3个UCI数据集分别是Iris, Glass和Wine。 4.2 实验参数 在第一步中, 我们运行100次kmeans得到100个基聚类, 然后每次采样基聚类的个数为20, 共采用100次, 得到100个采样基聚类集。在候选基准的评价中, 我们设定α=0.1λ=0.9。在第二步中, 我们设定β=1, 即基聚类算法Kmeans和聚类融合算法SLC、IVC的设定类数均设为该数据集的实际类数。 4.3 实验结论与分析 本评价方法对每一个数据集运行100次, 结果取平均值。作为对比, 以专家评价作为基准, 也使用F方法作为评价, 同样运行100次, 结果取平均值。结果如表2所示。 *使用专家评价作为基准 从实验结果可得出以下结论: ⑴当F*SLC和F*IVC均高于0.8时, 本文的方法的评价与使用专家评价为基准的外在方法的评价一致。例如, 对于U02, 两种评价都认为两种方法的聚类质量一样;对于Iris, 两种评价都认为SLC的聚类质量比IVC好。 ⑵当F*SLC和F*IVC均低于0.8时, 本文的方法的评价与使用专家评价作为基准的外在方法的评价不完全一致。例如, 对于SP01、Glass和Wine, 本文的方法认为IVC的聚类质量高于SLC, 但使用专家评价作为基准的外在方法评价相反。 这说明了, 当F*SLC和F*IVC均很高时, 从专家评价作为基准的外在方法看来, SLC和IVC都是强聚类融合算法, 他们都能很好地反映数据集的结构。此时, 它的评价与本文的方法的评价一致。这是因为本文的评价方法假定参与评价的数据融合算法都是强聚类方法。 5 结语 文章提出了一种的新颖的聚类融合算法的实验评价方法的框架, 并依据这个框架, 实现了对SLC和IVC两种聚类融合算法的评价。实验证明, 从传统外在方法看来, 当参与评价的算法是强聚类融合算法时, 本文方法的评价结果与传统方法的评价结果一致。 由于本文的评价方法不需要使用专家评价基准, 因此, 本文的评价方法可以作为外在方法应用到无类别号的数据集中。现实中, 大部分的数据集不具有类标号, 所以本方法比起传统的外在评价方法具有更广泛的应用前景。未来工作将在此方法框架上, 研究对于此方法与不同评价方法的关系, 并对不同类型的聚类融合算法实现本方法。 参考文献 [1]A.Strehl, J.Ghosh.Cluster ensembles-a knowledge reuse framework for combining multiple partitions[J].Journal of Machine Learning Research, 2002, 3 (1) :583-617. [2]A.Fred, Anil K Jain.Combining multiple clusterings using evidence accumulation[J].Pattern Analysis and Machine Intelligence, 2005, 27 (6) :835-850. [3]Alexander Topchy, Anil K Jain, William Punch.Clustering ensembles:models of consensus and weak partitions[J].Pattern Analysis and Machine Intelligence, 2005, 27 (12) :1866-1881. [4]S.T.Hadjitodorov, L.Kuncheva, LP Todorova.Moderate diversity for better cluster ensembles[J].Information Fusion, 2006, 7 (3) :264-275. [5]L.Kuncheva, D.Vetrov.Evaluation of stability of k-means cluster ensembles with respect to random initialization[J].Pattern Analysis and Machine Intelligence, 2006, 28 (11) :1798-1808. [6]Nam Nguyen, Rich Caruana.Consensus clusterings[C]//Proceeding of IEEE 13th International Conference on Data Mining, 2007:607-612. [7]N.Iam-On, T.Boongoen, S.Garrett, et al.A link-based approach to the cluster ensemble problem[J].Pattern Analysis and Machine Intelligence, 2011, 33 (12) :2396-2409. [8]Hongjun Wang, Hanhuai Shan, Arindam Banerjee.Bayesian cluster ensembles[J].Statistical Analysis and Data Mining:The ASA Data Science Journal, 2011, 4 (1) :5470-5471. [9]N Li, L.J.Latecki.Clustering aggregation asmaximum-weightindependent set[C]\Proceedings of Neural Information Processing Systems, 2012:782-790. [10]Andr Laurenco, Samuel Rota Bulo, Nicola Rebagliati, et al.Probabilistic consensus clustering using evidence accumulation[J].Machine Learning, 2013 (4) :331-357. [11]Jiawei Han, Micheline Kamber, Jian Pei.Data mining concepts and techniques[M].3rd ed.Beijing:China Machine Press.2012, 483-491. 以卷的方式存在的产品、半成品是极为常见的，例如胶卷、合成革卷、贝斯、离型纸、纤维布卷、纸卷、铝卷、铜卷，等等。在产险理赔中，常需要计算卷的长度。 二、计算方法理论推导 1.阿基米德螺线法 由于卷是绕以r为半径的轴芯一圈一圈卷起来的，每绕一圈卷半径就增加δ。由此我想到了阿基米德螺线（图1）。阿基米德螺线，亦称“等速螺线”。当一点P沿动射线OP以等速率运动的同时，该射线又以等角速度绕点O旋转，点P的轨迹称为“阿基米德螺线”。这是首次由阿基米德在他著作《论螺线》中给出了定义。阿基米德螺线在极坐标体系的一般方程是 ρ（θ）=ρ0+aθ ρ代表阿基米德螺线上的点到原点的距离，θ为角度（弧度制），a为常数，螺距等于2πa，即Δθ=2π时，Δρ=2πa。设螺线的螺距为δ，则a=以此为数学模型，考虑到螺线绕一周径向增大一个δ的特点，以卷起始点内侧离圆心距离r的位置作为螺线的起点，则方程为 ρ0=r，ρ（θ）=ρ0+θ 即ρ（θ）= r+θ 假设卷纏绕的圈数为n，根据图2可知n=，求卷长度就是计算螺线的弧长，ρ（θ）对积分就是弧长，θ使用弧度制。 这是利用阿基米德螺线极坐标方程，求得的卷长度计算公式。 2.面积法 如图2所示，卷从A点卷至D点时平直卷到B点（即过B点作⊙O切线交于D点），AB即卷的厚度δ，B点卷至E点时平直卷到F点，C点是第2圈开始的地方，从F点到C点假设为以B点为圆心、δ为半径的圆弧，以此类推。最后第n圈外缘交OX轴于G点，内缘交OX轴于J点。则OA=OD=r，OJ=OH=R，nδ=R-r。 下面计算卷侧面积。 设∠AOD=θ，θ采用弧度制， 图1 阿基米德螺线示意图 图2 面积法示意图 三、应用 【实例1】某合成革厂的贝斯（合成革的中间产品）卷，卷中心是一根外径8.9cm的铁轴，贝斯卷外径100cm，贝斯厚度1.4mm，问该卷贝斯长度为多少米？ 根据公式①，计算贝斯长度如下： L=π（R2-r2）/δ=π（0.52-0.04452）/0.0014=556.56m 【实例2】贝斯卷外径100cm，中心的铁轴外径8.9cm，该卷贝斯长度为600米，现平放被水浸泡离外缘20cm。问受损的贝斯长度为多少？ 设未受损的贝斯长度为L`，未受损处半径为R`，则受损的贝斯长度ΔL=L-L`，R`=0.5-0.2=0.3m 根据公式①，有L=π（R2-r2）/δ，L`=π（R`2-r2）/δ， 经简单数学变换，有ΔL：L=（R2-R`2）：（R2-r2），即 ΔL=（R2-R`2）L/（R2-r2）=（0.52-0.32）*600/（0.52-0.04452）=387.07m， 即受损的贝斯长度为387.07米。 四、结语 综上，本文运用阿基米德螺线的方程，求得卷的长度计算公式为。也可运用“面积法”得到计算公式，其中。后者在θ极小情况下可简化成公式①。 根据该公式，产险公司理赔人员可以方便地计算受损卷的长度，以确定财产损失的数量。如在水灾理赔中，可以通过对受水浸泡的卷外沿环尺寸的测量，计算出受损卷材的长度。也可以根据相关参数，对火灾损毁的卷堆放空间进行假想复原推演，用以评估实际损失情况。 用计算机辅助人体营养状况的评价进行决策, 目前国内的资料还不多。比如近年来出现的王士软件“膳食分析与营养评价系统”, 它的主要功能是配餐, 同时也有营养评价功能, 但是它的评价功能依据不充分、结果不全面, 难以满足我国居民的需求。在使用计算机进行营养配餐方面国外较为领先, 而且趋向于方便、实用、小型化的硬件产品。日本东芝公司的小型智能菜谱营养机, 可以通过季节、年龄、性别和体重等数据按照人们口味选择主副食菜谱, 而且计算出营养含量。然而, 虽然国外技术先进, 但是由于我国居民饮食的特殊性, 这些研究成果并不适合我国居民。 2 营养评价算法研究 国外专家学者对于膳食营养素测算的方法主要是:直接利用食物营养成分和总供应量进行计算, 即根据食物供需平衡表把各种食物的供应量与相应的食物营养成分相乘, 对人们膳食营养水平进行了计算。国内专家学者对于膳食营养素测算的方法是根据主要食物营养成分表进行换算, 即在编制主要食物营养成分表的基础上, 按照每一类别食物中代表性食物生产或消费所占比例, 依据各主要食物的消费量来测算人们的营养水平。不少专家和组织在使用这种方法进行膳食营养素的研究。 2.1 关于每日膳食营养评价的研究 进行营养评价的主要方法是:根据用户每天膳食原料和数量以及各原料所含营养成分含量 (可从食物成分表中查出) 计算出食谱中各种营养成分的总含量, 然后将其与该类人群所需的每日膳食营养素供给量标准相比较从而进行营养评价。营养成分含量的计算公式如式1所示: 其中, Zi表示配方中第i种营养成分的含量;系数100表示食物成分表中各营养成分的含量以100克单位原料计算;n表示所用原料的种数;Xij表示第j种原料中第i种营养成分的含量;Yj表示第j种原料的用量 (单位:克) 。 另外, 各种营养成分含量与所需每日膳食营养素供给量标准对比公式如式2所示: 其中, Ai表示第i种营养成分含量与所需营养素供给量标准的差值与标准值的比值;Zi表示配方中第i种营养成分的含量;Si表示该类人群所需的第i种营养素供给量标准值。 根据大多数健康人群计算出5～7天的总量的Ai平均值AP, 对AP数值分析:AP<-30%, 表示营养缺乏;-30%≤AP≤-10%, 表示营养不足;AP>10%, 表示营养素过量;-10%≤AP≤10%, 表示基本达到平衡膳食的标准。若出现上述的前三种情况, 则应该调整膳食结构。 2.2 关于平衡食谱的研究 由于不同人群需要的热量不同, 计算出相应蛋白质、脂肪、碳水化合物的量;而它们在各种食物中含量的差异, 需要选择不同的食物品种进行搭配, 同时调整各种微量元素和维生素的比例, 全天热量分配按照早餐∶中餐∶晚餐=25～30%∶40～50%∶30%的比例进行三餐的合理分配, 最终得到平衡膳食食谱。 3 数据库设计 根据系统需求分析, 主要包括几种数据表, 在此以食物营养素数据表为例, 它是用来存放所选取的每一类代表性食物的各种营养素数据的。该数据表的字段包括:食物名称、能量、脂肪、蛋白质、碳水化合物、膳食纤维, 维生素A、维生素C、维生素E、胡萝卜素、硫胺素、核黄素, 视黄醇、尼克酸, 钙、磷、钾、钠、镁、铁、锌、硒、铜、锰和备注等。具体设计如表1所示: 4 系统实现及测试 对于用户的膳食营养评价功能包括:对于用户每日的膳食进行营养评价;对于用户连续5～7日的膳食进行营养评价;根据营养评价结果对于用户近期营养状况进行分析, 向用户推荐合理的平衡膳食食谱;通过分析菜谱的营养素含量进行营养评价等。本系统的营养评价工作流程如图1所示: 该模块的界面采用菜单形式, 用户可以点击菜单打开所需项目。通过身份确认以后, 进行用户信息输入, 然后输入一天或近期的膳食安排, 系统自动进行营养评价并给出平衡膳食食谱。若输入菜谱信息, 则进行菜谱的营养评价。另外, 还可以查询食疗偏方、食补偏方和营养常识等相关信息。 本系统在能力上可以实现对营养状况进行较为准确的评价。目前已在部分餐饮单位和家庭中成功使用, 效果良好, 达到了预期的目标。 5 结语 本文提出的营养评价功能可以便捷、定量地分析出用户每天或近期膳食的营养状况, 使其可以知道自身所摄入的营养量是否达到平衡, 从而可以及时调整膳食结构, 补充体内缺乏的营养物质, 减少过量的物质 (如脂肪等) , 最终达到更营养、更合理的配制最佳膳食食谱的目的。另外, 通过查看菜谱、食疗和食补偏方等信息, 对于各类人群的营养膳食都有着重要的指导意义。 参考文献 [1]王士软件.膳食分析与营养评价系统介绍.算法及算法评价 篇7
算法及算法评价 篇8
肯特管道风险评价改进算法研究 篇9
聚类融合算法的实验评价方法 篇10
浅谈卷长度的理论算法及应用 篇11
基于营养评价算法配餐系统的研究 篇12