学习算法的意义(精选10篇)
学习算法的意义 篇1
人工神经网络[1]是一种旨在模仿人脑结构及其功能的信息处理系统。随着神经网络的复苏, 将近20年来, 神经网络理论在模式识别、自动控制、信号处理、辅助决策、人工智能等众多研究领域取得了巨大的成功与进展[2]。关于学习、联想和记忆等具有智能特点过程的机理及其模拟方面的研究正受到越来越多的重视。遗传算法[3,4]是一种借鉴自然选择 (Natural Selection) 和自然遗传机制的随机搜索算法 (Random Search Algorithm) 。目前, 遗传算法已被成功的应用于函数优化、组合优化、生产调度问题、自动控制、机器人智能控制、图象处理和模式识别、人工生命、遗传程序设计、机器学习、数据挖掘等, 因此遗传算法是一种重要的优化算法[5]。它以广泛的适应性越来越多地受到人们的青睐和重视。
由于遗传算法能够搜索到全局最优解, 而且遗传算法的鲁棒性强, 将遗传算法与前馈网络结合[6]起来是很有意义的, 不仅能发挥神经网络的泛化的映射能力, 而且使神经网络具有很快的收敛性以及较强的学习能力。BP网络[7]的误差函数为平方型, 存在局部极小值问题, 且收敛速度较慢;遗传算法GA具有全局搜索能力, 善于搜索复杂问题和非线性问题等方面有着独特的优点, 但在学习、训练能力上远不如神经网络。因此将这两种方法有机的结合起来, 取长补短, 这样能够很好的解决神经网络出现的上述问题。
1 BP网络结构及算法
BP网络是一种由输入层、输出层及若干隐层的节点互连而成的一种多层前馈型网络[7], 对于这种多层前馈网络的训练采用的算法是反向传播 (Back Propagation, BP) 算法。每一层内神经元的输出均传送到下一层, 这种传送由联接权来达到增强、减弱或抑制这些输出的作用, 除了输入层的神经元外, 隐蔽层和输出层神经元的净输入是前一层神经元输出的加权和。每个神经元均由它的输入、活化函数和阈值来决定它的活化程度。这是一种有导师的学习方法, 其基本思想是最小二乘算法。它利用根均方误差和梯度下降法来实现对网络连接权的修正, 对网络权值修正的目的是使网络实际输出与规定的输出之间的根均方误差 (Root Mean Squared Error, RMSE) 最小。其基本算法如下:
BP算法的学习过程如下:
2 GA算法概要
遗传算法[4] (Genetic Algorithm, 简称GA) 是一种模仿自然界生物进化思想而得到的一种自适应启发式全局搜索算法, 其实质是由复制、交换、变异算子组成的周而复始的循环过程。从任一初始种群 (Population) 出发, 通过随机选择、交叉和变异操作, 产生一群更适应环境的个体, 使群体进化到搜索空间中越来越好的区域。这样一代一代地不断繁衍进化, 最后收敛到一群最适应环境的个体 (Individual) , 求得问题的最优解。
遗传算法的运行过程如下:
3 GA和BP算法的结合
3.1 基本思想
遗传算法是一种非导数优化的随机优化方法[6], 可以对一复杂的、多峰的、非线性极不可微的函数实现全局搜索。而BP网络主要是采用误差梯度下降的权重修改原则, 在应用上的主要问题是收敛速度太慢, 而且不能保证收敛到全局最小点。神经网络则比较适合局部搜索, 可以取两种方法各自的特点。目前广泛使用的BP网络, 是基于梯度下降方法, 因而对网络的初始权值异常敏感, 不同的初始权值会导致完全不同的结果。而且在训练过程中, 有关参数 (如学习速率) 的选取也没有理论指导, 完全凭借经验来确定, 一旦取值不当, 就会引起网络振荡而不能收敛, 即使收敛也会因为收敛速度慢而导致训练时间长, 同时又极易陷入局部极值而无法得到最好的权值分布, 最终影响网络的泛化能力。用遗传算法进化神经网络的联接权可以有效克服这些问题。
3.2 实现方法和步骤
(1) 编码方案
对网络中连接权值和阈值进行编码主要有两种方法:一是采用二进制编码方案, 另一种是采用实数编码方案[4]。为了提高算法的精度, 便于较大空间的遗传搜索和设计专门问题的遗传算子, 使GA更接近问题空间, 同时也便于算法与经典优化方法的混合作用, 改善GA的计算复杂性, 提高运算效率, 这里采用实数编码。
文中讨论的是一个3层神经网络结构, 其中X1, X2, …, Xm和Y1, Y2, …, Yn分别表示网络的输入和输出m和n分别表示输入和输出的维数。如果总共有s个隐节点, 其中编码的前部分为输入层到隐层的权值, 随后是隐层到输出层的权值, 之后是输入层阈值、输出层阈值。编码长度为:s*m+s*n+s+n。其中W为权值、B为阈值。编码, 如图1所示。
(2) 适应度函数
衡量BP网络的性能的主要指标是网络的输出值与期望的输出值之间的误差平方和。该误差平方和小则表示该网络性能好。
定义 适应度函数
其中
(3) 遗传操作
在这里采用遗传操作方法。首先将当代种群的个体适应度由大到小进行排序, 然后选择一定比例的下位个体淘汰掉, 在剩下的上位个体中实行算术交叉, 生成新的子个体加到种群中, 以保证种群大小不变。最后, 进行变异操作 (采用非均匀变异) , 生成子代种群。
(4) 具体步骤
1) 随机产生一组分布, 采用实数编码方案对该组中的每个权值 (或阈值) 进行编码, 进而构造出一个个码链。在网络结构和学习规则已定的前提下, 该码链就对应一个权值和阈值取特定值的一个神经网络;
2) 根据 (2) 对所产生的神经网络计算它的误差函数, 从而确定其适应度函数值, 误差越大, 则适应度越小, 评价网络性能;
3) 根据 (3) 中规定的遗传操作, 产生下一代种群, 形成下一代网络;
4) 重复2) 、3) , 直到F<Fmax或达到进化代数, 此时, 得到通过GA优化后的网络的连接权和阈值。Fmax为遗传算法所要达到的性能指标;
5) 将GA优化后的网络权值和阈值作为BP算法的网络初始权值和阈值;
6) 对网络进行训练, 对网络权值和阈值的调节, 评价网络性能;
7) 重复6) , 直到F<Fmin或e (i) ≤max{ep (i=1, …, l) }, 其中l为训练网络的样本数, Fmin为BP算法所要达到的网络性能指标, 即最终要求的性能指标, max{ep}是单个样本的最大误差。此时, 保存网络权值和阈值。
4 仿真实验
以一个3层前馈神经网络的训练为例[8,9], 输入层神经元个数为3, 隐层神经元个数为6, 输出层神经元个数为1。采用Matlab7.1编程实现算法和完成相应的数据处理。
(1) 参数选择
训练样本数8, 遗传算法初始种群30, 进化代数80, 编码长度为31, 权阈值变化范围[-1, 1], 选择操作时的淘汰率0.08, 采用非均匀变异为, 利用算术交叉, Fmax=1e-6[10]。
标准BP算法学习率0.05, Levenberg-Marquardt BP算法[9]学习率0.05, Fmin=0.000 1, 最大循环次数为1 000。
(2) 仿真结果
经过计算机仿真实验, 各算法计算结果的比较, 如表1所示。
(3) 讨论
从表1, 表2中, 可以看到GA+BP学习算法比现有的标准BP算法和基于Levenberg-marquardt的BP算法无论在收敛速度上, 还是在误差及精度上, 都取得了很好的效果。仿真也说明了GA算法能以较快的速度减小了搜索空间范围, 而且不易陷入局部极小点, 而BP算法则具有局部搜索效率高的特点, 将两者结合从而得到比现有的学习算法更好的学习效果。
5 结束语
遗传算法优化神经网络主要包括3个方面的内容:优化网络结构、优化权系数和同时优化网络结构和学习规则等[6]。用遗传算法优化计算时, 运算量较大, 当优化设计解决复杂问题的大规模神经网络时, 随着神经元个数的增加, 连接权的数目也急剧增多, 从而造成遗传算法的搜索空间很大。文中将遗传算法全局搜索最优和传统的BP神经网络模型局部寻优结合起来, 取长补短, 既可以减小遗传算法的搜索空间、提高搜索效率, 又可以较容易地收敛到最优解, 使算法具有一定的实用性。
摘要:介绍了遗传算法和标准BP算法及其改进形式, 指出遗传算法和BP算法各自的优缺点。利用遗传算法全局寻优和BP神经网络局部寻优相结合的方法, 提高了传统BP神经网络的计算精度和收敛速度。最后进行了仿真实验, 结果表明, 该方法不仅收敛速度快, 而且易达到最优解, 具有很高的实用价值。
关键词:神经网络,遗传算法,网络训练,反向传播算法
参考文献
[1]Simon Haykin.神经网络原理[M].叶世伟, 史忠植, 译.北京:机械工业出版社, 2004.
[2]蔡自兴, 徐光佑.人工智能及其应用[M].3版.北京:清华大学出版社, 2004.
[3]Davis L.Hand book of Genetic Algorithms[M].New York:Van No Strand Reinhold, 1991.
[4]张文修, 梁怡.遗传算法的数学基础[M].西安:西安交通大学出版社, 2000.
[5]David E Goldberg.Genetic Algorithm in Search, Optimi-zation and Machine Learning[M].Reading, MA:Ad-dison-Wesley, 1989.
[6]阎平凡, 张长水.人工神经网络与模拟进化计算[M].北京:清华大学出版社, 2001.
[7]田景文, 高美娟.人工神经网络算法研究及应用[M].北京:北京理工大学出版社, 2006.
[8]许东, 吴铮.基于Matlab6·X的系统分析与设计—神经网络[M].西安:西安电子科技大学出版社, 2002.
[9]丛爽.面向Matlab工具箱的神经网络理论与应用[M].合肥:中国科学技术大学出版社, 2003.
[10]雷英杰, 张善文, 李续武.Matlab遗传算法工具箱及应用[M].西安:西安电子科技大学出版社, 2006.
学习空间的意义 篇2
经营实体店的一个关键原因是打造强大、独特的品牌体验,但现在看来这一点似乎已不再重要。社交媒体的迅速崛起和随之而来的人们对于企业透明度更高的期望,让消费者在很大程度上影响着零售品牌的塑造。实体零售商一度依靠的竞争优势正在流失,这意味着它们不再比线上竞争对手拥有更得天独厚的优势。
当然,不是所有的优势都已经流失:在特定情况下,实体渠道依然比数字渠道更为重要,因为实体店可以让品牌与消费者之间建立起直接的个人联系。聪明的零售商已不再满足于销售产品或展示精心设计的品牌体验,而是开始利用店面与人们建立联系,了解现有及潜在的顾客及其需求。简而言之,就是把零售空间作为一个学习的平台。
最近,我们就为美国的一家大型保险公司State Farm设计了一个这样的“学习空间”。这项名为“比邻”(Next Door)的项目开始于2008年。当时State Farm和IDEO共同完成了一轮初步的情景访谈,访谈对象为年龄在18岁至35岁之间、从未参与过该品牌互动的目标消费群。设计团队发现,在许多年轻人看来,传统的银行和保险公司会给人一种“令人生畏”和“冷漠”的感觉,那里的产品和服务往往难以理解,价格又贵。
为了改变这种认识,团队开始着手设计一个面向社区的“金融学习空间”,其核心内容就是让人们在无压力的状态下接受金融培训。设计师们特意在芝加哥的一间仓库里建造了一个实体尺寸的概念模型。几十名消费者共同体验了这个模型,通过还原不同的服务场景和工作角色,征询反馈。此外,我们还采访了State Farm公司的代理商、生活导师和金融顾问,了解他们的目标、遇到的挑战以及和顾客的联系 。
State Farm决定在10个月内将设计概念推向实体店,于是我们邀请了State Farm的创意团队和外部数字开发商及建筑师,和我们一起在芝加哥办公室工作了几个月。团队在协作下共同创建了“Next Door”品牌(品牌标识、平面设计等)、关键的店面和室内设计、一个网站和一个基于iPad的金融辅导工具、课程和社区活动的相关概念,新品牌的组织架构框架图、服务角色和衡量成功的标杆。
“Next Door”服务体验的每一处设计都是为了促进与千禧一代开展有意义的对话,了解其对于个人理财目标的看法。它用明亮、现代的室内设计吸引路人驻足,配置了舒适的沙发、免费的无线网络,以及一个供应本地手工咖啡与点心的咖啡馆。另外还有一块占据了整面墙壁的黑板,上面写有金融课程信息,以及由社区成员主办的艺术展和瑜伽课程等活动信息。
开业后短短的6个月内,“Next Door”的注册社区会员就达到了将近1500人。金融教练开设的培训课程超过了200场,由该中心主办的各种课程和社区活动也达到了50多场。这个项目帮助State Farm公司开启了员工和“Next Door”社区之间的互利对话,有效帮助和了解年轻消费者的同时促进了当地的商业进步。
我认为这个做法很有启发性,因为它淡化了明显的交易和销售的痕迹,用一种慷慨的包容姿态让人们获得汲取知识的机会,并且在很多情况下是以免费的形式提供。把投入的重心转向顾客体验,而不是紧紧盯着营收和利润作为目标;创建最好的品牌表达方式,并最终提供独特的个人体验接触点。做好了这些工作,营收会自然而然地产生,而不是倒过来有了营收才考虑这些问题。
学习算法的意义 篇3
无导师聚类算法与分类算法不同, 它没有预先定义好的类别, 其目标是将一个数据集划分成若干个类, 使得类内相似性尽可能大且类间相似性尽可能小。因此聚类过程中具体选取多少个中心是一个值得考虑的问题, 目前还没有较好的解决方法。本文针对K-均值 (K-means) 聚类算法来学习有关参数K值的确定。对于K-均值算法, 通过某种学习方法得到合适的K值是很有必要的。
粒子群优化 (Particle Swarm Optimization, PSO) 算法是由美国社会心理学家J.Kennedy和电气工程师R.Eberhart于1995年提出的一种进化计算方法。PSO算法根源于人工生命的研究, 特别是对鸟群、鱼群等群体行为机制的模仿, 并借鉴生物学家F.Heppner提出的生物群体模型, 同时也融入进化计算的思想。PSO算法作为一种仿生算法, 目前还没有完备的数学理论基础, 但其作为一种新兴的优化算法已在诸多领域展现了良好的应用前景。因此, 我们使用粒子群优化算法来学习参数聚类中心K值。
下面第二部分提出了对于参数K值的学习算法, 第三部分针对UCI机器学习数据库中的7个数据库进行了数值实验, 并对实验结果进行了分析, 第四部分是全文的结论。
(二) 使用粒子群优化算法学习K值
1. K-均值聚类算法
K-均值算法把n个向量xj (j=, 1, 2L, n) 分成c个类Gi (i=1, 2, L, c) , 并求每类的聚类中心, 使得非相似性 (或距离) 指标的目标函数达到最小。该算法的实现是一个迭代的过程, 旨在最后求得的目标函数符合某一个阈值则停止聚类。
无导师聚类算法没有预先定义好的类别个数, 聚类过程中具体选取多少个中心将直接影响聚类的有效性, 因此通过某种学习方法得到合适的K值是很有必要的。
2. 粒子群优化算法
1995年, 研究人员对鸟群觅食过程中的迁徙和群集进行模拟:鸟群觅食时, 从一地到另一地的迁徙过程中, 总是有一只鸟对食源的大致方向具有较好的洞察力, 同时, 在找寻食源的途中, 它们通过一套自己独有的方式随时相互传递着信息, 特别是较好的信息。在“好消息”的指引下, 导致鸟群“一窝蜂”的奔向食源, 达到在食源的群集。粒子群优化算法从中得到启示并用于解决优化问题。在粒子群优化算法中, 一只鸟称为“粒子”, 解群相当于一个鸟群, 从一地到另一地的迁徙相当于解群的进化, “好消息”相当于解群在每代进化中的最优解, 食源相当于全局最优解。
假设在一个N维目标搜索空间中, 有m个粒子组成一个群落, 其中第i个粒子在N维空间里的位置Xi= (xi1, xi2, ⋯, xiN) T, i=1, 2, …, m;飞行速度Vi= (vi1, vi2, ⋯, vi N) T, i=1, 2, …, m;适应值fitnessi=f (Xi) , 则Pbesti和XiPbest= (xi1Pbest, xi2Pbest, …, xi NPbest) T分别为第i个粒子曾经达到的最大适应值及其对应的位置。gbest为在群体所有粒子经历过的最好位置, 其索引号为g。则对每一代, 其第d维根据如下方程变化:
式中vid为粒子i飞行速度矢量的第d维分量;xid为粒子i位置矢量的第d维分量;r1, r2为[0, 1]之间的随机数;c1, c2为加速度系数;w为惯性权重。式 (1) 中, 首项为粒子先前的速度;c1r1 (xidpbest-xid) 项为“认知项 (Cognitive Term) ”, 该项与粒子的认知经验相关;c2r2 (xgdgbest-xid) 项为“社会项 (Social Term) ”, 它代表粒子间的信息共享与合作。式 (2) 为粒子i的新坐标位置。它们共同决定粒子i下一步的运动位置。
3. 使用粒子群优化算法学习K值
根据K-均值聚类算法的特点, 要找到最优的聚类, 就要找到最优的K值。K值是粒子群算法优化的对象, 编码即对K值的编码。通常情况下, 对于某类问题, 总有一个聚类的最大类数MAXClassnum, 这个值由用户输入。所以K是一个介于1和MAXClassnum之间的整数。
K值参数的学习是基于传统粒子群算法的思想, 并针对此参数优化问题进行了适当地修改, 具体算法如下:
(1) 初始化粒子群。设群体规模为m, 在允许的范围内随机设置粒子的初始位置和速度, 设置惯性权重;
(2) 评价每个粒子的适应值, 即计算每个粒子的目标函数fitnessi;
(3) 对所有的i∈{1, 2, ⋯, m}, 如果fitnessi>Pbesti, 则令fitnessi=Pbesti, XiPbest=Xi, 如果fitnessi>gbest, 则重新设置gbest的索引号g;
(4) 根据式 (1) 、 (2) 调整每一个粒子的位置和速度;
(5) 检查终止条件。如果达到最大迭代次数genmax或最好解停滞不再变化, 终止迭代, 否则返回 (2) 。
粒子群优化算法主要包括: (a) 粒子以随机的方式在整个问题空间中流动并且可以对自己所处的环境进行评价 (计算适应度) 。 (b) 每个粒子均可以记忆自己到过的最好位置和感知邻近粒子已达到的最好位置。 (c) 在改变速度的时候同时考虑自己到过的最好位置和邻近粒子已达到的最好位置。
因为本文是针对K-均值算法而言, 所以fitness函数的设计应当考虑到聚类算法本身的特点。fitness函数是通过使用K-均值算法对样本聚类结果的优劣来评价K值的, 因此首先要完成样本的聚类。对于每个粒子中的K值, 使用K-均值聚类算法将所有样本聚成K类。一个好的聚类结果应具有以下特点:类间距大、类内距小。根据以上准则, 我们设定fitness函数为:
其中centeri是第i类的聚类中心, dis (x, y) 是x, y的欧氏距离。
其中numi是第i类中的样本数, Samplei, j是属于第i类的第j个样本。NumDifference表示各类之间样本个数的差别统计。
fitness函数中的ω1、ω2是类间距与类内距的权重, 可以调节fitness值的范围及各类内样本个数的均匀度对fitness函数的影响。
(三) 数值实验及分析
我们从UCI机器学习数据库中选取了7个数据库, 分别为:1) Rice taste data, 2) Iris data, 3) BUPA liver disorders, 4) Liver-disorder data, 5) Glass, 6) Ecoli, 7) Wine。由于目前主要目的是学习参数K, 因此我们选择了100次实验中平均值较好的粒子群算法参数值, 主要研究参数K值的变化情况。
参数表示:w=0.8, c1=1.8, c2=1.8, m=50;1ω=9, ω2=36 (fitness函数的参数) 。
1. 实验结果
2. 实验分析
(1) 通过表1的数据结果显示, 使用粒子群优化算法学习各数据库聚类中心个数 (K值) 是比较成功的方法。例如对数据库Iris、BUPA、Liver、Glass、Ecoli学习得到的中心个数与实际类别个数保持一致。
(2) 粒子群优化算法搜索速度较快。在粒子群优化算法中, 粒子具有“记忆”的特性, 它们通过“自我”学习和向“他人”学习, 使其下一代解能够针对性的从“先辈”那里继承更多的信息, 从而能在较短的时间内找到最优解。
(3) K-均值聚类算法的性能好坏依赖于初始中心的选择。由于初始中心的不同, 将会导致fitness函数值在相同的参数下得到不同的结果。在设计粒子群优化算法中, 依据聚类算法的特性设计了相应的fitness函数, 对数据库Iris、BUPA、Liver、Ecoli等实验中得到了有效的证明。
(4) 确定fitness函数的参数ω1、ω2是根据实验结果逐次修正的, 一般是经验所得, 所以可能还会有其他适合值。例如在数据库Glass中我们修改ω2的值从20到1, 学习的K值仍然是9, 与实际结果偏差很大。限于我们现在的算法, 还不能很好的解决这个问题, 应该继续选择例如神经网络的思想学习合适的参数。
(5) 本算法对数据库Rice、Wine的结果与实际结果有一定的偏差。原因是由于数据库数据本身类的特征不明显、类内样本个数不均匀, 或者是由于K-均值算法本身是基于距离度量相似性的, 当存在无关属性时导致度量误差。因此说明当数据集类特征明显时本算法能比较准确的求得中心个数。
(四) 结论
由于无导师聚类算法的中心个数是一个很难确定的问题, 因此本文采用粒子群优化算法学习中心个数是一个很有意义的工作。实验表明通过学习得到的中心个数与实际结果基本一致, 因此证实了此方法的有效性, 同时提出了适应于适应于聚类参数学习的粒子群fitness函数算法设计。我们的进一步工作是找到确定参数更好的方法, 通过参数的优化完善聚类算法中心个数的选取, 同时可以分析与其他优化算法的比较, 比如遗传算法等, 继续研究聚类中心参数的学习算法。
参考文献
[1]王继成, 潘金贵.Web文本挖掘技术研究[J].计算机研究与发展, 2000, 37 (5) :513-520.
[2]H.B.Mitchell, P.A.Schaefer.A“soft”K-Nearest Neighbor Voting Scheme[J].International Journal of Intelligent Systems2001:459-468.
[3]J.-S.R.Jang, C.-T.Sun, E.Mizutani.Neuro-Fuzzy and Soft Computing[M].Prentice-Hall, 1997:423-433.
[4]Kennedy J, Eberhart R C.Particle swarm optimization[C].Proc.IEEE Int.Conf.on Neural Networks, Perth, WA, Australia, 1995:1942-1948.
历史学习的方法和意义 篇4
关键词:历史学习;感恩;人文精神
历史是对往昔的再现,是对兴亡的总结,是对文明的记录;究天人之际,通古今之变;学历史,观成败,懂真道,修品行,抚今追昔,鉴往知来,转痴迷为智慧,变昏暗成光明;学历史,做大智者,驰骋于社会,运筹于帷幄,视通万里,升华人生。历史的重要性,万言难罄。在学习历史的过程中,最重要的是认识到感恩的重要性。
一、学习历史必须认识到感恩的重要性
感恩是一种人文精神,是内心的觉醒,是高素质的呈现,是学生品德修养的一项重要内容。懂得感恩的人,一般都具有良好的个性和健全的人格。在历史教学的课堂上,循循善诱,让历史人物做标准对学生进行精神洗礼,使学生的灵魂得到充分净化。现代社会经济发展飞快,人生观与价值观严重扭曲的现象比比皆是,人们往往过分注重物质利益,忽视了中国几千年的文明,大部分学生都是独生子女,他们以为自己就是世界的中心,不知道关心别人,不知道感激父母的养育之恩,不知感激老师的教诲之恩,不知感激自然的造物之恩,甚至有很多孩子惹是生非,小小年纪就锒铛入狱,让家长痛心疾首。历史教学课堂是一个重要的舞台,教师利用各种教学资源,对学生进行全面的感恩教育,让他们还没有成熟的心灵得到洗涤和净化。感恩是幸福的前提。不懂得感恩的人,觉得整个世界都对不起他一个人,他的心灵永远得不到满足,他的心里存在的大多数是抱怨和仇恨。在教学的过程中,要结合历史教材,巧妙地设计一些主题活动,达到感恩教育的良好目的。
二、感恩祖国
感恩教育的第一步是爱国主义教育,这是一个永恒的主题。没有强大的国家,再有能力的个人也显得微不足道,我对学生说起大诗人庾信,在侯景叛乱时,庾信出使西魏,在此期间,梁为西魏所灭,自己的国家没有了,庾信十分苦闷。即使庾信负有盛名,又很受器重地留在了北方,官至车骑大将军、开府仪同三司,身边的王公大臣对他都毕恭毕敬,礼遇有加;北周代魏后,庾信更迁为骠骑大将军、开府仪同三司,封侯。但是,庾信一直郁郁寡欢,虽然身居显贵,被尊为文坛宗师,受皇帝礼遇,与诸王结交,锦衣玉食,但是他没有自己的国家,孤零零地飘零在外,最后仍然是抑郁而死。这样的例子太多了,没有祖国的强大,就没有我们的幸福生活,我们就不能安心学习。所以,要感恩祖国,维护国家统一,时时处处,分秒不忘。
三、感恩社会
“一个好汉三个帮”,如果说这个社会只剩下一个人,即便他的能力再强大,他也不会有什么快乐,因为这个社会是真诚相处的、是和谐的,我们才感觉到这个社会存在的意义。要理解和尊重世界各国家、各地区、各民族的不同文化传统,实现打造“和谐世界”的伟大目标。释学的修心济世、孔子的仁爱去兵、墨子的非攻、老子的忍让、荀子的天命、抱朴子的修善、晏子的富民,这些都说明了各个时代的杰出人才都感恩社会而做出了大量的努力,作为新一代的学子,更应该为和谐世界作出贡献。学习历史,反对霸权主义,希望减少社会矛盾,消除社会冲突,未雨绸缪,将社会危机、隐患防患于未然,打造和谐世界,妥善利用资源,制止有组织犯罪,呼吁全世界人们抵制腐蚀思想,保护生态环境,反对非法移民等等,不一而足。在学习中,树立正确的人生观,时时准备为营造一个稳定和谐的家园而奉献自己的全部力量。
综上所述,引导学生学习历史,心存感恩之心,从而让学生在行动上报效祖国、保护自然、回馈社会,做一个对世界、对祖国、对民族、对家乡有价值的人。
參考文献:
尹硕.浅谈历史学习方法[J].中学历史教学参考,2004(6).
学习音乐的意义 篇5
首先,音乐是一门艺术,现代科学研究证明,它是一门主要开发人的右脑功能的学科。相比语、数、英等其他自然学科来说,音乐学科虽然没有它们那么富有抽象性、逻辑性和概念性,但要完美地表达出种种变化无穷的音阶组合,是需要天赋和灵感的,这种天赋可以表现为一个人有在某种形式上用音乐作为个人欣赏和放松的愿望,以及他是否与音乐的表达产生共鸣,并依据音乐的特点来判断音乐两个方面。可以说这两方面就决定着一个人是否具备音乐素质。这种素质是音乐所特需的,没有这两方面素质的人一定搞不好音乐,但是没有这种素质的人可能会在语、数、英等方面出类拔萃。这就是音乐学科对于音乐人才需求的独特性。然而并不是没有音乐细胞的人就不能搞音乐,音乐是大众的,是民族的,除了高雅的,还有通俗的。音乐可以作为调节人身心的一种工具,放在任何人身上都是很实用的。对于学生来说,音乐教学是为培养优秀的音乐专业人才,也是为了舒缓学生学习后疲惫的身心,能够使学生在较短的时间内调整自己,从而更好地学习和生活。
其次,一个学习成绩优秀的学生,他的智商和情商都是很高的。一个人能否取得成就,智力水平是第一位的,即智商越高,取得成就的可能性就越大。但是现代心理学家普遍认为,情商水平的高低对一个人能否取得成功有着重大的影响,有时其作用甚至超过智力水平。而人与人之间的情商最初并无明显的先天差别,更多与后天的培养有关。音乐教育就在这种后天教育中起着至关重要的作用。在对学校历年的优等生的考察研究后发现,大多数的优秀学生并不是通过死记硬背来学习的。其中上届毕业生中学习成绩第一的那位同学,没有像其他同学一样吃住在校,而是住在家里,也没有完全遵循学校的作息制度,没有上过早晚自习,每天只是到学校正常上白天的课,但是成绩优异。在走访其家长后得知,这名学生在小学的时候,就学过音乐、舞蹈、绘画等多门小科,并且成绩优秀。在升入初中后,每天在繁重的多门学科的学习之后,还要坚持练琴、跳舞、绘画,从不懈怠。学生的家长也直言其孩子并非天分很高,而是能够合理地运用音乐、绘画等手段缓释学习压力,从而调节自己,其情商、智商等因素也就在长久的音乐、绘画练习中得到了提高,最终能轻松地取得优异的学习成绩。这也就是老师和家长在称赞某个优秀学生时所说的“会学习”。
再次,音乐教育有助于学生记忆力的发展。在音乐教学中,教师通过歌曲演唱、器乐演奏、随歌随舞等活泼丰富、各种各样的教学形式,让学生全身各种器官都活跃起来,在提高兴趣和注意力的同时,也促进了学生记忆力的提高。音乐能改变人的情绪,在日常生活中,我们都有类似的体会。听一些轻松愉快的抒情乐,能使我们浑身放松,精神愉快,对加强记忆有着极显著的效果。正如马克思所言:“一种美好的心情,比十服良药更能解除生理上的疲惫和痛楚。”音乐教育能培养学生的节奏感,促进时间知觉的发展。音乐是一门节奏性很强的学科,在教授过程中,学生最易感受到的便是抑扬顿挫、高低起伏的乐感,尤其是在敲打乐、摇滚乐中。这时,教师应注意教会学生从身体的协调动作、肌肉反映上去感觉、体验节奏,并运用到乐理中,增强学生的节奏意识。在教会学生认识生活、感受生活的同时,音乐教育还可以帮助学生更好地适应社会。即将到来的知识经济社会是一个尊重个人创造和自我发展的社会,更是一个强调合作、强调沟通、互通有无的社会。人与人、人与物、个体与群体、个人与社会之间的关系越来越复杂,培养学生热心参与、相互合作、乐于交往、善于应变的能力尤为重要。音乐教育因其独特的优势,将成为学生更好地与自然、与社会沟通的一种有效手段。通过组织排练、举行演出等一系列音乐活动,不但为学生交往能力的提高和协作精神的培养提供了良好途径,还发展了个性与特长,增强了集体合作意识,有利于学生开朗性格和良好品质的形成,为其将来处理好人际关系,更好地参与社会竞争奠定了基础。
深度学习算法的原理及应用 篇6
深度学习是机器学习研究的一个新领域,基于神经网络建立模拟人脑分析、学习的模型,模仿人脑机制识别目标,感知信息。其代表性成果是Hinton于2006年提出的自动编码机[1],在手写数字识别上取得了令人惊异的进展。此前的一些神经网络研究也曾尝试解决这一问题,但因缺乏有效的深层网络模型以及训练算法而没有显著成果。
1 深度学习的原理概述
深度学习是以建立深层结构化模型为目标的机器学习,一般约定模型至少包含三个隐层。这种多隐层结构的网络用普通神经网络的训练算法,例如BP算法很难奏效,不仅因为样本数据量要求大,训练过程缓慢,而且参数容易收敛在局部而不是全局最优点上,实用意义不强。
Hinton等引入受限波尔兹曼机 ( RBM ,Restricted Boltzmann M achines) 作为单层网络基本结构,通过分层训练方式实现对深层网络的训练,并通过自动编码机展示了这种方法的有效性,由此奠定了深度学习概念和方法。深度学习有三个主要环节:第一,用无监督方式训练系统,即用大量未标注样本逐层提炼,无导向自动形成特征。这一过程类似于人通过眼、耳等感官系统接收图像、声音信息后,自动在脑中形成不同类别信息印象。第二,调准。这一过程用一些已标注样本对特征分类,并根据分类结果进一步调整系统参数,优化系统在区分不同类别信息上的性能。类似于人知道了什么是鹿,什么是马,或者语音质量什么是好,什么是不好。第三,测试,用系统未见识过的样本数据检验系统学习效果,例如样本正确分类率、质量评估与主观评估关联度等。
除了输入和最后一层输出可见外,深度学习的其它各层都是隐藏的,其中包含了多少或者怎样的信息难以解析。这就如同人看见了一个动物,从视网膜成像到最后判定为是一匹马,其间通过神经系统逐级抽象,不同感官层级上的信息难以表述一样。然而,要分层训练深度网络,必须明确各隐层上的信息形式,规定其与已知量的对应关系。Hinton等人的解决方案是: 利用RBM作为网络基本层,从底向上逐层训练网络,直到在最顶层生成所需要输出。各层的训练算法相同: 最底层以已知数据作为输入,以生成数据作为输出; 其上各层则以下层输出作为输入,生成数据作为上层输出。例如,输入可以是各种各样手写数字图像,而输出则是0 ~ 9。各层的输入输出维数,以及深层网络的层数都可以根据需要自行指定,没有特别约束。
2 深度学习的模型及其训练
受限波尔兹曼机是对波尔兹曼机的一 种改进[2],波尔兹曼机是一种随机网络,由于其层内单元之间存在着互联关系如图1( a) 所示,因此网络训练过程很慢。1986年Somlensky介绍了一种受限型的波尔兹曼机,它包含一个显见层,一个隐层,层内单元之间没有互联关系如图1( b) 所示。这样一来,使用RBM进行推理计算变得十分高效。
假设一个RBM包含n个可视单元和m个隐藏单元,不妨用向量v和h分别表示可视单元和隐藏单元的状态,其中,vi表示第i个可视单元的状态,hj表示第j个隐藏单元的状态。那么,对于一组给定的状态ν、h,RBM作为一个系统的联合概率分布可用能量函数来表示:
式中,wii,ci均为RBM的参数。其中Wij表示可视单元i与隐藏单元j之间的连接强度,bi表示可视单元i的偏置,cj表示隐藏单元j的偏置。学习RBM的任务就是求出 这些参数 的值,以拟合给 定的训练数据。
给定一组随机选取的训练数据v,由于隐单元的条件概率值只取决显单元的分布,则隐单元的条件概率为:
同理可以很方便地求出显单元的条件概率为:
其中,σ( ·) 为sigmoid函数,定义为σ( x) = | /( 1 +exp( - x) ) 。随后Hinton提出一种对比扩散[3]的算法改善了通过大量吉布斯采用获取模型重构值的方法。大大提高算法的效率,权值的更新准则为:
其中,δ是学习率,< · >data是输入数据的期望值,< o >recon是重构数据的期望值。上式表明权值的更新依赖于输入数据和重构数据的差值,最小化这个差值可以使RBM的隐层更好地提取显层输入的本质特征。进一步通过观察公式( 4) 可以发现RBM的训练准则只需进行简单的加法和乘法运算,从而使得计算量不至于过大,并可以很容易地完成权值的更新过程。
3 手写数字识别
自动编码机( Autoencoder) 是深度学习最成功的例证[5]。它由任意层数的RBM级联而成。其工作原理是: 输入数据经过多层RBM使高维数据变成低维数据完成编码过程,产生中间的代码层,然后从代码层开始逆向使用编码过程产生的各层参数,重构出输入数据完成解码工作( 如图3所示) 。整个网络通过最小化输入数据与重构数据的交叉熵完成对模型参数的微调,使得中间代码层输出更本质的特征。
这里用5层自动编码机对数据集MNIST中的手写数字进行分类的实验。其过程如下:
首先,对输入数据做预处理,将原始数字图像28×28的像素值转换成1×784的行向量,因此在训练过程中可以建立显层为784个单元,而隐层分别为1000 - 500 - 250 - 30 - 10的四层自动编码机网络; 其次,将原始像素强度介于0到255之间的值转化为0到1之间的灰度值; 最后,将数据库中的60000个训练样本分成以100个为一组的600个小批次,每个训练周期都依次处理这600个小批次,在每个小批次结束以后,才对权值进行更新。
输入数字经过自动编码机的重构效果如图3所示。图中上层为训练过程中输入的15个手写数字,下层为通过自动编码机重构的手写数字。从图中可以看出重构值很好地还原了原始图像。
自动编码机训练完成后,就可以利用标注好样本测试其分类性能,统计错误率。表1是此处介绍的自动编码机与其它分类器错误率的比较。可以看出,利用自动编码机可以改进分类性能。需要注意的是,深度学习网络中隐层数以及隐层单元数等量值都会影响分类结果,而这些量值目前尚无客观推断方法,因此灵活性比较大。
4 结束语
智能学习算法的预测性能评估 篇7
目前各种智能学习、分类、预测算法主要是通过对训练数据集的学习来完成的,而算法的预测性能则主要在测试数据集上进行,在测试数据集上,使用适当的性能评估指标进行计算,就可以得出对算法的预测性能所做的评估分值。
2 预测性能评估问题描述
已知测试数据集序列,其真实的结构数据为D= (d1, …, dN) ,预测算法产生的输出为M= (m1, …m N) 其中,di, m i∈U, i=1, 2, …, N。求解的问题是对预测结果M的性能进行评估,即计算M对D的拟合、近似程度。根据U的不同形式的表示,真实数据D和预测输出M有三类:区间标度变量、二元变量和标称变量。
3 预测性能的检验指标和计算模型
已知样本(检验数据)分为两类:“阳性数据 (P) ”和“阴性数据 (N) ”。P为真实的,被实验所证实的数据;N为被实验证明无功能的数据。真阳性 (True Positive TP) 表示{di=1, mi=1}的次数;真阴性 (True Negative TN) 表示{di=0, mi=0}的次数;假阳性 (False Positive FP) 表示{di=0, mi=1}的次数;假阴性 (False Negative FN) 表示{di=1, mi=0}的次数。对于预测结果的评测,常用的检验指标如下:
敏感性 (Sensitivity, Sn) ,又称测全率、命中率,表示对于真实的数据,能够预测成“真”的部分所占的比例是多少。Sn (D, M) =TP/ (TP+FN)
特异性 (Specificity, Sp) ,即测准率、精度,表示对于阴性的数据,能够预测成“假”的比例是多少。SP (D, M) =TP/ (TP+FP)
准确性 (Accuracy, Ac) ,即总体正确性,表示对于整个数据集 (包括阳性和阴性数据) ,预测总共的准确比例是多少。Ac (D, M) =(TP+TN)/ (TP+FP+TN+FN
马修相关系数 (Mathew correlation coefficient MCC) ,是一种相似性的度量。如果把D和M作为概率随机变量,则可以用相似性来度量D与M的关系。当阳性数据的数量与阴性数据的数量差别较大时,MCC能够更为公平的反映预测能力。
3 预测性能的评估程序
使用svm训练,性能评估代码:
4 结束语
算法的预测性能评估能从特定角度衡量预测算法和预测效果的优劣,建议综合使用多种指标进行评估,使评估结果尽可能客观。
参考文献
[1]J Moult, K Fidelis, A Zemla, etal.Critical Assessment of Methods of Protein Structure Prediction (Casp) :Round Iv[J].Proteins, 2001, 45 (Suppl5) :227.
学习算法的意义 篇8
在信息服务和电子商务等领域内,无论对于传统拉式的信息检索服务还是近年来兴起的推式信息推荐服务,信息查询结果的排序技术都是结果处理的核心技术。检索结果排序算法的优劣在很大程度上会影响整个信息检索系统的效率。进入大数据时代后人们愈加追求更加精准的排序结果。随着排序模型中考虑的影响因子越来越多,已经无法再依靠人工进行拟合。排序学习使用机器学习的方法基于互联网海量训练数据可以获得精确的排序模型训练结果,近年来在信息服务和电子商务领域受到越来越多的关注。排序学习方法作为一种有监督学习,需要建立在大量已标记训练数据集的基础之上,而这些训练数据的标注工作成为了制约机器学习排序可用性的关键问题。因为传统的方法是依靠人工完成大量训练数据的标注,这是一个非常繁琐和耗时耗力的工作,并且标注质量难以控制,经济投入巨大,若减少训练数据又会造成训练结果的泛化能力大大下降。由此可见,训练数据标注工作的繁琐性很大程度上制约了排序学习的整体效率。
标签传播算法(LPA)是一种基于图的学习方法,以所有已标注和未标注样本作为节点去建立关系图,以各个节点之间相似度作为边的权重,从所有已标注节点开始将标注信息迭代地向其他未标注节点传播,直到所有节点的标签趋于稳定时即完成所有样本的分类工作。LPA作为一种半监督方法能够利用有限的已标记数据和大量未标记数据,并基于这些数据间隐含的信息来完成未标记数据的标注工作。这无疑对减少训练数据标注代价、提高排序学习的可用性及性能有重大意义[1]。LPA算法具有运行速度快、分类效果好、不受样本分布局限等特点,可适用于排序学习所需大量训练数据标注工作,在排序学习的实际应用中具有指导意义[2]。针对大量训练数据的标注问题,本文使用LPA完成训练数据的自动化标注工作。本文提出一种结合LPA半监督学习的排序学习方法,利用LPA解决训练数据的标注难题。
1 基于pairwise的排序学习模型Ranking SVM
排序学习的目标是用机器学习的方法学习得到一个排序模型用于计算某个查询下各个查询结果和查询关键词之间的相关度,以该相关度作为排序得分对所有查询结果进行排序。根据不同的输入表示和损失函数,排序学习可以分为pointwise、pairwise和listwise三种模型方法。pointwise方法单独处理每一个查询结果,以查询词及其对应查询结果的特征和标注值作为训练样本。由于pointwise方法将每一个文档看作一个和其他文档相独立的训练样本,忽视了样本之间的偏序关系,实际使用中准确率较低,此类方法有基于分类的McRank、基于回归的Subset Regression等[3]。pairwise方法同时考虑同一查询下的结果对,将训练集中具有不同相关度的两个文档作为文档对一同视为一个训练样本,标注出这两个文档相关度之间的偏序关系,将排序问题转化为二元分类问题,从而可以用分类的机器学习方法来解决[4]。listwise方法则以某查询的所有结果作为一个训练样本[5],在pairwise方法的基础上平等地对待每一个查询,理论上具有更好的排序精确性,但实际应用中由于特征值分布的稀疏性而存在样本特征值缺失的情况,在很大程度上影响了排序结果。故目前研究热点集中在pairwise方法,本文选择pairwise模型作为排序学习的基础。使用pairwise进行排序学习的一般过程由四个步骤组成,分别是训练数据的标注、文档特征抽取、学习分类函数和文档排序[6]。文档特征抽取工作将所有文档转化成数值化的特征向量。训练数据标注的工作需要将所有待标注文档表示为如下格式:<qid,charactors,mark>,该三元组中的qid是查询号,charactors是文档特征向量,mark是相关性判断的标注结果,可以分为多个相关性等级,例如{0,1,2,3,4}五个等级。类似地,测试集也以相同的三元组表示,测试集中的mark值由训练结果排序模型计算得到,最终将查询结果按照排序模型计算出的排序得分降序排列返回给用户。
Ranking SVM是一种基于pairwise模型的经典排序算法,由Joachims于2006年首先提出[7]。Ranking SVM将排序问题转化为二元分类问题用pairwise思想解决排序问题[8],其训练集描述如下:训练集中有若干查询Q,对于其中某查询Qi有Ni个查询结果文档{Di1,Di2,Di3,…,Din}。其中每个结果文档的相关度Ri由标注得到,相关度之间存在偏序关系,即对任意x∈{1,…,Ni},任意y∈{1,…,Ni},构造训练样本对T={Dix,Diy,R},若Rix>Riy,则有Rix-Riy>0,可得一个训练样本T1={Dix,Diy,1};反之若Rix<Riy则得到训练样本T2={Dix,Diy,-1},标注值为+1和-1的两种训练样本均按照此方法构造。
Ranking SVM的学习目标是得到一个学习模型fm,使得对训练集中的任意查询Qi,若已知相关性Rix>Riy,模型都满足下式:
用二次规划表示为:
式中Pi为某次查询Qi中所有偏序关系对<Dix,Diy>构成的集合,w为特征权向量,C为惩罚参数,M为总偏序对个数,ξ为松弛因子。yixy为缩放处理后的+1或者-1。Ranking SVM目的在于求得线性函数fm使得总的错误偏序对最少。通过解上述二次规划问题可得最优解,进而得到最优特征权向量w从而得到模型fm。根据得到的排序模型即可计算每个查询结果的排序得分并根据得分进行排序。
2 用于训练集标注的标签传播算法
半监督学习是监督学习和无监督学习结合的一种学习方法。本节中Ranking SVM的训练样本对形式为T={Dix,Diy,Ri},其中Ri为待标注的相关度,其值由Dix和Diy两个查询结果的相关度的偏序关系决定。为了得到该形式训练集需要先对查询Qi的Ni个查询结果相关度进行标注,对每个查询结果Di进行相关度标注后得到以下格式的标注结果训练数据t:
其中,Rix为相关度标注结果,charactors为文档用N个特征向量的表现形式:
对训练集依照上述格式整理后即可用Ranking SVM算法进行排序学习。本文利用LPA算法完成上式中Rix标注工作,即有1个已标注样本和u个未标注样本,利用1个已标注样本的标注结果自动完成u个未标注样本的标注学习,实际应用中u1。
LPA算法由Zhu等人于2002年提出[9],是一种基于图的半监督分类学习方法。LPA做出假设:类似的样本有类似的标签[10]。LPA学习过程由三个步骤组成,分别是图的构造、能量函数的定义以及最小化能量函数以完成最佳分类[11]。
2.1 图的构造
LPA第一步需要根据所有已标记和未标记样本构建一个图,并以图中边的权重来表示这两个节点之间的相似度,构造出的图的类型主要分为完全图和稀疏图。完全图的特征为图中所有样本两两成对,这些样本对之间用带权值的边相连接以表示样本对之间的相似度。完全图可以利用梯度下降的优化学习方法学习到最优参数,但因为其所有样本对之间都有边相连而增加了LPA算法复杂度,效率较低下。而基于稀疏图的LPA算法只将符合某一条件的例如最接近或者最相似的节点进行连接,和完全图相比,稀疏图的边权矩阵中只有很少的非零元素,提高了算法的整体效率。但基于稀疏图的LPA算法无法利用梯度下降的优化方法学习最优参数,给图的求解带来一定困难。εNN图是一种稀疏图,其构建方法为定义一个阈值参数ε,若样本节点间的相似度大于ε则连接,否则不连接。使用εNN图能够根据实际需求选择合适的ε值来减少图中不必要的连接以提高图的构建效率。为了利用完全图易于求解的特点,将图中未连接的节点之间边的权重作为0值处理,补全成完全图。本文使用exp权重图方法进行边权赋值,权重计算式为:
其中,σ是一个n维空间的尺度参数变量,影响着最终的权重。dxy为两个节点之间的欧氏距离,表示为:
2.2 能量函数及LPA求解过程
LPA算法第二步需要定义能量函数。能量函数用于衡量分类结果的优劣并依此指导分类的收敛方向。能量函数需要满足以下两个条件:
(1)相邻样本的标签应该相似,即能量函数在图上尽量平滑;
(2)样本分类结果应该符合已标记样本的标签。
基于以上两个条件,本文使用如下能量函数:
式中,Ω(W,G)为能量函数的正则化项,为损失函数。
定义Pxy是节点x的标签传播到节点y的概率。对于图中所有节点来说一个节点的标记传播到另一个节点的概率由传播概率矩阵决定,定义如下:
LPA算法步骤如下:
输入u个未标记节点,1个标记数据以及类别C
输出u+1个已标记数据
1)构建εNN图,并利用式(4)计算边权重矩阵ωxy。
2)根据式(7)在a得到的相似矩阵的基础上计算节点间的传播概率矩阵。
3)将每个节点所有与之相邻的所有节点的标注值按照2)计算得到的传播概率进行相加得到新的概率分布[12],表示为:
4)以所有节点更新后的概率分布作为初始值并保持最初已标注节点的标注值不变,重复4)直到收敛,标签传播过程结束。
LPA算法一定能够达到最终的收敛状态,即所有节点的标签不再随着迭代发生变化。根据文献[13]可知,Xie等人在社区发现领域使用LPA算法时发现前几次迭代已经能够完成大部分节点的正确标注,故可减少LPA算法的迭代次数以获得更高的标注效率。由此可见LPA算法在前几次迭代中具有很快的收敛速度,文献[13]将图中节点分为沉默节点和活跃节点,当所有活跃节点变成沉默节点时即达到了收敛状态。LPA算法的关键在于每次4)完成后将已标注节点的标注值恢复为初始值,基于已标注节点的初始标签是正确的这一假设。依靠这些正确的标签在迭代过程中按照传播概率对图中未标注节点产生正确的标注影响。当图中所有节点标注值收敛时即完成所有节点的标准值学习。文献[14]提供了一种提高LPA传播准确率的方法,在重复4)的过程中进行随机抽查,采用人工对文档的标签传播情况进行优化处理,即对明显不正确的文档标注及时使用人工重标注。文献中实验结果验证该方法能够提高LPA整体传播准确率。
2.3 在排序学习中使用LPA
本文排序学习使用Ranking SVM在已标注的训练集上进行训练并得到训练模型,利用该模型在未标注的测试集上进行预测分类。Ranking SVM所需训练集数据格式如表1所示。其中最左边一列为查询编号,训练得到的每个排序模型均针对每个具体的查询。第二列为相关性得分,在有监督排序学习的训练集中此列已知,在本文中是LPA算法学习得到的结果。第三列至第n列为文档的n个特征值。
由于对不同的查询关键词应用Ranking SVM得到的排序模型也不同,故查询结果相关性标注也需要针对每一个查询独立进行。例如训练集包含i个查询,则需要进行i次LPA标注工作,即针对每个查询LPA算法都以这次查询的所有结果作为节点构造εNN图来完成所有标注工作。因为LPA算法中所有未标注节点的标注都来自于初始已标注节点,初始已标注节点的分布对LPA算法标注结果有较大影响,为了降低这一影响,本文在实际应用中约定已标注节点包含所有可能的相关性得分值,以保证在传播过程中各种可能的分值都会出现。例如对于查询Q有4个已标注节点{D1,D2,D3,D4}和8个未标注节点{U1,U2,U3,U4,U5,U6,U7,U8},其中已标注节点的相关度分值覆盖所有相关度可能的取值{R1,R2,R3,R4}。当图中所有节点标签不随迭代次数的增加而发生变化时则LPA算法达到收敛,此时分类结果示意图见图1,由虚线相隔分为四个类别。
由图1可知,当LPA算法达到收敛时图中所有节点完成了分类过程,所有未标注节点的相关度值得到了标注,可以作为Ranking SVM的训练数据。
3 实验结果分析
3.1 实验数据集
本文基于微软亚研院的Letor3.0 OHSUMED数据集[15]进行实验。OHSUMED数据集来源于医药信息数据库MED-LINE10,其中一共包含16 140个查询-文档对,每个查询-文档对都被标注为相关、部分相关、不相关三种不同的相关度,分别对应于标注值2、1、0。OHSUMED数据集的数据格式如表2、表3所示,其中n=45,即每个文档都被表示成45维特征向量形式。本文基于OHSUMED中查询编号从1到106共16 140条数据进行实验,这些数据分别存放在5个folder中。
3.2 实验方案
实验首先对OHSUMED数据集进行预处理。当数据集中文档的某一特征值缺失时,OHSUMED会以NULL进行标记,为了让Ranking SVM能够正确识别缺失特征值,我们以0值替换所有的NULL值。本文实验包含两个阶段,阶段一为使用LPA算法完成排序学习所需训练数据的标注工作;阶段二为基于标注数据使用Ranking SVM进行排序学习。在排序学习阶段将每个folder中的数据均匀地分为3份用于对Ranking SVM排序学习的结果进行3-折交叉验证。
LPA标注阶段需要针对每一个query单独进行,即针对OHSUMED中106个query分别构建εNN图,最终完成所有数据的标注工作。一方面,因为LPA算法通过已标注节点的标签来完成未标注节点的标注工作,故初始已标注节点所占的比例P越高则最终LPA学习的结果准确率也越高,该比例P对最终标签传播学习的结果质量影响巨大。另一方面,能够让LPA标注结果准确率满足可用性要求的P值也衡量了LPA算法所能节省的人工标注工作量的多少。考虑到以上两方面,本文选择了5种不同初始已标注节点所占比例的情况进行实验,即P=10%、P=20%、P=30%、P=40%和P=50%几种情况。
Ranking SVM排序阶段将结合LPA的Ranking SVM排序结果和基于人工标注训练数据的Ranking SVM排序结果进行比较。因为后者为本文方法的性能上限,通过该比较可以验证本文方法得到的结果随着P值不断提高性能也不断提高,排序性能达到一定可用性。本文选择pointwise方法作为本文方法的性能下限,故本文也选择了一种基于pointwise模型的Regression排序学习方法进行性能比较,验证本文方法排序准确率高于该pointwise方法。本文使用NDCG@n和MAP@n两个指标来衡量排序性能,分别计算n∈{1,2,3,4,5}时的性能值。
经过以上两个阶段的实验,通过在不同P值情况下将本文方法排序性能和其他排序学习方法性能比较,最终找到能使排序性能达到一定可用性的P值,进而得到使用结合LPA的排序学习方法能节省(1-P)×100%的训练数据标注工作量。
3.3 实验结果分析
从表2可以看出LPA算法标注准确率和P的关系。由此可见LPA算法当P=30%时,误差率约为20%,当P=50%时准确率达到90%以上。
实验过程中发现存在噪声节点,即在LPA算法迭代过程中存在某些偏离相关度值域较大的节点。这些节点的标准值不仅是错误的并且在迭代过程中还会影响到图中其他节点的标签,故实验中对LPA算法作出改进,在LPA算法的步骤4)中加入判断:若某节点的标签超过相关度值域,则取值域的最大或最小值作为该节点的标签进行下一次迭代。改进后的LPA标注准确率见表3,由实验结果可知对于改进后的LPA算法,当P=40%时,准确率达到90%,可以认为标注结果准确率达到某些应用场景下的准确性要求。
排序学习阶段使用P=40%时,LPA自动标注的训练数据结果进行实验。表4中列出了LPA+Ranking SVM、Ranking SVM和Regression在MAP指标下的对比结果,其中Regression的部分实验结果来自参考文献[16]。由实验结果可知结合LPA的Ranking SVM方法排序结果平均准确率和Ranking SVM以及Regression两种方法存在细小差距,其中和Ranking SVM差距7.1%,和Regression差距4.6%。
图2和图3是三种不同排序算法在NDCG@n指标下对OHSUMED数据集进行排序学习的性能对比。其中图2为P=20%时的结果,图3为P=40%时的结果。图中纵轴为NDCG得分值,横轴为NDCG指标在查询结果序列中的不同位置,即NDCG指标从NDCG@1到NDCG@10的值。
由实验结果可知结合LPA的Ranking SVM方法排序性能总体上介于Ranking SVM和Regression之间。Regression方法作为一种pointwise方法单独针对每一个搜索结果进行排序分的计算,而Ranking SVM作为一种pairwise方法考虑了搜索结果两两之间的偏序关系,理论上性能要优于Regression,实验结果也证明了这一点。当P=20%时,结合LPA的Ranking SVM性能全部低于Ranking SVM,在n小于7时性能略高于Regression,在n大于等于8时性能低于Regression。原因在于LPA标注的准确率在P=20%时仅为80%左右,影响了由此训练得到的排序模型的准确率。当P=40%时,结合LPA的Ranking SVM方法性能全部高于Regression,平均高出3.5%。而在n=2、n=3时的性能高于Ranking SVM,在n大于8之后和Ranking SVM性能差距有缩小的趋势。在实际搜索使用中,用户更加关注排名靠前的结果。实验结果显示,当P=40%时,结合LPA的Ranking SVM在前三个结果的排序准确率能够达到Ranking SVM水平,验证了本文方法的优越性。相比于实验所使用的数据集而言,在信息服务领域内的现实应用场景中,个体特征接近的用户有着更加接近的实际需求。例如在电子商务中具有相同消费能力特征值的用户针对某种商品的消费意向一般大于其他消费能力的用户,则这些具有类似特征值的用户针对某个关键词的搜索结果相关性选择倾向也具有类似性。而LPA依据节点间相似性进行自动标签传播,故在这种情况下LPA算法准确率会更高,在相同准确率要求下所需要的已标注数据占比会小于40%。
4 结语
浅谈语文学习的意义 篇9
一、语文课程的学习可以提高学习者的综合人文素养
语文,既有人文性,又有工具性,是人文性和工具性的有机统一。语文课堂教学,不仅要求掌握语文基础知识,提高语文基本能力,还要挖掘语文丰富的人文内涵。因此,教师一定要重视语文的教育作用和感化功能,注重语文教学中的价值取向。语文是实践性很强的课程,语文学习是一种综合性的学习实践活动。在语文学习过程中,需要综合运用多方面的知识、多方面的技能,以及知识、技能、思想品德、文化修养、人格养成的有机结合。通过语文学习活动,帮助学生认识自然、认识社会、认识自我;发展综合运用知识、发现问题和解决问题的能力;增进学校和社会的联系,丰富学生的生活经验,培养学生的社会责任感。语文素养的内涵很丰富,除了知识和能力,还包括培养学生热爱祖国语言文字的思想感情,丰富语言积累,提高品德修养和审美情趣,促进学生德、智、体、美、劳全面和谐发展。
学习者如果通过语文学习,实现了上述目标,就可以有效地提高自己的阅读技能和审美能力,掌握了自主学习的方法和技巧,培育了正确的人生观和价值观,提高了自身的综合素养。
二、语文学习可以有效提高学习者的综合学习能力
学习是个体在特定情境下由于练习或反复经验而产生的行为或行为潜能比较持久的变化。也可以说,学习是由于经验所引起的行为或者思维的比较持久的变化。学生的学习过程是主要掌握间接经验的过程。学生学习的主要任务就是掌握人类在长期的社会实践过程中积累起来的科学文化知识、技能和社会生活行为规范。学习是一种社会实践活动,是在有目的、有计划、有组织、有安排的情况下进行的。由于学生的学习不是为了适应当前学习的要求,而是为了适应将来的工作和生活的需要,所以当他们还没有意识到当前的学习与将来的生活实践的关系时,很容易处于被动应付状态。这就特别需要教师发挥教育的主导作用。学习的过程是指学生进行学习的内部过程。关于学习的过程,各种理论派别提出了不同的模式,如反射模式、网络模式、加工模式和生成模式等等。无论这些模式之间有多少区别,其中最主要的学习过程基本是一致的,即接受信息、理解信息、记忆信息和运用信息的过程。当然,这是一个曲折的过程,往往不是直线式的。
依据奥苏贝尔的认知同化理论,学生的学习应该是有意义的学习,就是新知识与原有知识之间建立起实质性的联系。学生能否获得新信息,主要取决于他们认知结构中已有的观念,也就是新旧知识能否达到有意义的同化。有意义的学习是通过新信息与学生已有认知结构中已有的旧信息的相互作用才得以发生的,这种相互作用的结果导致了新旧知识的有意义的同化。同时,学习者必须具有有意义学习的积极意愿,具有积极主动地将新知识与学习者认知结构中原有的适当旧知识加以联系的倾向。学习者的认知结构中还必须具有适当的知识储备,以便与新知识进行联系。另外,学习者必须使这种具有潜在意义的新知识与他们认知结构有关的旧知识发生相互作用。人类的思维能力的发展先于语言能力的发展。思维能力的发展影响语言能力的学习和发展,而语言又会在很大程度上从多方面影响并制约思维。学习者在周围语言环境的影响下,在学习语文的过程中,逐渐掌握了语言和逻辑。随着生活和感知范围的不断扩大,随着语文学习的逐步深入,学习者的形象思维逐渐发达,书面语言和口头语言不断得到强化和巩固,这就意味着掌握了抽象思维的基本部分。
学习是一种过程。在这个过程中,学习者通过对语文学习活动的参与,掌握相关的各种知识、技能和方法,通过相互合作与交流,完成自己的学习任务,实现自己的学习目标。
通过对语文作品的学习,教师帮助学生自主分析作品,自主获取知识信息,可以培养学生鉴赏文学作品的能力,并促使学生逐渐养成探究式学习和合作式学习的能力和习惯。
探究式学习也叫“问题导向式”的学习,它以发现问题为起点,围绕分析问题、解决问题进行学习,是发现问题、探索问题、研究分析问题,最终解决问题的学习。它是一种富有生命力的学习方式,对于我们提倡培养具有发现精神、创新意识的人才很有意义。“合作式学习”强调教师与学生之间,学生与学生之间的合作交流、交往互动和共同进步,对促进学生形成积极向上、团结互助的人生观及身心全面、和谐、健康的发展,具有不可替代的教化作用,体现了鲜明的时代气息。
这样的学习完成后,就实现了有意义的学习过程,发挥了学生的积极主动性,促进了新观念与已有认知结构的相互作用,实现了学习的真正意义。使得学习者不仅提高了语文学习的能力,还提高了学习其他课程的能力,为学习者继续学习、今后走向生活和社会,乃至终身学习都有重要意义。
三、语文学习可以实现学习者的动机,满足学习者的兴趣,有效培养学习者的创造能力,塑造学习者的创新意识
所谓创造力,是运用已有知识和能力,根据一定目的,创造出某种全新、独有 ,对个人或社会具有某种特殊价值的物质产品或精神产品的能力。从本质上讲,创造就是一种问题解决的过程,是最终解决问题、产生新颖的产品或作品的活动。创造可以分为真创造和类创造。前者指专门的发明创造者最终创造出对社会而言是新颖的、具有社会价值的产品或作品的活动;后者则是对创造者自身而言的,也就是说,思维的产品对于创造者自身而言是新颖的,但对于社会而言可能是已有的,因此,只具有个人意义而不具有社会意义。个体在真创造和类创造活动中表现出的创新能力就是创造力。
根据来源,可以将学习动机划分为内在动机和外在动机。内在动机是指内在原因产生的、对学习活动本身的兴趣所引起的动机,它取决于个体内在的需要。外在动机是指外部原因所激起的学习动机,它是在外界的诱因或刺激下产生的。认知的动机是指要求了解和掌握知识、解决问题的动机,是内部动机的一种。自我提高的动机是个体要求根据自己的能力赢得社会价值实现的动机,把成就看作是完成自我实现的根据。
在语文学习的过程中,每位学习者的语文基础不同,兴趣爱好不同,经历体验不同,学习习惯和学习方法不同,所以对教材文本的理解和体会当然也就不同。但这种体现着浓厚个性的独特自我体验,往往是学习者自身天性的显露,往往是学习者自身价值的实现。学习者在语文学习、解读文本中产生的独特性的体验和个性化的理解,往往是自主学习、发散思维和创新意识的结果。每一个学习者,在每一次学习语文的实践活动中,都会进行一次再创造,都会参加到建设性的知识重构中,体现创新精神和创新意识,实现自我价值,完成人的本质的飞跃。这样,语文学习的本质意义就得到最清晰的展现。
可见,语文学习,在人的一生的发展过程中,发挥着重要的、不可替代的特殊作用,具有重要的意义。
实施合作学习的意义 篇10
一、合作学习有利于促进知、情、意、行的和谐发展
合作学习强调学生们要在既有利于自己又有利于他人的情境中进行学习。在这种情境中, 学生们会意识到个人目标与小组目标之间是相互依赖的关系, 只有在小组成员都成功的前提下, 自己才能获得成功, 小组成员之间是“沉浮与共”的关系。长时间的合作学习, 有利于把“合作”观念内化为学生的认识。同时, 合作学习对学习的假定是“只有愿意学, 才能学得好”, 即只有满足学生对归属感和影响力的需要, 他们才会感到学习是有意义的, 才会愿意学习, 才会学得好。从语文合作学习的整个过程看, 其情意色彩渗透于教学过程的各个环节之中。尤其在小组合作中, 小组成员之间可以互相交流, 彼此争论, 互教互学, 共同提高。这种氛围, 能够促使他们更加努力地合作、交流、互动、愉快学习, 由此实现认知、情感与技能教学目标的均衡达成。
二、合作学习更好地体现了语文教学中学生的主体地位
合作学习改变了传统教学中以“教”为中心的观点, 树立了以“学”为中心的观点, 学习者成为学习活动的主体。合作学习也改善了学习气氛, 有利于激发学习兴趣和学习动机, 每个学习者都有获得成功的机会, 学习者为自己的学习活动担负更多的责任, 学习由原来的“要我学”变成“我要学”, 学习者不再游离于学习过程之外, 而是积极、主动地参与学习过程, 发挥出其学习主体的作用。学生的主要活动是学习, 合作使学生成为真正的学习活动的主体, 在这个基础上, 可以培养其成为个体生活的主体、社会活动的主体。因此, 合作学习是进行主体性教育的一种有益形式。在语文合作学习中, 学生之间的合作活动占据了大量的课堂时间, 学生成了学习的主人, 为了共同的目标, 大家互教互学, 互帮互助, 共同进步, 主体性得以充分发挥。
三、语文合作学习构建了新型师生关系
当教师以民主的精神、开放的态度和合作的方式去组织教学时, 课堂教学才能真正地焕发学生的活力, 促进学生的成长。
在合作学习的课堂上, 教师和学生之间的关系发生了很大的变化, 教师不再是所谓的“权威”或单一的知识传授者。传统课堂上许多原先由教师完成的工作变为由学生小组来完成了, 教师真正成了学生学习过程中的促进者。教师还要充当“管理者”、“咨询者”、“顾问”和“参与者”等多种角色, 所以在语文合作学习中教师与学生的关系是平等、民主、合作的关系, 学生享有更大的学习自主权。师生关系由原来的“权威—服从”关系, 逐渐演变成“指导—参与”的伙伴关系与共学关系, 师生之间可以进行平等的对话与交流, 从而真正实现教学上的民主。
四、语文合作学习有助于培养合作的意识与技能
合作学习为学生提供了一个团结、友爱、互助合作而又愉快的学习环境, 通过合作学习, 学生懂得了如何在同伴的帮助下, 积极主动地、富有创造性地学习, 小组成员在合作中学会了互爱, 改善了同学间的关系, 学会了与他人共同生活。通过课堂学习, 他们互相了解, 互相接受, 学会了倾听, 学会了宽容, 不埋怨指责或忌妒排斥别人, 培养了自己的合作意识以及与他人合作的能力。另外, 学生与教师、同学等不同对象发生不同层次、不同类型的交往与沟通, 合群性、利他性、社交意识和社交技能等社会适应性也得以发展。合作学习中的生生互动、师生互动也促进了学生价值观、态度、能力和认识世界方法的社会化, 长期坚持合作学习可以使学生的合作意识、合作精神内化为一种个体心理特征———合作品质, 有利于学生人格和心理的健康成长。
五、开展合作学习, 可增加学生参与语文教学的机会
语文学科是培养学生听、说、读、写等综合能力的一门学科。然而, 在传统的语文教学中, 教师负责教, 学生只管学, 语文教学就成了对学生单向的“培养”活动。语文教学以教为中心, 学围绕教转, 师生之间缺少思想的交流, 学生之间缺少感情的沟通。
“合作学习”是对传统课堂教学的一种补充, 为学生提供了更多的参与教学活动的机会。在语文教学中, 按一定的方式组成的合作学习小组, 开展多种形式的学习、讨论活动, 为学生提供了表现自我的氛围。学生在小组学习活动中, 及时分享彼此的思考、经验和知识, 适时交流彼此的情感、体验与观念, 从而达到共识、共享、共进的目的, 实现教学相长和共同发展, 形成互教互学的学习共同体。教师则参与讨论、汇总学生合作讨论的成果, 并加以整合、筛选。