技术文本（共12篇）
技术文本 篇1
文本分类是信息检索技术的一个重要研究领域,它主要是用来对信息进行标注分类,帮助人们高效率的组织和管理文本信息。这一技术被广泛的应用到自动文摘(Automatic Document Indexing)、文本过滤(Document Filtering)、词义消歧(Word Sense Disambiguation)和文档组织(Document Organization)等多个领域。
1文本分类过程
按照文本分类过程中各个处理的先后秩序,我们可以简单的把文本分类划分为,文本分类预处理阶段;文本分类训练、选择阶段;文本分类评价阶段。其各个阶段所涉及的技术可以简单的由表1给出。
2 文本预处理
人在阅读文章的时候,可以根据自己对文章内容的理解、分析来对文章所属的类别进行判断,而当把文章交给计算机时,计算机是无法对文章的内容形成自己的理解的,它只能对文章进行简单的存储,或根据一定的规则进行机械的计算。如果让计算机对文本进行分类,那么摆在面前首要的问题便是如何把文本表示成计算机能够按规则处理的形式,也就是我们说的文本表示模型。目前文本表示模型可以分成两大类,一类是符号表示模型,另一类是语意表示模型。
2.1 符号表示模型
符号表示模型中对文本仅仅进行符号层面的建模,忽略文本词义的连贯性,和单词之间的联系,把各个单词看成是互不相关独立的信息体。目前主流的文本表示模型Salton提出的向量空间模型(Vector Space Model)就是符号表示模型的一种。在该模型中,文档空间被视为一组正交词条向量张成的向量空间,每个文本di都可以映射为此空间中的一个特征向量,V(di)=((ti1,wi1),(ti2,wi2),…(tin,win))其中tij为词条项权重wij表示特征项tij对文本di分类的贡献程度(例如词频),文本di简化为以特征项权重为分量的向量(wi1wi2,…,win)表示,文本的分类问题转化为向量空间中向量夹角计算的问题,大大减小了问题的复杂性。计算两个文本相似程度也就转化为计算两个文本向量夹角的余弦值:
2.2 语义表示模型
语义表示模型是有别于符号表示模型的另一种模型。由于符号表示模型具有机械性和语义的隔断性,其分类的精度和分类的灵活性受到了一定的影响,因此为了提高分类的准确性,文本的语义表示模型也开始蓬勃发展。目前这方面研究比较突出的是WordNet,语义网络以及本体论(Ontology)。WordNet是由Princeton大学的心理学家,语言学家和计算机工程师联合设计的一种基于认知语言学的英语词典。它不是光把单词以字母顺序排列,而且按照单词的意义组成一个“单词的网络”,但是对于概念间的关系推理支持不够,因此同基于词的符号模型比较来说,虽然有了进步,但仍然有限。语义网络(Semantic Network)常被用作知识表示的一种形式。它是一个有向图,图的顶点代表概念,而边则用于表示这些概念之间的语义关系。它专注于概念之间的关系与推理研究,由于没有一个统一的知识工程作为基础,虽然在关系建模方面有所建树,但应用的领域十分狭窄,前期的知识建模工程浩大,很难投入到实际应用中去。本体论力图构建一种统一的语义模型,当有新的领域加入时,可以方便的利用本体论框架让领域专家构建起领域知识模型。这样随着越来越多的领域知识的构建,可以逐步构建起一套完整的计算机语义模型。目前本体论的研究刚刚起步,有各种各样基于本体论的模型。国内现在比较有影响力的是知网。
知网是一个以汉语和英语的词语所代表的概念为描述对象,以揭示概念之间以及概念所具有的属性之间的基本内容的常识知识库。使用义原的组合来标注各种各样的单纯或复杂的概念,其标注时按其特征的重要性从大到小顺序来定义概念。知网概括了八百多个事件义原,通过义原的组合来标注各种各样的单纯的或复杂的概念,以及各个概念与概念之间、概念的属性与属性之间的关系。现在知网已经初具规模,其应用现在也蓬勃发展。
2.3 分词技术
在文本的向量空间模型中一项重要的技术便是分词,只有对文本进行准确的分词,文本在表示成词条向量时才能尽可能的带有文本所属类别的信息,也才能保证对文本进行准确的分类。目前中文分词技术经过20多年的发展已经日趋成熟。其主要有基于字符串匹配的分词,基于统计的分词,基于理解的分词等分词技术。目前中文分词处于领先的是中科院的ICTCLAS分词系统,这个分词系统已有多个语言版本处于应用阶段。
2.4 文本特征提取技术
一篇文章中可能出现大量的词汇,如果把这些词全部加入的词条向量中,那么向量的维数将是难以处理的,怎么样选取词汇加入到词条向量中,使得这些词汇最大可能的带有文本的特征属性,而又不致使得词条向量的维数过大,便是文本特征提取技术所要解决的问题。文本特征提取主要有以下技术:
文档频次(DF):文档频次是指有该词条出现的文档数量。在训练文本集中对每个词条计算它的文档频次,并且剔除在特征空间中文档频次小于预先定义的阈值的词条。文档词频是缩减词条的最简单的方法。它通过在训练文档数量中计算线性近似复杂度来衡量巨大的文档集,该方法通常被认为是一个提高效率的特别方法,而不仅仅是一个选择特征词的规则标准,因为在信息提取中有一个广泛承认的规则标准。低的文档频次被认为和文本分类任务不相关。
信息增益(IG):信息增益在机器学习中经常被用作特征词评判的标准,它是一个基于熵的评估方法,涉及较多的数学理论和复杂的熵理论公式,定义为某特征在文档中出现前后的信息熵之差。假设有词条t和类别系统c,c中有类别ci(i=1,2,…,n)。则词条t信息增益值的计算公式如下:
互信息(MI):互信息衡量的是某个词和某个类别之间的统计独立关系,它普遍应用在相关词统计语言建模中。假设有词条t和类别c,互信息定义如下:
其中P(t∧c)表示为单词t和类别c同时出现的概率,P(t)为单词t出现的概率,P(c)为类c出现的概率。如果某个词和某一类别在分布上统计独立,那么P(t∧c)=P(t)×P(c)从而I(t,c)=0也就是说词条t不含有c类别的信息量。在实际计算中,这些概率可以用训练集中相应的出现频率予以近似。定义t和c在训练集中的同现频率为A,N为训练集中文本的数目,B为t在训练集中出现的文本频数,C为c在训练集中出现的文本频数,那么互信息I(t,c)可以近似为
3 文本分类算法
从数学角度来看,文本分类是一个映射的过程,它将未标明类别的文本映射到已有的类别中。该映射可以是一一映射,也可以是一对多的映射,因为通常一篇文本可以同多个类别相关联,用数学公式可表示为f:A—>B,其中A为待分类的文本集合,B为分类体系中的类别集合。f为A到B的映射文本分类的映射规则是系统根据己经掌握的每类若干样本的数据信息,总结出分类的规律性而建立的判别公式和判别规则。当遇到新文本时,根据己经总结出的判别规则,确定文本相关的类别。
从数据挖掘的角度来说,自动分类是一个有指导(supervised Learning)的学习过程。在这个学习过程中,它根据一个己经被人工处理过的训练文本集合(Training set)去挖掘出文本属性和文本类别之间的关系模型,然后跟据学习得到的这种关系模型对新到来的文本测试集合(Test set)进行自动的类别判断。文本分类算法主要有以下几类:
3.1 K-最近邻分类法(K＿Nearest＿neighbor)
这是一种基于统计的分类方法,它通过计算文本之间的相似度,来达到分类的目的。K-邻近算法的分类过程是先找到和待分类文本最相似的K个已分类文本,根据这K个文本的类别来判断待分类文本的类别值。在算法中K为一个由用户指定的参数,这个参数是一个经验值,在实际的系统中,待分类文档会计算它与所有文档间的相似度,然后对这个相似度进行排序,再取出K个文本。所以K的大小不会影响到系统的整个性能。K-邻近算法是一种惰性学习算法,因为在训练阶段K-邻近算法并没有作很多工作,仅仅将训练文本表示成向量形式。当进行分类时计算量较大,一是要计算文档之间的相似度,二是要排序。所以分类阶,该算法运行期间可能消耗大量的系统资源,不能满足响应速度快的要求。K-邻近算法分类时计算复杂度和训练集中的文档数目成正比,也就是说,如果训练集中文档总数为n,那么K-邻近算法的分类时间复杂度为O(n)。
3.2 朴素贝叶斯分类方法(NB)
这是一种利用概率模型来进行文本分类的方法。其基本思想是:首先计算出特征词条属于每个类别的先验概率,在新文本到达时,根据特征词的先验概率计算该文本属于每一个类别的后验概率,最后取后验概率最大的类别作为分类结果。朴素贝叶斯分类方法是基于贝叶斯假设的,即文档中的词汇在确定文本类别的作用上相互独立。
3.3 支持向量机方法(SVM)
支持向量机方法是由V.Vapnik与其领导的贝尔实验室的小组一起开发出来的一种机器学习技术,它是基于线性模型的一种算法。SVM的理论基础来自于从冲Vapnik等提出来的统计学习理论。它的基本思想是,对于一个给定的具有有限数量训练样本的学习任务,如何在准确性和机器容量进行折中,以得到最佳的推广性能。它采用结构风险最小化(Structural Risk Minimization)原则。
3.4 神经网络方法
神经网络是随着信息技术的发展,尤其是人工智能的产生和发展而兴起的一门新兴学科,已有许多中外学者对某些结构的神经网络做了一定的研究。神经网络分类算法是网络模型的一种代表算法,它的基本思想是一组连接的输入/输出单元,输入单元代表词条,输入单元表示文本的归属值,单元之间的连接都有相应的权值,训练阶段,通过某种算法调整权值,使测试文本能够根据调整后的权值正确地学习。20世纪80年代中期,Rumelhart等人提出了一种误差反向传播(BP)的多层人工神经网络(ANN)学习算法,它是被采用最多的网络之一,具有很强的自学习、自适应、自组织能力,通过对有代表性的样本的学习能掌握被学习对象的内在规律。也是目前用于文本分类最多的神经网络算法。
当然除了以上的几种分类算法外还有最小平方拟合算法(LLSF),线性回归模型,决策树(Decision Tree)等。
4 性能评测
文本文类器的性能评测在文本分类系统中有非常重要的作用,它是文本分类器设计好坏的重要评测指标。文本分类系统最为客观,也是最为重要的指标有以下几个:
查准率(precision)=正确分类到c类中的文档数/分类到c类中的文档总数×100%
查全率(recall,也叫召回率)=正确分类到c类中的文档数/应当分类到c类中的文档总数×100%
F1测度=(查准率×查全率×2)/(查准率+查全率)
上述三个性能指标是目前学术界公认的比较重要的分类器的评测指标,其中F1测度是对查准率和查全率的综合衡量。
除了上述三个指标外,还有两个对分类器整体性能进行评测的指标,宏平均和微平均。
宏平均:将Precision、Recall、F1测度在单个类别上的数值进行平均,则分别得到它们的宏观平均值。
微平均:它是分类器在整个测试集上做出的分类中正确的比率,在各类上正确分类的文档数与分类器分类的总文档数之比,是在整体上来平均。
5 结束语
文中介绍了从文本表示,特征选择,分类算法,分类器性能评价等各个方面的关键技术。并分析了各个技术的优缺点。文本分类技术是信息归类和信息获取中都有很重要的应用。目前文本分类的更进一步精确和灵活还要依赖于自然语言领域的研究进展,机器学习和数据挖掘领域理论和技术研究的深入。当前,互联网风起云涌,每天都会有大量的新的网页出现在网络上,对这样的内容进行整理分类,势必将成为文本分类相关研究和应用的重点和主要突破方向。
摘要：文本分类作为机器学习和信息检索之间的交叉学科,涉及到多个领域的技术。它的完善有赖于各个相关领域的技术发展和提高,该文介绍了文本分类过程中的各个关键技术和存在的问题,讨论了文本表示模型、分类算法、分类器性能评价原理和方法,最后并对今后的发展进行了展望。
关键词：文本分类,分类算法,VSM(Vector Space Model),语义网络,特征提取
参考文献
[1]Salton G,Wong A,Yang C S.A Vector Space Model for Automatic Indexing[J].information retrieval and language processing.1975(18):613-620.
[2]董振东,董强.知网.http://www.keenage.com.1999
[3]Yiming Yang,Xin Liu.A Re-examination of Text Categorization Methods[C].In Proceedings of the22t h Annual International ACM SI-GIR Conference on Research and Development in Information Retrieval(SIGIR'99),1999:42-49.
[4]Joachims T.Text Categorization with Support Vector Machines:learning with many relevant features.In The10th European Conference Machine Learning,New York:Springer.1998:137-142.
[5]Shao Fu-bo,He Guo-ping,Zhang Xin.An Improved Algorithm for Multiclass Text Categorization with Support Vector Machine[C].In-ternational Symposium on Computational Intelligence and Design.2008:336-339.
[6]刘丽珍,宋瀚涛.文本分类中的特征选取[J].计算机工程,2004,30(4):14-16.
[7]邹涛,王继成,黄源,等.中文文档自动分类系统的设计与实现[J].中文信息学报,1999,13(3):26-32.
[8]崔伟东,周志华,李星.支持向量机研究[J].计算机工程与应用,2001(1):58-61.
[9]刘钢,胡四泉,范植华,等.神经网络在文本分类上的一种应用[J].计算机工程与应用,2003(36):73-75.
技术文本 篇2
本学期我担任高二年级的信息技术教学，为了能够更好的完成教学任务，达到有的放矢，特制定如下计划：
随着计算机的出现和普及，出现了另外一种网络，那就是计算机网络——计算机和通信结合的产物。现在，它已成为社会生活不可缺少的部分，在生产、流通、教育、科研、管理等领域得到了广泛应用。因特网的普及和持续发展使计算机网络的发展如虎添翼。因特网已成为一个连接世界各地亿万人的通信系统。而宽带技术、无线网络技术、虚拟现实技术、语音识别技术、网络计算技术等一系列新技术的发展，必将使计算机网络真正无处不在。
一、学生情况分析
现在学生家庭中拥有电脑的数量较多，平时接触电脑的机会也比较，而且，电脑学习不需要太多的精力和时间，部分学生比较感兴趣。计算机是比较特殊的学科，操作性较强，大部分学生对此相当感兴趣，学习较积极，比较热情，讨论和学习的气氛比较不错。学生对电脑的兴趣局限于游戏娱乐和上网聊天方面，缺乏全面性。对教材要的一系列操作知识不感兴趣，只对娱乐功能感兴趣。
二、指导思想:
以教学大纲，考试说明，教材为依据进行教学。信息技术课程是一门知识性与技能性相结合的基础工具课程，不能和其它课程一样上课，而应以提高学生的信息素养为目标，以提高学生的.计算机应用水平为重点，把计算机作为本门课的工具，让学生学会使用这个工具来处理日问题，可让 结合其它学科来学习，并让学生在研究性学习中加深对信息技术这门课的理解，提高学习兴趣，培养信息素养。在此基础上，完成上级和学校下达的各项任务。
三、教材分析:
由于上学期已经学完高中信息技术必修课程，本学期主要任务是学习完选修课程（网络技术应用），并在学业水平测试中取得好成绩。高中信息技术必修部分的内容主要由网络能为我们做什么、因特网的组织与管理、网络是如何工作的、新建主题网站、动态网页制作这五部分组成，其中每一部分都有学生要重点掌握的知识点，而建立主题网站和动态网页制作是难点，在考试中也是重点，因此，在教学中，必须花大时间，大精力来学习和练习。对于网络能为我们做什么、因特网的组织与管理等内容，只需要做几个专题练习就可以了。根据各班情况，适当给学生分类讲解一些难点。
四、教学措施:
1、让学生系统掌握所学知识，并能灵活运用，采取知识题目化，任务驱动的方式，把各知识点以练习题的方式体现出来，让学生在练习过程中掌握知识。
2、并在学生过程中培养学生的学习兴趣。
3、重点关注后进生。
4、加强学生上机纪律管理，完善机房管理条例，约束学生不良行为，严肃处理学生违法违纪行为，组织优势生辅导后进生上机实践操作，实现分层管理、分层教学。
四、时间安排：
结合学生的实际情况和教学条件的限制，即每周只有一节信息技术课，故在保全基本模块的情况下，适当引导拓展模块，做好安排。
校园高二信息技术教学计划文本【二】
一、学生情况分析
现在学生家庭中拥有电脑的数量较多，平时接触电脑的机会也比较多，而且，电脑学习不需要太多的精力和时间，部分学生比较感兴趣。计算机是比较特殊的学科，操作性较强，大部分学生对此相当感兴趣，学习较积极，比较热情，讨论和学习的气氛比较不错。学生对电脑的兴趣局限于游戏娱乐和上网聊天方面，缺乏全面性。对教材要的一系列操作知识不感兴趣，只对娱乐功能感兴趣。
二、指导思想
以教学大纲，考试说明，教材为依据进行教学。信息技术课程是一门知识性与技能性相结合的基础工具课程，不能和其它课程一样上课，而应以提高学生的信息素养为目标，以提高学生的计算机应用水平为重点，把计算机作为本门课的工具，让学生学会使用这个工具来处理日问题，可让 结合其它学科来学习，并让学生在研究性学习中加深对信息技术这门课的理解，提高学习兴趣，培养信息素养。在此基础上，完成上级和学校下达的各项任务。
三、教材分析
由于上学期已经学完高中信息技术必修课程，本学期主要任务是学习完选修课程（网络技术应用），并在学业水平测试中取得好成绩。高中信息技术必修部分的内容主要由网络能为我们做什么、因特网的组织与管理、网络是如何工作的、新建主题网站、动态网页制作这五部分组成，其中每一部分都有学生要重点掌握的知识点，而建立主题网站和动态网页制作是难点，在考试中也是重点，因此，在教学中，必须花大时间，大精力来学习和练习。对于网络能为我们做什么、因特网的组织与管理等内容，只需要做几个专题练习就可以了。根据各班情况，适当给学生分类讲解一些难点。
四、教学措施
1、让学生系统掌握所学知识，并能灵活运用，采取知识题目化，任务驱动的方式，把各知识点以练习题的方式体现出来，让学生在练习过程中掌握知识。
2、并在学生过程中培养学生的学习兴趣。
3、重点关注后进生。
4、加强学生上机纪律管理，完善机房管理条例，约束学生不良行为，严肃处理学生违法违纪行为，组织优势生辅导后进生上机实践操作，实现分层管理、分层教学。
校园高二信息技术教学计划文本【三】
信息技术：杨XX 这学期我将继续带高二1-9文科班的信息技术课程，高二我们选修的是算法与程序设计这本书，本学期我们继续学习选修部分第五章、第六章内容，期中考试之后，信息技术学习将从必修部分信息与信息技术基础第一章开始，进入全面的复习阶段，为学业水平测试做准备。
一、学情分析：
我校生源来自于各个地方，学生的信息技术知识储存各不相同，加之在一些乡村学校，不重视信息技术，甚至有些学校没有开设这门课程，到了新的学校后，组成新的班级，学生的起点就各不相同，日常的教学就会有许多的问题，有的学生吃不饱，有的学生无法消化，因而在今后的教学中就要两头兼顾，注重分层教学，争取不让一个学生输在起跑线上。
高二学生好动，喜玩游戏，对一些基本操作还不是很熟悉，特别是一些从乡村转来的学生连最基本的操作都存在困难，可一些学生则掌握了很多，因而要把握每节的授课量、及难度。
二、教材教法的把握：
为了迎接信息时代的挑战，适应信息化社会的要求，信息技术课程改革正在轰轰烈烈的开展，导学案已经全面实施。在这种情况下，以往的高中信息技术课堂已不能适应不同层次学生对信息技术素养的提高，高一、高二以计算机基础知识和基本技能性训练为主，在教学过程中要以导学案为依托，加强对学生自学能力、信息处理能力和创造力的培养。主要来说：
1、从兴趣出发，借助范例，让学生在动手实践中理解基本原理，掌握基本知识，培养基本技能。
2、通过“活动”教学方式，培养学生获取、加工、管理、表达与交流信息能力。
3、将评价作为促进教与学的一种手段融入教学过程中。
4、在熟练掌握基本技能与操作的基础上，注意培养创新思维与创新能力。
三、教学措施：
1.以学生学习的兴趣为契机抓好学习的入门。
2.结合计算机辅助教学软件，生动活泼地进行教学。
3.以抓好课堂教学良好纪律为保证，顺利完成教学任务。
4.以教学实践为主，在实践过程中让学生发现问题，并及时解决问题，培养他们的创新精神。
5.切实提高教师自身专业知识和业务水平，认真进行信息技术课的课题研究，向教研要质量，努力提高学生素质。
6、针对教材的特点，明确“学习目标”，做好感性的“范例与活动”的学习，做好理性的“知识与技能”的认识，“巩固与提高”课堂所学，加强课外“阅读材料”的学习。
7、对起点不同的学生要注意分类施教，要让基础好的学生学得一技之长，底子薄的学生打好基础。
8、提高课堂兴趣，多采用范例教学法、活动项目教学法、综合实践法等，培养学生的信息素养。利用各种和现实生活有密切联系的软件进行教学，并尽可能多的安排学生用所学知识进行创作的机会，如用flash进行动画创作，用VB进行了解什么是编程等，这样既可提高学习兴趣，又有利于培养学生的创造办、自学能力和信息处理能力，有利于促进学生主动发展。
以上就是本人高二下学期的教学计划，目标虽有，贵在坚持，在以后的教学工作中只有不懈努力，才能做一名更合格的信息技术教师。
校园高二信息技术教学计划文本【四】
信息技术：杨XX这学期我将继续带高二1—9文科班的信息技术课程，高二我们选修的是算法与程序设计这本书，本学期我们继续学习选修部分第五章、第六章内容，期中考试之后，信息技术学习将从必修部分信息与信息技术基础第一章开始，进入全面的复习阶段，为学业水平测试做准备。
一、学情分析：
我校生源来自于各个地方，学生的信息技术知识储存各不相同，加之在一些乡村学校，不重视信息技术，甚至有些学校没有开设这门课程，到了新的学校后，组成新的班级，学生的起点就各不相同，日常的教学就会有许多的问题，有的学生吃不饱，有的学生无法消化，因而在今后的教学中就要两头兼顾，注重分层教学，争取不让一个学生输在起跑线上。
高二学生好动，喜玩游戏，对一些基本操作还不是很熟悉，特别是一些从乡村转来的学生连最基本的操作都存在困难，可一些学生则掌握了很多，因而要把握每节的授课量、及难度。
二、教材教法的把握：
为了迎接信息时代的挑战，适应信息化社会的要求，信息技术课程改革正在轰轰烈烈的开展，导学案已经全面实施。在这种情况下，以往的高中信息技术课堂已不能适应不同层次学生对信息技术素养的提高，高一、高二以计算机基础知识和基本技能性训练为主，在教学过程中要以导学案为依托，加强对学生自学能力、信息处理能力和创造力的培养。主要来说：
1、从兴趣出发，借助范例，让学生在动手实践中理解基本原理，掌握基本知识，培养基本技能。
2、通过“活动”教学方式，培养学生获取、加工、管理、表达与交流信息能力。
3、将评价作为促进教与学的一种手段融入教学过程中。
4、在熟练掌握基本技能与操作的基础上，注意培养创新思维与创新能力。
三、教学措施：
1.以学生学习的兴趣为契机抓好学习的入门。
2.结合计算机辅助教学软件，生动活泼地进行教学。
3.以抓好课堂教学良好纪律为保证，顺利完成教学任务。
4.以教学实践为主，在实践过程中让学生发现问题，并及时解决问题，培养他们的创新精神。
5.切实提高教师自身专业知识和业务水平，认真进行信息技术课的课题研究，向教研要质量，努力提高学生素质。
6、针对教材的特点，明确“学习目标”，做好感性的“范例与活动”的学习，做好理性的“知识与技能”的认识，“巩固与提高”课堂所学，加强课外“阅读材料”的学习。
7、对起点不同的学生要注意分类施教，要让基础好的学生学得一技之长，底子薄的学生打好基础。
8、提高课堂兴趣，多采用范例教学法、活动项目教学法、综合实践法等，培养学生的信息素养。利用各种和现实生活有密切联系的软件进行教学，并尽可能多的安排学生用所学知识进行创作的机会，如用flash进行动画创作，用VB进行了解什么是编程等，这样既可提高学习兴趣，又有利于培养学生的创造办、自学能力和信息处理能力，有利于促进学生主动发展。
以上就是本人高二下学期的教学计划，目标虽有，贵在坚持，在以后的教学工作中只有不懈努力，才能做一名更合格的信息技术教师。
校园高二信息技术教学计划文本【五】
一、指导思想：
在高二年级的领导下，以提高教育教学质量为核心，以“三自一新”课题为抓手，以提高高二学业水平考试优良率为奋斗目标，扎实开展新教材的课堂教学研究，提高组内教师专业化水平，提高学生综合素质能力。结合本备课组实际，创造性的开展各项工作。
二、工作目标
1、以高二学业水平考试为目标，探索适合我校的信息技术教育教学方法和管理模式，努力提高本学科的教学质量。
2、大力开展信息技术教育教研活动，互帮互学，共同提高。
3、建立群讨论组，大力开展网上教研活动，积极进行教育研究。
三、工作要点及措施
1、认真学习各类教育文件，转变观念。要潜心研究了解课程改革背景、指导思想、改革目标，熟悉课程标准的目标、内容和要求。要继续努力将教改基本理念转化为教学过程的具体行为，整合优化教学过程。
2、严格按照年级教学常规要求，认真抓好教学工作要加强教研组成员之间的紧密协作。从备课、上课、听课、评课等各个细节严格要求组内教师，3、配合好高二级部，严格教学管理，互相听课、评课，互相交流、探索，做到听课必评，促使组内教师善于在教学实践中学习、研究，及时对自己的教学进行反思，通过业务练兵，提高业务能力。
4、从每周一次的教研活动入手，要求每一次活动由不同老师轮流主持，有主题，有内容，有记录，从教学的点滴进行反思，从个人的教学心得进行交流，从管理的方法进行切磋。
5、以“三自一新“课题研究为校本教研的切入点，认真搞好组内课堂教学的研究，探索信息技术课堂最佳教学模式，尝试高效课堂的教学模式，做好课题的相关资料，争取不断创新，共同搞好教学。
6、发挥网络优势，合理利用liuxue86.com交流平台和网络资源的共享，使大家共同进步。
7、注重教师专业发展，从教学教研、组织参与竞赛、管理技能技巧等多方面为自己确定发展方向或侧重点，提高备课组的整体水平。
8、加强学校上机课的管理，以切实的措施管理好学生的上机，进一步这生的动手操作能力，进一点规范上机实践课的课堂秩序。
四、信息化辅助工作
1、合理运用多媒体教学软件，进行师生互动，提高教学质量，并严历杜绝Internet无功教学，用屏蔽过滤软件，检索有益资料，培养学生健康学习。
2、关注学校办公室、班班通多媒体教室、机房的计算机正常运行状况，及时排除故障，保障正常开展信息技术教学活动。
3、为教师提供技术性指导和服务工作。
4、配合学校做好临时安排的工作任务。
校园高二信息技术教学计划文本【六】
本教材包括对媒体技术应用概述、图形图像、声音、动画视频、对媒体信息集成、对媒体技术应用专题共六章。其中图形图像动画视频是该书的重点。而操作系统基础是所有操作技能的前提，因此学好操作系统这一章是学好后面知识的基础。
本学期的教学目标主要培养学掌握计算机操作技能，并用于学习和生活，当然本最重要的还在于高一信息技术会考，完成相关的教学任务及教学要求。
学生情况分析
优势
现在学生家庭中拥有电脑的数量较多，平时接触电脑的机会也比较，而且，电脑学习不需要太多的精力和时间，部分学生比较感兴趣。
不足
由于学校电脑设备想较其它县市学校落后，对学生积极性造成一定负面影响，致使有些学生厌恶上机实践操作，从而影响部分学生积极性。
情感前提分析
优势
计算机是比较特殊的学科，操作性较强，大部分学生对此相当感兴趣，学习较积极，比较热情，讨论和学习的气氛比较不错。
不足
学生对电脑的兴趣局限于游戏娱乐和上网聊天方面，缺乏全面性。对教材要的一系列操作知识不感兴趣，只对娱乐功能感兴趣。
教学措施
1）强调基础知识，重视教学方法，教学技能2）注重教学生动形象，激发学生学习兴趣3）培养学生思维能力，提高教学效果4）课堂中注重讲练结合，充分发挥教师主导，学生主体作用5）加强学生上机实践操作管理和引导
教育措施
加强学生上机纪律管理，完善机房管理条例，约束学生不良行为，严肃处理学生违法违纪行为，组织优势生辅导后进生上机实践操作，实现分层管理、分层教学。
优（差）生教育计划
指导思想
1）完成学校制定的教学计划和教学任务2）完成学校制定的合格率和会考A率
3）培养些技术较深、知识较好的优势生4）加强后进生转化辅导工作
辅导对象1）加强优势生辅导，使其尽量都能达到A，并在班级中起骨干作用
2）引导优势生，特长生帮助后进生转化进步工作，尽量做到无一人不及格
辅导形式，时间1）理论辅导：教师讲解为主，可在教室和多媒体教室中进行2）上机辅导：教师上机指导为辅，学生上机练习为主，优势生帮后进生为补进行。
校园高二信息技术教学计划文本【七】
学生状况分析：
高一学年度系统学习了必修《信息技术基础》和选修《网络技术应用》，掌握程度较好。本学期主要做好复习工作，迎接12月份的x省普通高中信息技术学业水平测试工作。
教学目标：
1、本学期高中信息技术课程主要是完成学业水平测试的复习工作，帮助学生巩固以前学习的内容，为20xx年12月的学业水平测试准备。
2、继续保持实验优势，为课改实验积累经验，为今后的信息技术课开展做好准备。
重点工作：
1、高中信息技术学业水平测试模拟训练
2、信息技术特长生培养
教学策略：
1、突出上机操作，精讲多练；
2、把信息技术课与其它学科的学习结合起来，与学生思想道德教育结合起来，与课改实验结合起来；
3、充分灌输21世纪学习的核心理念：合作与交流，不但要给学生进行大量的信息输入，还让他们把加工好信息以各种形式输出过来；
4、作业布置适量，难易适中，有针对性，及时反馈，做好总结。
5、在上学期基础上，将继续在学生良好学习习惯养成、技术技能训练、规划设计能力培养、技术思想文化理解等方面重点实施，整体提高学生信息素养和课堂学习效率。
6、在课堂上要注意培养特长学生，鼓励参加各类信息技术竞赛，通过课外培训等方式吸收特长学生参与活动。
7、精选历年考试内容，做成网页，让学生利用网络学习。
教学安排：
1、继续实行间周分组上机、上课的模式；
2、探索小组网上合作学习的新模式；
3、坚持考勤，做好学习情况、作业情况的记录。
校园高二信息技术教学计划文本【八】
一、指导思想：
根据学生的具体情况，明确本学期信息技术课程的任务：培养学生对信息技术的兴趣和意识，让学生了解或掌握信息技术基本知识和技能，使学生具有获取信息、传输信息、处理信息和应用信息技术手段的能力，形成良好的信息技术素养，为他们适应信息社会的学习、工作和生活打下必要的基础。
二、学生基本情况分析
本计划针对全体学生，通过上学年的学习，学生对办公软件例如word、excel有一定了解，但是由于每一学期信息技术课时比较少，每周只有一节课，学生的遗忘性大，大多数学生学过后没有注意巩固，学生掌握的情况不是很理想，参差不齐。有条件的学生家中有电脑，上机时间相对多一些，操作较熟练，有大部分学生纯粹是上课时间听课，课后练习巩固的机会较少，所以，这一部分学生对所学知识遗忘较大，操作生疏；学生对本学科的学习积极性还是比较高，因为信息技术课并不像语文、数学那么枯燥、单调，也不像历史、政治需要死记硬背。相对来说学生觉得比较新鲜。但是这又存在一个问题就是学生感兴趣的并不是学习，而是打游戏、上网聊天。所以，学生对计算机的认识还有待提高。要进一步对他们进行正确的引导。三、教材分析
本学期教材是选自x科技教育出版社出版的普通高中课程标准实验教科书《信息技术基础》（必修），本学期的任务是继续上完教材下半部分内容。四、教学目标：
1、培养学生对计算机的感性认识，了解信息技术在日常生活中的应用，培养学生学习、使用计算机的兴趣和意识。
2、初步学会使用计算机获取和处理文字、图象、声音、视频的技能。能熟练掌握其中的一些主要功能。
3、养成良好的计算机使用习惯。
4、通过学习，使学生了解并掌握一些学习方法和技巧，培养学生的学习积极性和主动性，鼓励学生之间相互交流，进行某些创新设计。
5、能够做一个多媒体作品出来 五、教学措施
技术文本 篇3
处于信息高速公路、数字化的信息时代，领略着信息海洋“冲浪”的乐趣，感受到电子超文本的无穷魅力。只要输入既定的网址，本土的汉赋唐诗以超文本的形式展现自己的风采，伴随着美妙的旋律，展示古典视觉神韵。这便是诗歌的“超文本”。本人引进“超文本”将诗歌教学与信息技术整合起来，下面具体介绍诗歌的“超文本”教学。
“超文本”是美国学者纳尔逊自造的英语新词，是一种以非线性为特征的数据系统。根据黄鸣奋先生的观点：“超文本区别于非超文本之处，在传播学视野里集中体现为交互而非单线，交叉而非径直，动态而非稳态 。我们将这些特征归结为‘非线性。就此而言，超文本与非超文本的区别，也就是非线性与线性的分野”。由此引申出超文本美学理念：交互性、交叉性两大特征。
诗歌“超文本”教学是借鉴黄鸣奋先生的超文本美学理论提出来的。超文本美学是以超文本为基础而建构的，而超文本的两大支柱——交互性、交叉性，是对建构主义理念与诗歌教学的一种新的诠释，引导我们以学生为中心，创设互动的教学环境，以丰富、精彩的视听素材交叉性的展示，让我们的思维处于径直性与交叉性的延伸，整个教学过程呈现动态发展，不是教师依纲据本，按照既定的备课进程循规蹈矩。总之，让学生在诗意乐趣、诗情画意中欣赏诗歌神韵，展现个体的智慧和能力。请看下面诗歌“超文本”教学理念的内容：
一、交互性
所谓“交互性”，指的是相互作用。既有师生的互动关系、又有文本与学生的交互关系、学生之间的交互关系。
建构主义理论家皮亚杰十分重视儿童之间的相互影响。他认为儿童之间彼此交流联系，可使他们不断了解他人的观点。在同一认知水平上的其他儿童比成人更能促使儿童从自我中心解脱出来。因此学生之间的互相学习、探讨，有助于探究性的发现答案，帮助鉴赏的建构。
计算机支持合作学习为我们提供了学生同伴之间交互的活动平台。传统的个别化CAI注重于人机交互活动对学习的影响，CSCL强调利用计算机支持学生同伴之间的交互活动。在计算机网络通讯工具的支持下，学生们可突破地域和时间上的限制，进行同伴互教、小组讨论、小组练习、小组课题等合作性学习活动。计算机支持的有意学习环境软件提供了一个合作学习环境和公共的数据库，支持学生用“记事本”（notes）发表自己的观点，用注释（comments）来响应他人的观点，学生既贡献自己的想法又共享他人的意见，这种由学生自制的数据库形成了CSILE的核心。正如黄鸣奋先生对超文本阅读的好处所作的阐述：学会“有为而发”，“有的放矢”。学生可以根据赏析诗歌所得的感受在网上论坛、聊天室、留言版进行异步或同步交流、讨论，也可以在网络课堂小组中选择作为合作伙伴，一起研究讨论问题，共同揣摩诗词的妙处，犹如古人的诗话会、诗社等，从而深刻地体会“网上邻居”的含义。
当然，在这“超文本”环境中，教师仍要发挥主导作用。学生在网络中容易走入迷途，导致不能把握重点，不能寻找有效信息，不能正确地赏析诗词，教师应该利用网络控制手段，如控制台及电子教室系统，对学生的学习内容、学习背景加以引导控制，在突现个性和差异性教学中，教师可以利用超文本环境有针对性地实行分层教学与个别交流探讨。
在整个学习进程中，学生是知识建构的积极参与者，教师则是学习过程中的组织者、指导者、促进者和咨询者，在超文本理念的指导下，我们提出一种新的“超文本”与诗歌教学模式：
教师：创设情景 → 呈现任务 → 启发指导 → 激励进步
学生：进入情境 → 自主探究 → 协作学习 → 交流反馈
这种教学模式是在教师的指导下，通过“超文本环境”，在学生自主学习和协作学习中，体现建构主义的“学生为主”“教师为导”的基本理念。
这种教与学模式在研究性学习方面，尤能体现其意义。本人曾尝试让学生分组研究“李白的山水诗”、“李清照的奇与悲”、“校园诗歌”、“乡愁何处”等研究课题，通过研究活动，使学生与诗歌有较广的接触，并能“知人论世”，由感性到理性，从审美的角度体会到中国的传统文化的蕴意和博大。通过这一研究活动，大大加强了学生之间的协作意识，在超文本环境与文本环境中，发现他们对诗歌寻幽探胜的智慧和热情。
二、交叉性
控制论创始人维纳曾说：“清楚的了解科学研究中所用的信息概念，就可说明，把两条信息简单放在一起，价值较小，而如果能够在某个头脑或机关中将这两条信息有效的组合起来，价值就可增加，这条信息借助于另一条信息而变得丰富起来。”他的观点富于启发意义，如果能将信息加以比较鉴别，互为参照将使意义丰富起来，我们也可以从“互文性”这一观点得以参鉴。它打破了文本作为自足的密封整体观念，代之以文学生产是在其他文本在场的情况下进行的。
我们都知道古代的用典、为经文作注、为诗文评点都给后人研究诗歌留下了重要的参考资料，新世纪初对夏、商、周朝代的准确年考也是根据大量的古文献参考资料的。诗歌鉴赏可以借鉴各种参考文本如：鉴赏辞典、诗词注释、诗话词话、名句赏析等来扩大我们的视野。也可以通过超文本网络资料。比如：网络软件《陶渊明诗二首》共设置了六个节点：时代与生平、思想内容、艺术特色、深远影响、经典赏析、作品选粹均来源于权威著作《中国文学史》，学生可以根据自己的认知水平，自由进退，适时适量的自主浏览，成为信息处理的决策者，有利于提高不同层面学生摄取知识的能力，最大限度的发挥学生自主学习和参与的积极性，也可以登陆清华大学“中国古典诗词赏析”主页，这里浩瀚的知识海洋，充分满足学生自主学习、决策信息、建构诗歌赏析知识体系的意义。当然，也要防止在海洋中迷失了方向，所以适时的提问与引导就显得十分重要了。
此外，教师要充分利用网络世界为我们提供的各种音乐与古典诗歌联姻的资料。比如：赏诗苑调动学生的情感体验，让他们陶醉于诗的意象和音乐中，产生联想和想象，一曲李清照的 《一剪梅》可以让我们感受到孤独难遣绵绵无期的相思之情；一曲《扬州慢》可以引导我们感受山河残破，人民不幸的沉痛之情，一曲《念奴娇 赤壁怀古》将山河之胜与怀古之情融为一体，读罢内心激荡，颇有“天风海雨逼人”之感。而许多的邓丽君的名曲也有唐宋诗词，可以激发学生的兴趣，在邓丽君的经典歌曲的网站上，收录了李煜和多位宋代词作名家的经典作品，包括李煜的《相见欢》（无言独上西楼），苏轼的《水调歌头》（明月几时有），范仲淹的《苏幕遮》（碧云天，黄叶地），秦少游的《桃源忆故人》（玉楼深锁多情种），聂胜琼的《鹧鸪天》（玉惨花愁出凤城），李煜的《乌夜啼》（林花谢了春红）和《虞美人》，欧阳修的《玉楼春》（别后不知君远近），朱淑真的《生查子》（去年元夜时，花市灯如昼），辛弃疾的《丑奴儿》（少年不识愁滋味），李之仪的《卜算子》（我住长江头，君住长江尾）等，由台湾声名卓箸的曲作家古月，刘家昌，翁清溪，陈扬等谱曲，曲与词可谓珠联璧合，相得益彰，再加上邓的内敛婉约清丽的唱腔让学生更加深入体会诗歌的情感与意境。
文本挖掘技术研究 篇4
面对浩如烟海的文本信息,人们迫切需要研究出方便有效的工具去从大规模文本信息资源中提取符合需要的、简洁的、精炼的、可理解的知识,文本挖掘(Text Ming,简称TM)因此产生。
2 正文
文本挖掘即文本数据库中的知识发现,是从大量文本的集合或语料库中发现隐含的、令人感兴趣的、有潜在使用价值的模式和知识[1]。
定义1文本挖掘是指从大量文本集合Doc中发现隐含的模式P。如果将Doc看作输入,P看作输出,那么文本挖掘的过程实质上就是从输入到输出的一个映射:Doc→P。
2.1 国内外研究现状
下面列出一些著名的国外文本挖掘工具:
1)IBM的文本智能挖掘机[2]。
其主要功能是特征提取、文档聚集、文档分类和检索,支持16种语言的多种格式文本的检索,采用深层次的文本分析和索引方法,支持全文搜索和索引搜索,搜索条件可以是自然语言和布尔逻辑条件,是Client/Server结构,支持大量并发用户做检索任务,联机更新索引。
2)Autonomy公司的Concept Agents,经过训练以后,它能自动从文本中抽取概念[3]。
3)Tel Tech公司的Tel Tech。
提供专家服务,专业文献检索服务,产品与厂商检索服务,Tel Tech成功的关键是建立了高性能的知识结构[4]。
国内情况:
表1为部分科研单位与大学对文本挖掘的研究情况。
2.2 文本挖掘过程
文本挖掘的过程文本挖掘的主要处理过程是对大量文档集合的内容进行特征集的建立、特征集的缩减、学习和知识模式的提取、模式质量评价等。
·特征集的建立:由于处理的是非结构化的文本,使得现有的数据挖掘技术无法直接应用,因此要从文本中提取适当的代表其特征的元数据(特征项),将这些特征用结构化的形式保存起来,从而实现对非结构化的文本处理。
·特征集的缩减:自然语言文本集中往往包含大量的词汇,如果把这些词都作为特征,其特征维数会相当高,这些特征对将要进行的分类学习未必全是重要、有益的,而且高维的特征会大大增加机器学习的时间,因此需要去掉一些冗余词汇,以降低维数。
·学习和知识模式的提取:在进行完特征集的缩减后,就可以利用机器学习的各种方法来实现面向特定应用目的的知识模式,通常是进行文本分类或文本的聚类等。
·模式质量评价:为了客观地评价文本挖掘的效果,经研究提出了很多评测方法,比较常用的有准确率(P-Precision)、召回率(RRecall)。准确率是所有判断的文本中与人工分类结果吻合的文本所占的比率。查全率是人工分类结果应有的文本中分类系统吻合的文本所占的比率。
2.2.1 文本挖掘常用技术
从文本挖掘技术的研究和应用状况来看,从语义角度来实现文本挖掘的还很少,目前研究和应用最多的文本挖掘技术是文档分类、文档聚类和自动文摘[5],是挖掘工作最重要的部分,处在挖掘过程的“学习和知识提取”阶段。
1)文档分类
文档分类是按照预先定义的主题类别,为文档集合中的每个文档确定一个类别。这样用户不但能够方便地浏览文档,而且可以限制搜索范围来使文档的搜索更容易、快捷。
文档分类一般采用统计方法或机器学习来实现。常用的方法有:朴素贝叶斯法(NB),K-最近邻法(K-NN)、支持向量机(SVM)、向量空间模型(VSM)、线性最小二乘方估计法(LLSF)等。
2)文档聚类
文档聚类的目标和文档分类是一样的,只是实现的方法不同。文档聚类是无教师的机器学习,在文档归类之前没有定义好的类可供选择。在文档聚类时,将所有类型接近的文档归为一类,使类型相同的文档尽量归为一类,类型不相同的尽量隔离开来,聚类的标准可以是文本的属性,也可以是文本的内容。
聚类的方法通常有:K-最近邻参照聚类法、简单贝叶斯聚类法、层次聚类法、平面划分法(k-means算法)、分级聚类法、基于概念的文本聚类等。
3)自动文摘
自动文摘就是利用计算机自动地从原始文档中提取全面准确地反映该文档中心内容的简单连贯的短文,其目的是尽量减少用户阅读的文本量。
2.2.2 文本挖掘系统评估方法
系统评估处在挖掘过程的“模式质量评价”阶段,比较公认的评估办法和标准如下:
1)查全率和查准率
2)冗余度和放射性
冗余度表示信息抽取中冗余的程度[6]。放射性是一个比较模糊的概念,它表示一个系统在抽取事实不断增多的时候产生错误的趋势。大家都希望系统有着最低的冗余度和放射性。
3)双目失明测试[7]
先用机器生成一组输出结果,再混合人类专家用作的相同形式的输出结果。这种混合后的输出集再交给其他的一些人类专家,让他们给予其准确性上的评估。
2.3 文本挖掘的研究课题
文本挖掘面临许多新的研究课题:
1)文本的表示
需要对文本进行预处理,对文本进行特征提取,从而把文本表示为计算机可读的一种中间形式。[8]
2)跨语言问题
文本挖掘功能要考虑到多种语言之间的语义转换,需要一个语言模型及系统的方法,这将构成跨语言文本挖掘的重要部分。[9]
3)大规模文本集合
要对文本集合进行处理,必须有快速高效的文本挖掘算法。
4)模式的理解和可视化显示
模式的可理解性很重要的,提高可理解性的解决方法通常包括以图形方式显示结果,提供相对少量的规则,或者生成自然语言以及利用可视化技术等。
5)算法运行中参数的设定和调节
让算法在运行过程中自动选择相对较好的参数值和自行调节参数的取值,是很多算法能否被广泛使用的一个关键问题。
6)算法的选择
各种算法各有其特点,如何从中选择一个适合于具体应用的算法是一个尚待研究的问题。
7)领域知识集成
领域知识很可以提高文本分析效率,有助于取得更紧凑的表示形式等,因此,可以考虑把领域知识集成到文本挖掘系统中。
8)中文文本分词技术
在中文中,词与词之间没有分隔符,一个句子是由一串连续的汉字组成,加之汉语中的词具有不同的长度,相同的字可出现在许多不同的词中,还有许多词是由单个字组成,这使得中文分词是一项很难的工作,需要快速有效的技术。
2.4 文本挖掘的前景跟展望
从文本挖掘的现实来看,虽然距离语义层次的理解和知识挖掘的理想还很遥远,但是已经在文本搜索、剔出重复、文档聚类分析、自动分类和文摘方面取得了实用的效果。不要企望短时间内对文本挖掘技术在语义层面有很大的突破,因而不要对其理解力和智能化有过高的奢望。特别是在短时间内,理解、想象和含义判断依然是人类的专利和专长。不要奢望文本挖掘很快越过语义鸿沟也不要因为语义鸿沟的存在而看不到其重要的应用意义和巨大的商业价值。
参考文献
[1]Feldman R,Dagan I.KDT-Knowledge Discovery in Textual Databases[C]//Proceedings of the1st Annual Conference on Knowledge Dis-covery and Data Mining,1995:112-117.
[2]蒋良孝,蔡之华.文本挖掘及其应用[J].现代计算机,2003(2),31.
[3]http://www.lnts.com.cn/ipower/erp/krm/krm010417004.htm[EB/OL].
[4]Expert Advisory nettwork[EB/OL].http://www.guideline.com/capabilities/advisory-network/advisory-network.html.
[5]薛为民,陆玉昌.文本挖掘技术研究[J].北京联合大学学报,2005,(04):59-63.
[6]Lehnert W.A Performance Evaluation of Text Analysis Technologies[J].AI Magazine,1991:81-94.
[7]Ishida T.ICE Contact[EB/OL].http://ice.kuis.kyoto-u.ac.jp/ice/contact.htm,2004.
[8]曾致远,张莉.基于向量空间模型的网页文本表示改进算法[J].计算机工程,2006(3):134-135.
技术文本 篇5
本学期的教学工作又将接近尾声了，现将自我本学期的收获和感想做个简单的工作总结。帮组梳理下自我的教学工作，期望在今后的工作上有所提高。
本学期我还是担任四、五年级信息技术的教学工作，有了过去一学期的工作的铺垫，本学期的各项工作开展起来要顺利多了，收获了一些小小的教学经验，可是同时也深感自我的压力越来越大，在不断的摸索中教学，也开始越发多的发现自我的不足。经过教学工作使我深刻认识到信息技术课程的地位和作用，对信息技术的发展有了正确的认识，它既是基础教育课程改革和发展的需要，又是小学素质教育工程的重要资料。下头我总结一下这学期信息技术的心得体会。
一、深入学习，提高自我的业务水平作为信息技术教师，仅有不断更新自我和知识，不断提高自身的素质，不断地自我加压，才能将信息知识更流畅地、简便地、完整地讲授给学生，才能让学生始终走在信息技术知识的前端，跟上不断发展的时代步伐。
二、重视因材施教每一个学生在个性发展及特长爱好上的发展都是不一样的，不一样的学生有不一样的爱好和知识需求，在课堂上我们会发现总是有少部分学生对一些学习资料兴趣不大，如果再施加给他们高要求的学习任务，也只是徒劳的。我们应对这少部分的学生安排不一样的教学资料，降低目标标准，使这些学生能更简便的完成任务，从而品尝到成功的喜悦，调动他们的学习进取性。
三、努力探索，加强教学方法的改革利用网络，开展多媒体辅助教学，充分发挥计算机在教学中的作用，经过网络，教师能够获得所教学科的各方面资料，拓宽学生视野，优化课堂教学。比如：在微机室里，我能够操作电脑，展示教学课件；变抽象为形象，帮忙学生理解学习中的难点；巧设练习，让学生在乐中学，乐中练，使课堂变得更加生动趣味，提高课堂教学效率。
信息技术是一门不断发展的学科，我觉得还有许多知识需要学。在今后的教育教学工作中，我将更严格要求自我，努力工作，争取更大的提高。
2021年教师信息技术工作心得体会文本【二】
本次培训很实用，以任务驱动为主线、以活动为中心、以讲授、研讨、自学、评价相结合、以理论相渗透、以技术为支撑，让学员充分感受了教育技术应用的多样性，在学习体验中感悟了现代教育理念与运用信息技术支持教学创新的魅力。与以往的培训相比，本次培训具备很多的优点，同时给我们的感受也非常深刻。
1、培训内容和我们平时的教学工作紧密联系，实用性很强。
比如创建教学设计方案，规划主题单元等一系列学习活动能梳理我们的教学思路，促使我们整合各方面的资源，更好的理解信息技术和课程整合的意义，为我们今后能将信息技术运用到具体的教学工作中打下了扎实的理论基矗
2、培训形式新颖有趣，着力培养学员们的合作意识。本文由一起去留学编辑整理。
特别是以小组为单位，设立小组代表，既有趣又能激发大家的创新思维，迅速树立团队合作意识，增强团队的凝聚力，为后续培训打下基矗
3、课堂属于开放式，气氛轻松。
各组员可以自由的发表自己的意见。打破了传统课堂的教学规律。对于我们来说，虽然只有短短3天的培训，但受益匪浅。在这里我们见识了很多信息技术和课程整合的鲜活的案例，在集体讨论和辅导老师的点拨下，我们进一步理解了信息技术对现代教学产生的重大意义，了解了信息技术和课程整合的优化方法。不但丰富了我们的教学基本理论知识，而且对我们今后的教学活动有很大帮助，可以将这些知识运用到教学实践中，对所任教的学科进行教学规划设计，梳理教学思路，加深对教材的理解。
4、是学习收获巨大。
在学习内容方面，不仅理解了教育技术的基本内涵，深入理解了教设计的一般过程，掌握了信息资源的获取方法、处理方法，还通过案例的研讨，掌握了探究型学习和授导型学习的设计方法及评价方法，对信息技术与课程整合的内涵也有了一定的认识，提升了教学设计的整合水平等等，可以用“收获颇丰”来概括。在学习方式上，老师们感受最多的是小组学习和探究型学习的优势。专业上的互补，使老师们能相互取长补短，共同提高，同时增强了团队精神和协作意识；探究型的学习，能充分调动每位学员的学习积极性，各展所长，始终保持旺盛的学习热情和热烈的学习气氛。如果能有效地将它们应用到我们的日常教学中，必将有力地促进教学效果的提高。
通过此次培训使我真正领会到了新的教育技术理念，也发现了自己身上许许多多欠缺的地方。学习虽然完成了，但学习的目的是为了应用。我们一定会在日后的教学中努力做到实践与理论相结合，真正让教育技术为提高教育教学质量服务。
2021年教师信息技术工作心得体会文本【三】
当今以计算机和网络技术为核心的现代技术正飞速的发展，改变我们的学习方式，信息的获取、分析、处理、应用的能力将作为现代人最基本的能力和素质的标志。信息技术的综合运用能力，现在已不只停留在课件的制作上。面对时代的进步，技术的发展，我们的学习和提高已迫在眉睫。通过参加“国培计划”中小学教师信息应用能力提升工程的培训学习，让我对教育现代化的发展有了新的认识，使我认识到作为一名教师应积极主动吸纳当今最新的技术，提高课堂教学效率。
一、要与时俱进，更新观念
1、可以说，此次信息技术应用能力提升培训使我在观念上有一个更新。在平时我都停留在基本应用上，然而通过此培训，才真正的认识到自我在信息技术的运用方面还有许多的不足，在今后的业务提升方面还有大量的知识要学习，只有这样随时为自我更新，补充新识，更新观念，从根本上提升专业素养。
2、随着信息化快速发展，教师必须具备良好的信息素养是终生学习、不断完善自身的需要，要具有现代化的教育思想、教学观念，掌握现代化的教学方法和教学手段，熟练运用信息工具（网络、电脑等）对信息资源进行有效的收集、加工、组织、运用；这些素质的养成就要求教师不断地学习，才能满足现代化教学的需要；信息素养成了终生学习的必备素质之一，如果教师没有良好的信息素养，就不能成为一名满足现代教学需要的高素质的教师。
二、要运用技术，有效的辅助课堂教学
1、通过聆听专家老师对“中小学教师信息技术能力培养”和“信息技术环境下的教学设计”专题与案例分析的学习，使我充认识到作为一名老师，首先要具备基本的信息素养，掌握信息操作的基本能力和获取信息的能力，除此之外还应具备信息收集处理以及表达的能力和综合运用能力。深刻的认识到教育信息的重要性，明白什么是教育信息化发的发展情况，真正理解了信息化教学环境在教育教学中的作用，掌握了几种常用的教学模式和软件的基本应用。
2、通过聆听专家们对“网络学习资源应用”、“PPT应用”、“学科教师的媒体素养培养”、“电子白板的创新应用”等等的解析，才真正的意识到自己在专业知识方面还要继续学习，不断提高。如对“微视频的加工与编辑”的解析，使我真正的知道了什么是办公软件强大的功能，平时我只会对办公软件进行简单的应用，没有更进一步去学习，听了老师们的解析与演示操作，使我开拓了视野，能力得到了提升。另外，我还有一个大的收获就是学会了微视频的制作，下一步我要自己制作微课，在今后的工作中我将不断学习来丰富自我专业知识。
总之，通过这次培训学习，我受益匪浅，其感触非一一能言尽。这将在我今后的工作中有着非常重要的作用，我一定扎实工作，努力学习，把用所学到的教育技术知识更好地应用到现代化的教育教学中，做一名对学生负责，对学校负责，对社会负责的优秀教师。我会一如既往的学习各种关于信息技术的专业知识、持之以恒，不懈的努力优化自我的专业技能，更好的适应现代化社会的发展需求，培养新时代所需要的具有高信息技能的新兴人才。
2021年教师信息技术工作心得体会文本【四】
在教务处的要求与指导下，这个学期信息技术教研组积极开展了一系列的教育教学活动，?积极开展了集体备课活动，组织组内教师上了亮相课、校本教研课、示范课、杏坛之星赛课、教学开放日推荐课等。并组织组内教师积极参与听课、评课，提高了组内教师的教育教学水平。
信息技术组从开学以来，有陈兵老师上了校本教研课和示范课；罗旭老师上了杏坛之星赛课和教学开放日推荐课；谭颖老师上了亮相课；杨剑老师上了亮相课。
本教研组现有7位老师，除了旷老师、兰老师和黄老师以外，其他老师都上了教研课。每一位教师上研究课之前都作了充分的准备，把握好了教学内容的重点和难点，并且做了精美的课件，教研组也组织了组内老师对如何上好教研课进行了讨论。每一堂研究课，都组织了组内老师老师听课，老师们只要没有特别的事情都按时听了课，且认真做了听课笔记，课后组内进行了集体评课。
通过这一系列的教研活动，老师们发现了自己教育教学中的不足，同时也看到了别人的长处，取长补短，并就遇到的共同问题进行了集体讨论，寻求解决方法。总的来说，促进了我们组的教育教学水平，提高了老师自身的素质。
2021年教师信息技术工作心得体会文本【五】
本学期的教学工作又将接近尾声了，现将自我本学期的收获和感想做个简单的工作总结。帮组梳理下自我的教学工作，期望在今后的工作上有所提高。
本学期我还是担任四、五年级信息技术的教学工作，有了过去一学期的工作的铺垫，本学期的各项工作开展起来要顺利多了，收获了一些小小的教学经验，可是同时也深感自我的压力越来越大，在不断的摸索中教学，也开始越发多的发现自我的不足。经过教学工作使我深刻认识到信息技术课程的地位和作用，对信息技术的发展有了正确的认识，它既是基础教育课程改革和发展的需要，又是小学素质教育工程的重要资料。下头我总结一下这学期信息技术的心得体会。
一、深入学习，提高自我的业务水平作为信息技术教师，仅有不断更新自我和知识，不断提高自身的素质，不断地自我加压，才能将信息知识更流畅地、简便地、完整地讲授给学生，才能让学生始终走在信息技术知识的前端，跟上不断发展的时代步伐。
二、重视因材施教每一个学生在个性发展及特长爱好上的发展都是不一样的，不一样的学生有不一样的爱好和知识需求，在课堂上我们会发现总是有少部分学生对一些学习资料兴趣不大，如果再施加给他们高要求的学习任务，也只是徒劳的。我们应对这少部分的学生安排不一样的教学资料，降低目标标准，使这些学生能更简便的完成任务，从而品尝到成功的喜悦，调动他们的学习进取性。
三、努力探索，加强教学方法的改革利用网络，开展多媒体辅助教学，充分发挥计算机在教学中的作用，经过网络，教师能够获得所教学科的各方面资料，拓宽学生视野，优化课堂教学。比如：在微机室里，我能够操作电脑，展示教学课件；变抽象为形象，帮忙学生理解学习中的难点；巧设练习，让学生在乐中学，乐中练，使课堂变得更加生动趣味，提高课堂教学效率。
基于文本，超越文本 篇6
【片段】
师：读了几遍课文后，你们基本上明白了文章所讲的道理。如果让我们从不同的角度欣赏《最大的麦穗》一文，譬如“大学者苏格拉底教育学生有什么独到之处，他的弟子如此学习对你有什么启发”等，带着这样的问题再次与课文对话，你们肯定会有更多“美丽”的收获。
生：孙老师，我认为苏格拉底的教学并不是完美无缺的。课文中写了他的弟子们“也试着摘了几穗，但并不满意，便随手扔掉了”，从“随手扔掉”可见他的弟子不够爱惜粮食，从而也可以说明苏格拉底的教育有疏漏之处。
师：你敢于向权威挑战，精神可嘉！掌声鼓励！
生：我认为文中苏格拉底的第一句话是自相矛盾的，“你们去麦地里摘一个最大的麦穗，只许进不许退……”所谓“最大的麦穗”，一定是有比较而产生的，“只许进，不许退”就导致弟子们没有办法进行全方位的比较。那么，这个“最大的麦穗”是没有办法找到的，所以这种提法的本身就是自相矛盾的。
生：从中也能看出苏格拉底的弟子们有些太听话了，不敢怀疑老师，盲目行动，最后落得两手空空。
师：这些问题我课前也没有想到。你们不迷信书本，不迷信权威，有自己的见解，的确了不起。
【赏析】现代课堂教学的理念提倡不唯书，不唯上，不唯权，只唯实。在学生的眼中，课本是神圣的、无可挑剔的，小学生将课文看成“金科玉律”。孙老师的课堂打破了这种陈规。当第一个学生对权威苏格拉底的教学提出了质疑时，孙老师毫不吝啬自己的赞美之词，充分肯定了这名学生的见解，并且让其他学生鼓掌表扬。正是由于受孙老师态度的影响，接着才会出现学生对课文的其他质疑。学生在阅读课文时，总是利用个体已有的知识、经验和个性化的情感去推断、感受文本。当然，有几个学生的结论有不大成熟或不够完善的地方，但是他们能超越文本，敢于质疑，敢于批判，这是难能可贵的。阅读教学是一种对话，是学生、教师、文本、教科书编者之间的对话过程。学生调动自己的知识、情感、态度、需要、价值观和生活经验与文本展开对话，产生带有主观色彩的感受、理解和体验，往往会超越文本，充满创造的色彩。孙老师的这一教学细节告诉我们，引导阅读就是要让学生有“横看成岭侧成峰，远近高低各不同”的视野，学会思考，善于倾听不同的声音，接纳不同的观念，拥有宽广的胸襟和敢于批判的勇气。要想培养学生的创造意识和创新能力，要基于文本，更要超越文本！（作者单位：江苏省南京市浦口区行知小学）
责任编辑 徐纯军
Web文本挖掘及其分类技术研究 篇7
关键词：Web文本挖掘,分类算法,比较
1 引言
Web文本挖掘是指从大量Web文档的集合C中发现隐含的模式P。如果将C看成输入,P看成输出,则Web文本挖掘的过程就是从输入到输出的映射σ:CP。
目前,W e b文本挖掘可以实现对W e b上大量文档集合的内容进行总结、分类、聚类、关联分析等功能,以及利用Web文档进行趋势分析等。
Web文本挖掘系统总体结构图如图1所示。
2 Web文本挖掘的过程
W e b文本挖掘的主要处理过程是对W e b上大量文档集合的内容进行分词处理、特征提取、结构分析、文本摘要、文本分类、文本聚类、关联分析等。图2[7]给出了基于W e b的文本挖掘的一般处理过程。
Web文本挖掘可以同搜索引擎、信息推送、信息过滤等信息处理技术相结合,应用到知识管理、决策支持、商业智能等各个应用领域中,从而提高了信息的含金量。同时,我们知道在Web文本挖掘中,文本的特征表示是挖掘工作的基础,而文本分类和聚类是两种最重要、最基本的挖掘功能。因此在本文的后续部分,我们将重点探讨文本分类中分类和聚类这两大技术及它们常用的算法。
3 文本分类及其常用算法
3.1 文本分类
Web文本的分类是指根据Web文档的内容,将大量的文档归到一个或多个类别主题的过程。从数学角度来看,文本分类是一个映射的过程,它将未标明类别的文本集合映射到已有的类别中,该映射可以是一一映射,也可以是一对多的映射,因为通常一篇文本可以同多个类别相关联。用数学公式表示为:θ:S→C,其中,S为待分类的文本集合,C为分类主题中的类别集合。
在文本分类中,训练方法和分类算法是分类系统的核心部分。目前,文本分类的许多研究致力于二元问题,但是有各种各样的文本信息数据源,比如网上新闻、电子邮件、数字字典,都是由不同的主题构成,因此构成了多种分类问题。其一般方法是将此工作分成不同的二元分类问题,对一个新文本划分,只是需要应用二元分类器及它们的联合形成一个决策,其缺点是忽视了不同类之间的联系。
3.2 常用的分类算法
3.2.1 基于统计的算法
(1)贝叶斯分类
常用的基于统计的分类算法有贝叶斯分类,当假设所有属性所起的作用都是独立的,并且对于分类问题每个属性所起的作用都是相等的,则有一种被称做朴素贝叶斯[1](na ve Bayes)的简单分类方法。即若文档向量的分量为相应的单字在该文档中出现的频度(TF向量表示法),则采用该表示方法的文档属于c类文档的概率为:
其中P(c)为一个文档属于类的概率,P(FJ/c)是对类文档中特征FJ出现的条件概率的拉普拉斯概率估计,TF(FJ,c)是c类文档中特征FJ出现的频度,|V|为单字辞典集的大小,等于文档表示中所包含的不同特征的总数目,TF(FJ,Doc)是在文档Doc中特征FJ出现的频度。
朴素贝叶斯方法有几个优点。首先,它易于使用。其次,与其他分类方法不同,它仅需扫描依次训练数据。朴素贝叶斯方法可以方便地处理缺失值,只需在计算每一类中归属的似然时,忽略缺失值的概率即可。当变量之间的关系很简单时,这种技术通常会产生很好的效果。
(2)支持向量机
支持向量机(S u p p o r tV e c t o r Machine,SVM)是统计学习理论基础上的新兴的机器学习方法,它基于结构风险最小化(Structure Risk Minimization)原则,是由Joachims最早运用于文本分类的。其基本出发点是控制学习机器的经验风险和推广能力,从而达到最小的实际风险。对推广能力的控制通过一个称为最优超平面的机制来实现。研究表明,SVM是迄今为止分类性能最好的文本分类器,其唯一的缺点就是训练速度很慢。
3.2.2 基于距离的算法
与一个类中的成员和另一个类中的成员之间的相似性相比,被映射到同一个类中的成员彼此之间被认为是更相似的。因此,相似性(或者距离)度量可以用来识别数据库中不同成员之间的“相似程度”。可以对相似性度量的思想进一步抽象并将其应用于更一般的分类问题中,通过使用一个从属性域到整数的子集的映射来实现,这样,分类问题就变成了确定元组与查询之间的相似性。
K最近邻(K Nearest Neighbors,KNN)是目前广泛应用的一中基于距离度量的分类方法。其过程如下:给定一个测试文本,系统在训练文本集中找到k个最近邻,用k个近邻分配权重。每个近邻文本与测试文本的近似程度作为权重。如果几个近邻是一类,则每个权重相加,总和作为与测试文本的近似度。算法3.1概括地描述了KNN算法。为了方便,使用余弦值来表示向量间的相似度,也可以使用欧氏距离作为相似度的测量。此方法的缺点是k值定义比较困难,一般采用不同的k值进行一系列试验才能决定取哪个值较好。
3.2.3 基于决策树的算法
在求解分类问题的方法中,决策树(Decision Tree,DT)是最有用的一种方法,应用这种方法需要构建一棵树对分类过程进行建模,然后将树应用于数据库中的元组并得到分类结果。决策树方法有两个基本的步骤:构建树和将树应用于数据库。大多数研究都集中在如何有效地构建树,而应用过程则是很简单的。
决策树分类方法将搜索空间划分为一些矩形区域,然后根据元组落入的区域对元组进行分类。定义2给出了决策树分类方法的定义。
定义2[1]给定一个数据库D={t1,…,tn},其中ti=
*每个内部结点都被标记一个属性Ai。
*每个弧都被标记一个谓词,这个谓词可应用于相应父结点的属性。
*每个叶结点都被标记一个类Cj。
利用决策树求解分类问题包括两个步骤:
(1)决策树归纳利用训练数据构建一棵决策树。
(2)对每个元组ti∈D,应用决策树确定元组的类别。
决策树是被广泛使用的归纳学习方法之一,它排除噪音的强壮性以及学习反义表达的能力使其更适合于文本分类。比较著名的决策树算法是C A R T、I D 3以及它的后继C4.5,C5.0。
3.2.4 基于神经网络的算法
与决策树方法相同,神经网络(Neural Network,NN)分类方法也需要构建一个可以表示如何对任何给定的数据库元组进行分类的模型。用于文本分类是由Wieneretal和Ngetal分别提出的。这些系统都为每类使用独立的神经网络,学习非线性映像输入词成各类(或更复杂如向量空间文本特征)。训练NN系统是更费时间的过程,相对其他的分类法而言,造价更大。
利用神经网络求解分类问题的步骤如下:
(1)确定可以作为输入的属性数目和输出结点的数目。还需要确定隐含层的数目,这个步骤需要领域专家完成。
(2)确定图中使用的权值(标记值)和函数。
(3)对于训练集中的每个元组,将其传送到网络中,并根据实际结果评估输出预测。
(4)对于每个元组ti D,将ti传送到网络中,并给出适当的分类。
3.2.5 组合技术
许多研究者研究了将多种分类方法联合成一种分类器的技术,即组合技术。组合技术可以分为两种基本类型:
(1)对多种技术进行综合,并将其融合成为一种新的方法。例如:利用一种预测技术来预测一个属性的未来值,然后将其作为一个分类神经网络的输入。
(2)多个独立的方法被应用于同一个分类问题,每种方法都产生各自的类别预测,然后以一定的方式将各种方法产生的结果组合起来。这种方法称做多分类器组合(Combination of Multiple Classifier,CMC)。
3.3 常用分类算法比较
依据分类的精度,没有一种分类技术总是优于其他的分类技术,每种技术都各有优缺点。贝叶斯分类假设数据分布是独立的,并具有离散的值。因此,虽然它易于使用和理解,但分类结果可能并非令人满意。K N N技术仅要求数据之间的距离可以计算,甚至对于非数值型数据也可以应用KNN,通过考虑K个最近邻,还可以处理异常点。决策树技术也容易理解,但它可能会导致过拟和。为了避免这一点,需要利用剪枝技术。
当对分类方法进行复杂性分析时,可以看到各种方法都是非常有效的。如果建立了模型,统计技术和朴素贝叶斯对一个元组进行分类仅需要常数时间;K N N也仅需要常数时间,但需要与每个类的代表元组进行比较或者与训练集中的所有元组进行比较;决策树分类技术也需要大量的比较,但也是常数时间的算法;神经网络方法用于传播一个元组的图是常数规模的,因此它也可视为需要常数时间。总之,对数据库中的n个元组进行分类,所有分类算法的时间复杂性都为Ο(n)。
4 结语
总之,文本挖掘的聚类与分类技术把文本型信息源作为分析对象,利用定量计算和定性分析的方法,从中寻找信息的结构、模型、模式等各种隐含的知识,这种知识对用户而言是新颖的、具有潜在的价值。
本文立足于Web文本挖掘,着重介绍了常用的文本分类及聚类算法,并对它们做了简单的比较。通过研究,我们发现在对文本集进行相关分析时,往往会损失文本中的大量信息,这种信息的遗漏,会影响到挖掘的效果,同时鉴于文本分类及聚类技术在Web文本挖掘中的重要性,本文的后续工作将致力于探索更高效的文本分类与聚类方法。
参考文献
[1]Margaret H.Dunham著.郭崇慧,田凤占,靳晓明等译.数据挖掘教程(中文版)[M].北京:清华大学出版社,2005.
[2]王继成,潘金贵,张福炎.Web文本挖掘技术研究.计算机研究与发展,2000(3).
[3]朱克斌,唐菁,杨炳儒.Web文本挖掘系统及聚类分析算法.计算机工程,2004(7).
[4]沈记全,唐菁,杨炳儒.Web文本挖掘系统及其分类算法的研究与实现.计算机工程,2003(10).
[5]易高翔,程耕国.Web文本挖掘研究.武汉科技大学学报(自然科学版),2005(3).
[6]夏咏梅.基于文本挖掘的分类与聚类技术.情报探索,2005(5).
基于文本的网络图像信息搜索技术 篇8
关键词：文本搜索,网络图像信息,搜索技术
在当今社会的网络信息存储中, 图像方面的信息占据了越来越重的比例, 根据之前的调查表明, 互联网上有80%的信息都来源于图像, 网民们对于图像的搜索需求越来越高。就目前的技术来看, 图像的搜索技术主要是基于文本和基于图像内容两种方法。在这两种技术方法中, 基于文本的网络图像搜索技术的不断发展, 更加符合绝大多数人的搜索习惯, 对于关键字的描述也相对准确。
1 基于文本的图像检索技术
1.1 什么是基于文本的图像搜索技术
基于文本的图像搜索, 就是指在收集图像的时候, 把这个图像周围的文本也一同收集了起来, 或是在搜索过程中, 图像中存在的文本被识别出来, 作为对于该图像的定量描述。基于文本的图像检索也就是通过关键字来进行图像检索, 非常地简便并且易于实现。
1.2 基于文本的图像检索技术索引数据库的建立
在基于文本的图像搜索技术中, 最关键要素就是索引数据库的建立。建立起这个索引数据库, 首先就要提取出跟图像的所有有关的信息, 比如图像的格式、名称和尺寸等。
1.3 基于文本的图像搜素技术的特点
根据当前的事情来分析, 基于文本的搜索存在着两方面的困难:一方面就是通过文本上的描述并不能准确表达图像的全部内容, 因为文字的描述能力有限, 它只能是通过定向的词语或句式来表达。一旦图像中出现了类似不规则形状或不常见的纹理时, 就很难应用文本对其进行解释。再有就是通过文本描述离不开会出现主观因素的形象, 当图像的内容过于丰富, 就会使内容上的描述具有很大的主观性, 那么这样的搜索方法会出现歧义。
但是基于文本的图像搜素技术也有很多优点, 比如说可以把图像的搜索转为了与图像相适应相符合的文本检索, 这样更加利于实现。另一方面, 由于文本搜索是人工来控制操作的, 所以它的查准率非常高, 可以用来辅助其他图像的搜索技术。
2 如何用文本的方法对图像进行搜索
2.1 图像关联文本的选取
基于文本的图像搜索, 其实就是找到与这个图像有关连的文本, 来对图像进行索引和标注。跟图像有关联的文本主要包括了文件的拓展名和超文本文件的图像标记符号。文件的拓展名就是图片的存储格式, 常见的有gif.、jpg.等, 根据这些文件的拓展名, 我们可以很好地定位图像信息。而超文本文件的图像标记符号其实就是让我们在实际的搜索中应用到超文本标记语言和可拓展标记语言。
2.2 文本匹配技术
当一个需要被搜索的图像里所有的文本都提取出来时, 就要根据这些文本的特征进行排序。不同的排序标准往往会出现不同的搜索结果, 比如根据图片的类型来进行文本搜索, 那么我们可能会搜索出特定的图片, 但如果是根据这个图片的内容在网站中进行搜索, 那么搜索的范围也会缩小。
3 如何对图像中的文字进行提取
3.1 基于文本区域空间频率特征的纹理方法
基于文本区域空间频率特征的纹理方法, 又称为纹理图像分割法。主要是采取了平稳离散的小波变换来对图像进行着分解, 由于纹理图像在局部的区域内是呈现不规则性, 但在整体中又表现出了规律性, 因此可以对其进行分割。这样的方法可以准确检测到字符与背景的对比度较小的文本, 但是也有一定的缺点:由于它产生的文本区域常常和附近的其他边缘轮廓相互黏接, 所以说不能得到文本区域的精确位置。
3.2 连通区域方法
根据图像进行连通区域的方法可以有效确定出文本区域的精确位置和大小, 但和基于文本区域空间频率特征的纹理方法相反的是, 它不能够检测到字符与背景的对比度较小的文本, 因此也有着自身的约束性。
3.3 神经网络方法
由于区域空间纹理法和连通区域法都有着自身的局限性, 所以提出了一种新的方法——神经网络方法。这种方法将纹理法和连通区域法进行了巧妙的融合, 通过整幅的彩色图像色调的直方图来对图像的颜色进行分类, 当字符和背景的对比度较小时, 根据图像中的其他像素颜色, 文本和背景的颜色就会在神经网络中形成一个绝大值。在实际的搜索中, 会用纹理法将图像分隔成一个个可能会包含着文本的图像块, 然后用区域法来确定文本的大小和具体位置。
神经网络的方法改进了纹理法和连通区域法中存在的不足, 是目前为止应用最为广泛的图像中文字的提取方法。
4 结论
其实基于文本来对图像进行搜索, 从根本上说就是利用文本的特征来准确搜索到图像, 在这里文本就是起到了桥梁的作用。在今后的生活中, 互联网将会是一个多媒体的网络, 除了文字外, 图像、音频、视频都在扮演着越来越重要的角色。随着基于文本的图像搜索技术发展水平越来越高, 也有着非常大的现实意义。但是技术的发展并不是一朝一夕可以完成的, 在现阶段的搜索技术力还有这很多问题, 显得不够成熟, 我们应该通过分析文本的图像搜索技术的优点和不足, 找出今后的发展方向, 推动检索技术更加成熟化发展, 给人们创造出更多的价值。
参考文献
[1]赖庆.基于文本的网络图像信息搜索技术[J].民营科技, 2008, (11) :30-32
[2]王占一, 徐蔚然, 郭军.智能文本搜索新技术[J].智能系统学报, 2012, (01) :40-49.
[3]阿斯艳·哈米提, 阿不都热西提·哈米提.基于文本的图像检索与基于内容的图像检索技术的比较研究[J].首都师范大学学报 (自然科学版) , 2012, (04) :6-9.
[4]韩泉叶, 杨晓健.文本信息搜索模型研究[J].兰州铁道学院学报, 2002, (01) :27-29.
基于物联网技术的“超文本”出版 篇9
关键词：物联网,电子出版,电子标签,条形码,二维码
0 引言
物联网的概念始于1999年,英文名称为“The Internet of things”,从字面上看,物联网即是“物的网络”,也就是把跟人有关的物通过互联网终端的延伸连接成网络。它的意义在于一定的条件之下,将本来不具通讯能力的万事万物联接到了一起。从1999年开始到现在,短短十多年时间,它已经在现实世界初露端倪,比如它在铁路货车的车号识别系统、国美电器部分店铺的进货系统、烟草行业的供应链跟踪系统等方面获得了实际应用。本文要探讨的是如何利用物联网联接事物的特点,在传统出版和电子出版之间构建“互利互补”的联系。
传统出版的方式正在遭遇电子出版的挑战,随着后者的各项技术譬如移动电子版权加密等技术的成熟,传统出版将面临市场日益萎缩的困境。因此如果能找到一种方式,能够使传统出版方式和电子出版方式和谐共存,互相之间避开冲突且形成一种互利的关系,那必然是出版业的福音,下面分三个方面具体说明物联网在出版上应用的可能性。
1 物联网的基本构成
物联网的核心技术为射频识别(RFID)、红外感应器、全球定位系统、激光扫描器等信息传感技术,这些技术按约定的协议,通过对对象加贴电子标签,从而把任何物品与互联网连接起来,以构建信息交换和通讯,实现智能化识别、定位、跟踪、监控和管理。
电子标签一般分成无源电子标签和有源电子标签两种,有源电子标签由于包含电源因此存在着使用周期问题,一般不适宜于出版业。而无源电子标签则不需要电源,可以长期使用。在现阶段由于电子标签的成本问题,因此很多企业一般用二维码(Data Matrix)代替,后者其实是一种一维码(条形码)的升级版,它自身不含电子元件,凭借平面状的黑白条纹来储存少量数据。2010年麦当劳入驻淘宝网就是一个使用二维码的销售例子,麦当劳淘宝分店名为“麦当劳传情Me码店”,它把他们的各种食品数据写成二维码,顾客在网上付款拍下食品后,会收到网站自动发送的一条彩信,彩信内容就是一张平面的二维码,然后顾客可以将这个二维码作为礼品发送给任何人,收到者凭二维码去附近的麦当劳连锁店领取对应的食品——领取的时候只要把手机上的二维码对准刷卡机便可。由这个例子可以看到,物联网的概念即是把实物和和虚拟物品实行了转化,或者说把实物符号化让其在虚拟世界取得通行证。除了这种虚拟物券,各种电子票、电子优惠券、登机牌、校园卡、地铁票等业务都可以用二维码来代替,比如日本的航空公司早在2007年就提供了二维码票务服务。登机顾客只要从手机上显示二维码图片,在登记口的读卡器上进行刷卡,就能直接登机。以上此类的销售模式完全可以被复制到图书的销售之上,比如遍布全国的新华书店,也可以再构造一个虚拟图书网络系统,这个系统也可以使用二维码作为图书的虚拟载体进行销售,然后由计算机指定离客户最近的分店送货上门,这样可以大大减少在目前的销售状态下物流上的损耗。不过图书销售不是文本的重点,暂不在这里展开讨论,这方面的研究可以参见谢怡、吴洁明的文章《试论二维码技术在中国出版行业中的应用》[1]。
二维码的编码方式各个国家各有其标准,比如日本采用了QR码,美国则是DM码。2006年5月25日,我国信息产业部发布了《二维码网格矩阵码(GM)》SJ/T11349-2006和《二维码紧密矩阵码(CM)》SJ/T11350-2006两项行业推荐标准,此两项标准于2006年5月30日起实施,到目前为止,我国制定了国家标准的二维码还包括QR码、汉信码等。
2 物联网应用于书籍出版
电子书籍的好处是它能节约宝贵的纸张资源,而且在被再行复制的时候几乎不会产生环境的负担,它的第二个好处便是它不仅能容纳传统书籍所能容纳的文字和图像,还能容纳声音和视频;不利之处在于它需要一个费用比较昂贵的载体,即阅读器,尤其当我们对阅读器要求比较高,比如要求它使用接近纸张的阅读效果的E-ink屏幕的时候,但即便是用了最好的屏幕,目前的阅读器还是达不到纸张印刷的所有效果,比如说书本上油墨的清香、书本的可以随意卷曲、书本的抗压性能、书本的手感,这些拟物性能目前的阅读器还不能做到——当然这其中有些功能或许只是阅读习惯造成的,那些从小就接触电子书的人可能就没有这样的需求。
那是否能找到一种办法来兼顾两者的优点呢?物联网个人客户端的出现给使这个问题变成了可能。
2.1 物联网个人客户端
所谓的物联网个人客户端也就是一种添加了二维码识别功能又能联接到互联网的阅读器,在现阶段,它往往利用了手机的硬件功能,被直接做在了3G手机上,这种“物联网手机”就是在普通的3G手机安装了一个二维码识读客户端,这种手机在操作时利用摄像头摄取印刷在杂志、报纸、广告招贴等各种平面媒体上的二维码,客户端软件会迅速地根据二维码的内容打开指定的网页。国内的“物联网手机”项目早在2006年就开始正式运营,中国移动二维码的编码方式采用了日本的QR码和美国的DM码,QR码面积大,包含的信息量大,纠错能力好,响应速度快,因此使用得更为广泛,不过QR码对手机的摄像能力要求较高。目前在国内销售的诺基亚、摩托罗拉等各大手机厂商的产品中,已经有两百多款能支持二维码客户端的安装。在上述麦当劳出售虚拟食品的例子中,手机仅仅使用了其彩信功能,也就是读取并显示二维码的功能。相比之下,“物联网手机”不仅能通过摄像头识读二维码图像并进行本地解析,执行业务逻辑,还可能使客户与应用服务器发生在线交互。“物联网手机”的使用在日本已经比较普遍。
日本的二维码业务采用了全开放的码制及全开放的运营方式,各大手机厂商、服务提供商甚至个人用户都可以自由开发二维码业务。日本的游览手册以及街头的海报、传单、公共汽车站牌甚至连电线杆上的招贴都印上了二维码。当个人用户使用手机拍摄了车站招贴等交通场所上的二维码后,手机屏幕上能立即呈现公交路线与班车的信息,而在超市中使用手机来扫描产品上的二维码,则会呈现出更为丰富的网页:类似产品的各大超市的价格比较以及优惠信息都被呈现在这样的网页上。相比之下,韩国的二维码业务采用了非开放性码制,并且进行了封闭运营、集中管控,尽管韩国同样将二维码应用在交通和媒体上,但应用领域没有日本这么广泛[2]。
2.2 利用物联网客户端、二维码联接纸媒和数字媒体
物联网使传统书籍插入声音和图像成为可能:在书籍内容所需要的地方,插入一张二维码图片,二维码的编码内容是根据相关指定的网址编译而成,这些网址分别指向声音或视频——在这种简单的方式之下,传统的书籍阅读立即便改变了,它不再是一个单纯的文本。比如当读者读到一段关于非洲丛林的描述时,如果他(她)不满足于看到静态的图像,可以用手机对准印刷在内容一侧的二维码按下快门,那么手机上立即会打开一段有关非洲丛林的视频。当然,二维码不仅仅是将声音和图像像插图一样插到合适的地方,它还可以将超级链接赋予作者、文字编辑、美术编辑等跟书本发生联系的人员,以进一步扩大其互动的领域。日本那些印有二维码的旅游手册,可以视作这种书的雏形。
显然,印刷了二维码的书籍已经不是传统意义上的书籍,二维码赋予了它“超文本”阅读的功能,这种变化也使得诞生在互联网上的“超文本”写作转移到了传统媒体之上。这样整合的结果是诞生了一种新的阅读和写作空间,在这个空间里,一方面读者可以利用二维码指向的网络论坛对手中的纸书直接进行评论,而这样的评论马上会被后来的阅读者看到;另一方面写作者又可以及时看到读者的反馈,避免了在网络的汪洋中寻找读者反应的麻烦。
实际上,这个时候的“作者”概念也已经发生了变化,一本书的作者不仅仅包含了印刷在纸上的文字以及图像的那个“作者”,也包含着超文本链接所指向的所有的声音、图像、视频的“作者”。这个转变将对版权的认定和保护提出新的问题,但这个“大作者”的概念已经逸出了本文所要讨论的话题。
3 电子标签代替二维码的优缺点
前面已经叙述了物联网的核心技术之一即为射频识别,射频技术英文为:Radio Frequency Identification,其缩写为RFID,意思是一种无线自动识别技术,它通过射频信号自动识别目标对象并获取相关数据,识别工作无须人工干预,并可工作于各种恶劣环境。它由两种器件组成:电子标签和阅读设备[3]。相比于二维码的读取,RFID技术的有很多优点:比如它可以远程读取电子标签上的编码,解码后用于控制、检测和跟踪物品,但对于本文所涉及的“超文本”出版来说,电子标签相比于二维码的主要是它的防盗版优势。
印刷于纸张上的二维码,它的编码方式也即算法尽管比较复杂,但二维码本身却极容易复制,采用普通的复印机即可取得全部信息。尽管当它应用在商品上时,可以针对每种商品中的每一个商品,实现其标签内容的不一致,使得造假者无法对一个商品上二维码复制形成批量造假,从而达到防伪的目的,但这样的方式却无法应用在本文所说的“超文本”印刷上,因为后者的每一本书中都含有大量的二维码而且被印刷机以同样的内容复制。因此“超文本”书本的盗版还和过去一样无法杜绝,而且由于“超文本”书籍已经延伸到了网络,它所包含的信息及其巨大,版权保护就更应该采用更好的技术。因此如果采用电子标签,就可以使得盗版的难度大大增加,因为RFID标签的信息容量大,每个标签都具备了世界唯一的编码,因此如果在电子标签和读写器之间的相互认证上做好控制,它便具有了很强大的防伪性能。
使用电子标签代替二维码来进行上文所述的“超本文”出版,还有一个难度需要解决,因为在常规的RFID的技术中,读取电子标签中的数据需要采用专用的读写器,这就限制了将RFID做到阅读器或手机的可能性。要解决这个问题,可以利用北京工业大学刘立冬等提出的一种电子标签和读写器之间的认证方案:一种采用中间件双向认证方案,在这种方案中,电子标签与读写器的相互认证由RFID中间件来实现。采用中间件的好处是,读取电子标签的时候不必采用专用的读写器进行,这就为采用这一技术用于“超文本”出版提供了可能。
RFID标签相比于二维码,具有使用寿命长、可在恶劣环境下工作、防污、读取数据距离远等优点,当然,在目前的情况下,使用RFID代替二维码为时尚早,因为要首先要解决阅读器的解码问题,而且RFID标签的初始成本相比二维码要增加十倍左右,还存在着如何将纸张和电子标签无缝地制作到一起的技术难点。
4 结论
综上所述,在电子出版日益扩大并引发“阅读革命”的时候,在一部分出版人正在传统出版和电子出版之间徘徊之时,考虑用二维码或RFID来构建一个新的出版空间已经很有必要。而且,这个“超文本”新领域并不是无中生有,它既建立在传统出版的纸媒之上的,又能纳入电子出版的某些优点。相比于电子出版,它还保持着传统出版文化的优势,让读者依然能闻到油墨的清香,依然可以保持传统的阅读方式进行阅读;而相比于传统出版,它又能延伸到电子出版才会有的声音或视频功能。当然,要推广这种出版方式,还有许多问题需要解决,比如书籍上链接到的网站内容,怎样建设,由谁来建设?书籍从某种意义上具有永恒性,现在出版的书籍可能会保留到千年或者更久,那么里面的超级链接指向的网站又怎样能保证它的永久性呢?种种问题的存在也正是一种新事物起步时所必然具有的。
参考文献
[1]谢怡,吴洁明.试论二维码技术在中国出版行业中的应用[J].发行研究,2007(7),20-22.
[2]陈荆花,王洁.浅析手机二维码在物联网中的应用及发展[J].电信科学,2010(4),40-41.
[3]周晓光,王晓华.射频识别RFID技术原理与应用实例[M].人民邮电出版社,2006.
[4]福建中安电子技术有限公司.二维码技术在防伪领域的应用和标准建议[J].中国标准化,2001(2):12.
基于支持向量机的文本分类技术 篇10
文本分类作为信息过滤、信息检索、搜索引擎、网络论坛、数字图书馆等领域的技术基础, 有着广泛的应用前景。如何应用机器学习实现按照文本内容自动分类技术是解决信息准确、快速检索的主要方法之一。
2 文本的向量空间模型表示
向量空间模型是通过权重表示的。传统的权重计算公式
其中ωij表示词项ti在文档Dj中的权重, N表示训练集中总的文档数, ni表示训练集中出现特征项ti的文档数, tfij表示词项ti在文档Dj中的频度 (次数) 。
针对公式的缺陷引出下面的改进措施, 即用方差模型表示词项分布的离散程度。
以下叙述它的数学原理。将词项t在类C1文档集中出现的次数看作一个随机变量X1, 假设Xi, i=1, 2, …, m (m为类别总数) 相互独立, 且服从相同分布, 则Xi, i=1, 2, …, m构成简单随机样本。由统计学可知, 样本方差S2是总体方差σ2的无偏估计, 且总体服从任意分布。于是可以通过文本词项t的样本方差近似代替总体方差D (t) , 而总体方差反映的是词项t在各类中出现次数的波动情况。显然D (t) 越小, 说明分布较均匀。
有了数学模型, 就可以从两个方面改进TFIDF。一方面从词项的类内分布改进, 另一方面从词项的类间分布改进。
首先引入类内分布改进公式。
设类i中的文档总数为m
其中TFij表示词项t在文档j中出现的次数。Du中分母的引入是为了使Du值在0-1之间。Du’的引入是为了统一权重值, 即当一个词项的类间分布比较均匀时 (能很好代表一类) 使Du’值大, 当一个词项的类间分布不均匀时 (不能很好代表一类) 使Du’值小。
其次引入类间分布改进公式。
其中, TFi (t) 表示词项t在类别i中的出现的次数, n表示类表总数。
有了类内分布改进公式和类间分布改进公式, 就得到了总的改进公式。
这里的改进有三处。第一处, 将原来的tfij换成了TFi (t) , 也就是说不再用词项i在文档j中出现次数, 而改用词项i在类t中出现的次数。也就是说在提取特征向量的时候, 同一类中提取出的不同文档的特征向量, 是相同的。实验表明, 这样的处理有助于提高分类准确率。从之前的64%提高到75%。第二处就是加入了类间分布项。第三处是加入了类内分布项。
3 文本特征向量的抽取
建立好文档词矩阵后, 对一类中的词项权值进行排序, 挑出权值大于0.1的词项, 作为该类的特征向量。把所有类的特征向量选出后, 取并集, 作为最终的特征向量。
4 支持向量的调参
本系统采用支持向量机进行文本分类。用支持向量机分类时, 影响分类准确率的一个最重要因素是参数的选择。参数包括, 软间隔最大化中惩罚参数C的选择。以及采用径向基RBF核函数时, 参数γ的选择。本系统采用双线性搜索法进行参数的选择。
首先介绍参数γ的意义。γ是RBF核的唯一参数, 选择不同的, 就相当于把样本向量映射到不同的特征空间, 即γ的不同决定了样本向量的象在特征空间中分布复杂程度的不同 (线性分类面的最大VC维) 。γ过大时, 出现过拟合, 所有的训练样本都会成为支持向量, 这会降低推广能力并造成测试时的计算量过大。γ很小时, 出现欠拟合, SVM分类能力也会变得很差, 几乎会把所有样本判为同一类。其次介绍参数C的意义。惩罚参数C是对错分样本的偏离值的惩罚系数。它的作用是调和分类模型的经验风险 (错分类样本数) 和置信范围 (间隔大小) 的比例, 以使训练得到的模型具有很好的推广能力。SVM的目标是最小化结构风险, 因此必须在减少误分类样本个数 (减小经验风险) 和增大分类间隔 (缩小置信范围) 之间进行折中。C较小时, 误分类惩罚系数小, 机器学习复杂度小, 间隔大, 置信范围小, 误分类样本个数大, 经验风险大。C较大时, 误分类惩罚系数大, 机器学习复杂度大, 间隔小, 置信范围大, 误分类样本个数少, 经验风险小。当C超过一定值后, 再加大C, 也几乎不会再对经验风险和推广能力造成变化。双线性搜索法的基本原理。RBF的参数空间可分为欠训练区, 过训练区, 好区。以log C, logγ作为参数空间的坐标, 学习精度最高的参数组合 (C, γ) 将集中出现在好区中的直线loglog Clog lCog附近log。C其lo中g C是使模型精度lo最g高lo的g C。lo双g C线性搜索法的步骤。
(1) 采用线性核函数, 该核函数只涉及惩罚参数C, 给C一个初始值0.01, 对训练集进行10折交叉验证算出准确率a1。给定一个步进值step=0.01, 使C=C+step, 再进行10折交叉验证算出准确率a2。依次迭代, 直到a2-a1<0时, 停止。取出a1所对应的的C值, 作为最佳参数bestc。
(2) 根据好区直线表达式和已知的bestc即log C, 得到 (C, γ) 值对。具体过程为, 核函数采用RBF, 给C一个初始值0.01, 由直线表达式计算出γ, 对训练集进行10折交叉验证算出准确率a1。给定一个步进值step=0.01, 使C=C+step, 再进行10折交叉验证算出准确率a2。依次迭代, 直到a2-a1<0时, 停止。取出a1所对应的C', '作为最佳的参数对。
5 实验结果分析
5.1 实验语料
训练与测试数据比例列于表3
5.2 实验结果
实验一为传统权重计算公式且没有加入核函数调参的实验结果准确率。实验二为使用改进的权重计算公式以及核函数调参后的分类准确率结果。具体结果见表4
6 结束语
本文通过改进权值计算公式以及调节支持向量机核函数的参数, 使分类准确率有了提高。在小数据上验证的效果较好。后续将通过更大的数据集来检验该方法的性能。
摘要：在文本分类过程中, 影响分类准确率的两个重要因素是特征权重的计算方法, 以及机器学习算法的准确率。针对传统基于支持向量机的文本分类准确率不高的问题, 本文提出修正权重计算公式和采用调整支持向量机核函数参数的方法, 使文本的分类准确率提高了近3个百分点。实验结果表明这两种方法的结合, 确实可以提高文本分类的准确率。
关键词：文本分类,支持向量机,权重计算公式,核函数调参,特征向量权重
参考文献
[1]吕佳.文本分类中基于方差的改进特征提取算法[J].计算机工程与设计, 200724:6039-6041.
[2]王梅.一种改进的核函数参数选择方法.西安科技大学.
[3]宗成庆.统计自然语言处理.清华大学出版社, 2008.
[4]白鹏.支持向量机理论及工程应用实例.西安电子科技大学出版社, 2008.
[5]史峰, 王辉.MATLAB智能算法30个案例分析.北京航空航天大学出版社, 2011.
[6]李航.统计学习基础.清华大学出版社.2012.
[7]崔建明, 刘建明, 廖周宇.基于SVM算法的文本分类技术研究.[J].计算机仿真, 201302:299-302.
博尚:文本与构建文本 篇11
如果反过来，将人造画面构建起的场景进行二次定格，观看者处于真实与虚假的观看困惑中，则是较为困难的拍摄项目。就目力所及，国内投入这种拍摄的有李洁军，他的荷赛获奖作品《复制战争》，是还原部分经典战斗场景，场景素材来自于摄影师本人的创造。
而摄影师博尚似乎更具野心，他避开了原始素材的创造，直接面对成熟而完整的艺术品，其作品《临摹此刻》的素材来自于美国华裔舞台美术大师Ming Cho Lee的舞台模型道具，他选取了道具中距离日常生活视觉最近的那些，作为自己对于真实与虚构的依附关系的思考文本。
在艺术批评家约翰·伯格那里，现实（可见之物）不过是文本和符码信息（code）。承认了这种“符码信息”的可控性，则是构建另一种真实的前提。在博尚的作品中，现实作为文本，舞台道具是现实生活的摹本，摄影师再将此作为素材，进行映照，这种多次交叠而成的影像即成为“摹本的摹本”。博尚通过理性的编码，实现解码的诉求，同时对于现实与摹本的关系做出思考。作品中的监狱与现实中的监狱存在着一种什么样的关系？那张床是现实中的床，还是道具中的床，抑或是影像构建的床？当彼此成为参照，真实便成为最后的谎言，即便是我们赖以信任的眼睛，它所看到的现实世界，也不过是对现实的临摹。被誉为“当代达·芬奇”的意大利小说家翁贝托·埃科说：热爱人类者的责任也许就是使人嘲笑真实，因为唯一的真实教导我们，为了真实而从疯狂的情感之中解脱出来。
技术文本 篇12
1 特征词提取技术的研究现状
特征词是能够高度概括文献内容的词或词组。因此,特征词应具有高概括性、可区分性、可计量性等特征。目前特征词提取大致可以分为两种技术:基于算法模型和基于统计及规则方法[1,2,3,4,5,6]。
国外的特征词提取研究起步较早,而且已经形成了系统。Frank在预先标注好的语料上学习得到贝叶斯概率模型,计算候选词概率分值,取概率值大的作为特征词。Turney则采用遗传算法通过实例学习预先定义的特征,得到启发式的抽取规则,学习出抽取模型。
国内特征词抽取研究尚处于起步阶段,且多是基于规范文本,有一定的结构要求,韩客松等对Web页面用统计加匹配的方法,提取了一些特征词串表示Web页面。索红光在词频及区域特征的基础上加入了语义特征,而罗准辰等设计了分离模型,针对特征词和特征词串提出两种不同的特征,都取得了不错的效果。
文中的特征词抽取算法主要是基于规范文本内容的篇章结构关系,综合考虑了词频、词长、位置因子,尽可能减少对文档结构的依赖,使抽取算法更简单易用。同时在输出特征词时指定输出数量,实验证明这样的方法更有效。
2 实验文本数据
文中实验所处理的文本是格式相对规范的一类文本,这类文本不仅有摘要、关键词等重要信息,同时,文本内容的章节标号也有很明确的分级定义要求,另外,这些文本也有参考文献,这些内容都为特征词提取提供了非常重要的信息。
3 特征词提取算法
3.1 算法流程
这是基于规范文本的一种特征词提取算法,首先利用分词软件对规范文本内容进行分词,通过分词软件标注的词性,仅保留其中的名词和动词,这是因为特征词一般都是名词或动词,同时这种做法也避免了高频虚词的干扰。把经过分词软件结果中的名词、动词存入数据库A,并为每个词统计其词长、词频。然后将数据库中的名词与动词依据规范文本的篇章结构特点和显著标志,划分为标题、关键词、摘要、小标题和参考文献五部分,并把结果分别存入数据库B的5个数据表。第三步是统计各词的特征因子的值,利用权值函数,求出各词的权重,得到文本的特征词。
3.2 规范文本篇章结构划分规则
此文主要任务是读取经过分词软件处理过的文本,并将文本中的每个名词、动词按照其在文本中的位置进行提取并分类存储,主要步骤如下。
1)按段读取文本。将经过分词软件处理的文本按段读取,该段非空且含有汉字(处理时,空行是单独作为一段进行处理的)则进行存储,等待处理,否则直接去除,一次读入一段,并存到数组元素中,直到读入null为文件结束,将段落归类。
2)将属于同一部分的段落按照其在文本中的位置进行分类,并给不同的部分不同的数字标号,合并时采用向后合并的方法即让属于同一部分的前一段合并到下一段中,并将存储该段的数组的元素的位置清空。归类完成后,从前往后依次将字符串数组中非空的元素前移到其前面的第一个空元素处,并将原位置处清空。
3)归类时,默认首段为标题的一部分,且摘要前面的内容都作为标题进行处理;从摘要到关键字(词)之前的内容作为摘要进行处理;关键字默认为只有一段;后面的内容到参考文献为正文,根据是否有标题号来确定小标题;最后一部分为参考文献。
4)词语提取并分类存储到数据库中。从各个部分中提取名词和动词,将每个词作为一条记录存储到数据库中,根据该部分的标号分别给予每个词的位置因子以适当的值,词频为1(重复的词不合并),并给出其词长。提取时,根据分词软件给出的词性标志进行抽取有用的词语。
3.3 权重的计算
3.3.1 加权因子的选择
在许多文献中都对特征词权重函数的加权因子进行了探讨,考虑到算法时间和空间的复杂度,只选取了词频、词长和词语位置3个因子。
词频:在一篇文本中,通常出现次数多的词要比出现少的词更能反映主题,当然高频虚词除外。
词长:词越长越能反映具体的信息,反之,较短的词的所表示意义通常较抽象,不能很好地反映主题,所以,选取特征词时只考虑词长较长的词。
词语位置:词出现的位置直接反映了其重要性,在文本中,一个词出现的位置通常有标题,关键词和摘要,正文段落的段首、段尾、段中,以及参考文献处。在不同的位置反映了该词所包含的主题信息量是不同的。通常,出现在标题处的词最能反映主题,关键词和摘要其次,段中的词所含信息量最少。而在标准格式的论文中,参考文献中出现的文本信息通常是与主题近似的文本。多次出现在参考文献中的词更有可能是论文的特征词,因此将出现在参考文献中的词作为位置因素之一来考虑。
3.3.2 特征词加权函数的设计
特征词加权函数设计为
式中,weight(ti)是词ti在文本中的权值,a,b,c用来表明各因子在加权函数中的比重,经大量数据测试,其比值为2∶1∶2时效果最好。而wt,wl,wf分别为词ti的位置因子,词长因子,词频因子。
词长因子的计算:wl=lk/maxlk,其中lk是词ti的词长,maxlk为最大的词长。
词频因子的计算:wf=tf/maxtf,其中tf是词ti的词频(总词频),maxtf为最大的词频。
位置因子较复杂,具体计算为
其中,fs(ti)表示关键位置上词的权重函数,α,β是信息量系数,其取值见表1,fw(ti)表示词ti的信息量,计算公式为
其中,fu(ti)表示词ti在文本中的频数,fv(ti)表示词ti的段落频数,l表示词长。
3.4 特征词的筛选
通常选择特征词的方法是根据需要人为地给定特征词的数目为10,按特征词权重的大小排序,截取前10个作为全文的特征词。
4 测试与讨论
4.1 评价准则
选用传统的召回率、准确率和F-score来评价算法的优劣标准,其定义为
Precession=正确识别的特征词的数目/所提取出的特征词总数。
Recall=正确识别的特征词的数目/文中特征词总数。
F-score=2×precession×recall/(precession+recall)。
4.2 测试结果与分析
分别对不同的特征因子的组合情况进行了评测对比,结果见表1,从该表中,可以发现位置因子的加入对系统性能起到了非常重要的作用,提高了51%。而在各种位置因子当中,标题、摘要和关键字项对系统性能的贡献最大,去掉该项系统的性能就会下降一半多,而正文的小标题贡献最小,去掉该项后性能仅仅下降了1.7%。
而最终该算法的F值只有72.9%,分析原因有4点。一是由于分词软件本身的准确性的因素,会给实验带来一定的影响。二是由于特征词加权算法的位置因子函数中的α,β值精确度不高,造成最后计算出来的权值有一定的误差。三是位置因子中最重要的部分即标题、摘要和关键字项,由于文本作者给的可能不是特别的规范和准确,使得一些噪音词被赋予很高的信息量,这些因素都会造成不理想的结果。四是文中给出的规范文本篇章结构划分规则不够完善,存在一些漏洞,使得部分词语在进行分类划分时,归类错误。
(%)
摘要：文本特征词提取是一种提炼文本重要信息的实用技术,同时也为文本聚类、自动分类、信息抽取等相关课题提供了技术支持。在规范文本上,利用文本篇章结构的特征,以此为基础设计了一个特征词的加权函数,综合考虑了词频、词长和位置因子,并对比分析了各种位置因子对系统的贡献度。
关键词：规范文本,特征词提取,加权函数,位置因子
参考文献
[1]Turney PD.Learning to extract key phrase from text[C].Na-tional R esearch Council,1999:1057.
[2]Frank E,painter GW.Domain-specific key phrase extraction[C].Proceedings of the sixteenth international joint confer-ence on artificial intelligence,1999:668-673.
[3]李素建,王厚峰,俞士汶.关键词自动标引的最大熵模型应用研究[J].计算机学报,2004(9):1192-1197.
[4]罗准辰,王挺.基于分离模型的中文关键词提取算法研究[J].中文信息学报,2009(1):63-70.
[5]索红光,刘玉树,曹淑英.一种基于词汇链的关键词抽取方法[J].中文信息学报,2006(6):25-30.