自动问答

2024-07-26

自动问答（精选3篇）

自动问答篇1

0 引言

自动问答系统, 是以自然语言处理等多种人工智能技术为基础, 使用Web作为表现形式的智能问答系统。

问答系统在搜索引擎的基础上融入了自然语言理解的知识与应用, 将传统搜索引擎从关键词匹配的语法层面, 提高到理解用户意图、分析答案的语义与语用层面。它是集知识表示、信息检索、自然语言处理技术于一体的新一代搜索引擎, 既能用自然语言句子提问, 又能为用户直接返回所需答案, 相对于传统搜索引擎来说, 问答系统能够更好地表达用户的需求, 适应用户的习惯, 回答信息也更准确、更快、更高效, 从而满足信息爆炸时代人们的需求。

国外相对成熟的问答系统有密歇根州立大学的AnswerBus系统、麻省理工的Start、美国的AskJeeves自然语言检索系统等。国内也有许多单位投入到问答系统的研究中, 哈尔滨工业大学开发了基于常用问题集的中文问答系统, 该系统首先根据用户的提问建立一个候选问题集, 然后通过计算句子语义相似度, 在候选问题集中找到相似的问句, 并将答案返回给用户。除此之外, 还有中国科学院计算机技术研究所王树西等人开发的《红楼梦》中人物关系专家系统、百度知道、中科院自动问答系统、北京理工大学信息科学技术学院樊孝忠等人开发的银行领域汉语自动问答系统BAQS等。

1 系统框架

本文研究的自动问答系统分为3个模块, 如图1所示, 分别是问题分析模块、信息检索模块和答案抽取模块[1]。具体流程是:首先对用户问题进行分析, 包括分词、去停用词、提取问题关键词、关键字扩展、问题分类等, 然后通过关键字进行搜索, 对搜索结果进行处理, 最后通过相似度计算及排序对答案进行提取, 提交答案。

2 自然语言处理模块

2.1 关键词提取

与传统搜索引擎不同, 自动问答系统支持用户以自然语言的形式输入问句, 具体处理过程以“OS的作用主要表现在那几个方面”?这一问句为例。首先对句子进行分词以及词性标注, 得到“OS/x的/u作用/n主要/d表现/v在/p那/r几/m个/q方面/n?/w”, 根据停用词与疑问词库去除停用词“的”、“在”、“那”、“几”后, 剩余的词语是“OS”、“作用”、“主要”、“表现”、“方面”。其次对问句进行句法分析, 本文采用哈工大社会计算与信息检索研究中心研发的中文自然语言处理服务平台LTP, 对问句进行分析, 得到结果如图2所示。

其中HED表示核心关系, SBV表示主谓关系, POB表示介宾关系, ATT表示定中关系等, 通过对100条问句句法的总结与归纳, 本文选取6种关系类型的词语作为关键词, 分别是VOB、SBV、HED、ATT、POB、FOB。与去掉停用词后的词语相结合取交集, 得到的词语为“OS”、“作用”、“表现”、“方面”, 而后以这些词语为基础, 对关键词进行扩展[2]。

2.2 关键词扩展

为了提高自动问答系统的召回率, 需要对关键词进行扩展。在问句中某些词往往不是原来问题中的关键词语, 而是这些词语的近义词、同义词。例如:提问问题“为什么说PCB是进程存在的唯一标志?”, FAQ中的问句是“为什么说进程控制块是进程存在的唯一标志?”, 两个问句一个使用的是“PCB”, 另一个使用的是“进程控制块”, 实际上表示同一意思, 但是因为是不同词汇, 导致查询失败, 因此要对关键词进行扩展。本文主要从两个方面对关键词进行扩展: (1) 同义词扩展。同义词扩展主要通过查找同义词表及领域词库得到关键字的同义词, 如上得到“OS”的同义词“计算机操作系统”, 进行扩展得到的关键词为“OS (计算机操作系统) ”, 以及“作用”、“表现”、“方面”; (2) 疑问词扩展, 先根据词性标注识别出疑问词, 然后将疑问词替换成相应的关键词。例如:对于概念问句“什么是OS?”, 就可以把“是什么”替换成“概念”。虽然关键词扩展提高了系统的召回率, 但如果扩展不适当会极大降低检索正确率, 因此本文问答系统对关键词的扩展添加了一些限制性条件, 比如只对名词以及领域词库内的关键词进行扩展。

2.3 问句相似度计算

本文问句相似度计算主要从词形、长度和词序3个方面考虑[3]。

(1) 词形相似度。词形相似度主要通过计算两个问句中相同词的个数来确定, 设两个问句为A、Q, 则A和Q的词形相似度为:

其中Len (Same) 表示A、Q两个问句的相同词个数, Len (A) 表示A问句中词的个数, Len (Q) 表示Q问句中词的个数。

(2) 长度相似度。问句长度相似度在一定程度上反映了问句之间的相似性, 两问句长度相差越大, 相似的可能性越小。设两个问句为A, Q, 则A和Q的长度相似度为:

其中Len (A) 表示A问句中词的个数, Len (Q) 表示Q问句中词的个数。

(3) 词序相似度。词序相似度从词的顺序来标注问句的相似性, 反映两个问句中所含相同词或同义词在位置关系上的相似程度, 以两个问句中所含相同词或同义词的相邻顺序逆向的个数来衡量。问句A, Q的词序相似度为:

其中MaxRev (A, Q) 表示数量为A、Q中关键词对应在问句中的位置构成的自然数序列最大逆序数, Rev (A, Q) 表示A、Q中关键词对应在问句中的位置构成的自然数序列的逆序数。

本文先采用线性融合方法, 融合上述3种特征:

其中:λ1、λ2和λ3分别表示相同关键字个数、句子长度、关键词顺序3种特征所对应的的权值。

2.4 答案抽取模块

自动问答系统答案来源有两种, 一种是FAQ库中, 另一种通过搜索引擎从网络上获取。在此主要针对第二种展开描述。由于当前搜索引擎返回的结果中一般包含问句及摘要, 而摘要通常都是基于关键词进行定位的, 也就是说返回结果中的每一个摘要条目都是从正文提取的与问句关键词最相关的部分[4], 因此本文采取的策略是使用关键词在搜索引擎上搜索, 通过问句相似度计算找到与提问问句相似度最高的结果, 提取条目的对应链接以及摘要, 获取网页摘要所在段落及模块, 提供答案数据。

3 系统实现

本文采用Microsoft Visual Studio 2010和Oracle数据库对自动问答系统进行开发。

3.1 总体结构

本文自动问答系统采用三层架构, 即将整个业务应用划分为:表现层 (UI) 、业务逻辑层 (BLL) 、数据访问层 (DAL) 。表示层:主要接受用户的请求以及数据的返回, 为客户端提供应用程序的访问。业务逻辑层:主要负责对数据层的操作。数据访问层:完成对各个数据文件的操作。

3.2 模块设计与实现

3.2.1 关键词提取

首先, 对问句进行分词处理。本文采用的是ICT-CLAS分词系统 (C#版) , 在分词过程中使用了计算机操作系统领域词典, 这主要是为了避免把专业领域词汇分错。例如“计算机操作系统”在本领域中是一个专业词汇, 如果不加用户词典的话就会分解成“计算机”、“操作”、“系统”3个词汇。

其次, 词语过滤。本文词语过滤主要采用两种方式:一是去除停用词疑问词, 二是根据句法结构选择句子中的关键词语。去除停用词疑问词是通过与停用词疑问词表中的词语进行对比, 在词表里面的词语就去除。本文句法结构分析采用的是哈工大社会计算与信息检索研究中心的LTP, 具体上文已有描述, 在此不再说明。

3.2.2 答案提取

通过问句相似度计算从百度搜索引擎中得到最为相似的问句链接以及摘要, 之后进行答案提取, 以期返回给用户最佳答案, 使用户能快速准确地获取所需信息。提取过程如下: (1) 爬取最为相似的问句链接网页中的HTML数据; (2) 遍历HTML数据的各个节点数据, 判断该节点的数据字符串是否是摘要的一部分或者摘要是该节点数据的一部分, 如果是的话记录该节点, 在此过程中要对节点字符串进行特殊过滤, 如:节点数据为“的”时就不应记录; (3) 依次遍历各个记录节点, 找到这些节点的父节点, 将父节点的数据作为答案返回。

4 实验结果分析

本系统主要从两个方面进行测试:

(1) 通过比较相似问题的返回结果测试系统的准确率。本文测试集采用的是《计算机操作系统》 (第3版) 上的课后习题, 这部分测试主要针对的是相似问题返回结果。例如:以“试描述什么是微内核OS?”为例, 建立多个相同含义不同问句进行测试, 比如: (1) 试描述什么是微内核OS? (2) 什么是微内核OS? (3) 微内核OS的定义是什么? (4) 说明什么是微内核OS? (5) 试描述什么是微内核操作系统? (6) 什么是微内核操作系统? (7) 微内核操作系统的定义是什么? (8) 说明什么是微内核操作系统?以上问句经过测试得到的答案相同。

(2) 通过测试不同问题, 得到测试系统召回率及准确率。测试集采用的是《计算机操作系统》 (第3版) 上的前3章课后习题, 测试了100道题目, 准确率达86%。

5 结语

本文介绍了基于计算机操作系统的领域自动问答系统模型, 并给出了具体开发过程, 在此基础上实现了基于计算机操作系统领域自动问答系统, 能够较为准确地回答用户问题。本文没有考虑文本相似度计算的语义信息, 在答案抽取中还存在一些问题, 很多情况下不能返回用户所要求的答案, 这是下一步需要改进的地方。

摘要：自动问答系统在搜索引擎的基础上融入了自然语言的知识与应用, 与传统的依靠关键字匹配的搜索引擎相比, 能够更好地满足用户的检索需求。介绍了计算机操作系统自动问答系统模型, 阐述了具体开发过程, 设计并实现了基于计算机操作系统领域的自动问答系统, 实践表明该系统能够较为准确地回答用户问题。

关键词：提取,答案抽取

参考文献

[1]郑实福, 刘挺, 秦兵, 等.自动问答综述[J].中文信息学报, 2002, 6 (16) :42-52.

[2]ZHIHENG HUANG, MARCUS THINT, ZENGCHANG QIN.Question classification using head words and their hypernyms[J].Proceedings of the 2008Conference on Empirical Methods in Natural Language Processing, 2009, LNAI 5579, 103-112.

[3]唐朝霞.多特征融合的中文问答系统答案抽取算法[J].贵州大学学报:自然科学版, 2011 (10) .

[4]S DUMAIS, M BANKO, E BRILL, etal.Web question answering:is more always better[C].In:proceedings of SICIR'02, Aug 2002, 291-298.

[5]吴友政, 赵军.问答式检索技术及评测研究综述[J].中文信息学报, 2005, 19 (3) :1-13.

自动问答篇2

一、听力口语自动化考试与以往考试相比有哪些主要变化

1.考试内容实行两考合一。将以往的英语口语等级测试和中考听力测试合并进行,通过计算机一次性完成考试。

2.考试方式实行人机对话。以往的英语口语等级测试方式为“师生对话”,由测试员现场提问,现场测试打分,以往的中考听力考试则在中考笔试时进行,依靠考场内广播或录音机播放听力磁带。实行人机对话后,考生坐在计算机前,戴上考试专用耳麦,由计算机播放听力录音和试题,考生用计算机作答并对着麦克风回答口语题。出题、考试、判卷、结果反馈全部由计算机完成。

3.成绩评定实行电脑评分。考试结束后,由计算机记录下考生的答案,由自动阅卷专用服务器综合各种特征给出评分,经考试组织部门确认后发布。

综上三点,听力口语自动化考试,简化了考试程序,减轻了考生负担,规范了考试要求,避免了人为因素可能造成的不利影响。

二、听力口语自动化考试如何组织

根据省教育厅统一部署,2009年起,全省中考英语听力口语自动化考试由省教育厅统一组织,统一命制试题、统一考点设置、统一考试时间、统一考试流程、统一评分标准、统一发布成绩。

三、听力口语自动化考试考点和考场如何设置

人机对话考试对考点的要求比较高。省教育厅要求原则上以各初中学校为考点,以各学校的计算机网络机房为考场,考场计算机及相关软硬件配置均须符合考试所要求的基本条件,不符合要求的必须在升级、补充到位的基础上才能申报考点。从目前申报情况看,我市大多数初中学校已符合考场设置条件,全市大多数初中毕业生都可在本校参加听力口语自动化考试。少数不符合考场设置条件学校的学生由各地教育行政部门统一安排到就近的考点参加考试。四、一个考场内同时有30人进行听力口语考试,会不会互相干扰

按照考场设置要求,一个考场内设置不少于33台考试机和1台监考机,每个考场同时安排30人进行考试。考试所用耳麦和话筒都是特制的,考生只能听到考试机播放的声音,话筒也只对定向的声音录音,完全不影响考试效果。2007年5月开始,省教育厅在苏州、南通、连云港部分学

校进行过试点,实践证明效果良好,不会出现考生互相干扰现象。

五、听力口语自动化考试如何保证中考的客观公正

首先,听力口语自动化考试的主要设备是计算机,其播放质量要远远好于广播系统和录音机,评价信度较高。其次,人机对话的评分标准全省统一,对学生在语言表达的完整性、准确性、流利性、韵律性等方面的评判更加全面规范,其客观性要远远大于评委教师评分。第三,人机对话试题以省教育厅题库为基础,在同一考场,同一时段,试题题型、难度一致,相邻的考生面对的是试题排列顺序不同的试卷,可以有效防止作弊行为的发生。

六、中考听力口语自动化考试分值及考试时间如何确定

按照2009年全市中考方案规定,中考英语总分为150分,其中英语听力口语考试分值为30分。

每位考生听力口语考试的实际考试时间为20分钟,考试前必须的登录、设备调试等准备工作均有计算机按既定程序执行和提示,考生有足够的时间进入考试状态。

七、听力口语自动化考试对于提高学生英语学习水平有什么帮助听力口语自动化考试由计算机进行自动化评卷的同

时,还对考生口语信息进行自动化评估,对学生英语口语水平进行客观评价,并以学校为单位生成自动化评估报告,指出存在的主要问题与缺陷,有助于教师、学校了

解本校英语教学质量,改进教师的教学,有针对性地对学生加以指导,从而提高学生英语水平。

八、听力口语自动化考试是不是提高了中考英语的考试要求

人机对话考试与以往的听力和口语考试相比,主要是考试形式发生了变化,但考试内容和要求不变,仍然是按照《课程标准》要求设置试题,且考试题型是学生所熟知的,没有提高要求。实行自动化考试后,学生只要熟悉和掌握考试流程,每个步骤均按计算机提示进行,就可顺利完成考试,没有提高学习要求。

九、中考英语听力口语自动化考试何时进行,是否需要进行适当训练

中考英语听力口语自动化考试将于2009年4月份进行。目前,我市各地初中学校计算机网络教室设备配置已基本完成,全市初中英语教师、信息技术人员、考试组织人员等都已分期分批参加了省、市级培训。

1月10日,我市将组织全市初中英语听力口语自动化考试适应性训练(模拟考试,所有应届初中毕业生均参加

统一测试和训练。之后,各学校还将组织相关的模拟训练。

自动问答篇3

随着网络和信息技术的快速发展,同时人们想更快地获取信息的愿望也重新促进了自动问答技术的发展。最近有越来越多的公司和科研院所参与了自动问答技术的研究。比如,微软和IBM等著名的跨国公司。在每年一度的文本信息检索(TREC)会议上,自动问答(Question Answering Track)是最受关注的主题之一。越来越多的大学和科研机构参与了TREC会议的Question Answering Track。在2000年10月召开的ACL2000国际计算语言学学术会议上,有一个专题讨论会,题目是“Open-Domain Question Answering”。

问题理解是作为问答系统的一个子过程而被提出的,关于问题理解的研究与问答系统一样也具有相当长的历史了。早在1950年,著名的英国数学家图灵发表了里程碑式的论文“Computing Machinery and Intelligence”后,问答系统开始出现,一直到20世纪结束问答系统研究的蓬勃发展,问题理解一直是被局限在问答系统内的。人民只是利用一些简单的规则进行问句的分析,而更多的注意力集中在问题的答案抽取上。

随着这几年问答系统研究的逐步深入,人民逐渐意识到问答系统整体性能的进一步提高有赖于问答系统由各个模块性能的全面提高,于是问题理解技术逐渐受人们的关注。2000年,IBM参加Trec-9比赛的QA系统中引入了基于统计的问题分类方法,该方法与具有非常好的可移植性,是传统的基于规则的方法无法比拟的;2001年,为了鼓励人们进行问题理解技术方面的研究,UIUC公开了一个问题分类训练语料库,其中含有5500个问句。2002年,Dellzhang等人利用统计机器学习的方法进行了问题分类的研究,在系统中引入树核(Tree kernel)特征取得了较好的实验结果。而在另一方面,随着模式匹配技术引入到了问答系统中,为了适应基于模式的答案抽取,soubbotin等人提出了粒度更加精细的基于问句语义信息的问题分类体系。其后,国内国外又有很多科研机构和个人加入了对问题进行理解技术研究的行列。

现在自动问答系统的研究已经成为国际上研究的热点,而问题理解又是自动问答系统中的重中之重,所以问题理解的研究迫在眉睫。

2 问题理解的主要内容

1)对输入问题进行分词和词性标注:

一般是直接应用市面上已做好的分词系统进行切词和词性标注。

2)问题的分类;

问题焦点最主要目的是通过分析问题得到希望的答案,问题的焦点是问题中的一个名词或名词短语,说明了问题的主要内容,使问题意义清楚,并突出强调了答案的类型。问题焦点对找到答案非常重要,系统通过一定的规则找到问题的焦点,对问题焦点进行分析,最终确定问题答案的类型。总之,无论是确定问题焦点、问题类型还是确定答案类型,目的都是为了可以帮助用户缩小可能答案的范围。

3)提取关键词;

问题中关键字的提取直接影响到后面查询的精确性和智能性。一般来说,关键字主要由名词、动词、形容词、限定性副词等组成,但在实际应用中可以把问题中除了疑问词以外的大部分词都作为关键字以提高检索的精度。

4)对关键词进行扩展;

答案查找的评价标准是查找到答案的精度和召回率。查找的精度为查找的结果中相关信息文档与查询结果总数之比。答案查找的召回率为实际找出的相关信息文档数与答疑库中总的相关信息文档数之比。在答案中某些词常常不是原来问题的关键字,而是这些关键字的扩展,如果不进行扩展,就会造成关键字查找失败。本系统采用名词同义词、动词同义词和根据问题类型等方式扩展。

3 在本系统中所做的改进

3.1 分词与词性标注

在我们的自动问答系统直接使用中国科学院计算所软件室所开发的ICTCLAS分词系统进行分词和词性标注,但存在以下几个问题:

1)专有名词切分错误:

该系统将一些专有名词切分成几个意义独立的名词,而该专有名词原先的意思完全消失。

例如:在我们系统中的学校名(上海海事大学)被切分为(上海/海事/大学)再有专业名称(计算机科学与技术)被切分成(计算机/科学/与/技术)等,都已完全没有了其专有名词的意思。

2)词性标注错误:

有些词性标注错误会直接影响对整个问题的理解。

例如:我/r考/v了/u 500分/t,/w报考/v计算机/n科学/n与/c技术/n专业/n有/v多/m大/a希望/n?/w

中的“500分”本来是表示分数的一个名词性短语,在此处却被标注成一个时间,其语句原先的意思也就会完全丢失。

对于以上这几个的问题我将采取一下解决方法:

1)对于专有名词切分错误的问题,我对我们基于招生领域的各类专有名词做一下归类,建立一个该领域的专有名词库,对库中所列出的专有名词在切词时将当做一个词来切分并标注为专有名词。

2)对于词性标注错误,基于我们招生领域做一些新的规定与补充,例如在我们的系统中发现“**分”这样的词就直接认为是一个分数,而不会认为是一个时间,因为在我们的系统中是不会用到时间上的“分钟”。

3.2 问题分类

一般问答系统的分类方法是基于疑问词进行分类,这种方法的好处在于人可以直观的知道问题所指向的对象,但是让计算机只通过单一的疑问词,一次性准确识别提问的对象却难以实现,尤其对于表达形式丰富的中文。

我们采用疑问词短进行分类,提取疑问词之后进一步将一些联合比较紧密、询问目的明确的词语与疑问词合并,生成新的疑问词短语。如:上海海事大学计算机专业今年招生人数是多少?此处“多少”就是一个疑问词而前面与其联系紧密的“招生人数”就可以与其搭配成为“招生人数是多少”的疑问词短语。

3.3 关键词提取

在用户输入的问句中,我们需要提取出对后面的检索有用的关键词。关键词的提取直接影响到后面的检索的结果。

关键词主要由名词、动词、形容词、限定性副词等组成。但是并不是关键词集合中所有的词都可以作为关键词,有许多语气词、助词、能愿动词,副词等等,经过人们的大量统计发现它们在各种文档中的表义值非常低,这些词作为停用词,通常处理中应该直接被过滤掉。去停用词依靠的是一张停用词表,凡是在这张表中出现的词都将作为停用词被过滤掉。由此我们建立本系统中能够常见到的词的停用词表。

本问答系统把关键词分成两种:一般性关键词和“必须含有”的关键词。所谓“必须含有”的关键词指的是这些关键词必须在答案句子中含有,而一般性关键词可以不被句子所包含。关键词按照词性的不同被赋予不同的权重,在检索句子时这些权重用来计算句子的权重。通常名词、具有限定性作用的副词有比较高的权重。

3.4 关键词扩展

关键词扩展分为:同义词扩展和基于问句类型的扩展。

在答案句子中,某些词常常不是原来问题的关键词,而是这些词的同义扩展。例如:问题是“上海海事大学08年的投档线?”,答案的句子是“上海海事大学08年的分数线是580。”在问题中使用的是“投档线”,而答案中却用了“分数线”这个词。这就造成了关键词查询失败,因此我们需要对关键词进行适当的扩展。关键词扩展虽然提高了系统的召回率,但如果扩展不适当会极大地降低检索的准确率,因此一般的问答系统对关键词的扩展都是很谨慎的。在这里,我们从两个方面进行关键词扩展。

首先,将所有词的同义词作为扩展的关键词;我要做的工作是建立一个本系统常见的关键词的同义词库。

例如:上海海事大学———(本校、贵校、我校、你校、你们学校、您校、海大、海事大学)

2008年———(08年、今年、这次、08、2008、本次、本届、这届、此次)

高多少/低多少———(高出多少、低多少、低出多少、少多少、多多少、高吗、低吗、高于…多少、低于…多少)

如表1所示。

其次,对于某些问题,借助Ontology可以在一定程度上解决语义异构的问题。采用语义方法进行信息集成的特点是扩展性好、适应动态信息源、支持语义级查询。集成方式有两种:自底向上,自顶向下。自顶向下方式的基本思想是先建立相关领域的Ontology,然后由该Ontology来统一底层各信息源的语义。自底向上方法是先提取底层各信息源的局部数据模式,再在局部数据模式上抽取局部概念模式,最后在局部概念模式上构造全局概念模式。利用Ontology的功能实现某种程度的知识共享和重用,它能使得系统对语言的理解上升到语义层次。

4 评价机制

问题分类的评价:

问答系统需要一个评价机制来衡量问答系统的性能。首先需要建立一个测试集,这个测试集是人工做出来的问题和类型的集合。把这个测试集中的问题提交给问答系统,让问答系统自动的进行分类,然后把问答系统自动分类的结果和测试集中的答案,进行人工的对比。如果问答系统给出的答案通过人工的对比基本正确,则可以判断这个答案是正确的,否则可以判断这个答案是错误的。

为了验证我们采用的问题理解技术的可行性,我们征集了90个简单问句做了一次仿真实验,下面是系统的执行步骤:

准确度=正确分类的问题数/问题总数

1)问句分词和词性标注,去掉停用词;

2)根据语料库,识别问句中的疑问词短语;

3)根据句法分析的结果,匹配句型模式;

4)抽取特征词,同时得到数据源和访问方式;

5)问句扩展,得到“答案搜索模式”;

6)搜索策略排序,进行搜索。

5 结束语

本文系统分析了中文自动问答系统中问题理解部分的主要工作,并针对招生领域的特点对分词,词性标注,疑问词提取,关键词提取,关键词扩展对传统的自动问答系统做了改动和提高,最后以实验证明本系统具有一定的实用性。

摘要：问题理解是问答系统的首要的分析工作,分析的结果对后面的处理,以至找到问题的正确答案都有很大的影响。该文将对常规的问题理解方法进行改进,从而使系统能够较准确地回答用户的提问。实验证明新的方法对提高系统性能有显著作用,尤其针对性强、意思表述清晰的提问,回答准确率有很大提高。

关键词：问答系统,问题理解,分类,扩展