搜索学习（共9篇）
搜索学习 篇1
说到指尖知识(Fingertip Knowledge)这个概念,就不得不提到Elliot Masie。
Elliot Masie是个很了不起的人物,是数字化学习领域的先驱。他是培训与发展领域的大牛,是一间名叫MASIE的专门研究学习与科技的智库的创始人和总裁。Elliot Masie是一位未来学家、分析师和研究者,他是智库Elliot Masie中心的《学习趋势》(Learning Trend)杂志的主编。Elliot Masie的主要职业兴趣在企业学习、组织绩效和新兴技术。他是许多政府部门、企业、教育机构以及非营利组织的顾问。如果我没搞错的话,E-Learning这个概念就是Elliot Masie首先提出来的。有人用“E-Learning=Elliot Learning”这个公式来说明Elliot Masie在数字化学习领域的绝对领先地位。
好了,还是回到“指尖知识”这个概念吧。所谓指尖知识,其实就是应用诸如Google之类的搜索引擎、其他各种社会性网络以及企业、单位和机构内部的局域网,迅速快捷地检索和获取信息的意识、知识与技能。由于它是经由电脑或笔记本、平板电脑以及智能手机之类的移动终端键盘输入来检索获得的,所以,Elliot Masie就将这种便捷获取信息的意识、知识和技能形象地称为指尖知识(Fingertip Knowledge)。
“指尖知识”这个概念,与我说的“搜索就是学习”在本质上是一样的。记得在我的博客上,当我谈论“指尖知识”和“搜索就是学习”之类的话题时,有许多朋友在线参与了讨论,表达了自己的主张。比如,有网友评论说,无论是Elliot Masie的“指尖知识”概念,还是我说的“搜索就是学习”,主要是针对成年人的,是针对非正式学习的;也有朋友指出,“片段化信息或者知识的学习”不能替代“较为扎实的基础性学习”。
如果要补充的话,我想表达这样几个意思:
1.“指尖知识”其实在本质上与“搜索就是学习”是一致的。
2.“搜索就是学习”主要适应于成人学习,或者说是成人的非正式学习。
3.对于儿童青少年的学习,这种学习也可以看作是正式学习的一个补充。
4.“搜索就是学习”这种学习方式,或者说是Masie所说的指尖知识,将在每一个人的学习生涯中占据着越来越重要的地位,发挥越来越重要的作用。
随着时间的推移,我越来越觉得这种知识,业已成为当今乃至未来相当长一段时间里,对每一个人来说都极为重要的学习技能和生存技能,也是信息时代每一个人的众多知识中的首要知识。
为什么说指尖知识是信息时代的首要知识?因为当你掌握了指尖知识,其他一切相关的知识、困惑、问题,你都可以经由搜索引擎和你自己的搜索实践使其迎刃而解。有言道,“知之为知之,不知谷歌之”,此乃信息时代的第一知。
几年前,在我主持翻译《世界是开放的》一书的过程中,我和我的团队成员在翻译过程中受益良多。在该书书稿的审校阶段,我发现该书的第二章就是谈论搜索的。我的一个研究生同学承担了这一章的翻译任务。总体来说,翻译得还不错。但是,在审读的过程中,我的有关“搜索就是学习”和指尖知识的观念又一次被柯蒂斯邦克(Curtis Bonk)先生印证了。
事情是这样的。在这一章里,有一节的标题是Waste of Bandwidth,字面意思很简单,就是浪费带宽。书稿中提及Seymour Papert教授在越南河内遭遇车祸,作者从自己以前的一个学生那里得到消息,但是消息太简单了。于是他在网络上搜索,左搜右找,最后找到了Andy Carvin教授的博客,在这个博客上有更为全面和详尽的关于Seymour Papert河内车祸的消息。于是,作者发感慨说,前面所做的搜索,真是浪费带宽(Waste of Bandwidth)啊。
问题来了,作者到底是指Andy Carvin的博客呢?还是表达自己浪费带宽的感慨呢?这实在是一个问题。如果没有网络,我们恐怕是很难知道的。
审读到这里,我就必须做一件事情,那就是去搜索,通过搜索,去看看,Andy Carvin的博客的名字,是不是就叫“浪费带宽”(Waste of Bandwidth),只有这样,我们才能弄清楚作者到底是在指Andy Carvin的博客,还是表达自己浪费带宽的感慨。不进行进一步的搜索,这个问题的答案几乎是难以获得的。
一查阅,嗨,Andy Carvin的博客名字还真叫“浪费带宽”(Andy Carvin's Waste of Bandwidth),如有时间,你也可以上去瞧瞧!
Johnnie为什么要谈论这件事情呢?我曾认为,搜索就是学习。可是人们到底是如何进行搜索式学习的呢?通过这个小故事,至少我们可以感悟到这样几点:
1.搜索式的学习,是一种按需学习(Learning on Demand)。
2.搜索就是学习,这里所谓的搜索也好,学习也好,都是按需进行的。学习是在真正需要的时候才发生的。搜索也是在真正需要的时候才发生的。
3. 搜索式学习,搜索和学习是伴随发生的。也就是说,学习的时候,按需搜索;搜索的时候,是带着问题去搜索,通过搜索来解决自己的问题。于是学习就发生了。
4. 指尖知识其实就是一种借助网络自主解决问题的意识、知识、技能和行为习惯,它与“搜索就是学习”在本质上是相同的。
5. 对每一个人来说,指尖知识是每一个人极为重要的学习技能和生存技能,也是信息时代每一个人的众多知识中的首要知识。“知之为知之,不知谷歌之”,此乃信息时代之真知。
搜索学习 篇2
1、乾隆皇帝出生在哪一天单选 答案C 1711年9月25日
2、科学家在显微镜下发现蚊子竟然长牙齿那么请问蚊子有________颗牙齿单选 答案D 22
3、王芳准备出国留学听说除了需要持有护照外还必须持有相应的签证。签证还有长期、短期之分那么如果象王芳这样办理长期签证的最少应该在前往国停留几个月以上单选 答案B 三个月 4、1999年被列入“世界文化遗产”的大足石刻现有唐宋时期的摩崖造像75处雕像共________余尊。单选 答案C 5万
5、《诗经》是我国第一部诗歌总集收入自西周初年至春秋中叶大约五百多年的诗歌305篇。《诗经》共有风、雅、颂三个部分。其中雅分“大雅”、“小雅”请问“小雅”有_______篇。单选 答案C 74篇
6、小张要做一份《北京市教育资料的统计分析报告》可他就是找不到2006年时北京有多少所小学单选 答案A 1310
7、在本月刚结束的德国法兰克福书市上来自中国的《草样年华》校园青春小说横扫书市共有近40个国家和地区的出版公司
争先恐后地购买了此书的版权。请问该书作者还有一部长篇小说名叫《_______》。单选 答案D 活不明白
8、小王要出国想让单位开个收入证明但不知道“特此证明”用地道的英文怎么翻译单选 答案C we hereby certify that…
9、王老师想给学生播放一个关于吸烟危害的实验录像怎么才能很快搜索到录像片断呢多选 答案 CD C、在Baidu视频中搜索“吸烟危害实验” D、在Baidu中搜索“吸烟危害实验视频”
搜索学习 篇3
1 相关技术介绍
由于各个成员搜索引擎所支持的查询格式各不相同, 在确定了潜在有用的成员搜索引擎之后, 要把查询请求转化为对应目标搜索引擎的查询参数格式, 将处理过的查询请求参数发送到选定的成员搜索引擎进行信息的搜索。
比如, 在baidu搜索引擎中, 空格表示“与”关系, 在Alx搜索引擎中, “and”表示与关系, 在Exite搜索引擎中, “&”表示与关系。这样, 当用户想查询同时包括关键词k1、k2、k3的网页时, 以这种元搜索引擎要求的参数格式把这三个关键词提交给元搜索引擎, 如果元搜索引擎同时调用baidu、Alx和Exite这三个成员搜索引擎, 元搜索引擎就把“k1 k2 k3”做为查询项提交给baidu, 把“k1 and k2 and k 3”做为查询项提交给A l x, 把“k1&k2&k3”提交给Exite。
由于查询关键字有时并不能代表用户的信息需求, 本文提出的元搜索引擎提供主题供用户选择。用户通过查询接口提交查询请求时, 除了要提交查询关键字, 还要选择检索信息的主题。系统根据关键词以及主题, 来进行查询项的处理。
为了增强查询结果与用户信息需求的相关性, 这里采用查询项扩展技术, 根据用户提交的检索主题对查询关键词进行扩展。
接下来我们对扩展词描述文件的建立、查询项扩展、查询项格式转换分别进行研究和讨论。
2 扩展词描述文件的建立
在元搜索引擎的服务器端, 为每个主题建立对应的扩展词描述文件, 描述文件里存放每个主题对应的扩展关键词。扩展词描述文件创建后, 系统将通过学习来更新描述文件。学习过程是系统对用户所访问的页面进行分析, 自动提取出这些页面的公共关键词, 将其用作查询项的扩展。起初扩展词描述文件为空, 当用户提交检索主题和查询关键词后, 服务器端并不扩展用户的查询项, 而是直接提交给各成员搜索引擎来检索网页。随着用户的使用, 系统会分析用户点击打开的相关检索结果, 提取这些结果网页的共有词汇, 并把这些词汇存放在描述文件中做为扩展关键词。
例如:元搜索引擎的主题分为“新闻”、“论文”, 在元搜索引擎的服务器端为“新闻”和“论文”各建立一个描述文件。起初这两个描述文件都为空。当用户一提交检索主题“论文”和查询关键词“ontology”后, 系统直接把“ontology”这个关键词提交给成员搜索引擎;当用户二提交检索主题“论文”和查询关键词“web service”后, 系统直接把“web service”提交给成员搜索引擎。用户一在大量的返回网页中会点击其中的几个网页w1、w2、w3, 而这几个网页很可能符合“论文”这个主题而不是与ontology有关的新闻网页;用户二在返回网页中会点击其中的几个网页w4、w5, 这几个网页很可能是符合“论文”这个主题的网页而不是与“web service”有关的新闻网页。当用户提交了检索主题“论文”和查询关键词后, 会返回很多网页, 系统认为用户点击打开的网页最可能是符合“论文”这个主题的, 因此系统会分析这些网页, 从中提取出共有的词汇, 存放到“论文”主题对应的描述文件中, 做为扩展关键词。
随着用户使用时间的增长, 描述文件中用于查询项扩展的关键词个数不断更新和增长, 为了避免扩展词描述文件中扩展关键词过多, 可以设定扩展词描述文件中的关键词容量, 即超过容量后按一定策略进行淘汰。
3 查询项扩展
随着元搜索引擎的使用, 每个信息主题对应的描述文件逐渐得到完善。当用户再提交检索主题和查询关键词给元搜索引擎, 系统会自动的把查询项扩展为“查询关键词+扩展关键词”, 再提交给各成员搜索引擎。这里, “查询关键词”指用户提交给元搜索引擎的关键词, “扩展关键词”指描述文件中的对应每个主题的扩展关键词。
比如:在元搜索引擎使用一段时间后, “论文”对应的描述文件中已经有了“keywords”和“abstract”两个扩展关键词。当用户提交检索主题“论文”和查询关键词“o n t o l o g y”后, 系统会把“ontology”扩展为“ontology+keywords+abstract”, 然后把这个由三个关键词组成的查询项交给成员搜索引擎。这样, 各成员搜索引擎用“ontology+keywords+abstract”做为查询项检索到的网页更可能符合论文这个问题。
随着元搜索引擎的使用, 系统会自动通过学习来扩大描述文件。比如, 在使用过一段时间后, “论文”这个主题对应的描述文件中可能会增加了“references”一词。这样, 在以后检索ontology相关论文时, 查询项会扩展为“ontology+keywords+abstract+references”。
这里, 系统分析网页提取到的共有关键词不一定是出现在每个用户点击网页中的词, 当某个词以一个较大的频率出现时, 我们认为它可以做为扩展关键词存到描述文件中。比如一个词, 在1000个相关网页中出现了600次, 我们认为它应该做为扩展关键词。
4 查询项的格式转换
由于各个成员搜索引擎所支持的查询格式各不相同, 在确定了潜在有用的成员搜索引擎之后, 要把查询请求转化为对应目标搜索引擎的查询参数格式, 将处理过的查询请求参数发送到选定的成员搜索引擎进行信息的搜索。
搜索学习 篇4
内容-变的是需求，不变的是更新!白帽SEO阵营可能都会认同搜索引擎优化中内容为王这个道理，我也相当认同这个观点：)那么网页关键词密度到底多少合适?很多人给了一个数字8%的标准，不知道有没有人去查好几十甚至几百个排名好的站，他们的关键词密度是多少?我查过不少，其密度1-20%的都有，所以我的结论是无须太过在意这个密度问题，你在做关键词分布的时候，做到一点：自然就好，一切以用户需求出发!同样的道理，一个网站的更新频率，一天应该多少篇合适?总数多少才有排名?这些问题其实问错了，你应该问问你有什么条件，每天有多少能力为用户提供相关有价值的内容，你是否能坚持每天或者保持经常更新有用的信息，坚持下去，排名自然会来的，不同的行业，竞争情况不同，要多少篇还真没人知道呢，不停的去挖掘用户的需求，然后通过坚持更新大量的内容去满足用户才能真正做好内容，获得好的反馈。
雷：很多人说哪里会有那么多内容来做啊，那我告诉你，有人可以做几十亿页面的网站，你信不?
链接-变的是数量，不变的是坚持!除了有很多人认为SEO内容为王，其实还有好大批人特别是做英文SEO的朋友们坚信链接为王，为了发链接，好多人的网站包括我的SEO博客要惨遭蹂躏，害我屏蔽所有链接形式的评论并且给评论加了个加法运算的验证码，才稍微消停了点，不然肯定被X类站点搞死!那么到底链接是否为王?这个我不敢拍胸脯说，我只能说除了内容，链接真的是相当的重要，不仅仅是内链，还有外部链接，一个网站做得好，做得大，一定会被很多相关网站链接或报道或文章之类的，同时也会受到各行各业的关注，
这就是上周我给员工培训的时候，所讲到的为什么网站的外链需要关注2个元素：广泛度和相关度。至于一个网站每天应该产生多少外链才合适这样的问题，其实很简单，网站是要发展的，你的外链总的曲线一定是需要持续增长的，你只要能一直坚持，从数量从1到1000甚至到1万或者更多都可以。关键你是怎么规划的，能否坚持下去!
澹汉眯┤烁嫠吒嫠呶乙惶熳300-500条外链就极限了，有一天晚上跟朋友聊天，他截了个图给我看，外链数量为1000多万条，那照之前那个速度，得要50多年呢，哈哈!
排名-变的是关键词，不变的是排名。关于关键词前面提过密度问题，这里主要讲我们做好了主词排名以后应该怎么办?很多人做上去几个热门词就沾沾自喜，以为站到这个行业的前端去了，殊不知其什么都不是，说不定还被搜索指数骗了，根本得不到什么流量，更别说能带来多少转化效果了。这里面有一个长尾理论的概念，即通过挖掘用户需求和产品特性，通过长尾关键词来获取更多的流量，这些长尾所带来的流量甚至是热门词的很多倍，流量价值也会更高，最重要的是，这些词的排名做起来相当的容易，因为不热门嘛，竞争低，当然容易做了啊。
牛：SEOER们经常会说找不到关键词了，但是有人几百万的关键词排名第一页甚至第一名，牛牛了吧?
用广度优先搜索算法实现路径搜索 篇5
关键词：广度优先搜索,VC语言
路径搜索是许多游戏特别是即时战略游戏的核心组成部分, 玩过即时战略游戏 (如红色警报) 的朋友们对此一定都不陌生。在这类游戏中, 玩家不需要控制游戏主角的每一步移动, 只需用鼠标点击一下目的地, 游戏主角就可以自己移动到那里。那么游戏是如何实现路径搜索的呢?实现路径搜索的算法又是什么呢?下文就以一个简单的路径搜索为例, 说明上述问题, 并给出VC++的程序实现。
1 路径搜索的实现方法
路径搜索是一个寻径问题, 所谓寻径问题, 就是在地图上的起始点A和目的点B之间寻找一条可通行的路径。显然, A和B之间可以有很多条路径, 目的就是用最短的时间找到一条最佳路径。寻找最佳路径, 其本质就是搜索, 是一个从初始节点出发, 沿着与之相连的边试探前进, 寻找目标节点的过程。
路径搜索的基本算法主要有盲目搜索和启发式搜索两种, 进行盲目搜索时, 扩展节点不估计路径代价, 是比较常用的方法, 下文采用一种盲目搜索算法——广度优先搜索算法来实现即时战略游戏中的路径搜索。
1.1 广度优先搜索算法简介
广度优先搜索算法把起点作为初始节点, 从初始节点开始, 应用算法生成第一层节点, 检查目标节点是否在这些后继节点中。若没有, 再用算法将所有第一层的节点逐一扩展, 得到第二层节点, 并逐一检查第二层节点中是否包含目标节点。如此依次扩展、检查下去, 直至发现目标节点为止。这里采用的原则是先生成的节点先扩展, 为满足这一要求, 采用“队列”这一数据结构来存储节点, 队列设置两个指针:open指针和closed指针, open指针指向扩展得到的节点, closed指向已检查过的节点。当open=closed时, 表示队列空, 当open大于队列长度时, 表示队列溢出, 如图1所示。
1.2 路径搜索的实现过程
为了具体说明广度优先搜索算法在即时战略游戏中的应用, 以一个简单的路径搜索为例, 构造一个二维地图, 如图2所示, 把地图均匀划分为若干个小方格, 在图2中共3*3个方格, 游戏主角位于一个方格中, 我们选中其他任一个方格作为目的地, 点击鼠标, 游戏主角自动选路移动到目的方格。为了更加逼近现实情况, 可以设置某些方格为障碍物, 即游戏主角必须绕过障碍才能前进。例如, 方格编号如图2所示分别为1、2、……、9, 游戏主角位于方格1中, 方格5为障碍物, 玩家要使主角移动到方格9中, 那么广度优先搜索算法把1加入队列, 此时队列包含{1}, 检查1是否目标节点, 不是目标节点则继续搜索, 从1开始搜索相邻节点, 这是第一层搜索, 得到方格2和4, 检查2和4, 不是目标节点, 则2、4进入队列, 队列包含{1, 2, 4};进行第二层搜索, 由2搜索相邻节点得到3, 也搜索到了5, 但是方格5是障碍物, 不能加入队列, 由4搜索到7, 检查3和7, 不是目标节点, 于是3、7进入队列, 队列包含{1, 2, 4, 3, 7};继续第三层搜索, 由3得到6, 由7得到8, 检查6和8, 不是目标节点, 于是6、8进入队列, 队列包含{1, 2, 4, 3, 7, 6, 8};继续第四层搜索, 由6得到9, 检查9是目标节点, 于是结束搜索。为了记住搜索的路径, 在搜索过程中, 设计数据结构记录每一个节点的前趋节点, 如2的前趋节点是1, 这样, 在找到9之后, 可以根据前趋节点回溯到节点1, 回溯过程是9、6、3、2、1。可以用“栈”这一数据结构保存回溯过程, 压栈顺序为9、6、3、2、1, 这时, 游戏主角可以按路径移动, 移动按出栈顺序进行, “栈”是后入先出的数据结构, 于是, 主角就按1-2-3-6-9的顺序完成移动。
2 程序实现
下面给出广度优先搜索的程序实现。选用VC++6.0作为程序开发平台, 建立基于对话框的工程。程序设计的关键是: (1) 编写广度优先搜索类, 用于随机生成二维地图, 并且实现路径搜索。 (2) 实现游戏主角在地图中移动。
2.1 实现广度优先搜索的类CBfs Map
下面依次介绍CBfs Map类的成员函数。
函数void Init Map () 用于初始化地图, 并随机设置障碍物。
函数void Search Path () 用于路径搜索:
2.2 实现主角在地图中移动
创建一个基于对话框的类CBfs Dlg, 在类中添加按下鼠标左键的消息响应函数On LButton Down () , 该函数根据鼠标左键点击的位置, 进行路径搜索, 代码如下:
程序运行情况如图3所示, 界面中红色栅格表示障碍, 白色部分表示通路, 当玩家点击任意空白处, 游戏主角能够自行移动到该位置。
3 结语
介绍了一种采用广度优先搜索算法实现路径搜索的方法, 并给出了原理及关键数据结构。虽然代码不多, 却实现了一个较为完整的路径搜索实例, 希望能对游戏编程爱好者们起到积极的参考作用。
参考文献
搜索学习 篇6
1.1 宽度优先策略或深度优先搜索策略
这两种策略是基于图的遍历思想的策略, 它没有考虑到页面间的相关性, 目的只是为了搜索整个互联网。基于整个Internet搜集的Robot目的只是搜集到尽可能多的Web信息, 没有特定的要求, 一般选用这两种策略。
1.2 聚焦搜索策略
聚焦搜索策略只关注某一个特定主题的页面, 根据"最好优先原则"进行访问, 快速、有效地获得更多的与主题相关的页面, 主要通过内容和Web的链接结构来指导进一步的页面抓取[1]。
1.3 基于内容评价的搜索策略
基于内容评价的搜索策略[2], 主要是根据主题 (如关键词、主题相关文档) 与链接文本的相似度来评价链接价值的高低, 并以此决定其搜索策略。链接文本是指链接周围的说明文字和链接URL上的文字信息, 相似度的评价通常采用以下公式:
其中, q代表主题关键词集合, p代表页面链接文本集合, wkq代表集合q中单词k对某一主题的重要程度, wkq通常采用tf*idf公式计算[3]。
1.4 基于链接结构评价链接价值的搜索策略
由于Web页面不同于传统的文本, 它是一种半结构化的文档, 包含许多结构信息;Web页面不是单独存在的, 页面中的链接指示了页面之间的相互关系, 因而有些学者提出了基于链接结构评价链接价值的策略。这种是通过对Web页面之间相互引用关系的分析来确定链接的重要性, 进而决定链接访问顺序的方法。通常认为有较多入链或出链的页面具有较高的价值。PageRank[4]和HITS[5]是其中具有代表性的算法。
1.5 基于巩固学习的搜索策略
考虑到巩固学习 (reinforcement leaning) 在预测远期回报方面具有优势[6], Rennie和McCallum将其引入网络爬虫的学习过程。在其提出的模型中, 将网络爬虫看作代理体, 面对的Web环境代表状态, 对链接的访问代表行动。搜索过程中, 经过若干无关页面的访问之后才能获得的主题相关页面称为未来回报, 对未来回报的预测值称为未来回报价值。
1.6 基于"语境图"的搜索策略
基于巩固学习的搜索策略能够通过计算链接的Q价值确定搜索方向, 但它却无法估计距离目标页面的远近。为此, Diligenti提出了基于"语境图" (Context Graph) 的搜索策略[7], 它通过构建典型页面的Web"语境图"来估计离目标页面的距离, 距离较近的页面较早得到访问。
2、中文搜索引擎Robot搜索策略
2.1 基于首页优先搜索的策略
这种搜索策略使中文搜索引擎Robot在运行过程中生成了一个较为完整的中文域名表, 在匹配过程中提供新站点识别的功能。新站点识别的过程:一个URL, 提取其域名部分, 使用域名过滤时若在中文域名表中匹配成功, 则该URL所在的域名已经处理过, 若匹配不成, 说明该域名为新出现的域名, 域名代表的站点为新站点。在搜索过程中一旦发现一个新站点, 那么系统将基于它的首页优先搜集信息。
2.2 基于链接深度的搜索策略
给定这样三个URL:http://www.lytu.edu.cn/xuexiaojianjie.htm、http://www.lytu.edu.cn/cupnews/a/200505/20060221140941.shtml、http://www.lytu.edu.cn/。我们定义它们的链接深度分别为1、4、0。URL的链接深度为它的路径的深度, 域名的链接深度定义为0, 根据路径的深度依次增加。
基于链接深度的搜索策略就是根据URL链接深度和URL重要度的某种关系, 对链接深度进行排序, 优先搜集重要度高的URL。例如:对于一个链接深度为5的网站, 链接深度的重要度排序为0、1、2、5、4、3。那么在搜集过程中优先处理链接深度的重要度排在前面的URL。
2.3 基于发现深度的搜索策略
这是一种动态的启发式搜索策略, 发现深度为基于首页的发现深度。规定所有首页的发现深度为0, 那么解析首页提取的URL的发现深度为1, 在深度为1上提取的URL的发现深度为2, 依次增加。由于互联网上存在的大量的重复链接, 一个URL要被解析出很多次, 使它有多个发现深度值, URL的发现深度值取其最小值。
基于发现深度的搜索策略规定:发现深度值越小, 它的优先级别越高。这种策略在首次搜集中适用性不强, 因为URL之间复杂的链接, 使得发现深度值的计算量非常大, 而且一些URL发现深度值的最终确定前, 此URL可能早就搜集过。但可以基于此策略计算出所有搜集到的URL的发现深度值, URL的发现深度值可以作为URL重要度的一个参数, 应用于信息更新和返回结果的排序上。因此也可以叫做基于发现深度的更新策略。
2.4 基于信息变化度的更新策略
基于信息变化度的更新策略是对周期性更新策略的一种改进, 它依据每个URL信息变化度来调整其更新周期, 是一个动态学习的过程, 最终为每个URL设定一个较为合理的更新周期。信息变化度的定义:URL更新时, 当前的信息与上一次信息的差异值。该策略的难题是采用什么方式计算URL的信息变化度。本文给出基于关键词的计算模型。
定义:用表示URL的当前文档的关键词集合, dn表示URL的下一次文档信息的关键词集合。用dci表示dc的关键词集合第i个关键词, pci表示dci出现的频率;用dni表示dc的关键词集合第i个关键词, pci表示dni出现的频率。若令t表示文档中关键词的数量, 关键词集合dc={dc1, ..., dct}, 频率集合pc={pc1, ..., pct}。用wi表示权值, 这个权值表示第i个关键词与文档的相关度。若关键词dci没有出现在文档关键词集合dni中, 则wi=0, 若出现在关键词集合dni中的第j个位置, 则wi=min (pci, pcj) 。
S (c, n) 为dc与dn的相似度, 其定义如下:
V (c, n) 为dc与dn的变化度, 其定义如下:
由公式可以获知V (c, n) ∈[0, 1]。
基于变化度更新策略的文档周期的调整:最初设定所有的文档更新周期为q, 若一个URL经过第i-1次基于变化度的调整, 更新周期为qi-1, vi-1为该URL的第i-1次更新的变化度, vi为该URL的第i次更新的变化度, 其具体调整如下:
若vi>vi-1, 则qi的定义如下:
若vi<vi-1, 则qi的定义如下:
基于变化度更新策略可以根据实际的变化度动态的调整每个URL的更新周期, 它使得每个URL都有自己的更新周期, Robot根据每个URL的更新周期对URL进行更新, 减少了更新的盲目性, 争取使更新达到最好的效果。为了某些URL的更新周期过于短, 给更新周期q设定最小值qmin, 也为防止某些URL的更新周期太长, 给更新周期设定最大值qmax。
3、小结
本文详细介绍了搜索引擎Robot的搜索策略, 针对中文搜索引擎Robot, 给出了基于首页优先搜索的启发式搜索策略, 并对基于链接深度的搜索策略和基于发现深度的搜索策略进行了分析, 最后, 提出了一种新的更新策略基于信息变化度的更新策略, 并给出了一种计算模型。
参考文献
[1].Focused Crawling:A New Approach to Topic-Specific Web Resource Discovery.S.Chakrabarti, M.van, B.Dom.In Proceedings of the 8th Inter-national WWW Conference, Toronto, Canada, 1999
[2].Cho J, Garcia-Molina H, Page L.Efficient crawling through URL order-ing.Computer Networks, 1998;30 (1～7) :161～172
[3].Srinivasan P, Pant G, Menczer F.Target seeking crawlers and their topicalperformance.In:Proc of SIGIR Conference on Research and Developmentin Information Retrieval, ACM press, 2002
[4].Page L, Brin S, Motwani R, et al.The PageRank Citation Ranking:Bringing Order to the Web.Stanford Digital Libraries Working Paper, 1998
[5].Bharat K, Henzinger M R.Improved Algorithms for Topic Distillation ina Hyperlinked Environment.In Proceedings of the ACM-SIGIR, 1998
[6].Sutton R S, Barto A G.Reinforcement leaning:an introduction.MA:MITPress, 1998
搜索学习 篇7
1 搜索引擎搜索结果采集与解析的实现
1.1 搜索结果采集解析思路
通过向基本搜索引擎提交搜索命令,获得以Html源文件形式的搜索结果页面文件,在其Htm形式的源页面文件中,通过明显的标志字符串来获取网页内容。
以Google为例,其典型的Htm记录格式如下:
<li class=g><h3 class=r><a href=“http://www.ncre.cn/” target=_blank class=l
onmousedown=“return clk(0,“,”,“res”,“1”“,”,“0CAYQFjAA”)”>全国<em>计算机等级考试
</em></a></h3><div class=“s”>提供全国<em>计算机等级考试</em>的资讯、试题、政策性信息服务。
可以看出Google的搜索记录标志字符串为<li class=g>,为提取搜索结果,根据其标志字符串<li class=g>定位搜索记录,截取 <a href 和 </a> 之间的信息,这些信息包含了搜索结果记录对应的页面链接地址、网页标题以及部分说明文字,通过设置字符循环过滤函数过滤掉字符“<”和“>”之间的无用数据,实现对搜索结果记录的解析及提取,信息采集后得到的结果通过设置临时数组展示保存[4,5]。
在完成对一条搜索结果记录的处理后,再根据其标志字符串<li class=g>定位下一条搜索结果记录,最终实现所有搜索结果的解析处理。解析完成后将得到的搜索结果批量存放到相应的数据库中。
1.2 Google下的搜索结果采集
具体实现搜索操作时,通过向Google发送含有命令参数的搜索指令获取搜索结果页面,在对其进行字符串截取、页面解析等处理过程,获得检索结果记录。主要过程包括下列5点。
(1)搜索结果采集。
通过调用XML Http组件实现向Google服务器发送搜索请求,获取搜索结果页面。结果采集函数实现过程如下:
Function getHTTPPage(url)
On Error Resume Next
dim http
set http=Server.createobject(“MSXML2.XMLHTTP”)
Http.open “GET”,url,false
Http.send()
if Http.readystate<>4 then
exit function
end if
getHTTPPage=Http.responsetext
set http=nothing
If Err.number<>0 then
getHTTPPage=“0”
′Response.Write “<div align=‘center’><b>服务器获取文件内容出错</b></div>”
Err.Clear
End If
End function
(2)服务器的轮询。
Google设置有暂时屏蔽服务器IP地址的操作以避免用户对某一服务器的反复检索,通过设置服务器IP地址的轮询操作,在一定条件下分别轮询检索Google的多个服务器,以获得更多的搜索结果页面。服务器IP地址的轮询操作实现过程如下:
if strtmp_gg=“0”
Then
strUrl=“http://216.239.39.99/search?hl=zh-CN&lr=lang_zh-CN&ie=gb2312&oe=UT
F-8&sa=N&num=30&start=“&start&”& q=”&keywords
strtmp_gg=GetHTTPPage(strUrl)
End If
(3)字节流转换为字符串。
获得检索结果页面后,需要将其转换为字符串,供下一步解析处理。字节流转换为字符串函数的实现过程如下:
Function BytesToBstr(body,Cset)
dim objstream
set objstream=Server.CreateObject(“adodb.stream”)
objstream.Type=1
objstream.Mode=3
objstream.Open
objstream.Write body
objstream.Position=0
objstream.Type=2
objstream.Charset=Cset
BytesToBstr=objstream.ReadText
objstream.Close
set objstream=nothing
End Function
(4)字符串的截取。
针对获得的搜索结果页面进行字符串截取,以获得每一条检索记录,从而实现将搜索结果存入网页数据库中。字符串截取函数实现过程如下:
Function strCut(strContent,StartStr,EndStr,CutType)
Dim S1,S2
On Error Resume Next
Select Case CutType
Case 1
S1=InStr(strContent,StartStr)
S2=InStr(S1,strContent,EndStr)+Len(EndStr)
Case 2
S1=InStr(strContent,StartStr)+Len(StartStr)
S2=InStr(S1,strContent,EndStr)
End Select
If Err Then
strCute=“<p align=‘center’ ><font size=-1>截取字符串出错.</font></p>”
Err.Clear
Exit Function
Else
strCut=Mid(strContent,S1,S2-S1)
End If
End Function
(5)对检索结果记录的处理。
针对Google的搜索结果,根据其搜索结果标志字符串<li class=g>,截取 <a href 和 </a> 之间的信息,得到搜索结果的链接地址和标题。所有信息通过临时数组strArray_ggTemp进行保存。实现过程如下:
strinfo=strCut(strtmp_gg,“<div>”,“</div>”,2)
strArray_ggTemp=Split(strinfo,“ <li class=g>”)
iNa=Ubound(strArray_ggTemp)
1.3 Baidu的搜索结果采集
实现搜索操作时,通过向Baidu发送带有参数的搜索命令获取Baidu的检索结果页面,进而通过相应的字符串截取,最终获得检索结果。处理过程与Google的处理过程基本相同[6,7,8,9]。
需要说明的是,提取Baidu搜索引擎的结果标志字符串为<a id=dfs2 ……>,得到的相关信息暂时通过临时数组strinfo保留起来。其提取函数如下所示:
strinfo=strCut(strTmp_bd,“<DIV id=ScriptDiv></DIV>”,“<a id=dfs2”,2)
patrn=“</td></tr></table><br>”
Set regEx=New RegExp
regEx.Pattern=patrn
regEx.IgnoreCase=true
regEx.Global=false
strinfo=regEx.replace(strinfo,“”)
2 搜索结果的再处理
2.1 搜索结果的保存
系统建立搜索结果数据库,保存相应的检索结果记录,数据库说明如下。
2.2 搜索结果的二次检索处理
对于从各基本搜索引擎获得的搜索结果,只是单纯的解析并存入到了本地数据库中,为提高用户对搜索结果的满意程度,一方面应该将用户真正需要的搜索结果记录;另一方面由于得到的检索结果已经规格化并存入数据库中,那么通过对数据库中的记录进行操作就可以为用户提过对搜索结果的二次查询、检索功能。
3 结束语
通过对Google、Baidu两个常用搜索引擎提交搜索要求,获得二者的检索结果,将得到的检索结果进行规格化,并存入数据库,将Google、Baidu的搜索结果以处理过的排序提交给用户。这种方式综合利用了不同基本搜索引擎对搜索结果的重要性因素,为元搜索引擎的设计、实现做出了有益的尝试。
摘要：元搜索引擎与基本成员搜索引擎之间的信息交换,是元搜索引擎技术实现的难题,针对这一问题,选择Google和Baidu基本搜索引擎,实现了对这两个基本搜索引擎的检索、结果采集、生成搜索记录的过程,并对采集、处理后的检索结果进行排序,供用户进行二次检索。
关键词：元搜索引擎,结果排序,页面解析
参考文献
[1]李四明,陶兰,王保迎.面向智能Agent的元搜索系统的设计与实现[J].计算机工程,2004,30(7):147-149.
[2]王津涛,兰皓.面向主题元搜索引擎的设计与实现[J].计算机工程,2005,31(7):168-169.
[3]李刚,周立柱,郭奇,等.领域相关的Web网站抓取方法[J].计算机科学,2007,34(2):141-144,152.
[4]张卫丰,徐宝文,周晓宇,等.元搜索引擎结果生成技术的研究[J].小型微型计算机系统,2003,24(1):54-57.
[5]马保国,侯存军,王文丰,等.Web数据挖掘技术及应用[J].计算机与数字工程,2006,34(6):20-22.
[6]张蓉.Web挖掘技术研究[J].计算机工程,2006,32(15):4-6.
[7]王泽彬,金飞,李夏,等.Web数据挖掘技术及实现[J].哈尔滨工业大学学报,2005,37(10):1403-1405.
[8]刘晓鹏,邢长征.基于Web文本数据挖掘的研究[J].计算机与数据工程,2005,33(9):75-79.
搜索学习 篇8
一、获取容易, 记住困难
在这个信息爆炸的时代, 用户能够轻而易举地获取各类信息, 互联网变成了一个“秀才不出门, 便知天下事”的世界。在这个世界中, 搜索引擎变身为一辆“直通车”, 可以让用户随时随地到达他想去的“地方”。
如此快捷简便的生活是古人所不曾拥有的, 古代的人想了解其他地区的消息极不方便, 但因有书籍供他们阅读, 其生活较为充实。因为他们阅读的每一本书都来之不易, 他们所得知的知识、信息都会铭记在心。白岩松说过:“今人虽有百度、谷歌软件, 获取资讯与知识极容易, 但是有识无智, 只有知识却少有智慧。古人获取知识不易, 但多智少识。”[1]用一句很通俗的话来解释, 今人获取信息, 就类似于狗熊掰棒子, 掰一个扔一个, 最后什么都没有留下。
搜索引擎的用户中有极大一部分是学生用户, 这是他们获取“答案”的方便渠道, 尤其是大学生群体, 搜索引擎可以为他们提供作业范本, 甚至现在很多小学生都开始使用搜索引擎来写作业。但是, 他们真正理解了这些搜索得来的答案么?面对唾手可得的信息, 很多时候我们不愿意花费更多的时间去理解消化这些信息, 因为它就在那里, 想要的时候再动一动手指就行了。这种便捷的搜索渠道容易使学生产生懈怠的学习心理, 对信息和知识的理解也越来越浅显化。
搜索引擎必然有其存在的价值, 它可以帮助我们快速、直接、有效地获取我们需要了解的全部信息内容。搜索引擎就好像是哆啦A梦的任意门, 通过这扇门, 世界上所有的信息都轻而易举地获得。我们似乎拥有了超乎想象的检索能力, 但这并不意味着我们是全能的。在这个信息爆炸、知识廉价的时代, 很多时候我们仅仅是满足于获得答案所带来的快乐, 却缺少了像古人那样温故而知新和举一反三的学习态度。
互联网确实为人类提供了储备知识的空间, 可是信息的容易获取并不意味着对知识真正的理解、消化、记忆和对自我知识储备能力的认知。我们应该进一步思考的是如何利用信息、如何探索信息真正的意义。
二、竞价排名, 拼实力还是拼财力
前不久发生的魏则西事件给笔者留下了深刻的印象, 这一事件引发了全民对搜索引擎和涉事医院的集体关注。魏则西在生前发表的博文中说道:“百度, 当时根本不知道有多么邪恶, 医学信息的竞价排名, 还有之前血友病吧的事情, 应该都明白它是怎么一个东西。”百度的这种发布行为属不属于广告?百度的行为是否应当承担相应的责任呢?
“这种搜索引擎发布的广告属于竞价广告, 竞价排名 (又称关键字广告) 是一种按效果付费的网络推广方式。竞价排名是百度国内首创的一种按效果付费的网络推广方式。它是按效果付费, 同时可以竞价搜索引擎里的排位的推广方式, 主要是企业在搜索引擎购买关键词, 当用户搜索这些关键词信息时, 企业的推广内容就会呈现在用户面前。提供这类产品的服务商国内主要是百度, Google提供类似的产品叫‘Ad Word’。”[2]在这个案例中, 魏则西在百度搜索“滑膜肉瘤”后, 在百度第一页便出现了武警北京总队第二医院, 这就是百度推广所推荐的结果, 并且这样的医疗虚假广告数不胜数。
作为中文第一大搜索引擎网站, 我们不禁要发问, 面对基数如此之大的受众群体, 百度是否应该强化属于自己的社会责任呢?在百度推广的官网上, 百度公司对自己的推广行为作出了免责声明。搜索引擎中的竞价广告为互联网企业谋取一定的利益无可厚非, 但是对这些竞价广告的信息应该进行严密的资格审查, 确保竞价广告发布的真实有效。
目前, 搜索引擎广告还存在如下弊端:第一, 搜索引擎根据不同企业竞价推广广告, 拼的是投放企业的财力而非实力, 没有为网民的切身利益考虑;第二, 竞价广告的虚假会降低用户对搜索引擎网站的信任度;第三, 竞价广告会助长不正当竞争的风气。
中国人民大学新闻学院教授陈力丹认为:“搜索引擎已不仅是一项网络应用技术和一个提供信息的平台, 它已成为一种具有广泛影响力的新型媒介, 能够控制信息流动, 起到舆论导向作用, 进而直接影响人们认识世界的方式。此次百度事件暴露出了这一行业的职业操守缺失, 严重损害了信息筛选机制的独立性和公正性, 也损害了这一媒介的公信力。”除了企业自身的自律不足外, 当前我国涉及的互联网安全方面的相关法律法规还极不完善, 这让很多网站钻了空子。有关部门必须尽快制定更完善的法律制度, 搜索引擎企业也要促进行业自律, 规范自己的行为, 作为用户的广大网民要进行事实监督, 正确发挥社会舆论的作用。
Web2.0的快速发展促进了搜索引擎技术的迅猛发展, 它是用户通向网络世界的重要工具, 同时在信息获取、信息传播与信息构建上的重要作用也在不断增强。搜索引擎对我们日常生活的影响不断扩大, 更多的现实问题也日益凸显。搜索引擎企业在发现问题后应及时进行解决, 不断提升自身在用户心中的地位, 创造更持久的价值。因此, 不论是用户自身还是政府、企业, 都应针对搜索引擎的弊端和问题提出积极合理的解决办法, 让搜索引擎更好地为用户服务。
摘要：在这个新闻自由、信息共享的时代, 搜索引擎作为输出信息的重要窗口, 在网民生活中的地位也越来越重要, 但在使用搜索引擎时, 也暴露出了各种弊端。本文从信息获取便利却难以让人记住和竞价广告的弊端两个方面来分析搜索引擎目前存在的一些现实问题, 以期能够引起广大用户和企业等对搜索引擎安全问题的关注, 共同营造良好的网络环境。
关键词：搜索引擎,信息获取,竞价广告
参考文献
[1]白岩松.白说[M].武汉:长江文艺出版社, 2015:113.
搜索学习 篇9
1.1 研究现状
目前有论文对我国大学生的信息素养做详细的研究, 绝大部分在定性的基础上得出我国大学生信息素养需要极大提高的结论。鲜有调查报告和评价研究特定在大学生的网络信息搜索行为上;同时, 对搜索引擎的评价体系的研究也有很多, 但是由于出发点不同, 评价标准多种多样, 也没有形成一致的结论。本文借鉴已有的网站和搜索引擎的评价体系, 结合大学生自身的搜索行为来构建评价指标体系。
1.2 大学生搜索行为现状
根据CNNIC的2009年1月发布的第24次中国互联网发展统计报告, 中国的网民年龄构成中, 18—24岁的网民占据了31.5%;职业构成中, 学生占据了33.2%;由此可见, 中国大学生群体是网民中的生力军。根据《中国青年报》2008年8月的一份调查报告, 80后群体, 尤其是大学生群体, 对搜索引擎已经有了一定程度的依赖, 但是搜索方法和效率普遍存在问题。如学术检索使用频率较低, 相当一部分大学生仅用百度和谷歌来下载论文, 对数字图书馆等权威的网络文献数据库却几乎没有概念。
2. 基于大学生网络信息搜索行为的搜索引擎评价体系的设计
2.1 基于大学生搜索行为的搜索引擎评价指标的选取
1) 针对性本研究评价体系是基于大学生的网络信息搜索行为, 所以大学生这个群体就是本次评价体系构建的“专家”和“问卷对象”, 所有指标的设定都要和大学生的搜索行为相关联。
2) 系统性指标体系要能够全面反映被评价对象的综合情况。
3) 科学性每个指标都要有明确的含义和目标导向;层次划分要有逻辑性, 避免出现范围相交, 越界;注重客观评价和主观评价相结合。
4) 实用性指标体系的内容要操作简单, 易于理解, 易于实施。
5) 定性与定量相结合在赋值的时候我们将运用AHP的相关数学方法进行计算和校验。
根据上述原则, 选取评价指标如下:
查全率:检出的相关文献量与系统文献库中相关文献总量的比率。在网络检索阶段, 系统文献库中的相关文献是个不定值, 难以测量, 故在网络信息检索中, 查全率可以等同于搜索的广度。该数据在大学生群体中运用问卷调查法取得。
查准率:检出的相关文献量与检出文献总量的比率。
权威性:引擎结果提供的内容必须是科学的, 包括信息的编著者是否为该学科的权威, 内容是否规范, 信息的发布或转载是否已获得版权许可等。
新颖性:链接信息能否保持最新状态, 更新周期是否有正确标识。
用户界面友好程度:关注引擎界面是否友好, 是否有利于用户操作。
帮助信息:是否有帮助菜单以协助用户了解搜索引擎的服务和使用。
网站的交互性:是否提供入口接受用户提问、请求或建议。
检索方式的多样性:是否提供高级检索或二次检索、站内搜索引擎检索功能的完备性程度, 是否提供布尔检索、截词检索等。
对用户要求:用户是否需要具备复杂的检索技能, 是否具有普遍适用性。
检索的响应速度:从发出检索命令到显示结果的等待时间。
安全过滤:检索结果是否有安全过滤, 是否可以屏蔽非法信息和病毒 (包括竞价排名合理程度) 。
访问量:反映搜索引擎被用户重视的程度和使用频率。
人链网页数:是指研究对象以外的网络信息资源指向该对象的页面数。
2.2 基于大学生搜索行为的搜索引擎评价体系的构建
1) 我们运用层析分析 (AHP) 方法进行评价体系的建立, 这种方法的基本思想是将定量与定性相结合, 将客观数据和人的主观判断按照数值的比例关系进行表示, 从而对对象进行评价。
我们采用广泛使用的1—9标度, 将两个指标之间的比值用1—9以及1—1/9进行表示, 若两个指标之间比例为1, 则说明这两个指标的重要性相同, 若两个指标之间的比例为9, 则说明两个指标之间的重要性相差极大, 而数字2—8就相应表示指标之间的重要性差异。
我们在建立评价体系时将搜索引擎分为学术和生活两个种类分开考虑, 二者的评价指标相同而相应的权值不同。评价的一级指标为:信息内容、用户服务、技术支持、访问情况。其中信息内容对应的二级指标为:查全率、查准率、权威性、新颖性;用户服务对应:用户界面友好度、具备帮助信息、交互性、搜索方式多样性、对用户的要求;技术支持对应:响应速度、安全过滤;访问情况对应:访问量、入链数。
根据各级指标建立相应的矩阵, 并通过matlab软件计算各个矩阵的最大特征值。已知一致比例系数其中, n为矩阵阶数。已知只有当CR<0.1时, 关系矩阵的一致性才能够通过并作为最后的指标参考, 若CR>0.1, 则说明矩阵的一致性不佳, 需要重新建立矩阵。
2) 学术类搜索引擎的评价体系建立
通过查询资料和专家访问法, 在学术方面, 一级指标的关系矩阵为:
信息内容、用户服务、技术支持和访问情况二级指标均按照上述方法计算, 均通过一致性检验。
3) 生活类搜索引擎评价体系建立和学术类搜索引擎方法相同。
4) 利用一级指标和二级指标权重相乘可得到最终指标权重。学术和生活方面的指标权重值如下:
生活类搜索引擎
一级指标:信息内容0.350, 用户服务0.190, 技术支持0.110, 访问情况0.350。分别所属二级指标:查全率0.102, 查准率0.078, 权威性0.033, 新颖性0.138, 界面友好度0.045, 帮助信息0.016, 交互性0.035, 搜索方式多样性0.078, 对用户要求0.015, 响应速度0.055, 安全过滤0.055, 访问量0.21, 入链数0.14。
学术类搜索引擎
一级指标:信息内容0.528, 用户服务0.195, 技术支持0.117, 访问情况0.160。
分别所属二级指标:查全率0.103, 查准率0.103, 权威性0.260, 新颖性0.061, 界面友好度0.018, 帮助信息0.028, 交互性0.021, 搜索方式多样性0.095, 对用户要求0.034, 响应速度0.047, 安全过滤0.070, 访问量0.080入链数0.080。
3. 结论及建议
本文通过层次分析方法构建了基于大学生网络信息搜索行为的搜索引擎评价指标体系。该体系指标的选取和权重的赋值均特定在大学生群体。具有较强的针对性。后期可进行实证分析, 如选取百度、谷歌、雅虎、腾讯搜搜和CNKI知识搜索等最为测评对象, 将量化的指标带入该评价指标模型中, 从而筛选出最适合大学生学习、生活使用的网络搜索引擎, 指导大学生更为合理、充分地利用网络信息资源。
摘要：近年来搜索引擎技术发展迅猛, 大学生是网民的重要组成群体, 也同时是搜索引擎的主要使用者。文章首先分析了大学生网络搜索行为的现状, 进而提出了基于大学生搜索行为的搜索引擎评价指标体系的设计构建, 从而对大学生合理选择搜索引擎提供参考价值。
关键词：大学生,搜索行为,搜索引擎,评价体系
参考文献
[1]乔冬梅.搜索引擎现状与发展研究[D].郑州大学硕士学位论文.
[2]叶鹰.信息检索:理论与方法[M].北京:高等教育出版社, 2004.
[3]沈固朝.网络信息检索:工具-方法-实践[M].北京:高等教育出版社, 2004.