数据探究（精选11篇）
数据探究 篇1
我国是人民民主专政的社会主义国家,人口问题向来是关系民生的大事。人口的相关问题所涉及到的管理部门有金融、税务以及政府部门中的社保部门和计划生育部门。因此,对于人口的管理就变得相对复杂。人口基础数据库的数据信息存储量相对较大,这也为人口基础数据库数据结构建设提出了新的要求。因此,要制定出一套统一的、规范的数据结构标准来对人口基础数据库建设进行规范。
1 研究概况
1.1 研究进展
随着人口数据库建设工作的不断深入开展。我国的人口基础数据库数据结构标准也在不断向前发展。人口基础数据库数据结构标准大致可以分为几个主要的发展阶段。在上世纪末,我国出台了《全国干部、人事管理信息系统数据结构》,这份文件对国家的干部以及人事管理的相关的数据信息进行了规定,为人口基础信息管理提供强有力的制度保障和标准,同一时间段内,国家的《常住人口信息管理系统数据结构》又得以出台,这项规定对我国的常住人口进行了统一的规范与管理,使得全国各地每一级别的人口管理工作都变得相对简单、快捷。
随着流动人口的逐渐增多,进入新世纪以来,人口管理工作变得相对复杂。因此,在2004年,我国又制定并出台了关于人口管理的一系列规范和标准,将人口管理工作进一步进行加强。这期间的人口管理主要对居民的身份证、户籍等进行了严格的规范和统一,使人口信息管理进一步规范。在新的人口管理规定中,对育龄妇女信息进行了相应的完善,使得我国的计划生育工作能够进一步发展,深入落实了计划生育政策,推进了计划生育工作的顺利进行。其中,北京市还制定了人口信息共享的相关协议,实现了信息交流与共享,使得北京市的人口基础数据库建设工作变得更加完善和成熟,为全国其他国家和地区的人口基础数据库机构标准工作的深入发展提供了很好的借鉴。
1.2 人口基础数据库数据结构的对比
现阶段我国的人口数据库数据结构标准中的数据元的类型、代码等元素都存在一定程度的异构现象,这种异构现象的出现就使得人口的基础信息系统之间的数据信息也出现了相应的异构现象,这就导致了人口的一些基础信息产生了信息孤岛现象,而孤岛现象的产生又使得人口的一些数据信息之间的共享度受到了一定程度的限制,例如:在《全国干部、人事管理信息系统数据结构》中,整个规定中显示出来的虽然都是统一的字符类型,但是这项规定中的数据元却并不是统一的,数据元的不统一也就导致了整个数据库系统之间无法完全统一,进而导致了信息孤岛现象的产生。
现阶段,国家各个部门对于人口数据信息的要求相对较为广泛,而我国现有的数据库建设结构已经远远不能够适应各级单位对人口数据库建设的迫切需求。我国现有的人口基础数据库数据结构标准以GA214管理结构标准为准,这项数据结构标准共涵盖了41个相关的数据项,由于数据项较多,使得一些数据项在使用了一段时间之后,原有的作用已经消失,而这部分消失作用的数据项也就成了占用资源的多余信息,根本不具备任何的现实意义。例如:每个人都填过自己的籍贯,但是籍贯却不是固定不变的。一方面,现如今人口的流动使得人们的籍贯随着落户地址的改变,而原有的籍贯当然也就变成了不具有实际意义的多余信息。另一方面,随着我国现代化进程的不断发展,一些原有的老城区、老乡镇经过城市化改造之后早已不是原来的名字,人口的籍贯也就理所当然地不具备任何现实意义。
2 数据结构特点
2.1 数据信息量巨大
由于人口问题涉及到社会生活的方方面面,因此,社会上的人事工作安排、公共卫生安全、民政建设以及基础教育等都会对人口基础数据库建设提出相应的要求。这也就决定了人口基础数据库具备了其他数据库所不具备的特点,那就是信息量巨大的特点,人口基础数据库所涉及的数据面相对较为广泛,数据库的数据结构较之其他数据库而言也要复杂。
2.2 人口基础数据库建设分阶段进行
我国幅员辽阔且人口众多,我国地域之间的发展极不平衡,这就造成了人口基础数据库建设的地域发展的不平衡,每一个地方每一个部门的人口信息化程度都不尽相同,这也就意味着我国人口基础数据库建设要分阶段进行。全国范围内的各个地方的数据库建设要适应当地各部门的生产发展的需要,并将每个地方的数据库建设工作进行统一,实现全国范围内的人口基础数据库建设。
2.3 服务功能多变
现阶段,我国的人口改革正在不断地深入发展。这使得人口管理的相关部门的业务也在不断地发生着变化。业务种类的变化使得人口基础数据库的数据结构以及数据库相应的服务功能也有所变化,这也是人口基础数据库相对于其他数据库而言所具备的特点,那就是人口基础数据库的数据服务功能多变。
2.4 人口基础数据库系统应用种类较多
人口基础数据库是一项十分重要的社会服务类的资源,它为社会生活提供了多种多样的服务信息,因此,在人口基础数据库系统相对的应用系统中对原有的数据信息进行开发,就能够开发出更多不同种类的系统类型,有利于促进人口基础数据库数据结构的标准化进程。
2.5 人口基础数据库维护压力太大
人口基础数据库的数据建设过程中,由于数据库业务的变化多端,使得进行数据库维护的压力相对较大。关于数据库的维护是在数据库最初的设计阶段就将维护概念引入其中。鉴于人口基础数据库结构的特殊性,对人口基础数据库需要进行动态维护,动态维护能够将数据库维护的灵活性进行强有力的提高,进而有效提高了数据库维护的效率,也就降低了开发商进行数据维护所耗费的资金,不仅有效提高了经济效益,还大大节约了社会资源。
3 建立人口基础数据库数据结构标准
3.1 分类代码
随着科学技术的不断发展和信息技术在数据库建设中的广泛应用,人口基础数据库的建设主要是要建立起相对规范和标准的数据结构。在不耗费大量的人力和财力的前提下对人口基础数据库进行建设,就需要制定相应的数据结构标准。因此,分类代码标准应时而生。我国的人口基础数据库中的人口数据信息相对复杂,信息量巨大,信息所涵盖的内容又相对较为丰富。因此,相关部门在对我国的人口数据信息进行分类和编码时,要对人口的信息管理之间的关系进行综合考虑,分类的方法和原则要按照《全员人口个案管理信息系统基础数据结构与分类代码》的相关规定。首先,要针对不同地区或者不同部门对于人口管理的相关的要求进行分类,分类标准要应用国家已有的相关标准进行;其次,在对人口数据信息进行分类时所需要采用的方法是线分类法,利用这种方法对我国的人口信息进行相应的分类,能够最大限度的保障分类的合理性和清晰度;最后,对于人口基础数据库数局结构进行代码时所采用的代码应该是数字型、字母型以及数字和字母的混合型。
3.2 命名原则
在对人口基础数据库数据结构中的结构表和数据字段的名称进行命名时,需要遵循相应的命名原则。我国目前所采用的命名原则主要是中文字符和英文字符两种形式,即每一个中文名称都会对应相应的英文名称,例如“人口基本情况表”的英文名称为“tableo”;而字段的中文名称直接用项的名称进行命名,字段的英文名称的格式则是类别加代码,且应为名称的长度通常占11个字符。
3.3 人口基础数据库数据结构的确定标准
在对人口基础数据库数据结构的类型进行确定时,往往需要遵循一定的确定标准。英文字母“C”“D”“N”分别代表字符型、日期型和数字型;在人口基础数据库数据结构标准中,还要对数据项长度进行相应的标准规范,数据项的单位是字节,另外,数据项代码通常会采用三位数进行表示,其中表示类别的代码放在数据项代码的第一位,其余两位则分别表示数据项的名称和长度。以人口基本情况数据结构表为例,对结构类型进行理解,如表1所示。
4 功能模块
4.1 元数据管理
作为一项复杂的、信息量巨大的数据库管理系统,人口基础数据库的管理需要进行几个模块的管理,元数据管理模块是对人口基础数据库中的元数据进行维护管理的模块。人口基础数据库中的元数据对数据库中一些相应的数据信息以及数据项的结构和属性等进行了详细的描述,并对于人口基础数据库的动态维护,首先要对已有的数据信息进行必要的分析,并将其中的数据进行适当地抽离,以便能够实现对数据库系统中的元数据进行综合管理。
4.2 数据加载
在对人口基础数据库进行建设的过程中,针对相应的数据结构标准对数据进行比对是数据加载模块中的一个重要的组成部分。例如:每个人的身份证都有18位身份证号码,在这18位身份证号码中我们能够准确地找出每个人的出生时间。在实际的人口基础数据库数据结构的管理中,可以对数据比对进行相应的规范处理,在比对过程进行必要的规范,最重要的就是要对比对的目标进行相应地判断,判断比对目标是否合理或者是否符合相应的标准。
4.3 调度管理
人口基础数据库的建设主要是为了实现对人口的综合动态管理,使得各个地区、各个部门都能够对其想要了解的人口信息进行必要深入地了解。而在人口基础数据库中的一个重要的管理模块就是调度管理模块,这个模块能够将人口的相应数据信息和服务器查询信息保持一致,从而确保各部门在进行人口基础信息查询时能够更加准确和清晰。
5 结语
人口基础数据库数据标准的建立,能够对我国的人口数据库建设工作提供相应的建立标准,从而能够使得国家各阶级、各部门的人口基础数据库建设工作变得更加的完善,发展得更加健全。在对人口基础数据库的建设过程中,为了达到对人口数据库更全面地建设和管理,在进行数据化建设时,不仅要对人口基础数据库数据结构的标准问题进行必要的考虑,还要对人口基础数据库所涵盖的信息内容进行相对综合地考虑,以便能够实现我国的人口基础数据库数据结构的标准化,使人口基础数据库建设变得更加完善和成熟。
参考文献
[1]张钧.全国残疾人人口基础数据库数据分析[J].残疾人研究,2013,(03).
[2]孙艳彬.机电产品全生命周期评价基础数据库设计[D].大连理工大学,2013.
[3]丁文雯.面向水路基础数据库平台的Lucene全文检索技术研究[D].大连海事大学,2013.
[4]刘瑞.区域政务信息资源数据交换系统的设计与实现[D].电子科技大学,2013.
[5]Thomas Weise,Raymond Chiong.Evolutionary Optimization:Pitfalls and Booby Traps[J].Journal of Computer Science&Technology,2012,(OS).
[6]廖运宝.访问控制模型在电子政务数据库中的应用研究[D].电子科技大学,2012.
[7]高瑞.山西省临县残疾人社会保障制度的实施分新研究[D].山西财经大学,2014.
[8]李嘉.城市流动人口信息化管理研究[D].云南财经大学,2013.
[9]陈迪.行政区域集成化电子政务系统的设计与实现[D].厦门大学,2014.
[10]张瑞.达梦数据库在人口基础信息和防汛管理中的应用研究[D].天津大学,2013.
[11]Najwa Altwaijry,Mohamed El Bachir Menai.Data Structures in Multi-Objective Evolutionary Algorithms[J].Journal of Computer Science&Technology,2012,(06).
[12]刘荣梅.中国多目标区域地球化学调查数据库建设研究[D].中国地质大学(北京),2013.
数据探究 篇2
关键词：大数据；民办高校；图书馆员；素养
1 大数据的内涵
经历了信息爆炸的时代，伴随着云计算、物联网的发展，我们迎来了大数据的时代。2011年5月，美国麦肯锡全球研究院（McKinsey GlobalInstitute，简称“MGI”）发表研究报告《大数据：创新、竞争与生产力的下一个前沿》，向世界介绍了大数据的重要性，呼吁人们关注并有效使用大数据。[1]2012年2月11日，《纽约时报》技术记者斯蒂夫·洛尔（Steve Lohr）在该杂志发表《大数据时代》一文，宣告世界已进入“大数据时代”。[2]
从直观上来看，大数据就是指非常多的数据（BIG DATA）。很多学者和研究机构对大数据都有不同的理解和定义。综合多方对大数据的定义，大数据的概念更多指一种信息资产。不是关于如何定义，最重要的是如何使用。[3]“大数据”是一个体量特别大，数据类别特别大的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。[3]
2 数据素养的内涵
在大数据的时代背景下，我们被海量数据所包围。一方面，我们在日常生活中产生了大量的数据，如记录于网络购物平台的消费记录，产生于聊天软件的信息行为等数据；另一方面，我们也享受到大量的数据分析带给我们的生活便利，如通过分析网络购物平台个人消费记录，系统自动列出符合个人消费喜好和习惯的物品列表，省去大量的网上浏览和搜索时间。并且数据会随着消费者的消费记录变化自动更新。由此，社会也由此进入了一个数据类型丰富、来源多样、数量巨大，价值巨大的大数据时代。在此背景下，如何获取数据，管理数据，应用数据显得尤为重要。
随着时代的发展，信息环境和信息工具有了很大的变化，简单的信息获取和检索已经不能适应社会发展的需要。在大数据时代，要求具有能对所获得信息、数据管理和辨别的能力，在这种背景下，数据素养的概念被提出。
数据素养与大数据环境密不可分，数据素养体现了人们在大数据环境下对于数据的感知和理解，其内容包含5个维度：对数据的敏感性，数据的收集能力，数据的分析、处理能力，利用数据进行决策的能力，对数据的批判性思维。[4]另有一部分学者认为，数据素养是一个具有承继性的概念，它是基于量化素养、统计素养、数字素养所发展起来的类似于信息素养的用于描述人们大数据环境适应能力的概念，[5]但又在统计素养、数字素养、信息素养的基础上有所发展。
高校图书馆具有教育职能和信息服务职能。高校图书馆员担负着数据资源和科研数据的安全保管，同时也担负着为用户提供信息服务的重任，其自身的数据素养对服务质量有决定性影响。因此，对高校图书馆员数据素养及相关问题有必要进行深入研究。
高校图书馆员数据素养提升包含以下几个部分：
2.1 数据意识的提升
数据意识是指人作为数据的主体对于数据客体的自觉心理反应，是数据素养的先决条件。[6]
（1）在海量数据资源面前，高校图书馆员要有高度的敏感性，能主动甄别并获取用户需要的数据，善于发现有价值的数据资源。
（2）高校图书馆科研服务的核心价值是满足用户的科研数据续期，图书馆员不仅要能准确把握用户的直接需求，也要能深刻理解用户的间接需求，并通过各种方式将间接需求直观表达出来。
（3）高校图书馆员要有向广大用户推广数据管理的有关知识，推荐及提供与用户科研相关的数据信息，帮助普及高校图书馆科研数据服务相关政策法规。
综合以上几点，用户的科研需求是高校图书馆服务的核心，高校图书馆拥有不断增长的庞大数据量，图书馆员在面对海量数据时，要有辨别一些“可能有重大价值的数据”的能力，要保持清醒的认识，要有将数据转换成科学知识的思想意识；要有准确理解、深刻发掘用户需求的能力。
随着移动网络和各种智能终端设备的发展，大量公开的、免费的网上数据资源给传统的高校图书馆带来巨大的压力，用户流失现象比较严重，尤其是年轻用户，他们更能适应时代的发展。在此背景下，高校图书馆员可以利用大数据技术对图书馆现有的数据，如用户借阅记录，读者咨询记录等进行分析，帮助了解用户阅读需求、科研需求以及用户的知识层次，深度挖掘用户在使用图书馆过程中的潜在需求。在此基础上，图书馆能够开展有针对性的特色服务吸引读者。延伸图书馆传统的信息服务，开展各种创新服务。
高校图书馆应用大数据具有现实可行性。读者在使用图书馆时会留下使用痕迹、用户行为日志等，这就形成了很多有价值的数据。其次，高校作为科研中的重要基地，对新技术、新思想的敏感性很强，在高校图书馆中使用大数据技术并不是什么难题。此外，大数据技术不是一项具体的技术，而是数据采集、数据存取、数据处理、数据挖掘等技术的整合，这些技术相对来说已经很成熟。高校图书馆面对新技术、新思维的冲击，要抓住发展契机，转变服务模式，实现可持续发展。
2.2 数据知识能力的提升
数据知识指一切与数据和数据管理有关的理论、知识和方法，它构成了数据素养的理论基础，为有效开展科研数据服务提供知识储备。[7]
大数据时代背景下，高校图书馆员不仅要具备计算机基础知识、网络知识，多媒体知识等基本的信息素养能力，还要掌握数据管理基础知识。能够加工、整理既有数据并分析提炼转化为用户需要的信息和知识。
2.3 数据技术能力的提升
大数据不仅指数据大，核心内容是对大数据进行分析，从而获取更多深入的、对用户有价值的信息。高校图书馆有基本的文献资源，光盘数据资源和网络资源等，也有用户信息和服务信息，还有图书馆发展过程中，每天不断大量增长的数据信息。而这些信息在格式上并不能达成统一，这就形成了大量异构数据。同时，图书馆一些新型服务方式和其他网络服务增加了用户的数据信息。图书馆数据库的记载和统计水平较以前有了迅速的发展，但是还要对这些数据进行处理，转化成能被用户直观接受的方式。这一能力体现了高校图书馆员的创新能力，直接影响图书馆的科研数据服务质量。
2.4 数据伦理能力的提高
大数据技术的应用涉及用户隐私问题。一方面，读者要成为图书馆的合法用户，就需要在数据库里录入本人的个人信息，如姓名、电话、邮箱等。当用户通过门禁系统进入图书馆的那一刻起，就会在系统里留下使用痕迹。这些信息具有关联性和累计性，如果发生泄露，被不法分子滥用，将会对用户造成极大损害。另一方面，高校图书馆保存有大量的读者使用数据，包括用户查询记录，借阅记录和智能终端设备访问日志等。图书馆可以对这些数据进行分析，通过数据挖掘等技术，了解用户的阅读喜好、阅读层次等，改善服务方式，为读者提供更优质的服务。由此可见，大数据技术既可帮助提高高校图书馆服务质量，拓展服务方式，也会因为使用不当给用户带来损害。高校图书馆应把重视读者隐私放在首位，坚持职业操守，在合法的范围内合理使用读者数据。
大数据带给高校图书馆的价值是多方面的。高校图书馆可以通过读者使用资源的交互数据，如图书浏览记录、借还记录等，对读者使用图书馆各种数据资源的使用情况作出评估，通过读者的访问历史分析读者的关注热点，（下转第页）（上接第页）从而为高校图书馆采购部门提供决策参考，对读者关注点高而未采购的资源。不仅如此，大数据技术还能利用高校图书馆现有数据资源为读者提供个性化服务提供支持，为学科提供研究方向和热点动态变化，为科研人员提供学术共享机会。
高校图书馆员是一个具有较高信息素养的职业工作者。尽管大数据时代已经到来，但对大数据技术价值的认识和应用还并未普及，大数据在高校图书馆的应用实践并未普遍实施，高校图书馆员的数据素养能力还有待提高，对数据在科学操作、辩证认识、深度分析能力上还要加强培训。
“大数据”从2013年至今，已成为学术界研究的热点。笔者以“数据素养+高校图书馆”为检索词，在中国知网（CNKI）的期刊全文数据库得到相关论文15篇，时间从2014年开始，内容多停留在定义，特点等相关理论介绍。这从一个侧面反映出我国高校图书馆界对于图书馆员的数据素养研究还处于探索阶段。
民办高校图书馆是高校图书馆重要组成部分，民办高校发展有其独有的特色。特色专业、重点学科建设是吸引生源的有效途径。随着时代发展，图书馆作为教学、科研的支柱，传统的被动的教育、信息服务职能也要与时俱进，上升到积极主动的服务层次。在此背景下，做好馆员数据素养能力提升显得尤为重要，是民办高校发展需要长期关注的焦点。
参考文献：
[1]Manyika，James，et . al.Big data：The next frontier for innovation，competition，and productivity [EB/OL] . McKinseyGlobal Institute，http：//www.mckinsey.com/insights/business_technology/big_data_the_next_frontier_for_innovation，2015-12-20.
[2]Lohr，Steve . The Age of Big Data[EB/OL] . http：//www.nytimes.com/2012/02/12/sunday-review/big-datas-impactin-the-world.html，2015-12-28.
[3]刘芳.大数据时代高校图书馆信息服务创（下转第页）（上接第页）新研究[M].北京：光明日报出版社，2016：12-15.
[4]数据素养[EB/OL] . http：//baike.baidu.com/view/10402202.htm？fr=aladdin，2015-06-24.
[5]Robbins N B，Robbins J . Quantitative Literacy Across the Curriculum：Improving Graphs in College Textbooks[EB/OL] . http：//www.perceptualedge.com/articles/visual_business_intelligence/quantitative_literacy_across_curriculum.pdf，2015-06-28.
[6]沈婷婷.数据素养及其对科学数据管理的影响[J].图书馆论坛，2015（1）：68-73.
[7]徐刘靖，沈婷婷.高校图书馆员数据素养内涵及培养机制研究[J].图书馆建设，2016（5）：90.
数据新闻和大数据思维的联系探究 篇3
1数据新闻和大数据思维的定义与发展
大数据的概念近年来十分热门, 利用大数据分析, 得到了政府、军方、社会公众的高度关注, 大数据, 指的并不仅仅是数据容量之大, 更是体现了当前信息爆炸时代的数据规模大、来源广泛、增长飞速、信息价值量密度低等特征, 大数据并不仅仅包含传统的统计分析数据, 还包括在互联网上飞速传播的文本、影像等等数据资料。大数据思维意味着集中数据算法、数据理论研究。在新闻层面来讲, 主要集中在探讨大数据对于新闻生产发展机制的影响, 解读与揭示大数据思维下数据新闻面临的挑战。
而谈到“数据新闻”, 至今学界对此还未形成统一的概念表述, 但是, 对于数据新闻的概念内核, 学界已达成统一, 即是指通过对数据的挖掘、分析、过滤, 已可视化的数据形式呈现出新闻内核的新闻报道形式。在大数据思维技术的支持下, 新闻内容设计的信息数据可以越来越多的由计算机自行采集分析, 可以便捷的抽丝剥茧, 通过数据、图表的形式, 展现数据背后的客观事实和新闻现象。
数据新闻的分析与报道与传统新闻具有很大的差别, 数据新闻记者更需要的不是得到信息, 抢占先机进行采访和报道, 而是应当具备一流的数据新闻意识和数据分析能力, 可以从数据层面发掘出数据背后的新闻价值, 利用数据的分析与比对, 得到受众感兴趣的新闻内容, 最后, 利用数据分析比对, 将抽象的数据处理成可视的、一目了然的报道。
2大数据思维对于数据新闻的影响与帮助
传统的新闻, 来自于新闻记者的新闻直觉, 对新闻的敏感性。传统媒体时代, 记者们凭借自身的知识水平和工作经验, 结合自身视野和新闻敏感度, 挖掘新闻, 抢占先机, 对现实生活中的新闻进行挖掘。优秀的记者往往可以从一些孤立的事件中, 发现普遍要素, 进行挖掘与展开, 得出对社会多数人有吸引力和影响力的事件新闻。在传统新闻发展中, 涌现出来许多优秀的新闻, 然而, 这样的新闻发掘采编形式是一种“样本随机式”的新闻形式, 对于社会的调查程度不足。
大数据新闻与此有较大不同, 数据新闻依托于现代大数据的飞速发展, 通过对大容量、大规模、来源广泛的数据进行整理分析, 可以得出具有普适性的总体数据样本, 采用穷举的方式, 分析所有用户的需求, 判断出新闻价值。大数据的真实价值就像漂浮在海洋中的冰山, 第一眼只能看到冰山的一角, 绝大部分都隐藏在表面之下。
在当今时代, 数据新闻记者通过利用数据技术寻找新的新闻线索, 利用数据分析进行新闻内涵比对和价值挖掘, 利用数据比对呈现可视化的形象图表。在大数据的帮助下, 数据不再仅仅是新闻报道的辅助, 而是贯穿新闻产生、发展、报道始终的要素。
此外, 在大数据时代, 数据也可以用来分析比对受众对于新闻的接受度。通过数据分析, 对用户的不同年龄、不同性别、不同职业、不同喜好、不同阅读时间进行分析, 已有越来越多的新闻媒体可以通过大数据分析技术, 精准把握每一位受众的喜好, 针对不同的受众定制个性化的信息服务, 实现新闻精准投放。
在大数据思维的影响下, 数据新闻呈现出如下特征。
1) 数据量巨大。数据新闻的全程依托于对海量数据的分析、比对、处理, 受众读到的每一条新闻背后都隐藏着海量的数据分析和操作, 这些数据分析比对不是哪一个个人或哪一个团队可以凭借人力完成的, 必须结合大数据技术, 通过计算机分析处理得出。
2) 数据新闻在数字媒体的传播效果远高于传统媒体。数据新闻往往最终呈现形式是动态的数据分析或图表, 生动形象的揭示新闻内涵, 通过动态的数字媒体, 往往可以发挥更好的效果。
3) 数据为王。不同于传统的文字为主的新闻, 数据新闻的重心就是数据, 通过信息图表, 可以完美的展现已有的数据, 文字只是对数据的辅助性解读。
3大数据思维的应用困境与解读
大数据时代, 大数据思维给数据新闻带来的并不全是促进与推动, 也带来了一定的应用困境。
数据新闻对于数据的依赖可以说是无法分离, 然而, 数据本身就存在着一定的应用困境。首先, 大数据往往掌握在少数的权威数据机构、咨询部门、信息供应商手中, 对于广大媒体特别是新兴媒体来说, 获取大数据的难度非常大。其次, 数据新闻对于数据量的需求非常大, 如果缺乏专业的团队人士, 新闻记者本身乃至新闻团队, 都难以在海量的数据中甄选出需要的数据, 更别提通过自身对数据进行纵深挖掘与解读。即使集团式的专业大数据操作团队, 有时也难以充分分析把握数据的脉络内核。第三, 大数据本身就具有信息价值密度低、精确性不足、虚假信息极多等问题, 这对于追求真实的新闻业来说是相悖的。在大数据的海量数据样本前, 如何去劣存精, 如何发掘新闻价值, 依然需要新闻记者的独到眼光, 更不能简单的数据进行罗列比对。
在下一步的发展中, 数据新闻记者应当注重与政府、教育机构、科研单位进行数据共享, 推进数据公开, 从而储备优质数据, 筛选优质新闻, 通过现有资料数据化、原有数据再更新与自行分析搜集相结合, 带来大数据思维与数据新闻的创新。
4结论
数据新闻伴随着数据时代的爆炸式发展与前进, 取得了独特而巨大的发展。数据新闻的兴起与发展, 无疑为传统媒体行业带来了冲击挑战, 但同时也带来了发展机遇, 如何优质的获取分析数据, 呈现有价值的新闻, 基于价值判断对海量数据进行筛选分析, 而非迷失在数据的海洋中, 这是当前数据新闻记者需要不懈努力的方向。
参考文献
[1]周婷婷, 陈琳华.数据新闻实践的前沿进展——以全球“数据新闻奖”2013年获奖作品为中心的分析[J].新闻前哨, 2014 (1) :09-11.
[2]央视携手百度做“数据新闻”[J].青年记者, 2014 (6) :22-25.
[3]张炯, 廖安安.大数据时代新闻编辑能力重构[J].中国出版, 2014 (2) :23-24.
[4]张超.数据新闻的发展特点——以网易、新浪、搜狐的数据新闻为例[J].青年记者, 2014 (11) :39-41.
大数据法律保护制度建设探究论文 篇4
大数据保护主要目的是避免数据面临泄露、变更、利用、毁坏以及接触的危险，制止不法分子利用数据技术优势获取数据信息，通常将这行为视为“搭便车”。所以构建的大数据法律保护制度，应该反此种不正当竞争，可以说是一种新发展起来的特殊类型的反不正当竞争法律制度。以反不正当竞争的理论模式进行大数据法律保护制度的建设，其所覆盖的法律范围非常广泛，并且可以不断发展。总之，确保大数据不被非法泄露、变更、利用、毁坏以及接触，需要通过正常的渠道储存、传输，可以有效避免信息垄断的`危险[3]。
关于电力调度数据安全问题的探究 篇5
关键词：电力调度；数据安全；IP技术
中图书分类号：TM734 文献标识码：A 文章编号：1006-8937（2012）32-0108-02
在工业化高度发展的今天，电力产业无疑是流淌在国家日益强大躯体内的血液，是关系着工业建设和居民生活等国计民生方面的命脉。随着我国经济的快速发展，工业和居民用电量持续增长、用电负荷急剧增加、用电质量愈加严格，使得我国的电力供应经常处于紧张状态，严重影响了国民经济的发展。
按照电力工业的发展势头，在未来的很长一段时间内我国仍需要在电力局基础设施和电力输送领域加大投入，持续深化电力体制改革。基于此，我国就电力网络的扩展和升级出台了一系列的措施，包括厂网分离、国有电力资产重组、竞价上网、设立电监会等，而国内的电力企业也积极响应，纷纷通过提升技术水平来力争做好电力服务工作，提升自己的营运收入。
在所有的技术革新中，积极建设电力二次系统的电力调度通信网络也是电力企业谋求发展的重点工作之一，目前我国的电力调度数据网正从传统的电路交换向统一的包交换过渡，在技术、经验方面还不是很成熟，再加之其在电网生产和运行中的重要作用，使得调度数据本身的安全性值得认真研究并提出全方位的解决措施。
1 电力调度数据网的现状和发展
1.1 电力调度数据网概况
电力调度数据网络（SPDnet）负责电力调度实时数据、生产管理数据、通信监测数据等电力生产实时信息的传输，在协调电力系统发、送、变、配、用电等方面作用重大。电力数据网络的承载业务基于其最为基础和核心的EMS/SCADA得到了很大范围的拓展，业务系统的不断发展对调度数据网络提出了更高的要求，如何在同一数据网络中互不影响的并行传输多个关键系统，并同时保证传输可靠和数据安全，成为电力调度数据网络建设的重要课题。
1.2 电力调度数据网络结构
我国的SPDnet网络由上至下按照国家、地区、省、地市、县等级分别对应建立工五级网络，覆盖各级调度中心和直调发电厂、变电站。目前国家及网络已经建设完成投入使用，地区和省级网络正加紧实施，少数地市甚至经济发达县区的建设也已经开始。
本文拟采用IP路由交换设备组成广域网，采用IP over SDH的技术体制，各二级及以下网络均采用相类似的方式分层组网，网络对于IP路由和交换设备、相配套的安全系统技术要求如下：
①电力调度数据网的关键、重要环节需采用电信级别高的设备，关键部件如主控单元、总线、电源等应有冗余设置，业务处理板应支持热插拔特性，可实现在线维护和升级。
②电力调度数据的传输应配合MPLS VPN技术和QOS技术，具备准确、实时、可靠的性能，另外还需具备高转发和端到端转发延迟功能。
③在进行不同业务系统数据的传输时，要根据业务类别及其重要程度进行有效隔离，通过建立安全分区进行有效的防护和管理，通过构建时间、空间、网络三个层面的集成安全体系架构对外网、内网进行监测，实现网络层、用户层、业务层端到端的安全保护。
2 IP网络的安全状况分析
IP网络以其技术开放、设置简单、扩展功能强大和应用范围已经成为现代网络技术应用的核心，但其广受欢迎的特点却与电力调度数据保密性、安全性等要求相冲突。因此，如何使IP技术很好的融入到电力调度数据网络当中，在实现高效、可靠传输的同时能够保证数据安全显得至关重要。
据统计，目前应用TCP/IP协议的网络系统受到的主要威胁和攻击方式有欺骗攻击、否认服务、拒绝服务、数据截取和数据篡改等。基于此，IP网络建立了较为完整的网络安全方案，其中常用的安全工具有认证与签权、防火墙、入侵检测、隔离器等。
在预防攻击的方法和经验的积累中，IP技术还形成了自己全面的网络安全策略，其中包括：广域网中设置隔离、自治域及冗余备份；局域网按照功能和级别划分，设置口令，加强维护、管理；操作系统中设置权限，记录登录信息，及时升级、弥补漏洞；通过磁盘、服务器和网络进行数据备份。
3 电力调度数据安全整体解决方案
3.1 电力调度数据网安全策略
综合考虑电力调度数据网的特点、功用以及易受攻击的部位和所造成的威胁等情况，得出其安全策略为：调度网内部分层建立和部署安全体制，网内网外建立有效的隔离措施，关键点建立实时检测与审计工具。以上策略覆盖了电力调度数据网从低到高，由内至外，事前起到事后终的全部范围，是全面解决方案的基本依据和核心所在，针对以上调度数据网的安全策略，本文以下内容分三个方面详细介绍。
3.2 调度数据网内部安全方案
电力调度网可以在纵向范围内看作分层管理的独立专网，通过WAN连接各级调度LAN以及主机或终端设备。调度数据网内部安全主要包含物理安全、网络安全、操作系统安全、应用安全和人员管理共5个层面的内容。
物理安全主要指预防自然灾害、故障、失窃、数据丢失等造成硬件、线路等的损坏。目前，物理层面的通信主要采用SDH传输体制来实现复用段或通道的自愈保护，安全性方面主要注意各类生产调度数据的有效隔离。而MPLS VPN技术则是此方面应用的最好选择，其体系结构如图1所示。
交换路由器（LSR）作为基本组成单元构成MPLS网络区域，LSR可位于MPLS域边缘用于外联亦可位于域内部用作内联，其具体设备可以是路由器或Ethernet交换机。在电力调度数据传输时，可以根据其实时性要求是否严格进行划分，并将其分别归属于两个MPLS VPN（VPN1、VPN2）进行有效隔离。
由于广域网覆盖范围较大、涉及的服务节点较多，所以应重点做好其安全防护。局域网作为各级调度机构的内部网络，涉及最核心的应用服务和相关信息，是黑客攻击的目标所在，安全防护的薄弱环节。在具体防护中可以应用以下方法：在网络建设时做链路备份；建立与上级网络的紧密联系；优化路由及网络结构，必要时设定TCP侦听功能；分散应用所在的主机和物理地点，避免一损俱损；划分区域，加强口令管理，形成操作制度；设置防火墙和病毒防护。
3.3 调度数据网内外隔离方案
在做好调度数据网内部安全之后，还需要关注其与电力信息管理系统中各级调度部横向的连接，只有做好内部网和公共网物理隔离，才能真正保证调度数据的安全可靠。
本文中采用链式结构部署隔离器来实现调度数据网内外的隔离，其链式结构如图2所示。该隔离装置的引入可以过滤不安全的服务，禁止不安全协议进出，阻止源路由攻击，并将以上类型攻击的报文并通知网络隔离装置管理员。通过将所有的访问都经过网络隔离装置，以便做好访问日志记录，并提供网络使用情况的统计数据。当发生可疑动作时，网络隔离装置能进行适当的报警，并提供网络是否受到监测和攻击的详细信息。
4 结 语
本文在对电力调度数据网运行现状以及当今广泛应用的IP网络技术安全状况进行分析的基础上，给出了基于IP技术的电力调度数据网络安全方案。高效、经济的电力调度数据网安全方案意义重大，随着网络基础设备、操作系统、数据库、网络隔离器等方面技术的发展，与之相关的网络安全问题一定会得到更多的重视和研究。
参考文献：
[1] 罗汉武，李昉，张栋.安全数据网的构建及其在河南电力调度数据网应用[J].电力自动化设备，2007，27（1）.
[2] 阙凌燕，陈利跃，黄斌.新一代数据保护技术在浙江电力调度管理信息系统中的应用[J].浙江电力，2010，29（2）.
[3] 李劲.应用电力调度数字证书技术保障电力生产数据安全[J].广西电力，2007，30（4）.
数据结构应用探究 篇6
1 数据结构的重要性
利用计算机程序设计来解决一个具体实际问题时,一般需要以下几个基本步骤 :需求分析→建立数学模型→选择计算机语言→编出程序→测试→最终解答。
在计算机程序设计解决具体问题的步骤中,最关键也是最核心的是能够把实际问题抽象出数学模型。要建立问题的数学模型,必须首先找出待处理的对象的特征及各对象之间存在的关系(即分析数据间存在的结构)也就是确定数据对象的逻辑结构 ;同时,设计算法和程序实现的过程,必须确定如何实现对各个对象的操作,而操作的方法是决定于数据所采用的存储结构的。因此,数据逻辑结构和存储结构的好坏,将直接影响到程序的效率。而数据的逻辑结构和存储结构正是数据结构这门课所要研究的内容。
由此可见,数据结构在程序设计中有着十分重要的地位。
2 数据结构的相关概念
(1)数据结构 :
数据结构(DataStructure)描述的是按照一定的逻辑关系组织起来的待处理数据的表示及相关操作,涉及到数据之间的逻辑关系、数据在计算机中的存储和数据之间的操作(运算)。
(2)数据结构与算法的关系
N. 沃思(Niklaus Wirth) 教授提出 :程序 = 算法 + 数据结构
以上公式说明了如下两个问题 :(1)数据上的算法决定如何构造和组织数据(算法→数据结构)。(2)算法的选择依赖于作为基础的数据结构(数据结构→算法)。
算法(Algorithm)是对特定问题求解过程的描述,是指令的有限序列,即为解决某一特定问题而采取的具体而有限的操作步骤。程序是算法的一种实现,计算机按照程序逐步执行算法,实现对问题的求解。
程序可以看作是计算机指令的组合,用于控制计算机的工作流程,完成一定的逻辑功能,实现某种任务。算法是程序的逻辑抽象,是解决一些客观问题的过程。数据结构是对现实世界中数据及其关系的某种映射,数据结构既可以表示数据本身的物理结构,也可以表示计算机中的逻辑结构。
综上可见,数据结构与算法关系,两者既有区别又密切联系。
(3)数据结构设计遵循的基本原则
在求解一个问题时,怎么去设计或者选择数据结构呢?一般主要遵循以下原则 :
1)仔细分析所要解决的问题,特别是求解问题所涉及的数据类型和数据间的逻辑关系。
2)在算法设计之前往往先进行数据结构的初步设计。
3)注意数据结构的可扩展性,包括考虑当输入数据的规模发生改变时,数据结构是否能够适应。同时,数据结构应该适应求解问题的演变和扩展。
4)数据结构的设计和选择也要比较算法的时空开销的优劣。
数据结构的选择和评价是复杂的,需要考虑的因素也不限于以上的几条,一般要具体情况具体分析。
3 数据结构应用实例
在现实生活中,我们只要留心观察,就会发现也有好多应用数据结构的例子,它无处不在。例如 :我们的家族图谱,遗传病图谱,公司成员职位一览表都应用到了数据结构中的树 ;还有我们小的时候玩的丢手绢游戏其实也用到了数据结构中的循环列表,而且在换人时用到了循环列表的插入和删除。再如,我们开车用的导航系统,交通灯系统等都用到了数据结构中的图结构。所以说,数据结构与我们的生活息息相关,掌握好数据结构对我们有效利用计算机编程意义深远。下面着重以图为例,分析其在现实中的应用
图是一种比线性表和树更加复杂的数据结构。图结构可以描述各种复杂的数据对象,因此图的应用已渗入到诸如语言学、逻辑学、物理、化学、电信工程、计算机科学以及数学的学科的其他分支中。
图有四种表示方式 :邻接矩阵和邻接表。各种表的结构均适合用于稀疏图中。
为了求出入度和查找临边的方便,衍生出了两种方式 :十字链表(用来储存有向图)和邻接多重表(用于存储无向图,就是在邻接表的基础上增加了一个域来表示该边完整的两个邻接点)。
图有两种遍历方式 :深度优先遍历(有点像树的先序遍历)、广度优先遍历(有点像树的按层次遍历,其中使用到了队列)。图的两种生成最小生成树的方法:普里姆算法(两个节点集合中选取最小的边构成集合,时间复杂度取决于节点数)和克鲁斯卡尔算法(从最小的边中选,直到最后得到一个统一的连通分量,时间复杂度取决于边的个数)。
在图的众多应用中,求网络的最小生成树是一个具有重大实际意义的问题。例如,要在n各城市之间建立通信网,需要建造n-1条通信线路。可以把n个城市看作图的n个顶点,各各城市之间的通信线路看作边,相应的建设费用作为边的权值,这样就构成了一个网络。由于在n个城市之间,可行线路有(n*(n-1))/2条,那么如果选择其中的n-1条线路(边),世宗的建设费用为最小。这就是求该网络的最小生成树问题。
图论在日常甚或生活和学习中还有如下应用 :
(1)有向无环图的工程化应用 :
有向无环图 :其优势在于表示通用子表达式,可以节省大量的存储空间。
(2)如何检查一个无向图无环 :深度优先遍历是否有回边。
测试有几个连通分量 :深度优先遍历的总调用次数。.
(3)有向无环图的工程化应用 :
1拓扑排序偏序 :部分可以比较。全序 :全部都可以比较。
全序 :全部都可以比较。
拓扑排序的方法 :首先删除入度为零的节点和其临边,然后依次类推,直到结束或剩下一个环为止(此时该图不是有向图)。
2求关键路径。即有向无环图中的最长路径,影响整个项目进度的最关键的一条路径。
相信在科学技术高度发达的今天,随着数据结构的不断发展,图论在现实生活中的各个领域会得到更加广泛的应用。
4 结语
数据库编程与数据库存储技术探究 篇7
关键词：数据库,编程技术,计算机技术,存储技术
二十一世纪是信息化的时代, 计算机已经深入到了每一个人的日常生活当中, 其在工业生产中发挥的作用也日益突出。计算机技术的迅速发展离不开数据存储技术的支撑, 无论是个人电脑还是大型的数据处理系统都需要数据存储单元, 数据存储是计算机正常运行的必要条件。特别是在这个高度重视大数据分析的时代, 数据存储技术已经成了计算机技术的支柱, 只有不断的提高数据库的存储能力和存储速度才能促进计算机技术的高速发展。但是由于种种原因, 我国的计算机技术和数据库存储技术都起步较晚, 一些核心技术仍然被发达国家所垄断, 这也是制约我国数据库存储技术发展的主要原因。
1 数据库存储技术简介
1.1 数据库存储技术的概述
数据库存储技术是随着计算机发展而逐渐兴起的一门技术, 数据库存储技术的提升很大程度上来源于计算机性能的改善, 特别是在近十几年以来计算机的硬件性能发生了翻天覆地的变化。随着计算机的运用范围不断扩大, 传统的存储方式已经不能满足计算机发展的需求, 计算机的存储空间也从曾经的以K为单位到了现在的TB级别。计算机存储空间的不断增大意味着必须采用更加合理的数据管理方式对数据进行更有效的管理, 而各种编程语言的迅速发展又为数据库存储技术的发展提供了可靠的保障, 使得数据库编程水平和数据库存储技术都得到了巨大的提升。
1.2 数据库存储技术的发展简介
数据库这个名词最早出现在20世纪50年代, 但是当时的数据库仍然是采用人工管理的方式, 并且还没有形成软件的形式, 因此那个所谓的数据库与如今所受的数据库还是有很大的差距的, 但是那已经为数据库存储技术的发展打下了坚实的基础。20世纪60年代中期, 计算机存储设备的出现, 带动了计算机存储技术的发展, 数据管理软件也是诞生于这个时期, 但是受制于当时的技术条件, 那时的数据存储能力还是相当有限的。到了二十一世纪, 计算机在企业的日常管理运用中发挥着更加重要的作用, 数据库存储技术也得到了迅速的发展, 数据库的存储速度和共享能力等技术指标都得到了很好的改善。随着数据库存储技术和数据库编程水平的提高, 也出现了一批新的数据库存储技术, 例如数据流、WEB数据管理、分散式数据库等, 这都有效的带动了数据库存储技术的发展。
1.3 数据库存储技术的特点简介
与传统的纸质存储相比, 数据库存储技术具有可靠性高、读写速度快的特点。纸质的存储方式容易受到环境的影响, 特别容易出现遗失的情况, 这也是为什么很多重要的历史资料都被损坏了的主要原因, 并且手写存储的方式已经不能满足当今时代发发展的需求了。采用数据库存储技术, 可以将信息转化成电子的方式存储在在计算机硬盘中, 这不仅提高了数据存储的可靠性, 还大大的提高了数据存储的速度, 这对于当今这个信息量巨大的时代来说是至关重要的。
2 数据库编程与数据库存储技术的关系概述
2.1 数据库存储的类型由数据库编程实现的
数据库的类型多种多样, 在不同领域所用到的数据库的种类也是大不相同, 例如在电力、交通控制领域一般采用的都是实时数据库, 而企业的人事管理系统、网上视频网站等, 一般都是采用关系数据库, 此外还有很多在一些专业领域运用的数据库, 都是为了让满足特定的需求而专业定制的。数据库的类型是由数据库编程的方式所决定的, 其实所有类型的数据的工作原理大致是相同的, 只是在软件的开发过程当中编程者会为了满足实际的需求, 在编程的设计阶段做一些结构上的调整。在编程的过程中, 不同的编程人员可能会采用不同的程序编写软件, 但是无论是选用哪种编程软件, 其编程的原理是相同的, 只是存在形式上的差异而已。因此在数据库的开发阶段, 就应该根据实际的需求确定数据库的类型, 然后再在数据库编程的过程中对其进行实现。
2.2 数据库编程的核心是数据库存储技术
数据库编程人员的核心工作就是实现数据库的存储功能, 虽然随着数据库技术的不断提高, 如今数据库的结构也变得更加复杂, 并且其功能也变得更加多元化, 但是数据库的核心功能仍然是数据存储, 其它的录入、修改、调用等功能虽然也是不可或缺, 但它们都是为数据存储服务的。数据库存储技术作为数据库的核心部分, 在数据库编程的过程中编程人员应该对其更加重视, 所有的工作都应该围绕着数据存储这个功能展开, 这不仅可以提高编程工作的工作效率, 还能提高数据库存储技术的可靠性。
3 数据库存储技术的应用简介
数据库存储技术主要分为在硬件和软件两个方面的运用。在硬件的运用方面, 主要是通过添加高速缓存的方式, 来提高数据存储的效率, 同时达到保护硬件的目的。数据库存储技术主要运用在软件方面, 由于硬件条件的限制数据存储和管理的效率都是有限的, 要想进一步的提高存储效率, 只有在软件上下功夫, 通过数据库存储技术不断的对软件进行优化, 这不仅提高了数据库的存储效率, 改善了性能, 还具有相当高的性价比。
4 结语
总而言之数据库编程和数据库存储技术是息息相关的, 只有数据库编程的水平得到了提高, 才能促进数据库存储技术的快速发展, 才能使计算机的性能得到更大的提升。
参考文献
[1]解启超.数据库存储技术的应用与分析[J].数字技术与应用, 2013 (08) :101-102.
[2]吴敏宁, 高楠.Delphi数据库编程开发[J].电脑知识与技术, 2009 (11) :2882-2883.
网络数据捕获技术的探究 篇8
随着互联网在教育、科技、医疗、军事等各个领域的普及, 为我们提供了各种各样的服务。但是, 随着互联网的快速发展, 我们在享受互联网带来的丰富信息和巨大便利的同时, 也面临着网络安全的严重威胁。
因此, 如何对网络应用进行有效管理, 对网络信息的内容进行有效监控和过滤, 抑制有害信息的传播已经成为净化网络空间、维护社会安定和国家稳定的重要问题。网络监控是保障网络安全的基本措施之一。在网络拓扑中的关键位置对数据报文进行捕获、分析和监控, 可以减少和杜绝由互联网技术所带来的网络内容安全问题。
2 数据捕获技术的研究
2.1 数据捕获的概念和基本原理
计算机将数据在网络上传输时, 为了保证所有网络共享资源的公平性和快速性, 通常把传输数据分割成若干个小块。我们称这样被分割的传输单位为包, 或“数据包”。当前从网络中对数据包进行捕获的方法有以下两种, 其一是用专用硬件进行捕获, 这种方法性能好但是价格昂贵;其二是用通用硬件——普通计算机与网络连接的网络适配器, 即网卡, 采用软件的方法来实现数据包的捕获。软件捕获方法虽然没有专用硬件捕获性能好, 但采用软件捕获的方法却以其实现成本相对较低、可修改、可重用等优点, 得到了认可和广泛的使用。
从网络中捕获数据包是网络安全解决方案的基础。而要想捕获到网络上流经的所有数据包, 就需要先研究网络上数据包的传送方式。局域网的通信一般都采用广播方式, 网络上的每个站点共享信道, 一个站点发出的数据包, 其他站点均能收到, 也就是说, 任一台计算机都可以接收到网络中同一个共享域的所有的数据通讯。
2.2 数据包捕获机制
包捕获技术就是从网络上捕获全部或特定的网络数据包提供给其它系统使用。本文是利用局域网的广播通信方式来完成数据包的捕获工作。
在每张通讯的网卡上都有一个全球唯一的物理地址, 即MAC地址。MAC地址是一个48位的二进制数。在以太网卡中实现对广播地址进行过滤的是数据包过滤器。它的工作原理是:保留通讯目的地址是本身网卡MAC地址的数据包和广播数据包, 丢弃无关的数据包, 避免浪费CPU资源。这是以太网卡在正常情况下的工作方式。因此网络接口应该只对以下两种数据包进行处理:
(1) 本地网络接口的硬件地址和数据包的目标地址相匹配。
(2) 将“广播地址”作为数据包的目标地址, 它代表所有的接口地址, 格式为“FFFFFFFFFFFF”。
在以上两种情况下, 网卡通过CPU产生中断, 操作系统进行中断处理, 将帧中的数据传送给上层系统进行处理。其他情况下操作系统不作处理, 数据帧将被丢弃。
因此要想捕获流经网卡而目标地址不是本机网络接口地址的数据, 必须改变系统正常的工作模式。当网卡的工作状态设为“混杂” (promiscuous) 模式时, 该网卡就具备了“广播地址”, 会接收到经过该网卡的每一个数据包, 并通过硬件中断的方式来提醒CPU进行中断处理, 因此就可以实现捕获流经本机网卡的任意数据包。数据包的捕获工作, 分为以下几个部实现分:
1) 获取网络设备接口表单;
2) 将网卡工作状态设置为“混杂模式”;
3) 判断是不是10MB的以太网;
4) 设置、编译过滤规则;
5) 过滤规则与网卡进行绑定;
6) 捕获数据包以及判断是否要继续循环捕获;
7) 释放网络设备接口表单。
3 访问数据链路层方法
数据链路层处于协议栈的第2层, 基于物理层之上。所有的上层协议都要直接或间接使用数据链路层协议提供的服务。在大多数情况下, 访问数据链路层协议所提供的服务是内核中的一些高层协议实现的。但在某些情况下, 应用程序不经过高层协议, 需要直接访问数据链路层所提供的服务, 捕获技术就是应用程序获取数据链路层的报文。当前几乎所有的操作系统都支持应用程序直接访问数据链路层, 其中, 应用最广泛的报文捕获函数库是基于BPF过滤机制的Libpcap库。下面我们来介绍基于BPF过滤机制的捕获方法和Libpcap分组捕获函数库。
3.1 BSD分组过滤器BPF
BSD分组过滤器BPF (Berkeley Packet Filter) , 即伯克利数据包过滤器, 它是洛仓兹伯克利试验室的研究人员Steven Mc Canne和Van Jacobson研究的一种用于Unix内核的数据包过滤体制, 是实现访问数据链路层服务的接口。BPF不仅能够捕获经过数据链路层的所有分组, 最重要的是它还提供分组过滤功能, 即捕获应用进程想要的分组信息。通过ined命令, 可以配置BPF设备属性, 如装入过滤器, 设备读超时、缓存大小、打开混杂模式等等。设置完成后, 就可以读写BPF设备了。把安装好过滤程序的BPF与网络接口相关连, 就可以实现对输入的分组选择性地接收。BPF还采用了以下三种技术来减少开销:
1) BPF过滤器运行在内核中, 从而减少了从BPF到应用进程之间数据量的拷贝。
2) BPF传递给应用进程的是满足条件分组中的部分数据, 这被称为捕获长度 (capture length) 。因为大部分应用进程需要的是分组头部, 而非分组的全部数据。这同样减少了从内核到用户空间数据量的拷贝。
3) BPF采用双缓存技术 (double buffering) , 将要传送给应用进程的分组数据先存入缓存, 当缓存已填满或者读超时时才将分组数据传送给应用进程。缓存的存在减少了系统调用次数, 即降低了系统开销。在每个应用进程中BPF都设置了两个缓冲区, 当一个缓冲区给应用进程传送数据时, 启用另一个缓冲区来填装数据, 这就是典型的双缓冲技术。
3.2 分组捕获函数库Libpcap
Libpcap (Libaray for Packet Capture) , 即分组捕获函数库, 是由劳伦斯鉻伯克利国家实验室开发的一个在用户级进行实时分组捕获的接口, 其特点是独立于操作系统, 成为开发跨平台的分组捕获和网络监视软件的首选工具。Libpcap for Win32将Libpcap移植到了微软的Windows系列操作系统上, 一个最常用的实例就是Win Pcap。它是一个基于Libpcap模型, 在Win32平台上实现分组捕获和网络分析的体系结构。
4 结束语
网络数据捕获技术是网络安全监控的基础, 本文通过对网络数据捕获技术的研究, 简要介绍了数据捕获的概念、基本原理和捕获机制, 为网络安全解决方案提供了理论依据。
摘要：网络监控是保障网络安全的基本措施之一。在网络拓扑中的关键位置对数据报文进行捕获、分析和监控。本文着重分析了数据捕获的概念和基本原理、数据包捕获机制, 以及捕获数据包的方法。
关键词：网络安全,数据捕获,捕获机制
参考文献
[1]郑挺.高速网络安全监控系统的研究与实现, 国防科学技术大学, 2003。
[2]李爱平, 郝英.网络监控系统中数据包捕获分析模块的实现, 网络安全, 2007。
数据库安全技术教学探究 篇9
一、数据库安全概述
(1) 数据库安全定义。数据库安全是指数据库的任何部分都不允许受到恶意侵害或未经授权的存取或修改。其主要内涵包括三个方面: (1) 保密性。不允许未经授权的用户存取信息。 (2) 完整性。只允许被授权的用户修改数据。 (3) 可用性。不应拒绝已授权的用户对数据进行存取。
(2) 数据库安全威胁。当前对数据库安全的威胁主要分为物理上的威胁和逻辑上的威胁。物理的威胁是如水灾、火灾等造成的硬件故障, 从而导致数据的损坏和丢失等。为了消除物理上的威胁, 通常采用备份和恢复的策略。逻辑上的威胁主要是指对信息的未被授权的存取, 可以分为三类: (1) 信息泄漏, 包括直接和非直接 (通过推理) 地对保护数据的存取; (2) 非法的数据修改, 由操作人员的失误或非法用户的故意修改引起; (3) 拒绝服务, 通过独占系统资源导致其他用户不能访问数据库。
(3) 数据库基本安全架构。数据库系统信息安全性依赖于两个层次:一层是数据库管理系统本身提供的用户名、口令识别、视图、审计等管理措施, 另一层就是靠应用程序设置的控制管理。
二、实现数据库安全的常用方法
数据库的安全是保证信息管理系统的关键, 保证其安全性可以有以下几种方法:用户标志与鉴别、存取控制、审计与跟踪监视、视图机制、数据加密和设置防火墙等方法。
(1) 用户标志与鉴别。用户标志与鉴别是系统提供的最外层安全保护措施。用户标志和鉴定的方法有很多, 而且在一个系统中往往是多种方法并举, 以获得更强的安全性。常用的方法有:通过用户名和口令。但用户名与口令容易被人窃取, 因此, 建议不要使用与用户特征相关的口令 (如生日、电话号码等) , 口令最好定期更换。
(2) 存取控制。数据库安全性所关心的主要是DBMS的存取控制机制。数据库安全最重要的一点就是确保只授权给有资格的用户访问数据库的权限, 只有识别允许的用户才有输入、删除、修改和查询信息的权利。同时令所有未被授权的人员无法接近数据, 这主要通过数据库系统的存取控制机制实现。
(3) 视图机制。进行存取时可以为不同的用户定义不同的视图, 把数据对象限制在一定范围内, 即通过视图机制, 可以把要保密的数据对无权存取的用户隐藏起来, 从而自动地对数据提供一定程度的安全保护。
(4) 审计跟踪技术。为了使DBMS达到一定的安全级别, 还需要在其他方面提供相应的支持, 如审计跟踪技术。其基本过程就是把用户对数据库的所有操作自动记录下来放入审计日志中, DBA可以利用审计跟踪的信息, 重现导致数据库现有状况的一系列事件, 找出非法存取数据的人、时间和内容等, 进行相关的分析和调查。
(5) 防火墙技术。防火墙技术是在被保护网络和Internet之间设置一个隔离保护软件, 从而为一个地理上比较集中的网络提供抵抗外部入侵的能力, 是一种被广泛使用的安全性技术, 它分为应用级和网络防火墙。对于一个运行在与外部公共网络环境相连的数据库系统, 为了维护数据库系统内部的安全, 防止来自外部网络的危害和破坏, 有效地防范黑客窃取数据库的重要信息, 可以在内部网和外部网之间建立防火墙。
三、有关数据库安全技术的探讨
数据库系统的安全保密性至关重要。除了上述技术上的考虑以外, 还应该加强对数据库管理人员的安全意识和相应的培训。另外, 备份和恢复策略也是提高数据库安全的有效手段。在实际应用中, 为了提高其安全性, 往往将以上多种方法并用。同时国家也可以出台有关法律政策严惩蓄意破坏数据库的人, 达到保护数据库的目的。
数据探究 篇10
关键词：Web；网络；组件；数据
中图分类号：TP393.09 文献标识码：A 文章编号：1007-9599 (2012) 10-0000-02
一、前言
Web数据维护最内部的SpringExt是基于Spring，提供扩展组件的能力，它是整个框架的基础。中间层Webx Framework，基于Servlet API，提供基础的服务，例如：初始化Spring、初始化日志、接收请求、错误处理、开发模式等。Webx Framework只和servlet及spring相关，不关心Web网络运行数据维护框架中常见的一些服务。最外部Webx Turbine，基于Webx Framework，实现Web网络运行数据维护框架中常见的一些服务，例如：Action处理、表单处理、模板渲染等。
二、Webx框架设计
Webx框架是一个稳定、强大的Web网络运行数据维护框架，倒不是说它实现了所有的功能，而是它建立在SpringExt的基础上，具有超强的扩展能力。你可以使用全部的Webx，也可以使用部分Webx，当然可以比较容易地用SpringExt做出自己的可扩展组件。Webx Framework是第一个真正涉足WEB技术的层次。前一个层次SpringExt只是提供了一个通用的扩展机制。
（一）数据维护架构设计
应用B/S 结构可以为系统的开发与客户应用带来许多便利：
1.具有分布性特点。用户无需安装特定的客户端软件，只要运行浏览器就可以使用系统功能，进行业务处理。
2.有利于增强系统的可扩展性，通过增加网页即可提供全新的用户体验。
3.良好的系统可维护性。无需更改客户端软件，只需要改变对应的网页，即可实现所有用户的同步更新。
4.层次清晰，降低开发难度，且有利于代码复用。Web网络安全维护架构如图1所示。
（二）数据自动控制模式分析
1.实时阻断和自动恢复。为了增强系统灵活性以及用户信息的安全性，系统需要在对网页文件、ASP.Net 页面的进行实时的监控和扫描，实时阻断对系统资源的非法操作，如非法修改、替换和删除等。此外，如果发现被篡改的文件，应该及时对文件进行自动恢复。
2.示警实时性。发现非法操作，如非授权网页篡改、删除等，需及时示警。
3.触发式自动扫描。为了节省系统资源，减少对合法资源的监控和反应时间，采用触发式扫描方式，利用文件特征码，只对有操作记录的文件进行扫描。
4.远程控制。根据用户需求，系统可以进行远程登录，也可以直接在本地进行操作。
5.增量备份。采用增量备份方式增加备份库内容。
6.认证可靠性。禁止系统强行关闭，开启自行锁定功能，若用户通过密码校验进行相关操作。
7.备份隔离。备份库不应在本地实行，应该异机备份从而确保备份库安全。
8.分布式管理。实施多用户、分布式管理，允许用户设定上传工具。实现多点发布的合法性，在不影响服务器正常运作的前提下进行网页更新。
9.系統日志管理。建立完备的日志管理体系，着重日志中非法记录的查询和管理，从而减轻系统管理员日志管理的工作量。
（三）安全技术架构设计
信息标准运维平台采用多级的安全：提供应用系统的用户访问限制；供应用系统功能限制，根据用户角色安排相应的功能操作；提供应用系统数据浏览限制，根据用户角色呈现相应的数据内容；提供非正常中断的快速恢复机制；提供应用程序异常及错误报告机制。系统安全：保护网络系统的可用性；保护网站服务的连续性；防范内网资源的非法访问及非授权访问；防范恶意攻击与破坏；防范病毒的侵害；实现网络的安全管理。
数据安全：实现用户的角色分类；确保管理员的密码安全性；业务操作员只能修改特定表中的记录；程序员可以增删数据库中自定义的表；管理员具有不受限的权限；建立数据库自动归档日志；数据库的数据及日志文件均有多重备份和恢复手段。
备份与恢复：备份采用定期备份的方式，对数据库文件进行备份。每天系统将自动进行数据库增量备份，每周进行数据库全备份。当数据库遭受到意外情况时，可以利用备份文件进行数据恢复。
出错处理：所有服务器都必须安装不间断电源以防止停电或电压不稳造成的数据丢失的损失。在网络传输方面，可考虑建立一条成本较低的后备网络，以保证当主网络断路时数据的通信。在硬件方面要选择较可靠、稳定的服务器机种，保证系统运行时的可靠性。
三、Web网络数据库端实现
（一）对象映射实现
在数据库访问端，本项目将采用Ibatis来实现。
相对与Hibernate和Apache OJB等“一站式”ORM（对象关系映射）解决方案而言，Ibatis则是一种“半自动化”的ORM实现。在目前主流的ORM之中，Hibernate和Apache OJB，都对数据库结构提供了较为完整的封装，从POJO（Plain Old Java Objects）到数据库表的全套映射机制都被提供给了用户。而使用者们一般只需要定义好POJO到数据库表的映射关系，就能够通过使用Hibernate、OJB提供的基本方法来完成其对持久层操作。使用者有时可能甚至不需要熟练掌握SQL语句，Hibernate/OJB会根据其制定的存储逻辑，自动生成相对应的SQL语句，接着会调用其相对应的JDBC接口执行操作。
而在本项目中，我们遇到了以下情况：
1.系统的部分或全部数据来自现有数据库，处于安全考虑，只对开发团队提供几条Select SQL（或存储过程）以获取所需数据，具体的表结构不予公开；
2.开发规范中要求，所有牵涉到业务逻辑部分的数据库操作，必须在数据库层由存储过程实现；
3.系统数据处理量巨大，性能要求极为苛刻，这往往意味着我们必须通过经过高度优化的SQL语句（或存储过程）才能达到系统性能设计指标。
这时我们再回过头来看，可能一站式的ORM解决方案并不能很好的解决这些问题，此时Ibatis的“半自动化”特点就能得到很好的发挥。这里所谓的“半自动化”，是相对于Hibernate等提供了全面的数据库封装机制的“全自动化”的ORM实现而言，“全自动”的ORM实现了POJO和数据库表之间的映射，以及SQL的自动生成和执行。而ibatis的着力点，则在于POJO与SQL之间的映射关系。也就是说，ibatis并不会为程序员在运行期自动生成SQL执行，具体的SQL需要程序员编写，然后通过映射配置文件，将SQL所需的参数，以及返回的结果字段映射到指定POJO。
（二）CRM机制实现研究
使用ibatis提供的ORM机制，对业务逻辑实现人员而言，面对的是纯粹的Java对象，这一层与通过Hibernate实现ORM而言基本一致，而对于具体的数据操作，Hibernate会自动生成SQL语句，而ibatis則要求开发者编写具体的SQL语句。相对Hibernate等“全自动”ORM机制而言，ibatis以SQL开发的工作量和数据库移植性上的让步，为系统设计提供了更大的自由空间。所以说，ibatis的使用在本项目中的使用很有意义。
参考文献：
[1]陈正权.VPN技术在国税网上申报系统中的应用研究[J].安徽电子信息职业技术学院学报,2008,06
[2]高旸,胡向东.AES算法的DSP实现[J].兵工自动化,2006,01
[3]郭晶,陈谊.基于ECC的安全登录方案设计[J].北京工商大学学报(自然科学版),2006,03
[4]陈鹏,范俊波,褚龙.Web Service在安全电子邮件系统中的应用[J].成都信息工程学院学报,2004,03
数据通信及其应用前景探究 篇11
(一) 数据通信的基本概念。
数据通信是计算机和通信相结合的产物, 是一种通过传输数据为业务的通信系统, 是一种新的通信方式和通讯业务。数据主要是把某种意义的数字、字母、符号进行组合, 利用数据传输技术进行数据信息的传送, 实现两个终端之间数据传输。数据通信可以实现计算机和终端、终端和终端以及计算机和计算机之间进行数据传递。
(二) 数据通信的构成原理。
数据通信主要是通过数据终端进行传输, 数据终端主要包括分组型数据终端和非分组型数据终端。分组型数据终端包括各种专用终端, 即:计算机、用户分组拆装设备、分组交换机、专用电话交换机、局域网设备等等。非分组型数据终端主要包括用户电报终端、个人计算机终端等等。在数据通信中数据电路主要是由数据电路终端设备和数据信道组成, 主要进行信号与信号之间的转换。在计算机系统中主要是通过控制器和数据终端进行连接, 其中中央处理器主要用来处理通过数据终端输入的数据[1]。
二、数据通信的分类
(一) 有线数据通信。
有线数据通信主要包括:数字数据网 (DDN) , 分组交换网 (PSPDN) , 帧中继网三种。数字数据网可以说是数字数据传输网, 主要是利用卫星、数字微波等的数字通道和数字交叉复用。分组交换网又称为X.25网, 它主要是采用转发方式进行, 通过将用户输送的报文分成一定的数据段, 在数据段上形成控制信息, 构成具有网络链接地址的群组, 并在网上传播输送。帧中继网络的主要组成设备是公共帧中继服务网、帧中继交换设备和存储设备[2]。
(二) 无线数据通信。
无线数据通信是在有线数据的基础上不断发展起来的, 通常称之为移动数据通信。有线数据主要是连接固定终端和计算机之间进行通信, 依靠有线传输进行。然而, 无线数据通信主要是依靠无线电波来传送数据信息, 在很大程度上可以实现移动状态下的通信。可以说, 无线数据通信就是计算机与计算机之间相互通信、计算机与个人之间也实现无线通信。这主要是通过与有线数据相互联系, 把有线的数据扩展到移动和便携的互联网用户上。
三、数据通信的应用前景
(一) 有线数据通信的应用。
有线数据通信的数字数据电路的应用范围主要是通过高速数据传输、无线寻呼系统、不同种专用网形成数据信道;建立不同类型的网络连接;组件公用的数据通信网等。数据通信的分组交换网应用主要输入信息通信平台的交换, 开发一些增值数据的业务。
(二) 无线数据通信的应用。
无线数据通信具有很广的业务范围, 在应用前景上也比较广泛, 通常称之为移动数据通信。无线数据通信在业务上主要为专用数据和基本数据, 其中专用数据业务的应用主要是各种机动车辆的卫星定位、个人无线数据通信、远程数据接入等。当然, 无线数据通信在各个领域都具有较强的利用性, 在不同领域的应用, 移动数据通信又分为三种类型, 即:个人应用、固定和移动式的应用。其中固定式的应用主要是通过无线信道接入公用网络实现固定式的应用网络;移动式的应用网络主要是用在移动状态下进行, 这种连接主要依靠移动数据终端进行, 实现在野外施工、交通部门的运输、快递信息的传递, 通过无线数据实现数据传入、快速联络、收集数据等等。
小结
随着网络技术的不断发展, 数据通信将得到越来越广泛的应用, 数据通信网络不断由分散性的数据信息传输不断向综合性的数据网络方向发展, 通过传输数据、图像、语言、视频等等实现在各个领域的综合应用。无论是在工业、农业、以及服务业方面都发挥着重要的作用, 展示出广阔的应用前景来。因此, 当今时代学习、了解并掌握先进技术对于社会和个人的发展尤为重要。
摘要：数据通信是一种新的通信方式, 它是通信技术和计算机技术相结合的产物。数据通信主要分为有线数据通信和无线数据通信, 他们主要是通过传输信道来输送数据, 达到数据终端与计算机像话连接。数据通信技术的应用对社会的发展产生了巨大的影响, 在很大程度上具有很好的发展前景。
关键词：数据通信,应用前景,分类,探究
参考文献
[1]李亚军.浅谈数据通信及其应用前景[J].中小企业管理与科技 (上半月) , 2008 (04) .