数据挖掘背景文摘(精选8篇)
数据挖掘背景文摘 篇1
数据挖掘是通过仔细分析大量数据来揭示有意义的新的关系、趋势和模式的过程.其出现于 20 世纪 80年代后期,是数据库研究中一个很有应用价值 的新领域,是一门交叉性学科 ,融合了人工智能、数据库技术、模式识别、机器学习、统计学和数据可视化等多个领域的理论和技术
数据挖掘产生于应用 ,且应面向于应用
数据挖掘的任务就是发现隐藏在数据中的模式.其可以发现的模式一般分为两大类 :描述型模式和预测型模式.描述型模式是对当前数据中存在的事实做规范描述 ,刻画当前数据的一般特性;预测型模式则是以时间为关键参数,对于时间序列型数据 ,根据其历史和当前的值去预测其未来的值.数据挖掘一词起源于 KDD(Knowledge Discovery in Database , 数据库中的知识发现), 可以追溯到 20 世纪 80 年代末。KDD 这个名词的正式形成是在 1989 年美国底特律市召开的第一届 KDD 国际学术会议上,而第一届知识发现和数据挖掘(Data Mining,DM)国际学术会议是在 1995 年加拿大召开的,会议上将数据库里存放的数据生动地比拟成矿床,从而“数据挖掘”这个名词很快就流传开来[3]。
RIC是由美国教育资源信息中心整理的已出版的和未出版的教育方面文献的一个指南,涵盖数千个教育专题,提供了最完备的教育书刊的书目信息,包括对发表在Resources in Education(RIE)月刊上的非期刊资料与每个月发表在Current Index to Journals in Education(CIJE)上的期刊文章的注释参考,涵盖了从1966年到现在的有关教育方面的几乎所有资料。ERIC收录了1,000多种的期刊和其它资料,共有记录140多万条,包括一个ERIC叙词表,可免费阅读约24万篇全文文章。主题有成人教育、职业教育、教育评估、残疾与天才教育、小学与幼儿教育、高等教育、城市教育、教育管理、信息与技术、语言学与语音学、阅读与交
数据挖掘背景文摘 篇2
1 大数据时代背景下数据挖掘的意义
在信息时代的背景下, 数字化技术和信息化技术在各行各业的应用, 随着互联网技术、信息技术、物联网技术、云计算技术等数字信息技术的高速发展, 结合当前高速发展的移动互联网技术以及数字地球技术的发展与应用, 全世界范围内数据呈爆炸式增长, 据统计2012年世界范围内产生的数据总量约1.86万亿GB。国际互联网数据统计中心根据近十年来来的数据增长速度计算, 2020年全球范围内数据总量预计达到100万亿GB。信息化技术的发展给企业带来的冲击是巨大的, 信息化技术彻底改变了传统的社会信息传输方式, 带来全新的信息传播途径。对于社会来说, 信息化是社会未来发展方向。信息化要求社会重视信息的形成、信息运用, 社会用信息化的工具整合业务、共享信息构建企业“信息化网络体系”才能使企业在当今信息爆炸, 高效率的社会背景下, 是企业高效运转, 才能综合企业的人力、物力、财力和管理能力是企业的各种资源通过信息化网络凝聚在一起, 共同为企业的高效发展和全球化的进程的目标凝聚力量。企业信息化作为国民经济发展的重要组成部分, 同时也是我国社会迈向信息化进程的重要前提。
企业信息化要求企业将大量的信息资源进行整合和电子化处理, 从而提高信息的交互与传输效率, 并希望藉此提高企业的生产经营管理方式和管理效率, 从而达到利用现代信息技术提高企业生产力、提高企业生产效率和利润的根本目的。云计算作为现代信息化产业发展的新技术, 给社会的信息化建设带来了巨大的改变, 降低了社会在信息化建设中的投入, 随着近年来云计算技术的不断成熟, 云计算构建的信息化平台使社会的信息化、生产与办公效率前所未有地提高毫无疑问, 当前的信息时代的发展已经达到了大数据时代的阶段, 大数据时代的来临意味着人们在应用和利用数字信息技术时不得不花费更多的人力、物力、财力去筛选、存储和利用庞大的数据库。例如对于一个银行系统来说, 每天数以万计的银行和ATM终端都发生庞大的交易和数据交换, 这些庞大的数据交换信息构成了庞大的数据, 如何在庞大的数据中筛选、分类和提取有价值的数据是数据挖掘技术在当前大数据时代存在的意义。
2 大数据时代背景下数据挖掘技术的分类应用
数据挖掘技术在当代数据爆炸的现代社会的重要性越来越强, 随着社会信息化程度的不断提升, 数据挖掘技术也逐渐发展成为一门独立的学科, 数据挖掘技术为了满足用户在庞大的数据库中筛选有用的数据的需要, 通过分类技术对数据进行分类挖掘, 是当前大数据时代背景下大数据技术应用最为广泛的手段之一。
通过数据库类型分类技术是数据挖掘技术在大数据时代的应用之一。数据库的自动存储系统在数据存储过程中按照数据的类型、场景进行基础分类, 数据挖掘技术在数据存储的基础分类的基础上进行数据库类型细分, 通过数据模型的导入和数据类型包括关系型、对象型、时间型、空间型的分类进行数据挖掘的分类。其次通过数据知识类型分类技术是数据挖掘的重要分类方法之一。知识类型分类包括知识相关性、知识预测型和样本偏离分析法等知识类型分类方法。数据的抽象性和数据的粒度是数据知识类型分类的层次之一。通过挖掘数据分类中的抽象层和价值层找出数据的模式和规则性。数据的规则性通过不同的方法挖掘, 通过数据概念的描述和数据预测等方法实现大数据精细化分类。
3 大数据时代背景下数据挖掘的应用技术
大数据时代背景下数据挖掘技术的应用技术主要包括神经网络算法、数据遗传、数据决策树、数据粗糙集等算法。数据神经算法通过对庞大的数据库进行分类, 对符合优先条件的有用数据进行分类, 能够在规模庞大的数据中迅速定位和精选有用数据。例如网络构架的基础传输通道光缆发生故障时, 通过神经网络算法能够及时诊断网络中的损坏数据点, 能够迅速定位故障点, 并排除。神经网络算法针对网状结构的数据库利用效率较高。遗传数据挖掘技术是仿生学和遗传学中发展而来的数据算法。遗传数据挖掘技术针对全局数据进行优化计算, 能够较好的兼容性和隐含并行性, 因此在数据挖掘中与其它算法进行联合应用范围较广, 应用较为普遍。决策树算法是在对模型的预测中, 该算法具有很强的优势, 利用该算法对庞大的数据信息进行分类, 从而对有潜在价值的信息进行定位, 这种算法的优势也比较明显, 在利用这种算法对数据进行分类时非常迅速, 同时描述起来也很简洁, 在大规模数据处理时, 这种方法的应用性很强。粗糙集算法是大数据时代背景下数据挖掘技术应用的典范, 粗糙集算法通过数据划分将模糊知识和精确知识进行合并分析, 并最终获得有效数据, 应用范围十分广泛, 应用效果较好。
4 结论
总之, 在大数据时代背景下, 数据挖掘技术是人们面对浩瀚的数据库所必备的技能, 也是提高数据利用的有效方式数据挖掘技术在大数据时代背景下面临着挑战也面临着机遇。
摘要:21世纪是信息化的时代, 也是数据时代, 随着世界范围内数据挖掘技术的不断深入研究, 大数据时代的到来给数据挖掘技术带来了机遇的同时, 也带来了挑战。本文探讨了在大数据时代的背景下, 面对浩瀚的数据库, 如何充分利用数据挖掘技术进行数据挖掘与分析, 以及数据挖掘技术在大数据时代背景下的应用和发展。
关键词:大数据,数据挖掘,数据提取
参考文献
[1]刘华婷, 郭仁祥, 姜浩.关联规则挖掘Apriori算法的研究与改进[J].计算机应用与软件, 2009 (1) :146-149.
[2]丁守哲.基于云计算的建筑设计行业信息系统开发模式与实现技术研究[D].合肥:合肥工业大学, 2012:16-17.
[3]陈明奇, 姜禾, 张娟等.大数据时代的美国信息网络安全新战略分析[J].信息网络安全, 2012, (08) :32-35.
数据挖掘背景文摘 篇3
一、电力企业大数据的概述
1.内涵。舍恩伯格在《大数据时代》中提出智能电网是大数据在电力行业当中的应用,即将用户用电习惯等多方面信息借助网络传递到电网企业的信息中心做出分析与处理,为电网的规划与建设等创造了良好的依据。作为电力行业技术改革的必然产物,电力大数据并不只是简单的技术进步,而是涉及到整个电力系统发展理念、技术路径等各方面的革新,它将核心价值的重新塑造与发展方式的转变作为根本任务。一方面,大数据以个性化商业未来等作为核心价值,促进了电力企业对自身价值的重新审视;另一方面,电力大数据借助优化生产运行方法、引导社会树立节能减排思想、消纳间歇式可再生能源等来实现企业发展方式向节能降耗、绿色发展的转变。
2.特点。电力大数据的特点主要表现为:数据体量大,包括设备状态与资源使用等多方面的海量数据;数据类型多,包括流程记录、测电量等结构化数据、半结构化数据以及音频、文本、视频等非结构化数据;处理速度快,采集、分析及处理数据的效率有了极大的提升;可用性与可信性,大数据的爆发性增长使得数据质量参差不齐,使电力大数据可用、可信性的研究显得尤为关键;价值密度低,受到数据质量差异大的影响,电力大数据下特定时间内有价值的数据的密度相对较低。
二、大数据背景下电力行业的数据应用
(一)规划中的应用
配网规划业务覆盖面的扩大促使了TB级数据的不断累积,这就给电力行业的数据采集、分析、处理等工作提出了更高的要求。在用电预测方面,电力行业可以在海量历史电量数据的基础上结合区域的面积、人口、经济数据等来预测区域内的用电量,并给后续的规划与设计提供可靠的依据;在空间负荷预测方面,可在综合考虑全网小区用地类型、占地面积、年目标占地面积、总负荷值等数据的基础上来预测远景年负荷;在多指标关联分析方面,可以借助GIS、OMS、PMS等各个系统来对所需数据时间切片进行抓取而后实现综合分析与利用。
(二)检修中的应用
目前电力行业的电力设备大多都是借助各种类型的传感器来定期、实时捕获各类状态信息,而作为一种具有特殊性的传感器,视频成为了设备捕获信息时最为重要的工具,并且在智能分析技术不断完善的背景下逐渐能够对变电站的各表计、开关、读数等做出准确及时的识别,相比较其他类传感器具有十分显著的优势,而大数据技术的应用可以对其做出进一步的完善。首先,在状态分析方面,视频数据智能识别技术对设备状态等各项参数进行识别,并结合设备运行、检测等方面的数据建立起综合性的分析模型来对设备整体的健康状况进行分析;其次,在趋势分析方面,大数据技术结合历史数据趋势分析的算法建立起能够对设备状态做出准确反映的模型来分析故障趋势、设备风险;再次,在实时报警方面,大数据下的设备自动巡检、安防技术能够对表计与外观的变化、非法的入侵等隐患做出及时的辨别并发出警报,给设备的正常运行提供了良好的保障;最后,在检修与技改等方面,大数据技术在分析设备评价结果后对设备检修的策略做出优化,给检修工作提供了合理的决策支持。
(三)运行中的应用
作为电力行业中的一个必不可少的业务模块,设备状态的管理在校验各个计划性应用的同时能够对其提出进一步完善的合理建议,从而实现电网的安全、可靠运行。电力行业调度业务规范的日益健全要求设备状态模块做出必要的提升。大数据在设备状态管理方面的应用包括:历史时刻的查询,大数据技术在实现设备数据库存海量化的基础上为特定时刻下设备信息的查询提供了便利;数据质量的分析,在分析设备信息并得出状态的断面后对各设备的状态做出互检与对比以促使对其他系统、功能的检查;未来时刻断面的预测,大数据背景下能够基于任何时刻的断面来对设备信息做出自动的采集并做好智能编排,给特定时刻下电网设备断面情况的预测带来了方便。
(四)在监控中心的应用
一方面,大数据技术为电网运监中心构建了可适应日常监控、管理要求的在线监测、分析、计算的工作台,确保了电力行业在对在线监测的实时分析中及时发现问题并发出预警。另一方面,在大数据背景下促使了多业务模型的构建与各种算法的创新,这就推动了基于大数据的模型库、算法库的构建,通过聚类、模式识别等技术确保了多个运监业务之间的关联。除此之外,大数据技术在实时监控分析异构数据的基础上促进了数据质量与可用率的提升,形成了有效的数据质量诊断系统。
三、总结
综上所述,大数据时代的到来给当下的电力行业带来了新的机遇与挑战,电力行业在应用与发展大数据技术的过程中获取了更高的价值,本文在分析电力大数据内涵与特点的基础上结合电力行业的实际情况,探究了大数据在电力行业规划、检修、运行等环节以及监控中心当中的应用,得出了大数据技术的应用能够对电力企业现有平台对数据的储存、分析、计算、管理以及控制等多方面能够的提高都起到了有效的促进作用,并推动了电力行业生产、经营、管理质量与效率的全面提升。
大数据背景下的智慧城市建设 篇4
作为IT产业的最新演进成果,大数据已成为一系列可能改变未来生活和企业发展技术的基石,成为影响城市、企业管理决策的关键。而随着中国城市化建设的加快,基于大数据应用为基础的智慧城市建设将决定着未来城市化建设的质量。下面,我就从五个方面,分析大数据在商业营销和城市管理中的作用,为武汉更好地建设智慧城市,提供参考。
大数据是12项可能改变全球技术的基石
前不久,麦肯锡发布了最新一份研究报告,公布了决定未来全球经济的12项颠覆性技术,估算到2025年,每一项技术对全球经济的价值贡献均超过1万亿美元,包括:
1、移动互联网,2、知识工作自动化,3、物联网,4、云计算,5、先进机器人,6、自动或半自动导航与驾驶的交通工具(如谷歌互联网汽车),7、新一代基因组,8、储能技术,9、3D打印,10、更强韧更有传导性的先进材料,11、先进油气勘探开采,12、可再生能源——太阳能与风能。这12项技术,是当前提出的“第三次工业革命”的一系列技术核心。
以3D打印技术为例,今年初,国外最著名的脱衣舞女郎郎蒂塔·万提斯秀出全球第一件3D打印镂空礼服后,在最近举办的巴黎时装博览会上,有模特也身着由3D打印出来的服装走秀。更深入了解,3D技术不仅用于服装,通过3D打印制造手枪已经不是新闻,而且将直接助推军事新变革。3D打印已开始构成一个新的产业,在全球,3D打印技术已产生了20亿美金的产业规模。
有人会问,最近极为热门的大数据呢?麦肯锡在报告中明确表示,大数据是上述12项技术中多项技术的基石。在麦肯锡看来,大数据并不仅仅是数据本身,而是数据与这些颠覆性技术所采用的工具平台和分析系统统一在一起之后,方才成为大数据的。
大数据既来源于互联网、实时机器等,也来自于人。而大数据和非大数据的差别,具体体现为结构上的细节差异,比如一个心脏病患者去医院看病,医生写在病例本上的诊断结果是小数据,而病历本上的心脏病的实时监控记录则是大数据——前者仅是数据库中的一条记录,而监控记录可能需要的存储空间非常大,并包含复杂的细节。总之,大数据更关注人类的行为。
令许多人不解的是,为何直到现在大数据才在全球范围内引起广泛关注?其实并非过去没有大数据,而是当前社会更为关注人类的社交数据、行为数据,社会计算就将大数据推到了科技前沿,通过汇总某个人的网上浏览记录和移动互联网GPS跟踪等各类信息,然后分析出他的一些最基本的活动特征,就能够衡量和监控其行为变化。美国的棱镜计划,简单来说就是这个原理——通过分析一个人的活动特征,预测他的许多行为,包括购物、约会、投票等。运用最先进的大数据技术,美国FBI通过搜集诸如连续一个月只吃方便面、学过驾照、不离开住所等此类的信息,可以做到分析某个人是否有恐怖分子倾向。大数据价值的实现需要满足其开放、实时等需求
探讨大数据的价值,离不开对IT产业规律的理解,毕竟大数据是IT产业的最新演进结果之一。
截至目前,IT产业有四条经验规律得到业界公认。其一是摩尔定律,该定律归纳了信息技术进步的速度。其二是吉尔德定律,该定律指出每6个月带宽传输速度将翻一倍,而随着现在光纤到户,宽带速度也反映出信息传递数据的增长。其三是梅特卡夫法则,根据该法则,网络价值等于网络结点数的平方,这体现在网络经济中即为大网吃小网,大网的价值远高于小网。其四是新摩尔定律,认为每18个月新增的数据量等于过去信息量的总和。
上述规律描述了IT主宰的世界的变化趋势。其实最重要的不仅仅是规律的变化,它们能够说明为什么现在关注大数据,因为大数据改变了竞争的规则。美国有学者著书讲述信息的流转与重组,根据他的观点,两个国家之间的竞争,并非由科技创新决定,因为科技创新很容易被山寨,比如中国的山寨能力就让西方很无奈。在该学者看来,未来在大数据基础上决策能力的提高方才是一个国家竞争力的所在。大数据改变了未来的游戏规则、竞争规则,因为大数据导致数据信息和决策的关系发生了变化——拥有大数据的一方,可以遴选出其所需要的信息。而信息对称程度的增加,使得其决策越来越准确,并给管理带来实际价值,这就是数据信息决策与价值之间的链条关系。而大数据对社会价值、企业价值、竞争规则带来的一系列改变,也是人们之所以重视它的原因。决策才能产生价值,决策的精确性来源于信息对称程度,信息对称程度取决于数据的挖掘和梳理。而大数据的特征之一,就是要求数据的完整性和综合性,但当前许多信息如微博、电话等都以碎片化呈现,若要将这些碎片还原为完整情景,就需要满足开放性和公共性。当前政府部门掌握着最大块儿的重要数据,如果政府手中的数据不开放,大数据产业也很难发育起来。据了解,美国政府已经对此立法表态,并开通了一个名为data.gov的网站,该网站专门用来发布和分享美国政府数据,任何美国公民或组织都可以使用。
此外,大数据还具有动态性和实时性的特征。在使用中,即使人们不了解事物的内部规律,但通过实时反应就能实现大数据的价值。比如借助武汉市民之家门口的探测器,通过云计算的实时性分析判断进入人员的安全性,而不是事后分析。因此,大数据价值的实现也必须要满足其实时性和动态性的内在需求。
城市化建设需要能够激发创新的软硬件投入
十八大报告中明确提出,中国未来要实现新四化,即工业化、信息化、城镇化和农业现代化。这其中,城市化已成为当前中国的主旋律。一方面由于大城市能最大程度提高效率——无论是生产效率、生活效率还是基础设施效率,大城市都比中小城市要高,这是城市化的基本原因。另一方面则是城市化可以推动繁荣并持续创造财富,造就大量中产阶级,进而带动整个社会财富的增长。虽然城市化的意义不容置疑,但是无法忽视的是,城市化带来的发展往往是不平衡的。美国一家著名学院在对世界上多个城市进行数据分析后发现,城市人口的扩张会产生超限性扩张。从城市化的正向促进来看,假设城市化同步增加为1,城市化带来的就业将达到1.34,新专利增长率将达到1.27,GDP增长达1.13到1.26。此外,由于城市化的投资比农村要高,产生的信息会增多,将使得基础设施的成本降低,其中,加油站降为0.77,道路为0.83,电网为0.87,这些由于城市化带来的基础设施效率提升、基础设施用处增大,可以为城市带来更多的集约效应。同时,城市化带来的负面作用也很明显,如果不是城市化,艾滋病发病率和犯罪率将显著降低。据了解,现在艾滋病发病率为1.23,远高于自然发病率。当前城市犯罪率为1.16,比平均值高0.16,因为大城市更容易产生犯罪。
那么,城市化对社会带来的影响到底是如何产生的呢?来自麻省理工学院媒体实验室的中国学者潘威,提出了社会枢纽密度概念,对这一问题给出了值得参考的解释。谈及为何城市带来的效益要比农村高时,潘威认为,城市中人与人之间面对面的居住和交往、居住与工作的距离较短、共同语互动的便利以及信息和思想的经常性交流等各因素合力,最终会产生创新与创造的内力,并导致劳动生产率提升。这也是许多人提倡城市化的重要原因和经济动力
虽然如此,但城市带来的创新并非自然而然就能产生的,这其间需要一定的社会资本投入和人际关系拓展,需要软件和硬件的持续投入。最重要的,需要城市中拥有一定的公共空间,而公共空间的存在越多,人们之间交流机会就越多,创新来源也就更为广泛。比如中关村的车库咖啡,一群创业者聚集于此,经常一个桌子、两三个人,一个项目就开始了,这也吸引了一些风投机构的注意,这就是空间聚合带来的直接效应。类似于此类的城市公共空间,如城际交通、绿色交通、有利于人际交流的咖啡馆,或者围绕年轻人(如上海的创客)的创业创意设施、社会基础服务设施等越多,那么这个城市的创意也一定是发达的。综合来看,任何一个城市的公共空间的设计都要有利于交流碰撞以及信任关系的产生,未来逛街甚至也将是一个社交过程。除了公共硬件空间以外,城市的未来发展还需要进行智慧城市建设,包括系列软件的支撑。这其中,互联网和通信技术,尤其是社交与移动技术的发展将不断强化人际间的互动,而在互动带来的大数据基础上,通过挖掘人们所需的有效数据信息,形成更好的决策。
目前的智慧城市需依赖于一个巨大的传感器网络,某一领域的数据局限于该领域时,还无法发现它的价值;但当这些数据综合起来以后,就会产生溢出效应,并形成基于大数据发展的城市发展模式。因此,未来城市的公共空间规划,除了依托硬件设施,也要借助由大数据塑造的软件空间,或者说是智慧城市空间,这样人们的创意交流和创新效率才能更高。这也是未来基于大数据形成的城市模式,可能会在武汉此类创新能力较强地方,成为最终驱动动力的原因所在。
大数据能够实现商业精准营销 归根结底,大数据究竟给整个社会带来了什么?我认为,最重要的莫过于其商业价值和在城市管理中的价值。
现在的互联网承载着极为复杂的信息,包括大众情绪、消费者喜好、市场潮流等。基于互联网的大数据,对于商家来说主要是三方面的应用:一是圈定用户;二是用户关联性分析,包括对用户年龄层次的分析;三是个性化定制,即大数据可根据客户需求进行产品或服务的量身定做。
目前大数据在各行各业中都有着普遍的应用,如金融服务、医疗保健、零售、能源、制造业等,其中最经典的案例莫过于大数据带来的精准营销。
有这么一个典型案例,美国一名男子闯入他家附近的Target店铺(美国一家零售连锁超市)向店铺经理大吼:“你们竟然给我17岁的女儿发婴儿尿片和童车的优惠券,她才17岁啊!”店铺经理不知道发生了什么,立刻向来者道歉,表明那肯定是个误会。然而,经理并不知道,Target公司正在运行一套大数据系统。一个月后,这个愤怒的父亲打来电话道歉,因为Target发来的婴儿用品促销广告并不是误发,而是他的女儿的确怀孕了。在这个案例中,我们看到,数据的力量不仅让商家提升了自己的业绩,还让客户为之心甘情愿买单。据了解,Target创建了一套女性购买行为在怀孕期间产生变化的模型。他们注意到,妇女会在怀孕大概第三个月的时候买很多无香乳液。几个月后,她们会买一些营养品,比如镁、钙、锌。公司最终找出了大概20多种关联物,这些关联物可以给顾客进行“怀孕趋势”评分。不仅如此,如果用户从他们的店铺中购买了婴儿用品,Target在接下来的几年中会根据婴儿的生长周期情况定期给这些顾客推送相关产品,使这些客户形成长期的忠诚度。
不仅是零售业,在美国猎头行业中,由于竞争十分激烈,恩科尔公司就借助大数据预测谁会跳槽,甚至某公司员工还没有确定跳槽的时候,就给他寄职位说明书。恩科尔是怎么发现谁有跳槽的想法呢?该公司申请了一套专利算法,能够判断用户的跳槽倾向,比如某公司股票下跌,高层大换血,或刚刚被另外一个公司收购,某员工在微博上发了两句牢骚,恩科尔就把这些因素全部记录下来,通过计算分析,然后预测该员工的跳槽倾向。
此外,在美国有一个社会情绪预测,通过大数据可以预测股价的涨跌,人们对该股的看法是负面时,预测股票即将下跌,而随着情感转向正面就预测股价可能上涨。而在奥巴马的总统竞选中,一个政治学教授通过微博和博客上网民言论和动态分析,成功预测了总统选举结果,包括微博上有哪些人支持奥巴马,支持率多少,他都可以预测,而且预测差距很接近。奥巴马的竞选团队也有大数据的挖掘人才,如在东海岸募捐时,通过分析当地大量数据,安排一个本地区特别喜欢奥巴马的女明星跟奥巴马吃饭,结果她的很多粉丝也跟着投了奥巴马一票。
可以说,大数据在商业应用上的精准营销,是目前大数据应用最重要的领域。
大数据在公共管理中的作用日益突出
除了商业营销,大数据在公共管理中也发挥着越来越重要的作用。比如人口聚集给城市带来了交通、医疗、建筑等各方面的压力,需要城市管理者能够更合理地进行资源布局和调配,而智慧城市正是城市治理转型的最优解决方案,如智慧安防、智慧交通、智慧医疗、智慧城管等,都是以大数据为基础的的智慧城市应用领域。
公共场所管理中的大数据应用经典案例有很多,比如迪斯尼对其游客排长队的调控,就值得国内公共活动管理部门借鉴。在迪斯尼,管理方会根据排队的历史记录,以及游客在网上即时发布的排队心情,及时调度队伍的长短,平均为每个游客节省了4个小时。
医疗管理对任何一个国家都是巨大负担和责任,如何通过大数据来降低医疗成本,同时又提高医疗质量,各国政府都在积极探索。根据已有的设想,进入大数据时代后,智能手机将24小时如影随形,变成无所不在的体检工具,监控机主的各项指标。一旦机主身体出现异常,就可以立刻采取措施,将机主既往的病史、心电图、血压等各项数据发送到医生的数据库中。而机主日常的血压脉搏等各类信息也都和云计算连接到一块儿,只要有小病就能马上发现。目前,在流行病的控制上,美国宾新法尼亚州政府,已能够通过分析全州感冒药的销量并对比历史数据,确定大面积流感发生规律;通过分析儿童的就诊率并对比历史数据,确定大面积流感发生可能性;通过对微博等数据的监控,对流感发生到什么层面也可以有一个准确实时的数据。在城市的安防管理方面,识别什么样的建筑物容易发生火灾,对政府来说非常重要。纽约市政府通过对非法建筑业使用大数据技术搜集信息,包括对非法建设的建筑物等进行统计分析发现,原来只能容纳6个人后来却住入60个人的建筑就比较容易火灾,且这些建筑物逃生口往往被堵塞,危害更大。纽约市甚至还对1938年之前的建筑是否做过抵押、被投诉等进行统计,根据分析一系列过往记录,纽约房管部门大体上可以判断该建筑物是否有火灾危险,而现在纽约房管局已通过大数据识别了70%有危险的建筑物。这样,就可以根据危险建筑物的分布,有针对性地安排消防力量。
此外,美国还开拓了基于大数据的保险服务。据了解,美国的一个创业团队,通过把美国100万个地点的土地未来两年的天气行情进行模拟,测算出极端天气的发生概率以及未来粮食的价格预测,为这些地区的农作物进行保险。借助大数据的关联分析,可以制定出最合理的保险价格,最终在保险行业形成极强的竞争力。
当前,包括火灾预防、保险、流行病控制、智慧医疗、公共场所管理等,由大数据成功运营的典范已被这些行业广泛借鉴,而在不久的将来,在智慧城市建设中,基于大数据的城市管理毫无疑问将是一个常态。
数据挖掘背景文摘 篇5
0引言
21世纪是“创新创业教育”的时代,被誉为“第三本教育护照”,是伴随知识经济时代到来的一种全新教育思潮。与传统教育相比,更注重大学生的创新创业意识和创新能力的培养,凸显经济社会发展对大学生的知识结构及能力结构的现实要求[1]。“创新创业教育”20世纪萌芽于美国并得到健全和发展,其不仅关注创新思维和创新能力的培养,注重创业知识和实践能力的生成,同样关注创新创业品格的养成。在日本,以东京大学为首的学校都已经将创业教育作为高等教育的重要内容,开设了多样化的教学方式;牛津大学、剑桥大学等都开始了创新创业课程的实验[2]。我国创新创业教育尚处于“创业期”。5月,教育部下发《关于大力推进高等学校创新创业教育和大学生自主创业工作的意见》,要求“高等学校创新创业教育要面向全体学生,融入人才培养全过程”[3]。5月13日,国务院办公厅印发了《关于深化高等学校创新创业教育改革的实施意见》,全面部署深化高校创新创业教育改革工作,使创新创业教育成为经济增长的新引擎之一[4]。“创新源于实践,始于问题”。1969年,美国神经病学教授Barrows在加拿大的麦克马斯特大学首创基于问题的PBL(Problem-BasedLearning)模式,该模式是在教学过程中以问题为中心,以问题解决为主线,由教师进行问题情境的创设及问题学习的引导。因其倡导发现式学习,培养学习者的独立思维和解决实际复杂问题能力的特点,正好与创新创业教育要求的创新意识和创新能力吻合,因此可以将这种教育模式引入到目前的创新创业教育中,形成创新创业教育传统模式的改革和创新[5]。本文以创新教育改革为背景,以数据库课程为基础,结合课程组多年教学一线工作经验,探讨一种基于PBL的项目式教学模式。
1数据库课程
数据库技术课程是一门计算机专业基础课,主要由数据库基本原理、数据库设计和数据库应用技术三个部分组成。而现在的知识越来越显现出跨学科、综合化的趋势,数据库技术课程正是一门综合性很强的课程,它除了涉及数据库原理及基本技术和操作外,还涉及软件工程、程序设计、算法、管理信息系统等方面的理论和技术。想达到好的教学效果,势必在教学内容和组织方式上有所革新,从内容的选择、组织和呈现方式上寻找新的方法,培养学生的创新思维和创新能力,提高项目实践能力,以胜任企业对应用型人才的需求。同时,信息技术类课程必须具有时代特征,使新知识、新概念的形成建立在学生现实生活的基础上,内容不能与现实相脱节,需反映学生的知识需求。除此之外,课程讲授还应处理好理论抽象性与现实复杂性的关系,既要系统阐述该课程的基本理论及基础知识,又要积极探讨数据库技术实践问题,保持教学内容理论与实践的紧密结合。
2基于PBL的数据库课程项目式教学模式
PBL教学模式通常包括问题设计、组建学习小组、确定学习计划与目标、学生自主探究学习、小组交流汇报、评价与反思六个环节。其中问题设计及项目选择至关重要,其好坏直接影响着学生的学习兴趣及主动性,通常,设计的问题要能够引出课程相关概念和原理,且难度适中,选择的项目要具有实用价值,功能完善,且利于学生理解。
2.1PBL模式问题的设计
针对问题,是PBL学习的起点,也是实施PBL教学的`关键。问题设计的好坏直接影响PBL教学的开展、教师的引导、学生的兴趣、教学目的[6]。因此设计问题时要把握好几个原则:
①创设的问题要具有现实意义,考虑多学科交叉,注重理论与实践的结合,注重学生创新性思维的激发;
②问题设计要从教学、考试大纲出发,围绕教学目标,突出教学重点和难点;
③问题要为实践项目的设计和实施作引导,将问题按项目实施规模划分为不同级别,给予学生不同时长的解决期;
④问题设计应具有系统性、完整性和可调控性;
⑤问题解决的途径应具有不确定性和非惟一性,问题答案则相对标准性。
数据库技术与应用课程的实质围绕如何开发数据库应用系统,教学内容大体分为数据库原理、数据库设计、数据库应用系统开发、数据库运行评估四个阶段。那么,第一阶段问题主要是针对所选信息管理系统的市场需求进行分析;第二阶段问题是如何设计数据库。学生使用多种调查和分析手段,对需求进行分析;第三阶段问题为如何实现数据库的开发。根据需求分析和设计方案,学生以小组为团队合作学习,开发相应数据库应用系统;第四阶段问题为如何评估所开发的数据库应用系统。基于第一阶段对管理系统的需求分析,以小组互评方式对开发的数据库应用系统进行评估。
2.2PBL问题与项目的结合及实施
问题的分析与解决,要通过项目的实现过程,因此实践项目的选取和实施很重要,既要服务于问题、完整地解决一个实际问题,达到问题设计的总体目标,具有整体连续性、系统性;又要符合当堂课的教学目标和任务强度,具有针对性、层次性和有序性。项目的内容既要融合需掌握的知识点,又要真实、生动、富有启发性,这样才能在教学过程中充分激发学生积极性和创新性[7]。在数据库技术与应用课程教学中,可选择与学生专业相关或比较熟悉的领域,如课程组所任教的物流管理、旅游与酒店管理专业,教学项目会选择以学生专业为背景的物流信息管理系统、酒店信息管理系统,将数据库原理,数据库需求分析、概念设计、逻辑设计、物理设计,数据库应用系统设计、编码实现、测试和运行等过程,按照软件生命周期分阶段进行编排。教师事先设计好这些系统,在上课前向学生展示,让学生在整体上对数据库系统的功能、特点,要学习和完成的任务有一个直观的了解。然后按照每堂课的教学目标和任务强度,将整个项目进行阶段性模块分割,形成学期教学周历,在某种意义上也是项目实施进度计划将班级学生分成5-6人组的项目团队,并委以虚拟角色。各项目小组在组长的带领下进行讨论,选择自己感兴趣或实用性强的领域作为同步实践项目,并按照教学项目范例制订项目实施进度计划。实施项目教学时,按照教学周历和项目进度完成每一个模块或阶段学习任务,而每一阶段又按照PBL模式问题提出、分析、解决和迁移四个步骤。即针对教学项目提出问题,分析问题并解决问题,然后要求各小组针对自选项目进行问题迁移,并分析和解决问题。当然,教师需按每阶段的难易规模给予小组一节课或一星期,甚至一个月的时间讨论分析,最终解决问题。完成整个项目的学习,学生能以团队方式、以某领域管理者和数据库开发者的多重角色亲身经历项目的实现过程,与单纯的数据库设计相比,背景化的问题使情境更为完善,学生更能把握信息技术与行业需求、技术与经济效益的关系[8]。项目中一般包含了解决问题的方法,但这些方法并非独一无二。数据库课程中,实现方法的多样性也决定了答案的多样性。教师在有限的课时内不可能面面俱到,这就需要教师注重启发学生课后深入调查,或分阶段进行小组展示交流,以用户和开发者的不同角度互评反思,总结创新。
3结束语
数据挖掘背景文摘 篇6
大数据技术是近年来快速兴起并广泛应用于生产和销售等各个领域的一项数据分析和应用技术。随着时代的发展和进步,其已经融入了社会生活的方方面面,给各行各业带来颠覆式革命,正在深刻地改变着我们的工作和生活方式。如何顺应时代要求,创新工作视角,主动适应大数据时代的新特点、新要求和新挑战,积极谋求与互联网、云计算、大数据的广泛对接和深度融合,最大限度地方便纳税人,既减轻纳税人负担,又提高纳税人税法遵从度,这是大数据时代对税务稽查工作的重大意义所在。
在大数据时代背景下进行信息化、科技化税务稽查的建立,其关键的是能否对大数据进行处理、分析与整合。在未来的地税稽查管理工作中,我们需要利用各种大数据分析技术和工具,挖掘和处理涉税大数据,在此基础上预测和分析最佳的税收稽查方案,以支持税务稽查部门做出更加合理的决策,提高税收稽查质效,加快服务创新步伐,维护税收秩序,遏制偷税漏税,发挥税收杠杆作用,调节经济,促进公平竞争,防止贫富差距的扩大等方面起着积极有效的作用。
一、我国税收稽查的现状和存在的主要问题:
(一)稽查法规不健全,执法环境不佳
在现行的税法体系中,对税收稽查没有做出明确的规定,缺乏进行明确具体的阐述,属于笼统的一般性规定。由于法律在税务稽查中的缺位,导致税务机关的稽查行为缺乏基本详细的法律依据,地税和国税部门依据自身的财税目标,按其工作程序,一般采用税收检查通告方式,定期或不定期的对纳税人进行税收抽样检查,由于法规的不明确性,公众对税务稽查的合法性与正当性提出了广泛的质疑。目前在全国较多地区,由于税务稽查立法不到位.税收执法的随意性较强,良好纳税环境没有形成。税务稽查机构与相关的税务执法机构协调性差,税务机关部门之间权责定位也不太明确。在实践中,税务稽查机构担心行政官司,对于查处的企业或个人偷漏税行为,一般采取补征税款和处以一定比例的罚款办法,税务机关对构成立案标准的涉税犯罪案件较少移交公安机关处理,对于偷逃税耀的罚多判少,缺乏对犯罪分子的震慑力。
(二)对整个税务稽查活动缺乏有效监管
很多地区在税务稽查工作中,没有真正按照《税务稽查规程》的要求分工协作,缺乏一套完善的税务稽查质量考核体系,税务执法活动缺乏有效地监管,相互牵制机制,稽查行为不规范,稽查考核制度不健全,稽查权力缺乏必要的监督约束。
税务稽查中的四个环节——选案、稽查、审理、执行,构成了整个税务稽查工作监管的大框架。在工作程序上.税务系统对稽查工作做出了原则性的规定。在现有税务稽查考核监督体系中,虽然形成了稽查案件的“多头检查”、“重复检查”监督体系,但是往往流于形式,在监督考核过程中,将稽查处罚率,孙查 税款入库率等指标,作为重点考核监督结果,而对于税务稽查实施过程中的具体选案、审理、执行等操作环节,没有明确的量化考核指标。
税务稽查部门人员缺乏对税务稽查执法风险控制的重要性的认识,缺乏全面的风险管理意识,识别风险的能力不强,造成稽查执法中的风险产生。健全的内部审查制度没有真正意义上建立,现有的内部审计部门和人员只是针对审理环节的内部审计,是以管理考核的形式来体现。由于内部审计准备不足,导致内部控制手段严重缺乏,例如在选案稽查环节上,对于同样的一个稽查案件,不同的稽查人员可能得到不同的稽查结果,缺乏统一的客观标准。
(三)稽查选案缺乏科学性标准
稽查案源主要有三个构成:一是举报;二是在协查过程中产生的案源;三是人工选案。对于举报的案源确定原则是实名举报必查。不管举报的事实是否属实,就必须调查。由于举报人出于私利或专业刿断不准,其中较多的举报案件,通过调查发现与事实不符,浪费了大量人力和物力.人工选案工作由于事先对企业的监控不力,对纳税人的经营情况和财务状况不能全面真实的把握,仅凭企业会计报表的表面数据和工作经验进行选案,就很难抓住税务稽查工作重点。选案的针对性和准确性不高,再加上受到“人情”关系和“同事”潜规则影响,往往对于有背景、有关系的大户免于检查,造成税负不公平。
二、地税稽查风险管理应对大数据的对策及建议
(一)把握税收大数据,以创新思维引领地税稽查风险管理
从税收电子化到信息化再到大数据时代,为适应大数据时代的发展,应创新思维,以税收信息化建设为依托,引领税收风险管理在解放思想、实事求是的基础上,勇于突破传统观念和模式的束缚,打破利益因素的羁绊,注重专业化与信息化管理手段的有机结合。要通过信息技术实现先进管理理念的创新,要与征管改革、业务重组、机构建设相配套,全面提升税收风险管理水平。
(二)提升大数据获取机制,为地税稽查风险管理奠定基础
当前大数据信息平台快速建设,政府各监管部门和网络运营商、金融等单位正逐步实现信息互通、数据互联、资源共享,在此背景下,税务稽查如能与时俱进,增加大数据应用,将纳税人的各类经济数据与其申报纳税数据对比,选案质量将大幅提高。第三方数据获取是实施以税收风险管理为导向的税源专业化管理非常重要的环节,直接决定着税收风险管理的发展深度和未来。首先应从国家层面建立涉税信息交换组织体系,为构建税务、工商、统计、银行、等部门信息交换的长效机制提供可靠的法律支撑。其次,应引入数据爬虫技术、搜索引擎、图形识别技术等,替换传统数据采集方法,在海量的数据里获取真实、有效的数据。
(三)依托全新科技手段,规范涉税数据共享平台 大数据时代,税收征管模式应由传统的“管户制”向“管数制”转变,要从根本上构建起适应现代化税收地税稽查要求的“管数制”,为推进风险管理提供优质的数据源。
一是拓展涉税信息交换平台。平台是数据源采集、分析、利用的载体,只有通过不断开发优化才能发挥其作用。在部门计算机联网的诸多因素影响下,税务机关要积极争取政府协助,充分利用政府网站,有效搭建涉税信息交换共享平台;各职能部门要及时将所有非涉密涉税信息按其内容和性质进行整理、分类后予以发布,实现网页信息批量下载功能,并能与大多数财务软件相兼容,完成从多渠道自动化收集信息的目标,实现对外部动态信息的及时采集,全面实现电子化涉税信息数据传输。在条件逐步成熟后制定相关管理办法,通过财政资金支持,推动部门间计算机联网,提高信息共享效率。同时,税务部门要主动作为,积极整合研发涉税信息终端接收信息系统,为信息交换提供智能化、规范化的交换平台,提高处理能力和工作效率。
二是健全涉税数据标准。从根本上解决现有信息数据资源存在的问题和缺陷,具体包括以下四个目标:1.建立信息化标准制定协调机制;2.制定信息数据规范;3.建立数据质量审核标准;4.建立数据发布标准。
(四)加快税务信息化建设,以大数据技术推动智能化管理
大数据技术的应用为税务机关建立可预测、可保护的税务模式提供了良好的支撑,可以将风险管理从事后变为事前,把对过去的分析变为对未来的预测。依托现有的“云计算”中心,并建立集中管理的“大数据分析中心”,走图形数据库技术、可视化数据技术应用之路。通过建立专业的大数据分析中心,集中掌握和处理庞大的数据信息,对数据特别是外部数据进行扎口管理,有效地清洗整合;通过大数据的存储和处理技术、数据仓库技术实现实时数据处理、实时决策支持;通过云计算快速分析出数据的价值,让价值产生实际作用;通过大数据分析应用,实现行政裁量权向信息系统的分解、组织机构扁平化以后的专业能力支撑、税务稽查管理制度结构优化的智能推演、纳税遵从行为模式的掌握、管理绩效和过程监督的及时监控和反馈。
(五)建立岗责匹配的绩效考核制度
数据挖掘背景文摘 篇7
随着大数据时代的到来,数据成为一种资产,其安全性也越发重要。数据库安全建设已经从安全数据库管理系统、安全的数据库服务向海量信息处理安全过渡和发展。在保障数据库安全上,应体现预防与控制为主,结合数据库技术发展的方向和趋势,以技术为根本手段、以组织为保证、以管理为灵魂,在数据库的建、管、用全生命周期中加强数据库的安全保障手段,形成完善的数据库安全保障体系。
1 完善外部环境,巩固安全支撑
网络是大数据时代数据库应用的外部环境与基础,数据存储一般在云端,而数据库的安全首先依赖于有一个安全的网络环境。在操作系统层上,操作系统漏洞和维护管理是威胁系统安全的两个最大的因素,因此,在数据库安全保障上,首先要加强网络环境和操作系统的安全保障。
(1)合理分配网络资源。合理分配网络资源是保障数据库服务器所在网络安全高效运行的前提。通过网络管理程序对网络上的资源进行集中管理、集中调度和分配,确保一定范围内的网络及其网络设备能够稳定、可靠、高效的运行,使所有网络资源处于良好的运行状态,保障数据库服务器所在网络的安全、高效运行。
(2)构筑防火墙。对数据库系统的入侵最先是从网络系统开始的,防火墙技术是保护系统安全的第一道屏障。防火墙是数据库内部与外部网络之间的安全墙,它可拦截来自外部的非法访问并阻止信息的外泄,并可设定外部哪些用户可以访问内部服务,以及外部哪些服务可以被内部人员访问,将网络分割成多个安全区域,各安全区域之间用防火墙过滤数据通信,只允许经过授权的数据通过,内部网络中的主机就不会直接暴露给来自外部的攻击,并且在安全管理上更加便捷。
(3)使用入侵检测技术。尽管防火墙对内部网络起到了很好的保护作用,但是防火墙并不能防范来自内部网络的攻击,也不能控制不通过它的连接。因此,在防火墙之后加入入侵检测,能够迅速地检测到恶意入侵,甚至能确认入侵者,并能在破坏发生或数据损坏前加以阻止,能够有效减少破坏的危害并迅速地恢复系统。入侵检测是指发现或确定入侵行为存在或出现的动作,也就是发现、跟踪并记录计算机系统或计算机网络中的非授权行为,或发现并调查系统中可能为试图入侵或病毒感染所带来的异常活动。为了让数据库系统更加安全,通常的做法是防火墙和入侵检测系统的结合提高数据库系统的整体防护性能。
(4)及时更新补丁程序和杀毒软件。由系统漏洞带来的安全威胁往往也是致命的,这些安全隐患一旦被不法分子利用,极有可能导致数据库的安全失效。应及时安装补丁程序,有效解决漏洞程序所带来的安全问题也是完善安全环境的有效方法。杀毒软件也可以协助保护计算机系统免受蠕虫病毒、木马程序等的攻击,降低计算机系统所遭受的安全威胁。由于病毒程序都在不断产生新的变体,所以杀毒软件的杀毒引擎和病毒库也要及时更新,使其保持病毒库处在最新的状态,才能有效防范最新的病毒。
2 运用技术手段,加强安全建设
在数据库建设的过程中,充分考虑数据库安全的需求,根据选定数据库系统特点,结合各种数据库安全手段,完善数据库安全建设。
(1)使用安全的文件系统。在数据库服务器操作系统选择上,尽量使用Unix系统。在Windows系统运行的数据库的数据文件应该尽量存储在NTFS文件系统中,这样既可以加强数据文件的安全,又可以最大化数据库的访问性能。
(2)加密数据库文件。为了保证数据库文件中的数据不被非法窃取和修改,对数据库文件进行加密保护可以提高其安全性,目的是文件中的信息变成不可直接阅读的数据。常用的对数据库文件的加密方式一般有库外加密和库内加密两种,由于每种加密方式都有自己的优缺点,所以采用哪种加密方式需要综合考虑各种因素,选择最合适的加密方式,保证数据文件的安全。
(3)数据库视图的使用。为不同的用户定义不同的视图,可以限制各个用户的访问范围。通过视图机制把要保密的数据对无权存取这些数据的用户隐藏起来,从而自动地对数据提供一定程度的安全保护。现在很大一部分数据库安全问题是在应用程序端造成的,造成这些安全问题的原因包括应用程序编写SQL代码不规范使数据库受到SQL注入攻击、应用程序使用过高权限的账户来访问数据库以及在应用程序端暴露了过多数据库细节等。在编写数据库应用程序时,数据库开发者和安全维护人员要从攻击者的角度来共同分析数据库,确定数据库的潜在威胁,对数据库存储和处理的信息进行分类。这个过程不仅能帮助大家了解黑客攻击数据库的原因和方式,还能确保必要的安全控制适应数据库的设计结构。
(4)云安全技术。“云安全”是大数据时代信息安全的体现,它融合了并行处理、网格计算、未知病毒行为判断等新兴技术和概念,通过网络上大量客户端对网络中软件行为的异常监测,获取互联网中木马、恶意程序的最新信息,推送到服务器端进行自动分析和处理,再把病毒和木马的解决方案分发到每一个客户端,能够有效地提高数据库系统环境的安全。
3 落实管理机制,提高安全水平
数据库管理系统是数据库安全的最后一道屏障。因此,在数据库管理过程中,一定要充分落实各种安全机制,提高保障数据库安全水平。
(1)数据库用户口令管理。数据库系统是不允许未经授权的用户对数据库进行操作的。用户名和口令是数据库提供的最外层的安全保护措施。针对攻击者可能通过穷举、猜想、窃取等方法获取数据库的用户名和口令的问题,可以通过对口令的合理设置、管理以及一些技巧的使用,来加强口令的安全性,有效组织针对数据库口令的攻击。如,对口令进行复杂性验证,复杂的口令可以在一定程度上加大被攻击难度,减小泄露的几率。因此,应保证口令具有一定的复杂性。作为数据库管理员可通过一定手段来规范数据库用户密码的复杂度。
(2)数据库角色和权限管理。数据库管理系统大多提供了完善的权限和角色管理机制来加强数据库的存取控制。权限是执行一种特殊类型的SQL语句或存取另一用户的对象的权力,有两种类型的权限,即系统权限和对象权限。其中系统权限是执行一种特殊动作或者在对象类型上执行一种特殊动作的权利。对象权限是在指定的表、视图、序列、过程、函数或包上执行特殊动作的权利。在实际的权限分配方案中,通常利用角色来管理数据库权限,角色为相关权限的命名组,可授权给用户和角色。建立角色的目的是为数据库应用管理权限和为用户组管理权限。利用角色对权限管理可以加强权限管理效率、提高权限管理的灵活性与安全性等。
4 做好审计追踪,排除安全隐患
任何系统的安全性措施都不是绝对可靠的,窃密者总有办法打破这些控制。对于某些高度敏感的保密数据,数据库服务器必须以审计作为预防手段。对数据库系统中审计工作主要是审查系统资源的安全策略、安全保护措施及故障恢复计划等对系统的各种操作,如访问、查询、修改等,尤其是对一些敏感操作进行记录、对用户的行为进行有效的监控和记录,及时发现用户威胁军用数据库的操作企图,采取相应措施,保证军用数据库的安全。审计还可以用于监视和收集相关指定数据库活动的数据,例如可收集哪些表经常被修改,用户共执行了多少次逻辑I/O操作等统计数据。利用这些信息,可以重现导致数据库现有状况的一系列事件,以进一步找出非法存取数据的人、时间和内容等,及时挽救或恢复数据,排除不安全因素。
审计是入侵检测系统的基础。它是一种较为积极的安全措施,通过审计可以监视系统的活动,收集系统各个方面的数据。而入侵检测系统则综合分析这些数据,从中发现可能发生的来自内部和外部的入侵,并依照一定的策略采取适当的应对措施,限制和防止入侵行为破坏系统的安全性。所以要使用入侵检测系统,就必须进行必要的审计,同时,借助于入侵检测技术,审计数据能在保证系统安全方面发挥更大的作用。
5 全面数据备份,降低安全损失
数据的备份与恢复是实现数据库系统安全运行的重要手段。数据库系统总免不了发生系统故障,重要的数据难免遭到破坏,数据库管理员应及时做好数据备份。当系统发生故障时,管理员能利用已有的数据备份,把数据库恢复到原来的状态,以便保持数据的完整性和一致性,将损失降到最低。
(1)及时备份数据库。数据库的物理备份有两种模式,脱机模式和联机模式。如何选择备份方案,是在数据库创建时就该考虑的问题。脱机模式备份是在数据库正常关闭后,对数据库进行备份。在联机模式下,在数据库内部建立一个所有作业的完整记录,数据库系统以循环方式保存联机日志文件。物理备份的一个好处是可将数据库管理系统完整转储,一旦发生故障,可以方便及时地恢复,提高管理效率。数据库也可采取逻辑备份的方式,转存数据库文件来进行备份。
(2)使用后端存储系统。人为的操作错误、硬件的损毁以及各种自然灾难等诸多因素都有可能给存储系统造成破坏,从而造成存储在系统上的数据丢失,给组织造成无可估量的损失。为了在灾难事件发生或者存储设备发生硬件故障时保护数据库系统的数据安全,最大限度地降低损失并保持业务系统的不间断运行,可以采用后端存储系统。采用后端存储系统保障数据安全的措施有很多,常用的措施有异地备份、集群存储和镜像技术等。
异地备份是保护数据的最安全的方式,无论发生什么情况,那怕是火灾、地震,当其它保护数据的手段都不起作用时,异地备份的优势就体现出来了,但是困扰异地备份的问题在于速度和成本,这要求拥有足够带宽的网络连接和优秀的数据复制管理软件。
集群存储一般由多个存储节点组成,每个节点都包含了前端端口、控制器和后端的磁盘,共同组成了一个存储单元。而在需要扩展容量或性能时,会以节点为单位进行扩展。集群存储可以实现像搭积木一样的简易扩展性,同时也不会影响现有存储的使用。在一个节点出现问题时,可以自动切换到其它节点重建数据,提高了数据的安全性。如果故障发生在异地分支部门,可以使用镜像技术,进行不同卷的镜像或异地卷的远程镜像,或采用双机容错技术自动接管单点故障机,保证无单点故障和本地设备遇到不可恢复的硬件毁坏时,仍可以启动异地与此相同环境和内容的镜像设备,以保证服务不间断。当然,这种方式会增加对存储设备的投资。
摘要:结合数据库技术发展的方向和趋势,从数据库的建、管、用的角度,提出了在大数据背景下,应从完善数据库系统外部环境、运用技术手段、落实管理机制、加强审计追踪和全面备份数据等方面建立数据库安全保障体系,以此来提高数据库安全保障水平。
关键词:大数据,数据库安全,管理,体系
参考文献
[1]黄浩.大数据浪潮[J].中国信息化,2012(1).
[2]何明,陈国华,梁文辉.物联网环境下云数据存储安全及隐私保护策略研究[J].计算机科学,2012(1).
[3]王珊,王会举,覃雄派.架构大数据:挑战、现状与展望[J].计算机学报,2011(10).
[4]陈越.数据库安全[M].北京:国防工业出版社,2011.
[5]文叙菠,白海娟.Oracle数据库安全策略[J].信息技术,2009(5).
[6]胡予淮,张玉清,肖国镇.对称密码学[M].北京:机械工业出版社,2002.
[7]牛夏牧,赵亮,黄文军.利用数字水印技术实现数据库的版权保护[J].电子学报,2003(6).
[8]张敏,徐震,冯登国.数据库安全[M].北京:科学出版社,2005.
[9][美]格鲁曼.计算机安全[M].北京:人民邮电出版社,2003.
数据挖掘背景文摘 篇8
《海外文摘》创刊于1984年,是一本集中报道海外信息的综合性中文杂志。内容主要为介绍国外的社会新闻、文化、财经等领域的优秀文章及图片,它的定位和宗旨(传播知识、传递信息、传导文化)满足了当时中国受众对世界信息的需求。此次《海外文摘》杂志改版,由《海外文摘》杂志社与江苏可一集团合作出品,其运作全权交由江苏可一集团旗下的星光大道文化传媒公司具体操作。此次老牌知名期刊与中国为数寥寥的具有书报刊总发行权的江苏可一集团的合作,品牌资源与经济实力、传统运作方式与现代市场运作方式相结合,可谓相得益彰。
如今,在全球化、信息化浪潮的冲击下,各种全球性政治、经济、文化、科技热点信息层出不穷,在中国国内已经有《三联生活周刊》《中国新闻周刊》《南方人物周刊》《财经》等多本以反映国内动态为主的新闻、经济及文化刊物,但在“地球村”的时代,中国还没有一份全面与国际接轨,深度反映国际变革的高端的综合性新闻、财经、科技类杂志。目前,大量海外优秀的媒体尚不能直接进入中国市场,但是国内读者的阅读需求已经在提高。为了填补目前中国杂志市场领域对于全球关注不足的空缺,以及承担应有的媒体责任,《海外文摘》通过改版,希望成为中国与国际信息及文化的桥梁,并转变成一份适合中国精英阶层群体阅读的集中收纳全球高端信息的文摘杂志。据介绍,杂志会在遵守相关的国际及中国法律的同时,寻求世界级的优秀刊物成为《海外文摘》的内容及图片供应商,并且将最前沿的信息、最尖端的科技、更多元的文化艺术、更新锐的思维方式,以及全球领域集中关注的,将影响未来全人类发展的环保及公益项目介绍给中国的读者。