数据分析

数据分析（精选12篇）

数据分析 篇1

大数据分析的业务价值和数据类型

越来越多的企业认识到数据分析能够带给企业业务的价值。中桥的多选项调查结果显示 (图1) , 企业认为大数据分析能够带来的主要业务价值依次是:提高生产过程的资源利用率, 降低生产成本;根据商业分析提高商业智能的准确率, 降低传统“凭感觉”做决策的业务风险;动态价格优化利润和增长;获取优质客户。这表明大数据已经对企业的成本、业务决策、利润有着直接的影响。中桥的另外一组调研数据显示, 目前越来越多的企业级用户考虑从批量分析 (大数据创造价值的第一阶段) 向近实时分析 (第二阶段) 发展, 从而提高IT创造价值的能力。同时, 数据分析在快速从商业智能向用户智能发展。中国市场正逐步从大数据降低成本向大数据加速业务增长、提高利润以及突破创新发展。

中桥调查显示, 目前中国用户主要是通过数据分析来提高整个企业的运营效率, 降低运营成本。从图2对数据类型的调查结果来看, 目前, 中国企业的数据分析还是以结构化数据为主, 如数据库或事务性数据。此外办公文件、计算机/网络日志文件、文本/信息等也是企业数据增长的主要来源, 同时也是能够攫取出价值的数据类型。

而就导致大数据问题的数据来源调查显示 (图3) , 毫无疑问, 数据库首当其冲, 是企业大数据的主要来源;而半结构化和非结构化数据如软件和网络日志、感应数据、社群等也已经纳入企业数据分析的主要范畴, 这表明企业已经意识到这些数据对于业务的重要性, 这也是实现从 (大) 数据分析第一阶段到大数据分析第二阶段的必要条件。也成为未来24个月用户通过IT创造价值的IT投资重点。

中国市场大数据分析方法

在了解了企业大数据的来源和种类之后, 如何采取有效方式对这些数据进行分析, 从而最大程度攫取数据价值, 转化为最明智的商业决策以利于企业业务运营, 是企业对大数据进行分析的目的所在。从目前中国大数据分析的分析方法来看 (图4) , 有33.8%的企业选择针对具体工作负载来调整通用数据库;22.0%的受访企业选择数据分析云计算服务 (如软件即服务和/或基础设施即服务) ;还有20.7%的企业选择自定义开发的解决方案。仅4.8%的用户使用了并行处理 (MPP) 分析数据库, 3.3%使用了对称处理 (SMP) 分析数据库。这一结果表明, 大多数的中国企业仍处于数据分析的第一阶段。而且, 目前中国用户大多采用通用数据库、云计算或自定义开发的解决方案和数据库工具作为大数据分析方法, 而没有选择去购买数据分析的软件。

Map Reduce可以让用户把半结构化和非结构化数据整合到数据处理和分析平台, 从传统的核心式数据分布演进到集群或网格式数据分布。从图5关于数据处理和分析平台的调查结果来看, 常用的分布式计算环境 (29.0%) 、自定义开发的解决方案 (27.7%) 、SMP (对称处理) 数据库 (16.0%) 、公有云平台 (10.5%) 是目前大数据环境下较为普遍采用的数据处理和分析平台, 而使用Map Reduce的企业占比较低 (4.8%) 。这说明, 目前中国企业对Map Reduce的认同有限, 这不仅影响着数据分析三个阶段的演进速度, 也制约着数据的采集管理, 进一步也影响着大数据分析四个环节的后面几个环节。

数据分析 篇2

（一）发表于 2012-12-13 00:47 来源：本站原创

不论是竞争对手分析还是商业情报竞争，都需要收集各种各样的资料，来满足分析的需求。资料的收集随着目标推进而不段迭代的过程，假如某公司要推某国战类型的游戏，抢占媒体档期、第一时间吸引目标用户，而某公司又知道其竞争对手之一也要推同类型风格的游戏，于是判定竞争对手游戏公测时间成了该公司的一个数据需求，于是有了如下图这样一个不断跟进的过程：

前面一篇《如何界定你的竞争对手》中也多次提到一些资料的概念，那么这些资料的分类如何，我们如何去收集？我相信做过数据分析相关工作的人都能随随便便说出好些条，但要系统的说出一些资料来源有些难，今天小编就和大家来理一理一手资料和二手资料的来源途径，当然有时候一手资料和二手资料的来源相同，而判定一手资料和二手资料主要取决于最初收集资料的时间。一手资料来源

1.销售人员与顾客用户 通常企业内认为最没有被充分利用的资料来源是销售人员，他们常年累月与顾客接触，可以非常了解竞争对手最近的一些信息，也可以发挥类似于市场调研人员的作用和顾客用户交流沟通。2.企业员工

企业每个员工都对其负责领域的产品市场有所了解，从不同的角度出发，集思广益之后都能得到一些有价值的竞争信息。3.上游厂商

传统意义上的供应商以及互联网行业相关的带宽提供商，企业都可以通过相关途径找到相关有用信息，比如一些包装纸箱生产厂商都会在其包装上表示生产厂家和地址等装运信息，通过对包装厂商的信息可以进一步推断竞争对手的销售情况；对于相关互联网企业而言，广告站点投放观察、网站流量查询等都可视为此途径。4.第3方调查咨询公司

这里所说的基本上是指第三方咨询公司与企业进行的合作调研项目，比如很多网游公司在游戏推广前就会找调研公司合作招募一些样本做问卷调查或是样本在线跟踪服务。5.投资银行

投行的分析师每年都会对行业内的企业或产品进行大量的研究分析，这些以大量二手资料以及投行分析观点构成的投行研究报告也是一个很好的资料来源。二手资料来源

1、企业内容资料

企业过去的营销计划以及争对竞争对手收集的的历史数据等，都是很好的资料来源，特别是互联网企业，内网空间的资料共享更是为资料的查找提供了便利性。

2、地方报纸

很多地方报纸都会对本地区做的好的企业做相关报道，关注查阅当地报纸或许是个不错的方式，在互联网时代，很到地方报纸都有其网络版，还有梅花网这样的企业会专门采集一些地方报纸数据，供其用户使用。

3、企业财报

企业财报这一来源通常只对上市企业有效，很多投资咨询公司都会对财报进行研究分析，比如邓白氏的《商业资信报告》，i美股的企业研究报告等。

4、招股书

这一途径同样只争对特定的企业，不知大家对唯品会的招股书是否还记忆犹新，正因为他的招股书，让大家了解到了他的用户数、订单数以及超级高的重购率。

5、专利和商标资料 专利和商标资料通常可以帮助我们了解相关产品或技术方面的信息，或许大家有关注或了解最近闹的不可开交的三星与苹果专利官司，还有谷歌为了专利而收购MOTO手机的事例，在我国，专利情况可在国家知识产权局官网上查询。

6、一般商业出版物和行业出版物

很多杂志都会根据自己的调查出一些参考数据，譬如早在2001年美国著名的杂志《产业标准》就出了互联网相关的100个数据，披露了互联网相关的人数、金融、广告、发展规模、电子商务等数据。当然，每个行业都有自己的杂志，比如现在比较热的电商行业相关的杂志就有《互联网周刊》、《财经》、《天下网商》、《卖家刊》等，当然大家也可以关注@数据分析 在微博上整理的非商业性文件《电商视野周刊》。

7、新闻报道

企业公关通常会向媒体披露一些企业信息，或是新品发布，或是高层人事变动等，通过点滴的信息积累或许就能发现很多有价值的资料。互联网相关的新闻报道大家可以看几大门户的科技频道以及Techweb等站点。

8、促销宣传资料

这种途径在传统行业使用较多，通常其促销宣传册上都会对产品特点以及价格等做详细说明，如果你关注过银行或保险行业的一些宣传资料，你还会发现他们的宣传资料做得跟数据分析报告一样。

9、咨询公司数据报告

咨询公司数据报告通常是我们最先想到的。艾瑞、尼尔森、易观国际、DCCI等的咨询公司每年都会出大量的互联网相关的行业或专题报告，通过简版免费完整版收费的方式供大家查阅。

10、员工沟通

企业博客或企业内刊、同事间的交流也能在不经意间获得很多的有用信息，对于外部，天涯爆料、人人发帖、微博、博客爆料等，至今我都不知道有多少企业内幕消息以这样的方式被爆出来。

11、行业协会

很多成熟的行业都会有政府牵头，成立相关行业协会。行业协会某种程度上讲发挥了部分政府职能，协会常常会组织行业内的企业开会探讨，会请业内知名企业宣讲其对行业的发展看法及其企业成功的经验介绍，此外，有的行业协会还会组织一些市场调研活动，对行业摸底。

12、政府来源

说的政府资料来源，或许大家首先想到的是统计局。尽管大家对他提供的数据是各种质疑，但在并不是排除他作为二手资料来源途径的理由，此外，譬如新闻出版总署分管着游戏出版版号的批复，游戏企业常常在那里了解最新的竞争对手动态。此外，还会提供一些行业数据出版数据，譬如：新闻出版总署最近公布的《2011年全国新闻出版行业基本概况》数据显示，截至2011年年底，全国共有出版社580家（包括副牌社33家），其中，中央级出版社220家（包括副牌社13家），地方出版社360家（包括副牌社20家）。

13、电子数据服务

这种网络或电子数据库提供的二手资料有点类似于论文期刊资料检索库，国内的电子数据服务本人最常使用的应该是百度统计数据搜索（tjsj.baidu.com），而国外的一些电子数据服务数据库则要全的多，比如标准普尔公司、DIALOG公司、邓白氏公司等。

14、网络

前面提到的很多来源都与网络有关，当你需要寻找某个公司的产品信息时，你第一时间想到的或许就是利用谷歌或者百度去搜一下，从产品官网或其他人的介绍中去进一步的了解产品信息。

当然，除了上面介绍的这些渠道外，还有很多其他的渠道，比如招聘信息、行业峰会、产品展会、企业参观、核心人员消息刺探等等，简单的说，一切与产品或企业相关的媒介、人都可能成为你的信息资料来源。前面说了这么多的资料来源途径，那么获取资料的手段有那些呢？请听下回分解。

如何收集数据分析资料数据(二)

发表于 2012-12-14 03:02 来源：本站原创

上篇《如何收集数据分析资料数据

（一）》主要讲述了数据分析资料收集的一些来源，知道那里有资料，并不等于资料就是你的，如何通过合理合法的手段去获取自己需要的资料则是本篇的主要内容。

谈到这个话题，很容易让人想到一个职业——“私家侦探”，从某种程度上讲，情报分析师和私家侦探的工作性质相似，传统行业有些手段和很多的电影情节相似，比如空中侦查，早在1984年Keebler公司因为雇佣飞机拍摄保洁厂房生产设备而被保洁起诉，又比如收集公司废弃杂物（办公垃圾、废旧设备等），2000年的时候某著名数据库软件商就因此道而被媒体曝光，还有发布招聘广告、挖角对手核心人员之类的手段等。本帖更多的则是从互联网的角度出发，讲述一些互联网资料获取手段。

1、使用竞争对手产品

通过使用竞争对手产品能发现对方很多产品以及运营上的小秘密，有人说，在互联网上没有秘密可言，的确如此，只要你保持对竞争对手的关注，什么产品特点、推广运营手段等都能了解得一清二楚。当然，比使用竞争对手产品更有效的方法是偷偷的成为对方的小股东，特别是对于上市公司而言，对手的重大策略以及相关资料信息都会主动推送到你手中。

2、社交媒体探密

通过RSS订阅、QQ群、微博、搜索引擎关键词订阅等手段可以实现对竞争对手主动或被动的了解，特别是在一些行业的QQ群中，很多群规定群名片为：公司-地区-昵称（或真名），有时候说者无心，听者有意，只要将信息稍作验证，便可知真伪，而QQ好友推荐、QQ圈子等产品的出现，更是大大提高了此法的便捷性；此外，微博也如此，小编映像中较深的两个案例，一个是@数据分析产品经理 根据刘强东微博的关注关系分析京东商城企业内部架构以及负责人，另一个则是@数据化管理 老师在其博客中提到的关于微博隐私泄漏的系列描述，很多人在毫无知觉的情况下就将企业的销售信息给泄漏了。

3、招聘信息、问卷调查之类的双刃剑

当你希望通过招聘广告吸收竞争对手员工同时，也暴露了你的市场产品目标；网络调查问卷也是如此，很多产品类的调查问卷题目就很明确的表达出了调查者未来可能考虑的市场策略意图，特别是一些满意度调查，调查的问题就是未来调整改进的方向，譬如下图所示的某电商网站的满意度调查，从题目可以推测未来他们的评价系统将做调整修改。

4、邮件试探

企业邮箱作为大家日常工作的重要工具，每逢节假日或出差，有的人总喜欢将邮箱设置为自动回复状态，譬如：”xx正在休假中，有事情找xx部门的xxx，他的电话是138xxx”，这样无意中就泄漏了相关信息，特别是有的企业喜欢将企业邮箱名称设置为ceo@xxx.com，所有成员收件设置为all@xxx.com之类更是容易中招。

5、“特定”公开渠道

这里的特定是指有某些平台厂商，比如淘宝上卖家交易产品、交易价格、用户评价、交易数量等这些都可以在淘宝卖家信息处获取，还有譬如竞争对手网站流量alexa大体查询，站长工具查询网站相关信息、百度指数查询推广做的如何，对于一些外贸类的站点还可以使用comscore、谷歌站点趋势查询、谷歌ad planner等，越是成绩好的产品资料越是容易被收集。此外，对于一些有特定资源的企业，了解其竞争对手某些状况则是易如反掌，比如苹果可以轻易的通过其系统获取其生态系统内的相关产品的所有数据情况，支付宝了解到相关商家的营收情况。当然，还有很多不是那么道德的方法，比如在市场上购买黑客泄漏的竞争对手数据库数据、高价挖墙角、在自家产品中装特定代码偷窥用户手机或电脑上的其他产品程序（目前移动互联网行业的普遍做法）等。总结

数据分析 篇3

[关键词]数据收集 数据分析 整理 发展 观念

[中图分类号] G623.5 [文献标识码] A [文章编号] 1007-9068（2015）35-077

“数据分析观念”作为《义务教育数学课程标准（2011版）》中明确提出的十个核心关键词之一，充分表明了新课标对数据分析观念的重视。那么，在小学数学课堂教学中，如何发展学生的数据分析观念，提升学生的数学学习能力呢？

一、着眼基础，教会学生收集整理数据的方法

对于数学学习而言，数据分析观念的形成主要有赖于学生统计过程中的经历，这个经历过程主要是指学生收集、整理、描述、分析、判断数据的过程，离开了这一过程，发展学生数学分析观念也就成了无源之水。因此，教师要着眼基础，放眼未来，帮助学生做好数据的收集、整理工作。

例如，在“数据的收集和整理”的教学中，主要要求学生学会简单统计人数、出生年月等，由于教材中呈现的类型较少，学生在进行数据统计时大多会采取“数一数”的方法。但是如果人数增多，如全年级、全校、全市……那么这种方法就会带来许多不便。因此，在教学中，教师要重视教给学生收集、整理数据的方法。在这种情形下，就自然引出了逐个统计或分组统计的方法;然后，再让学生采用自己喜欢的方法给自己分管统计的项目做好标记，可以用上“△、○、√”等符号来表示。这样一来，可以使学生在统计时一目了然，提高统计整理数据的速度。

在关于数据统计整理分析的教学中，教师要根据学生的具体情况，引导学生掌握数据收集整理的方法，不斷发展学生的数据分析观念。

二、问题驱动，整体规划统计整理方案

在数据统计整理的学习过程中，教师一般都会通过具体的问题让学生进行统计、整理、汇报等，在这个过程中学生亲身参与了数据分析整理的各个环节。因此，教师要引导学生对统计整理方案做好规划，逐步培养学生整理数据方案的能力。

例如，在教学“数据的收集和整理”时，在教给学生统计与整理的基本方法后，为了使学生能够对统计过程做好规划，并提升自己统计数据的能力，在统计本班男女生身高的问题上，笔者给学生预留了大量时间，并通过以下问题驱动学生去规划、去完成整理数据的方案。如：你们了解自己的身高吗？你们了解其他同学的身高吗？你们知道在我国我们这个年龄段的人的平均身高是多少吗？请大家做好本班同学身高的统计，然后与全国平均身高做对比，看看你是否符合全国标准？在这个任务的驱动下，学生很快以小组为单位，做好了分工，并很快完成了小组成员的身高统计工作。这样，在问题任务的驱动下，学生做好了整体规划，统计起来方便、快捷、有效。

由此可见，在数据统计和整理教学时，对统计过程与整理方案做好整体规划是很有必要的，它不仅能激发学生主动收集数据的意识，而且还能使学生提高收集、整理的速度，进而提升数据分析、解决问题的能力。

三、瞄准关键，发展观念，多维度运用数据

在数据统计分析中，即使是相同的统计数据，由于分析方法不同，得出的统计结果也会不尽相同。因此，教师应根据问题的背景，瞄准关键点，选择适合的分析方法，让学生能够从多方向、多维度分析运用数据。

例如，在“数据的收集和整理”的教学中，教师让学生统计本班学生的出生年月，然后在数据的收集和整理完毕后，让学生对这些数据进行分析，并说说自己从这些数据中得出了什么结论。从这种统计方式来看，学生得出的结论无非是哪个月份出生的人数较多，哪个月份出生的人数较少。笔者认为，为了发展学生的数据分析观念，在出生月份统计完毕后，教师还应鼓励学生按照季度、年龄、性别等进行汇总，这样不仅可以使数据的分类整理工作变得更有意思，而且也在无形中发展了学生的数据分析观念。

由此可见，让学生对数据进行多维度、多方向的统计汇总，逐步帮助学生积累数据统计汇总的经验，让学生学会自觉地运用“数据”来分析“数据”，提炼结果，可有效发展学生的数据分析观念。

总之，要想使学生的数据分析观念得到有效发展，教师就要加强对学生的数据收集整理过程的指导，并且能够从生活中提取数据，使学生对数据分析产生亲切感，不怕数据分析，愿意去主动分析数据，提炼出相关信息。如此一来，学生的数据分析能力必将会得到极大提升，进而为全面提升学生的数学素养服务。

数据的价值——零售行业数据分析 篇4

目前, 零售连锁是我国的主要的零售业态, 很多零售连锁已经发展成庞大的企业集团。随着经济的发展, 中国的零售行业竞争加剧, 需要企业不断的创新并赶超竞争对手以不断的满足顾客的需求。

二、某外资品牌零售店长早上第一件事:

打开电脑, 启动EXCEL浏览软件, 查阅昨天销售数据的一个邮件EXCEL附件, 数据:

“XX门店在2009年3月5日的总人流量是424个, 其中男人260人占61.32%, 女人164人占38.68%, 其中情侣 (夫妻) 47对, 总成交次数21次, 成交次数比率4.95%, 细分到早上10点-中午12点人流是55个, 本时段无成交, 下午1点-下午5点人流是170人, 成交5次, 剩下是傍晚6点到晚上9点人流199人, 成交16次。当天天气晴朗, 温度是15度……”

启示:零售业最宝贵的数据往往就在你身边, 国内无数零售从业管理者从来不会思考过, 一些毫不起眼的东西竟然很昂贵, 甚至很重要。“三个月前你的店面进过多少人, 你知道吗?”答案都是不知道.

三、数据分析的价值

这个报表的数据都是简单的累积加法, 然后细分有点乘除法而已, 清晰明了, 没什么高深的东西, 但这种数据有何作用?

我们先看看整个数据表, 基础数据是人流总量, 有多少人进过店里, 这个是关键得不能再关键的东西。继而拆分统计出分类数据:1.男女比率;2.时段人流比例;3, 一周七天比例;4, 特殊节假日比例;5.成交率;6.年龄层;

1、通过划分早午晚的时段, 能从数据中清楚把握得到, 什么时候在店内最需要把握成交机遇。员工在什么时段把握能力高, 客人什么时候最多。而且再细分对比不同店面的时间段差异。某些店面只要过了傍晚6点, 就再难以有成交, 某些店面必须晚饭时间后有特别大的起色, 那是否应该侧重考虑分配资源呢?

划分时段, 也是给一个清晰的工作界定, 例如要做店面促销活动, 要做路演, A店是下午3点人流最高, 自然安排广告活动促销在那个时候进行, B店是晚上七点最高, 也会配合去做。如果没搞清人流时段, 把广告活动投放到错位时间去, 那么花钱做促销也是浪费了。

换个说法, 做时段人流统计, 就和电视台统计收视率比例是一样的, 什么时段适合招什么广告商, 什么时段需要什么节目吸引人, 收视率就是一个指引!零售超市需要掌握自己的‘收视率’, 才可以合理分配资源, 安排工作。

2、人均消费数据重要吗?

假设A店一平均一个月下来, 成交率和B店都是10%, A店的平均消费金额却又一直偏高于B店, 可能你会认为这个信号是关乎利润率的问题, 而且也能通过财务账单查看了解究竟是谁的销售额最高, 我们只需要用最快的时间看完数据得出一个比较客观的第一判断, A店能一直保持偏高, 我们可以在脑海里首先直观得出如下几种相关结果:1.该店本身地段所在的客人消费能力偏高, 本身愿意购买高价值商品;2.营业店员对于增值销售相对拿捏得比较准, 能更好诱导客人购买高价值的东西或者购买多样东西 (同场内二次销售) ;3.店长定价策略偏高而且能确保销售顺利 (某些公司会根据各店不同情况采用下放权力给店长自由上限定价措施) ;这三个可能性是经常出现最多的情况, 看到这个数据到底是好还是不好, 要靠主管决策者确定, 尤其最后一点是双刃的, 某些店长为了达成公司的盈利指标额度, 会脱离公司某时段的限价指引或者促销价等。平均消费数据有时候也可以作为一个依据参考, 数据偏高的时候, 是否需要适当让利于消费者, 以增加良性循环。数据偏低的时候也可以及时调整, 毕竟某些店面长期承受不住消费者减价要求, 经常直接低价冲击公司底线。

3、数据表的‘年龄层’分布:

通过年龄层来更进一步瞄准消费者的钱包, 这个数据的划分也带有那么一种目的, 究竟商品受什么人喜欢, 究竟店面受什么人喜欢, 他们平均的消费能力到底有多少, 市场定位的由来。

四、小结

零售业就是一个庞大的系统工程, 数据分析是所有零售业态的根本之一, 没有数据的支撑所做的判断就是拍脑袋, 有了数据分析摸清规律后, 才能抓住顾客需求创造销售业绩。

摘要：经济危机的来临, 使得高速发展的超市连锁在变化的市场环境使得竞争的环境更加激烈, 零售企业如何发现顾客的需求, 并且创新的变化满足顾客的需求, 顾客数据分析具有重要的意义。

数据分析 篇5

这是一个很典型的线性拟合问题，手工计算就是采用最小二乘法求出拟合直线的待定参数，同时可以得出R的值，也就是相关系数的大小。在Excel中，可以采用先绘图再添加趋势线的方法完成前两步的要求。

选择成对的数据列，将它们使用“X、Y散点图”制成散点图。

在数据点上单击右键，选择“添加趋势线”-“线性”，并在选项标签中要求给出公式和相关系数等，可以得到拟合的直线。

由图中可知，拟合的直线是y=15620x+6606.1，R2的值为0.9994。

因为R2 >0.99，所以这是一个线性特征非常明显的实验模型，即说明拟合直线能够以大于99.99%地解释、涵盖了实测数据，具有很好的一般性，可以作为标准工作曲线用于其他未知浓度溶液的测量。

为了进一步使用更多的指标来描述这一个模型，我们使用数据分析中的“回归”工具来详细分析这组数据，

在选项卡中显然详细多了，注意选择X、Y对应的数据列。“常数为零”就是指明该模型是严格的正比例模型，本例确实是这样，因为在浓度为零时相应峰面积肯定为零。先前得出的回归方程虽然拟合程度相当高，但是在x=0时，仍然有对应的数值，这显然是一个可笑的结论。所以我们选择“常数为零”。

“回归”工具为我们提供了三张图，分别是残差图、线性拟合图和正态概率图。重点来看残差图和线性拟合图。

在线性拟合图中可以看到，不但有根据要求生成的数据点，而且还有经过拟和处理的预测数据点，拟合直线的参数会在数据表格中详细显示。本实例旨在提供更多信息以起到抛砖引玉的作用，由于涉及到过多的专业术语，请各位读者根据实际，在具体使用中另行参考各项参数，此不再对更多细节作进一步解释。

残差图是有关于世纪之与预测值之间差距的图表，如果残差图中的散点在中州上下两侧零乱分布，那么拟合直线就是合理的，否则就需要重新处理。

数据分析初体验 篇6

张文霖，资深数据分析师，著有畅销书《谁说菜鳥不会数据分析》。从本期开始，这位数据分析达人将以通俗易懂的方式讲解数据分析必知必会的知识、方法和技巧。还等什么，快来和我们一起玩转数据吧！

随着经济的快速增长，各行各业的各种客户数据信息、交易数据信息也呈爆炸式增长，尤其是通信、电商等行业所积累的数据更不可小觑。如今，大部分企业管理者开始意识到数据所带来的无限潜力与价值，数据分析技术随之受到重视并逐渐被广泛应用。数据分析人员也俨然成为职场上的热门行业，呈现出供不应求的态势。据麦肯锡咨询公司的一份报告显示，到2018年，仅在美国，数据分析人才缺口就约150万。

面对数据分析专业良好的就业前景，你是否已经跃跃欲试了呢？然而目前数据分析行业并没有统一的规范标准，大部分大学里也都没有开设专门的数据分析专业。从事数据分析工作的人员大都出身统计学、数学、信息计算、管理学、心理学等专业，对数据分析并没有一个清晰系统的认识，有的甚至连数据分析是什么都无法说清楚。

那么数据分析到底是什么？

简单来说，数据分析就是对数据进行分析。用专业的视角，数据分析可理解为根据分析目的，用适当的统计分析方法及工具，对收集来的数据进行处理与分析，以求最大化地开发数据的功能，发挥数据的作用。

弄清楚数据分析的目的，这个很重要

数据分析的目的在于把隐藏在大量看似杂乱无章的数据背后的信息集中和提炼出来，总结出所研究对象的内在规律与趋势。在实际工作中，数据分析能够帮助管理者进行决策，以便采取适当的策略与行动。例如，企业管理者希望通过市场分析和研究，把握当前产品的市场动向，从而制订合理的产品研发和销售计划，这就必须依赖数据分析才能完成。

数据分析如要实现为管理者有效决策提供有价值信息的目的，那么我们在日常数据分析工作中该做些什么呢？其实日常通报、专题分析等，这些就是数据分析具体工作的体现。而什么时候做通报工作，什么时候开展专题分析，这都需要我们根据实际情况做出选择。很多人经常做这些工作，但不知为何而做，只是为做而做，也没有想清楚为何要做。当你对数据分析目的及作用有了足够清晰而系统的正确认识时，那么你的数据分析工作也将如鱼得水，游刃有余。

如何从昨天走向明天，让数据分析告诉你

数据分析在我们日常经营分析工作中主要有三大作用，如下图所示。

现状分析

简单来说就是告诉你过去发生了什么。具体体现在：

第一，告诉你企业现阶段的整体运营情况，通过各个经营指标完成情况来衡量，以说明企业整体运营是好还是坏，好的程度如何，坏的程度又到哪里。

第二，告诉你企业各个业务的发展及构成情况，让你了解企业各业务发展及变动情况，对企业运营情况有更深入的了解。

现状分析一般通过日常通报来完成，如日报、周报、月报等日常通报形式。

原因分析

简单来说就是告诉你为什么会发生。

经过第一阶段的现状分析，对企业的运营情况有了基本了解，但你可能不知道是什么原因引起的。这时就需要开展原因分析，以进一步确定业务变动的具体原因，以便运营策略做出调整与优化。如今年运营收入比去年运营收入下降30%，是什么原因导致的呢？是各个业务或各个地区业务收入都出现下降的共性问题引起的，还是个别业务、个别地区业务收入下降的个性问题引起的？这就需要我们开展原因分析，进一步确定收入下降的具体原因。

预测分析

简单来说就是告诉你将来会发生什么。

在了解企业运营现状后，有时还需要对企业未来发展趋势做出预测，为制订企业季度、年度运营目标及策略提供有效的参考决策依据，以保证企业的可持续健康发展。

总之，只有清晰系统地正确认识数据分析的目的及作用，了解数据分析能为我们带来何价值，我们才能更好地利用数据分析工具，为企业的运营工作提供重要支撑，发挥数据分析的最大价值。

编辑：单之卉 / 邮箱：szh@bjstats.gov.cn

大数据分析与情报分析之同异 篇7

大数据这个概念是在1980年由著名未来学家托夫勒在其所著的《第三次浪潮》中提出的, 并将其称颂为“第三次浪潮的华彩乐章”。此后又经过了2008年国际著名杂志《Nature》推出“Big Data”专栏, 2011年Mc Kinsey Global Institute (麦肯锡全球研究所) 发布关于“大数据”的研究报告 (《Big Data:The next frontier for innovation, competition, and productivity》) 等一系列的发展。2016年是我国“十三五”规划的开局之年, 我国的“十三五”规划提出了“实施国家大数据战略, 推进数据资源开放共享”的规划建议。在这个背景下, 大数据分析研究越来越引起学者专家的关注。

作为同为研究数据领域的传统相关学科情报分析研究与大数据分析研究理念的研究方法和领域必定会有一些交叉和不同。数据研究人员必须明确这些同异, 才能有效的将两个学科研究方法相结合, 为实际生产领域提供更有效的情报支持。

本文对大数据分析研究与情报分析研究的共性和差异性进行了讨论。通过寻找出相同点, 引入大数据分析的优势, 强化情报分析。通过差异对比, 明确情报分析的特色, 从而借鉴大数据的思想, 深入研究并充分发挥情报分析的优势, 指导研究工作通过“差异化”的战略构建情报分析的理论及方法体系, 同时, 也有助于避免在研究过程中, 一味强调大数据带来的影响, 导致情报分析学科的“泛大数据化”。

2 大数据分析研究与情报分析研究交叉方面

大数据分析研究是大数据理念与方法的核心, 是指对海量、类型多样、增长快速且内容真实的数据 (即大数据) 进行分析, 从中找出可以帮助决策的隐藏模式、未知的相关关系以及其他有用信息的过程。而对于传统图书情报中的情报分析是指:根据社会用户的特定需求, 以现代信息技术和软科学研究方法为主要手段, 以社会信息的采集、选择、评价、分析和综合等系列化加工为基本过程, 形成新的、增值的情报产品, 为不同层次科学决策服务的社会化智能活动。通过两者的概念对比可知两者研究的交叉点有如下几个方面:对数据的定量分析、多种渠道采集信息融合、强调信息相关性分析。

2.1 数据定量分析

无论是大数据分析研究还是情报分析研究都是对数据分析的研究。早期的情报分析研究强调分析人员的专业背景和经验, 更多地依靠人的智力去解读特定的、少量的数据对象, 通过人的分析、归纳和推理得出情报研究的结论。但随着科学技术的迅猛发展, 在某些领域学科专业呈现出综合化的趋势, 数据量越来越大, 所涉及的内容越来越专深。因此, 在大数据化的今天, 简单的人工分析已经不能满足大数据的要求, 专业人员逐渐采用机器学习等现代化手段, 以应对大数据分析趋势。

2.2 多种渠道采集信息融合

大数据分析研究与情报分析研究都通过多种渠道进行信息采集, 并通过这些采集的信息进行信息融合, 以便分析出有用的信息情报, 促进经济发展。大数据分析研究与情报分析研究把通过不同渠道、利用多种采集方式获取的具有不同数据结构的信息汇聚到一起, 形成具有统一格式、可以多种应用的数据集合, 这一过程称为多信息源数据融合。对多源信息进行加工利用, 并使不同形式的信息互补, 以获得对同一事的发展趋势更本质的认识, 是多信息源数据融合要解决的问题。

2.3 信息相关性

所谓“信息相关性”是指两个或者两个以上信息元变量之间存在某种规律性, 当一个或几个相互联系的变量改变时, 与之相对应的另一变量按某种规律在一定范围内变化, 则认为前者与后者之间具有相关性, 即两者是相关关系的。

在大数据时代, 科技人员利用相关关系, 从大数据信息元中更快捷、更清楚地分析事物。从而发现事物或现象之间存在相关性, 就可以利用这种相关性创造出直接的经济收益, 但这种利用不必弄清楚其中的原因。

相关性原理也是情报学的基本原理之一, 相关性分析也是情报实践的常用分析方法。任何一种情报结构都是按一定规则相互关联的, 分析并揭示情报相互关联 (即相关性) 的规律和规则, 是对信息、知识、情报进行有效组织检索与分析挖掘的基础。

3 大数据分析研究与情报分析研究差异方面

大数据分析研究与情报分析研究差异主要表现在以下几个方面:数据对象、分析时效、分析任务等。

3.1 数据对象差别

情报分析与大数据分析的研究对象有差异, 数据的性质也存在差异。情报分析研究都主要以文本文献作为数据的对象和基础, 这些文本包括论文、专利、科技报告、政策文本、领导讲话等。正是因为主要对象为文本, 而文本本身又具有语义关联, 因此, 情报分析的重要任务之一是找出这些文献中的语义关联。大数据分析则不同, 其分析对象并不限于某种数据类型, 从当前实际应用的成果来看, 大数据分析通常以数值数据与结构化的短文本数据为主要对象, 如销售数据、用户数据、传感器采集数据等。

3.2 分析时效差别

对于数据分析的时效率而言, 分析可以分为历史分析和实时分析。历史分析是对历史数据进行分析, 包括交互式历史分析和批处理历史分析两种方式。实时分析是对变化着的数据做实时分析, 包括动态流分析、基于时间的实时分析等。大数据分析研究主要特点是实时分析, 这种分析满足数据大、数据类型广泛、数据处理速度快等要求。

与大数据分析不同, 情报分析研究很少对历史分析与实时分析进行区分。情报分析研究在动态跟踪时主要依赖于新的数据, 但在总结规律与趋势分析研究时往往使用一定阶段性和滞后性的数据。

3.3 分析研究任务不同

大数据分析研究的任务是通过相关性实现模式的挖掘和预测分析。一般情况下, 就模式的挖掘而言, 大数据分析研究强调发现事先不知道的新模式和未知的相关关系, 这一点与情报分析研究有显著的差异。就预测分析而言, 大数据分析研究主要包括趋势预测和缺失信息预测。趋势预测是指通过事物的一些基本属性信息和先前的趋势分析, 预测事物发展的轨迹和最终影响程度。缺失信息预测是指对现有信息中缺失的信息项或者还未出现的信息进行预测, 也称预见。

通常情况下, 情报分析研究的目的和任务是明确的, 需要回答具体的问题。情报人员的任务就是紧密围绕情报分析课题的研究需求, 广泛搜集其各类相关信息, 运用多种工具与方法进行内容分析研究, 监测其中的新现象、新情况发现其中的规律、本质、战略意图等, 并将这些研究成果"填充"到情报分析结果的模式中, 形成情报分析研究报告。

结束语

大数据分析研究与情报分析研究有着一定的联系, 又存在着一定的差异。通过归纳大数据分析研究与情报分析研究的共性, 可以更好地认识大数据研究给情报分析研究带来的机遇。但是, 情报分析研究毕竟不同于大数据分析研究, 情报分析研究在大数据环境下依然有自己的研究特色, 在数据对象与规模、分析时效与任务方面都有着诸多不同。充分认识这些不同, 把情报分析研究的特色与优势发挥好, 以迎接大数据带来的挑战。作为一个新兴的理论和实践领域, 大数据研究思想是社会理念、用户需求、技术手段发展水平的集中体现和综合反映。与此同时大数据研究思想也不可避免地会对情报分析工作产生影响。总之, 在大数据环境下, 情报分析研究的技术体系、过程与方法都在发生着变化, 如何在新的环境下发展与提升情报分析研究理论, 如何构建适应时代特点的情报分析研究模型, 如何集成情报分析研究技术与方法实现情报分析自动化等问题, 值得我们进一步探讨。

摘要：近年来, 大数据分析研究逐年兴起, 与图书情报相关专业的研究课题也逐渐紧密。通过对大数据分析研究理念与传统图书情报专业的情报分析研究理念进行对比, 发现二者在对数据的定量分析、关注数据多元融合和相关性分析等方面有很多共性, 而在研究对象, 分析的任务和时机等几方面存在一些不同。只有真正的认识二者研究理念的同异, 才能更好的将两者有效的结合应用, 为社会带来更大的效益。

关键词：大数据,大数据分析,情报分析

参考文献

[1]李广建, 化柏林.大数据分析与情报分析关系辨析[J].中国图书馆学报, 2014 (5) :14-22

[2]韩志英, 孙忠斌.情报分析人员的元认知分析[J].现代情报, 2008, 28 (5) :53-55, 58

基于数据挖掘的审计数据分析 篇8

数据挖掘 (Data Mining) 指的是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中提取出隐藏的、不为人知的却潜在有用的信息和知识的过程[1]。事实上, 实际应用数据的质量和存储模式对于实施计算机审计并成功获取审计证据非常重要。由于被审单位信息系统软硬件平台的异构性和可能存在的人为故意隐瞒、造假等, 为保证计算机审计工作顺利进行和审计结论的正确, 对审计数据进行采集时必须对数据进行检查、控制和分析。

图1描述了利用计算机审计对被审计单位财会电子数据进行审计的过程[2]。

1 审计数据采集

审计数据采集指在开展计算机审计时从被审计单位的财务及业务信息系统及其他数据源获得审计所需的电子数据并进行适当的格式转换[3]。一般来说, 计算机审计中数据采集的方法主要包括以下几种:

(1) 利用被审单位信息系统的数据导出功能。大多数的信息管理系统都提供了数据导出的功能, 审计人员直接可以利用该功能导出企业财务数据完成数据的采集。

(2) 利用通用的数据处理软件完成数据采集。如Access、SQL Server等都具有较强大的数据导入导出功能和数据转换功能。审计人员可以利用这些软件完成数据的采集。如被审企业原始数据为文本格式可以转换为数据库表格格式。

(3) 利用审计软件完成数据采集。如国家从2002年开始建设的“金审工程”就以现场审计实施系统 (AO) 及审计办公系统 (OA) 作为计算机辅助审计的工具。别外应用国内的企业财务审计软件、审计数据采集分析软件等都可以完成审计数据的采集。

(4) 利用专用程序接口完成数据采集。当被审计单位提供的审计数据的数据结构与已有的审计数据处理软件系统的数据结构差异较大时, 可以在审计人员的协助下由专门的程序员开发接口程序, 完成数据的采集, 但成本相对较高。

2 数据清洗

利用数据挖掘对审计数据进行处理分类时, 为了提高分类的准确性、高效性和可伸缩性, 必须对数据库进行预处理, 包括:数据的清洗、相关性分析、数据转换等。

文献[4]中给出数据清洗的定义为:发现和消除数据中的错误和不一致来提高数据的质量。一般而言, 审计数据库中数据采集于异质操作数据库, 不可避免存在着数据的错误或不一致等问题, 如数据造假、数据重复、数据缺失等错误。根据文献[5]提出的审计数据质量特征, 必须要对采集的原始数据进行清洗, 即由“脏”变“干净”, 提高审计数据质量, 这是保证审计结论正确的关键。

数据清洗的一般过程如图2所示。

(1) 数据分析:为了清洗出干净的数据, 必须对数据进行详尽的分析, 包括数据的格式类别等。比如采集来的财务数据的字段类型、宽度、含义等。

(2) 模式转换:模式转换主要是指将源数据映射成目标数据模型, 如属性的转换, 字段的约束条件和数据库中各个数据集之间的映射和转换等。有时需要将多个数据表合并成一个二维表格, 有时却要将一个数据表拆分成多个二维表格以便于问题的解决。

(3) 数据校验:上一步的模式转换可行否, 需要进行评估测试, 经过反复分析、设计、计算、分析才能更好地清洗数据。否则不经过数据校验可能有些错误数据不是很明显, 不能被很好地筛选出来。比如模式转换时将一个数据集分解成多个数据表的时候, 造成父表的主关键字的值和子表外部关键字的值不一致, 从而形成孤立记录, 影响审计人员审计证据的正确性, 进而影响审计结论的正确性。

(4) 数据回流:用“干净”的数据替代原始数据源中的“脏”数据, 避免下次数据采集时重做数据的清洗。

有时候数据的清洗需要反复进行, 审计人员需要对采集到的电子数据进行多次清洗, 这样才能得到高质量的审计数据。

3 数据挖掘实现

经过数据预处理后的审计数据库包含了多个数据集, 每个数据集又包含了若干数据记录或者称为元组, 如何从这些二维表格数据中挖掘出有意义的审计数据至关重要。本文介绍一种利用聚类算法进行审计数据挖掘的算法。

3.1 算法概述

3.1.1 聚类算法

所谓聚类就是根据相似性对数据对象进行分组, 发现数据的分布特征, 使得每个聚类中数据有非常高的相似性而不同聚类中的数据尽可能不同[6]。它同分类的主要区别在于, 分类事先知道所依据的数据特征, 而聚类是要找到这个数据特征。作为数据挖掘的功能, 聚类分析可以作为一个获取数据分布情况、观察每个类的特征和对特定类进行进一步独立分析的工具;聚类也能够有效处理噪声数据, 比如数据库中普遍包含的孤立点、空缺或错误数据等。

聚类分析算法通常有5类[7]: (1) 基于划分的方法, 如CLARANS; (2) 基于层次的方法, 如CURE和BIRCH; (3) 基于密度的方法, 如DBSCAN、OPTICS、GDBSCAN和DBRS; (4) 基于网格的方法, 如STING和Wave Cluster; (5) 基于模型的方法, 如COB-WEB。其中DBSCAN算法具有很好的过滤噪声数据的优点。本文探讨利用DBSCAN算法对审计数据进行处理, 找出异常数据, 查找出审计证据。

3.1.2 DBSCAN算法

DBSCAN算法的基本思想为[8]:对于同一个聚类中的每个对象, 在给定的半径d的邻域中包含的对象不能少于某一个给定的最小数目Min Pts (也称密度) 。

为了生存一个聚类, DBSCAN算法首先从数据集DB中选择任意一个对象p, 并查找数据集DB中关于半径d的所有邻域对象, 如果这个邻域对象的个数小于最小数目Min Pts, 则p为噪声数据;否则p的邻域对象形成一个初始聚类N, N中包含对象p及p直接密度可达的所有对象。然后确定该类中的每一个对象q是否为核心对象, 若是, 就将q的d—邻域内尚未包含到N的所有对象追加到N中, 并继续判定新追加的对象是否为核心对象, 如果是, 重复上述追加过程, 直到这个聚类不能再扩大为止。然后DBSCAN算法再在数据集DB中另选一个没有被标识为某个聚类或者噪声的对象, 重复上面的操作, 一直到数据集DB中的所有对象要么被标识为某个聚类、要么被标识为噪声数据为止。

DBSCAN算法进行聚类的过程就是不断执行数据集查询比较的过程, 最后产生的噪声数据就是通常所说的异常数据, 对于帮助审计人员进行审计判断非常有效。图3表示了二维平面坐标下的噪声数据和若干聚类。

3.2 数据模式定义

3.2.1 项间的距离

设Ri和Rj是数据集DB中的任意两条记录即某两个数据项, 它们之间的距离定义为:

式中, Ri (Rix, Riy) , Rj (Rjx, Rjy) 表示数据集中两个项Ri和Rj在二维空间的坐标点, 因此dij表示Ri和Rj在二维空间坐标的距离。如果dij大于给定的值d, 则表示Ri和Rj不属于同一个聚类分组。

3.2.2 审计数据预处理

数据挖掘时数据的选择是在二维平面上进行的, 首先选择列 (字段或属性) , 再选择行 (记录或元组) 。为了能够获得有效的审计证据得出正确的审计结论, 有时候必须对源数据集进行数据转换。

因为各个企事业单位的规模不同, 财务数据的数量级或者数量单位可能不同, 为了得到更加科学可靠的聚类分析结果, 需要对财务数据进行预处理, 一般进行比例变换。如将x轴定义为某公司某月营业收入与利润总额的比值, 将y轴定义为财务费用与净利润的比值, 这样处理的数据能更好地反映该企业的实际情况。这里的财务数据预处理都是由用户来定义的, 可以根据不同的审计要求和审计目的来定义。

建立一个新的二维表格数据至少包含4个属性项:记录号, x轴数据, y轴数据, 标记。其中记录号保持对应源数据集DB中的记录号, x坐标和y坐标即为经过比例变换后的数值, 标记字段初始内容为空。

3.3 算法描述及流程图

给定一个计算机审计数据集, 假设具有N个元组或者记录, 利用DBSCAN算法思想构造出L个分组 (L

(1) 每个分组至少包含Min Pts个元组。

(2) 每个分组中的任意两个元组直接的距离小于等于给定的距离d。

(3) 每个元组仅属于一个分组。

图4为实现审计数据挖掘的算法 (称为AUDBSCAN) 的流程图。

3.4 聚类算法的实现

算法:审计数据挖掘聚类算法 (AUDBSCAN)

在AUDBSCAN算法中, 利用Rand () 函数产生第一个随机记录p, 利用Found () 函数产生p关于d的Min Pts密度可达记录。该算法最后的结果和随机产生的第一条记录相关, 形成的聚类可能有不同, 但得到的噪声数据一致, 因此对于审计证据的查找是有效的。

4 结论

数据挖掘技术与海量数据下审计业务的有效结合是未来计算机审计的一个发展方向。本文主要介绍了审计数据的采集、数据的处理转换和数据的挖掘3个方面, 并且在数据的挖掘方面采用了基于聚类的DBSCAN算法来快速、准确、高效地输出噪声数据。该算法中涉及的二维平面x, y轴坐标可以根据实际审计需要由审计人员加以定义, 因此可以应用到各类审计实践中去。另外, 可以将DBSCAN算法扩展到三维空间上, 只要再加上一个z轴数据, 当然z轴数据也应该是和x, y轴数据相关的一个比例数据, 此时聚类的结果将会变成一个不规则球体, 从而能够更加容易挖掘出未曾发现的知识, 也更加容易发现数据间的潜在联系。

参考文献

[1][加]Jiawei H, Michelline K.数据挖掘概念与技术[M].范明, 译.北京:机械工业出版社, 2004.

[2]陈伟, 张金城, Robin Qiu.审计数据处理实验中的模拟数据生成系统[J].计算机工程, 2007 (19) .

[3]王琦峰, 胡玲玲.基于AO的审计数据采集方法[J].计算机系统应用, 2009 (3) .

[4]米天胜, 张金城.面向数据的计算机审计中数据质量问题的探讨[J].审计与经济研究, 2006 (1) .

[5]王昊, 朱文明.审计数据质量研究:从审计取证的视角[J].南京大学学报:自然科学版, 2007 (1) .

[6]杨磊, 李建军, 张志军, 孙翠娟.谈数据挖掘中常用的聚类算法[J].中国成人教育, 2008 (4) .

[7]胡彩平, 秦小麟.一种改进的空间聚类算法[J].模式识别与人工智能, 2007 (3) .

[8][美]Margaret H Dunham.数据挖掘教程[M].郭崇慧, 译.北京:清华大学出版社, 2005.

[9]刘蓉, 陈晓红.基于数据挖掘的移动通信客户消费行为分析[J].计算机应用与软件, 2006 (2) .

数据分析 篇9

一、以问题解决为驱动,树立收集数据的意识

【片段1】你想了解什么

出示“古筝、葫芦丝、笛子、小提琴”四种乐器图片。

师:你喜欢哪种乐器?你还想了解什么?

生1:我想知道我们班喜欢哪种乐器的人数最多?哪种最少?

生2:我想了解男生、女生喜欢哪种乐器的人数最多?男、女生对这些乐器的喜好有没有区别?

师:想要了解这些问题,该怎样做?

生(众):调查统计。

思考:统计教学应从问题出发,引发学生学习和探索的需要,驱动学生的数学思考,让统计确实成为需要。上述设计首先紧扣“要想了解‘男、女生对这些乐器的喜好有什么区别?该怎么办?’”这个具体的问题,引发学生收集和整理数据的内在需求,使学生真切体会到现实生活中有许多问题需要先做调查研究,收集数据,通过分析做出判断,凭借数据来“说话”,开展调查能够帮助我们更好地解决问题,感受研究问题的科学方法。

二、经历真实数据统计分析的全过程,感受统计的价值

【片段2】你如何了解

师:你们打算如何调查呢?

生1:举手统计。数一数全班喜欢各种乐器的男、女生人数各有多少?

生2:把自己喜欢的乐器写在纸上,再交上来进行统计。

师:同意吗?但是直接全班调查,范围比较大,人数比较多,有什么好办法吗?

生3:可以先分小组进行调查,然后再进行全班汇总。

展开调查。任务要求:每人只能选一种乐器,组长统计小组情况,班长汇报全班情况。所有学生将人数填入单式统计表。

(表格略)古筝:男2,女11,合计13人;葫芦丝:男10,女0,合计10人;笛子:男7,女1,合计8人;小提琴:男8,女9,合计17人。

组织抢答比赛:

女生:(1)喜欢葫芦丝的男生多还是女生多?(2)喜欢笛子的学生一共有多少人?

男生:(1)喜欢哪种乐器的男生最多?(2)这个班的学生一共有多少人?

师宣布女生获胜。

男生(众):不公平。

师:怎么不公平了?

生:女生的问题只涉及一种乐器的人数情况,只需观察一张统计表。而男生的问题涉及四种乐器的人数情况,要看四张统计表,还需要进行计算。

师:这样看来,单式统计表的信息比较分散,不集中,不便于分析和比较。有什么好的想法吗?

生:把四张单式统计表合并成一张大表。

合并要求:(1)拿出四张单式统计表,小组内交流合并想法。(2)尝试合并,对合并后的统计表进行修改和调整,想一想,怎样才能更简洁、明了?(合并过程略)

(引导合并、优化,并出示复式统计表,回答之前提出的问题)

师:与前面的单式统计表相比,复式统计表有什么优势?

生1:既包含了四种乐器的人数情况,还可以反映出整体人数情况。

生2:把信息集中起来,便于对各种人数情况进行分析和比较。

(引导并指出:信息全面、便于分析)

师:在这四种乐器中,如果班上开设一个乐器兴趣小组,你有何建议?

师:根据统计结果,再来回答问题或做出决定,这样有什么好处?

生8:不盲目,根据调查统计而得到的结果,比较可靠。

思考:上述教学在问题解决的任务驱动下,开展一系列的学习活动:先通过分组调查、全班汇总的方法收集并整理数据;再根据问题的背景选择合适的方法———复式统计表来描述数据,此环节将统计知识和方法的学习融于解决实际问题的活动中,有利于学生体会复式统计表的意义和作用;接着引导学生分析数据,解决之前提出的问题,并做出判断和决策“开设什么乐器兴趣小组”。帮助学生经历数据的收集、整理、描述和分析的统计全过程,让学生了解统计对调查实际问题、反映结果、研究和判断相关问题的作用,充分彰显统计活动的价值,积累统计经验,发展统计观念。

三、提供开放的数据分析,体会数据中蕴含着丰富的信息

【片段3】你了解到什么

出示数据:

师:针对各班参加体育活动的情况,你有何想法?

生1:喜欢打乒乓球的人数比较多,喜欢跳绳和踢毽子的人数差不多。

生2:五(1)班和五(3)班都是喜欢打乒乓球的人数最多,踢毽子的人数最少。

生3:五(2)班参加体育活动的人数比较少,需要加强体育锻炼。

师:相同的数据,从不同角度去分析,可以得到不一样的结论,数据中蕴含着丰富的信息。

思考:统计研究的基础是数据,核心是通过数据分析来实现对相关问题的了解和把握,数据分析是统计的核心。上述教学设计不仅仅满足于学生能从统计表中获取“数据的多少”“数量的大小”等信息,而是处于一个更高点来处理教学,通过开放性的综合数据分析,让学生了解对于同样的数据可以有不同的分析方法,需要根据问题的背景来选择合适的方法,从不同的角度分析数据,得到的结论也会存在差异。感受数据中蕴含着的丰富信息,增强学生利用数据的意识,发展学生的数据分析观念。

四、创设丰富的学习活动,体验数据的随机性

【片段4】你来做“决策”

师:观察上表中的数据,我校准备面向全校开设体育兴趣小组,如果你是校长,你的决定是…

生1:开设乒乓球兴趣小组,因为喜欢乒乓球的人数最多。

生2:先调查一下其他年级参加体育活动的情况,因为这里只是五年级学生参加体育活动的情况,不能代表全校。

师:学校开设体育兴趣小组,仅仅根据五年级的体育活动情况做出决定,合适吗?

生:可以扩大调查的范围,进行一个全校性的调查。

出示数据:

生1:开设跳绳兴趣小组,因为全校喜欢跳绳的总人数最多。

生2:还是开设乒乓球兴趣小组,虽然喜欢跳绳的总人数多,但高年级喜欢的人数较少,而喜欢乒乓球的人数处于跳绳和踢毽子之间。

生3:可以根据低、中、高年级学生参加体育活动的情况,开设不同的体育兴趣小组。

师:不同的年级,对体育活动的兴趣也不一样,仅根据一个年级推断全校是不科学的。数据范围越广,得到的结论就更加准确、合理,更能够说明问题。

思考:“面向全校开设体育兴趣小组,如果你是校长,你的决定如何?”设计这样具有现实意义和挑战性的情境,把学生推向“决策人”的高度,让其置身其中,目的就是为了让学生“慎重决定”,让学生思考以“五年级的体育活动情况”推断“全校体育兴趣小组的开设”是否合适,推理中用到的样本数据是否具有足够的代表性。其他年级的情况也许和五年级存在差异,需要有一个“扩大调查范围”的过程。使学生体会到:运用部分来推断总体不一定就是准确无误的,或者说从一个数据总体中得到的信息有时是不能应用到另一个总体上去的,要有足够的数据才能从中得到更加可靠的判断和结论。

合同数据库的建立与数据分析 篇10

随着我院信息化三期工程项目的深入, 我院的合同管理、项目管理等功能及软件子系统现已初步开发完成, 经安装调试运行后, 达到了预期效果。对于新的合同已经可以直接录入信息并参与到系统管理之中, 但原来签订的合同信息由于没有电子化数据库, 只有纸质的信息而无法加载到管理系统里。而对于合同管理来说, 合同数据信息库是基础。国内外就这方面的发展情况, 只能提供各类数据库管理操作系统 (软件) , 对于各使用者来说, 必需要靠自己应用该系统来规划设计、建立相应的数据库。

为了使我院近10年来的合同信息进入到合同管理系统中参于管理, 我们一是先对历年来的合同文本进行归类整理, 提炼信息;二是按照合同管理子系统要求设计规划数据库;三是组织人力录入数字信息, 建立起合同数据信息库。即将我院近10年的纸质合同信息化, 建立数据库, 供院里进行统计、分析与管理应用。

“合同管理数据库”采用网络化管理, 查询、统计等各项功能设置全面, 字段设置根据需要可及时增减, 界面简单易操作。该数据库的全面启用, 将本院合同管理纳入统一信息化管理模式, 实行整体管理、分级维护、互动监督的管理机制, 利用规范的数据录入, 帮助用户清晰记录合同签订、合同变更、合同结算、合同收 (付) 款等信息。并形成对应的合同台帐、合同履约情况统计等各自综合统计信息, 使合同各种信息的查询快捷、准确、清晰。为企业提供了更加便利的操作平台, 全面提升了合同管理工作质量。

本系统基于开放的平台, B/S架构, 后台使用SQLSever数据库系统, 进行合同数据采集与统计分析、查询管理等。前台全面基于浏览器运行, 用户能够随时随地登录并进行业务处理, 不需要安装任何客户端, 利用它可以把繁多的合同数据管理得井井有条;系统提供多种查询方式, 有固定条件查询和自定义条件查询等, 提供多种多样的, 人性化查询服务。同时对于每个用户都是一套独立的权限, 从根本上保证了客户资料和合同信息等数据的安全。

研究内容主要包括信息化在实际工作中的具体应用, 计划经营与合同管理信息系统的设计与开发, 管理信息系统与网络技术的紧密联系等方面。使用极其方便。强大的查询、分类、排序功能, 使用户可以立即找到自己需要的内容, 分析自己需要的数据, 真正做到了随时随地、随心所欲, 支持excel信息的导出, 可以把生成的数据导入到EXCEL表格中为将来的数据挖掘分析及其他分析应用提供数据;支持定制打印, 提供多种报表打印功能, 充分满足使用者的需求。同时系统提供安全数据备份功能。

进一步完善我院合同管理工作, 便于对2001年至今的合同进行查找以及对比分析。合同数据库的建立将大大提高我院合同管理工作效率, 为今后合同查找、分析工作提供更为快捷、便利的工作方式, 为我院院领导及各生产部门分析市场提供第一手基础资料。计划经营管理信息自动、有序、快速流通, 提高了我院管理水平和相关部门资源共享程度, 减少了重复劳动。使管理规范化、标准化, 避免手工管理过程的模拟。合同号数据库的建立同时自动生成客户名录, 用于年度顾客满意度调查、工程回访、顾客投诉, 以及向保险公司提交相关资料。加强我院的信息效率、协作效率、办公效率和管理效率, 促进全院整体竞争能力的提升。

2 合同数据分析

在现实的企业经营运行中, 谈到企业管理, 人们首先想到的是企业管理体制、经营方式、组织形式、运行机制等, 而统计的重要性往往被企业管理者所忽视。的确, 企业管理体制、经营方式、组织形式、运行机制的有效与否, 对企业适应市场经济要求, 提高经济效益, 具有重要的影响和意义。但假如没有科学的统计依据, 从企业本身而言, 各项管理就如空中楼阁, 虚而不实, 管理过程中就不能很好地找到切入点。因此, 强化合同数据分析特别是合同统计, 对企业的经营。

2.1 当前企业合同数据分析工作中存在的问题

目前的企业合同统计是将采集的合同信息设置为统计台帐并加以汇总, 其工作过程是以手工操作为主。对于数据检索、分类查询及数据分析不能在短时间内完成, 不能满足快节奏的经营管理模式, 不能及时、准确、完整地进行统计调查, 更不便于进行快速、科学、有效的统计加工和整理。

2.2 合同数据分析工作的意义与作用

我们有必要明确, 对企业来说, 合同数据分析工作是通过搜集、汇总、计算统计数据来反映所签订合同的分布及发展规律。合同数据分析信息有两个鲜明的特点:一是数量性。即通过合同数量、合同金额揭示单位在特定时间合同的数量特征, 帮助我们对生产任务进行定量乃至定性分析, 从而做出正确的决策。正因为如此, 合同统计信息正越来越多地和其他信息结合在一起, 如情报信息、商品信息等;而诸如此类信息, 若能以统计数字显示或以统计数字为依据, 则可利用程度也大为提高。二是综合性, 世间一切事物都具有普遍联系。合同统计信息从整体上看, 涉及国民经济各个行业, 社会、文化、科技各个领域和人民生活的各个方面;也涉及宏观与微观的各个领域和环节。利用统计信息, 不仅可以对事物本身进行定量定性分析, 而且可以对不同事物进行有联系的综合性分析, 既可横向对比, 也可总结历史预测未来。由统计的特性所决定, 如果一个企业建立或完善了合同统计工作制度, 形成一套合理有效的合同统计管理模式, 强化了统计管理, 对企业而言, 将具有以下作用。

既可以反映企业在某一时点上的生产现状, 也可以反映企业在一个特定时期内的动态。从现状看, 它可以反映企业目前的各种社会与自然属性, 反映企业的机构、人员、资产、负债等各方面情况。从动态看, 它可以反映企业的生产发展情况, 产品质量状况, 以及科技开发、经营销售 (或称市场营销) 财务盈亏等方面的情况;还可预测未来趋势。

摘要：数据分析作为对企业实行科学管理, 监督整个企业活动的重要手段, 是企业制定政策和计划的主要依据, 而合同管理也是一个企业生存和发展的根基, 应做好合同的统计工作, 进一步改进工作方法, 形成一套合理有效的统计管理模式, 真正体现合同统计的“信息”、“咨询”、“监督”三大职能。

关键词：数据分析,合同,意义与作用,思考

参考文献

[1]丁志芳, 徐孟春, 王清贤, 等.评说防火墙和入侵检测[J].网络安全技术与应用, 2002 (04)

正确收集数据，科学分析数据 篇11

问题探究1

如果要了解全班50位同学对新闻、体育、动画、娱乐、戏曲五类电视节目的喜爱情况，你会怎么做？

普查：对所有考察对象所做的调查。

讨论1：从上面的数据中你能看出全班同学喜爱各类节目的情况吗？怎样才能很清楚地看出全班同学喜爱各类节目的情况？

统计中经常用表格整理数据，用统计图来描述数据。常用的统计图有条形图、扇形图。

根据上面的调查问卷，整理调查结果，列出统计表，画出条形统计图。

讨论2：你能根据上表和图说出全班同学喜爱五类电视节目的情况吗？

讨论3：如何根据百分比画出相应的扇形图？

问题探究2

某校有2000名学生，想要了解全校学生对新闻、体育、动画、娱乐、戏曲五类电视节目的喜爱情况，怎样进行调查？

抽样调查：只抽取一部分对象进行调查，总体中每一个个体都有相等的机会被抽到，然后根据调查数据推断全体对象的情况。

讨论1：抽取多少名学生进行调查比较合适？被调查的学生又如何抽取呢？

如果抽取的学生人数很少，那么样本就不能很好地反映总体的情况。如果抽取的学生人数很多，必然花费大量的时间精力，达不到省时省力的目的。因此在进行抽样调查时抽取的个体数目要适当，样本中个体的数量称为样本容量，比如本问题可以在各年级中随机抽取100名同学比较适合，即样本容量为100。

讨论2：从表中可以看出什么信息？

从表格中可以看出，喜爱娱乐节目的学生最多，为37%，据此可以估计这个学校中喜欢娱乐节目的最多，约为37%左右。类似的，可以估计这个学校的学生喜欢其他节目的百分比。

问题探究3

某地区有500万电视观众，要想了解他们对新闻、体育、动画、娱乐、戏曲五类电视节目的喜爱情况。

（1）能不能用问题2中对学生的调查数据直接去估计整个地区电视观众的情况呢？

用对学生的调查数据去估计整个地区观众的情况是不合适的。因为学生、成年人、老年人喜欢的电视节目往往有明显的不同，所以要了解整个地区的观众的情况，需要在更大范围内抽取样本。

（2）如果抽取一个容量为1000的样本进行调查，你会怎样调查？

由于各年龄段对节目爱好有明显的不同，而同一个年龄段对节目的喜爱又存在共性，因此可以对青少年、成年人、老年人各个人群分别独立进行简单随机抽样，使每个年龄段都能抽取一定的人数来代表所在的人群，然后汇总调查结果。若青少年、成年人、老年人的人数比为2：5：3，则可以按下表抽取。

讨论1：从上表中可以大致估计整个地区观众对五类节目的喜爱情况，你能谈谈吗？

讨论2：由表中的数据，可以估计各个年龄段中观众对某类节目喜爱的情况吗？

不能。因为不同年龄层抽取的人数不相等。

可以根据不同年龄层中喜爱某类节目的百分比来估计。

讨论3：由上面的调查结果，你能描述整个地区观众随着年龄的增长爱好娱乐类和动画类节目的百分比的变化情况吗？

用折线统计图。

活动总结：全面调查和抽样调查是收集数据的两种方式。全面调查收集到的数据全面、准确，但一般花费多、耗时长，而且某些调查不宜用全面调查。抽样调查具有花费少、省时的特点，但抽取的样本是否具有代表性，直接关系到对总体估计的准确程度。

大数据时代下的数据分析探究 篇12

关键词：互联网,数据挖掘,大数据,数据分析

1 我国现阶段大数据分析发展状况

由于只有对数据进行准确的分析和整理辨别才能够真正获得其中所隐藏的价值, 所以数据分析是处理数据的重中之重, 大数据当中的信息数据量是相当巨大的, 这就对信息数据的储存分析和查询提出了更高的标准与要求, 从实践的视角来讲想要进行大数据分析就要从对传统数据分析方法当中寻找和摸索出一种全新的分析模式, 找出致使实际状况发生的根本原因, 并利用预测和模型对其进行优化, 进而能够在多个行业领域当中不断创新和完善。近几年来“大数据”这个概念在各个行业领域当中被媒体不断提出, 然而我国的“大数据”分析还属于刚刚起步的阶段, 从现阶段我国所有行业当中只有很少数的一些行业和现代企业单位对大数据进行了初级的分析与应用, 在进行业务决策的过程当中将大数据分析结果来当作依据, 我国大数据分析主要运用在保险和银行及电商领域当中。目前在大数据分析技术方面, 已具备比较成熟的数据分析技术如现有的信息数据挖掘技术与商业智能技术, 并且被很多行业所运用, 特别是在电商行业当中运用该种技术对大数据进行分析, 进而使行业总体的运行效率得到提升的同时对行业总体的经济效益也起到重要的促进作用。从信息数据的来源层面来考虑, 在实际当中很多企业都是对其自身所具备的累计数据进行分析, 进而解决所出现的问题, 而且针对问题本身来搜集相关信息数据, 并没有运用互联网当中的大数据来分析自身问题, 并没有发挥大数据的真正作用和价值。

2 大数据的分析模式和分析技术

大数据具备“多源异构”的特点, 对大数据进行分析就是对数据进行逐层降维并归纳与分析的过程, 以数据收集根源来划分可以把大数据要处理的分析数据分成以下几种类型。

(1) 在每一个网站当中用户的浏览和点击量, 各种类型网站和网页当中信息内容的变动, 通过各种搜索工具当中各种词语的搜索次数, 网络实施监测信息数据等。

(2) 通过对这些数据的分析能够对用户的日常行为活动, 对计算机网络系统所进行的操作和系统正常运行的状态进行了解和分析。

(3) 通信领域当中的个人信息通话地点时间及各种信号指令信息数据。

(4) 我国社会当中的各个行业领域当中所统计出来的信息数据。

由于这些信息数据的来源是各不相同的, 是非结构化的信息数据, 对这种模式进行分析的特征为:在互联网当中所产出的各种信息数据, 主要被运用在创建搜索引擎利用搜索工具对信息数据进行检索处理, 伴随着互联网技术的迅猛发展, 大数据分析搜索引擎和出现可以高效在巨大容量的信息数据当中提取出具备一定价值的重要数据, 日志数据是计算机用户日常浏览互联网络与记录计算机系统的日常运行而生成的, 对其进行分析能够依据具体状况使计算机系统得出的结果更具智能性, 分析网站数据及日志信息的模式基本相同, 皆是对数据进行细密的分析继而获得具备价值的数据, 此种处理模式被叫作“离线批处置模式”;在通信行业当中的数据分析, 分析人员通过对信息数据的细密分析进而实现总结查询与归纳, 同时在短期内得到最高价值意义的数据信息, 进而能够有效提高用户体验, 同时保证体系的交互性, 此种分析模式被叫作“查询式分析”模式;对我国经济比较重要的行业领域当中各种类型的数据进行监控的模式被叫作“实时数据分析模式”。

数据分析作为处理大数据的核心, 以往传统的数据分析都是对结构型数据进行分析, 基本程序为:将结构化数据储存到数据库当中, 以此为依据建立数据信息库, 根据问题的实际需要建立相关立方体继而进行综合性的分析, 这种分析方法分析结构化数量较小的数据时比较高效, 对于大数据来说就会出现诸多的问题, 所以有关技术人员研发出了Hadoop技术, 并在分析大数据当中更得到了广泛运用, 该技术是以Java分布式密集信息数据处置与分析为基础的一种软件框架, 用户能够在不熟悉分布式底部细节的状况之下研发分布程序, 进而利用其集群的力量来进行高效的运算与数据的储存。

3 挖掘数据所运用的方法

进入大数据时期以来挖掘数据是非常重要的工作, 大数据挖掘就是在不够完全的、海量的、不清晰的、随机生成的巨型信息库当中挖掘出具备实际价值和意义的信息数据的过程, 还是一个为决策提供支持的过程, 是以人工智能及模式及机械学习和统计学等多科学课为基础来实现的, 挖掘大数据的主要方法包括分类和聚类与回归分析法等方法, 这些挖掘方法从多种视角对大数据进行挖掘。 (1) 分类挖掘, 这种挖掘方法就是将数据库当中具备相同特征的数据进行分门别类, 这样做的主要目的就是建立起分类模型, 进而把数据库当中的数据项反映到既定的类别当中去, 比如淘宝网的商铺通过对用户在一个阶段当中所浏览与购买的商品数据类别进行划分, 向用户推荐有关的商品, 进而提升浏览点击量和销售量。 (2) 聚类和分类挖掘法基本相同, 不同点在于二者的目的不同, 聚类是对数据的相同点与异同点把数据分成不同的种别和类型, 同一种类的数据之间存在较大的相同点, 不同种类的数据相同性较小, 跨越类别的数据不互相关联。 (3) 回归分析就是对数据库当中信息数据的特征和属性进行分析, 利用函数对信息数据进行表达, 进而反映出属性值之间互相依存的联系, 这种方法比较适用于对数据序列进行预测和有关关系的分析当中。

参考文献

[1]王悦.数据挖掘技术探讨[J].信息科学, 2012 (6) :12-18.