《大数据》一书（精选7篇）
《大数据》一书 篇1
《大数据》一书是国务院副总理汪洋任广东省委书记时向广东财政干部推荐的。同为财政干部，我想这本书应该具有同样的启发借鉴意义，于是便从网上买来一“读”为快。全书通篇没有晦涩难懂的专业术语，作者用平实的语言，形象生动的讲明白了数据开放、技术创新和社会进步之间的关系，环环相扣，鞭辟入里，引人入胜。
众所周知，我们当今已经处在一个数据大爆炸的信息时代，数据之大主要体现在三个方面：一是体量规模大。数据具有强劲的生命力，社会和生活的方方面面几乎都可以用数据来记录和测量，无处不存在，无时不产生，无刻不在发挥作用，生生不息，绵延不绝。以往我们选择的是记录哪方面的数据，如今我们选择不记录哪方面的数据。二是研究价值大。数据里既记录了事实，又蕴藏了商机，还反映了群众需求，因此数据影响着政府的决策和执行，引导着企业的盈利和创新，改变着个人的思想和习惯。数据就像土地、能源和资本一样，成为支撑整个社会经济发展的根本性资源。三是社会影响大。通过对海量数据的研究分析，能够从纷繁复杂的数据中挖掘出潜藏的规律性知识，将这些规律性知识应用于政治、经济社会生活的方方面面，将对社会运行模式和人类行为方式产生革命性的影响。
财政是国家治理的基础和重要支柱，财政部门是数据密集型的综合管理部门，数据和信息一直都是财政工作的根本和基础。就我目前从事的绩效管理工作而言，作为近年来财政领域的一项重要改革，其各环节的工作都是以数据为基础而展开的，因此在工作中更要结合数据的三大特征，以数为据，用数据说话，用数据改进管理，用数据推动工作创新。
一是高效收集数据。绩效管理工作线长、面广，纵向贯穿预算编制、执行和监督全过程，横向覆盖全部财政性资金，这就决定了既涉及来自本级财政内部各业务板块的数据，还有上下级财政部门的相关数据，以及其他业务主管单位的产出数据，数据规模不可谓不庞大。因此绩效管理的数据收集工作都务须要根据各环节的特定主题，明确数据收集范围，完善信息收集渠道，以保障所收集数据的客观性、实用性和完整性，同时也要建立与局内各业务系统共享共联的绩效管理信息系统，并逐步建立与各主管部门数据系统的接口，以便在系统内直接抓取所需数据信息，提高数据收集的质量和效率。
二是深入挖掘数据。收集、挖掘数据的根本目的是要评估绩效、发现问题、改进管理、提升效益。这就要求在评价过程中，为了客观反映资金使用绩效，要对的大量数据进行深入的挖掘梳理，认真的比对分析；并且针对所发现的问题，全面翔实的剖析原因，提出相应建议，以改进管理提升资金效益。同时也对各类项目产出数据进行归并汇总，总结内在规律，辨出因果关系，以指导和改进今后的工作，打破评价瓶颈，切实提高评价效率和质量。同样，对中介机构也能进行数据化管理，通过设置一系列的指标，将中介机构的工作效率和工作质量予以量化，对其工作情况进行综合评议，将此作为考核中介机构优劣的依据，通过数据管理，实现优胜劣汰的良性竞争，提高其服务水平和服务质量。
三是综合运用数据。数据既是开展绩效评价工作的基础，也是绩效评价过程的记录，还是反映绩效评价结果的载体。评价过程中，在收集、分析运用数据评价效益时，难免会碰到很多复杂的问题，如何把复杂问题简单化，就需要根据实际情况，学会从大局出发，从整体考虑，实事求是地权衡利弊，有所为，有所不为，综合运用数据，真正合规合情合理地进行评价，正所谓“立足数据做评价，跳出资金看绩效”，站在一定的高度看评价才能真正把评价工作做好。
数据驱动的工具，实时反馈中蕴含着辅助教师和学生的巨大潜力，但是依然存在障碍，美国政策研究机构Brookings的报告如是说。
数据勘探和数据分析软件可以通过提供实时反馈学业表现来帮助学生。此外，教师可以使用数据驱动工具来研究学生的学习模式并修正课程以便满足学生个人的需要。
那是根据Brookings机构(一个总部在华盛顿的非盈利公共政策组织)的一项新研究。该报告“教育中的大数据：数据挖掘技术，数据分析，以及Web指示板，”作者是Darrell M.West，Brookings的技术创新中心主管，他还是《数码学校：科技如何改变教育》这本书的作者。
在报道中，West解释了合并实时数据的教育工具是如何提供即使反馈给学生和教师的。举例来说，一个教阅读的程序控件可以收集关于学生阅读某篇文章所需时间的数据。小测验将马上告诉学生们他们的答案是否正确——这就将教师从冗长累人耗时巨大的评分工作中解放出来——并能将学生的表现欲同班同学和全国范围内的学生相比较。
教师同样会受益，West说。实时工具可以制作报告，详细展现每个学生阅读时间和理解力，词汇技能，以及补充工具的使用(例如提供额外词汇细节和概念知识的网站)。这些大数据技术可以帮助教育者评估学生们的表现，包括花在阅读上的时长，以及每个学生学习关键概念的速度。
“所谓的 大数据 使得查探关于学生表现和学习途径的学习信息成为可能。而不用依赖阶段测验表现，导师可以分析学生懂得什么以及每个学生最有效的技术是什么。通过聚焦于数据分析，教师可以用更微妙的方式研究学习状况，”West写到。
除了快速测定学生表现之外，数据勘探和分析软件还可以帮助教育者研究能够预测其他效果的学习模式。举例来说，卡耐基梅隆大学领导的实验提供教授用以建立某些科目(如化学和物理学)在线教学的工具，检测前和检测后评估，以及学生们与电子导师互动的记录。
“如果学生遵循的方法是错误的，该系统就会发出错误信号并根据该学生要求提供答案提示。导师可以获得一个详细的分析，不仅仅是该学生是否正确得出答案，还包括他们如何解决难题，”West写到。
一个由大量数据支持的技术驱动的教育系统可能看起来冷酷不近人情，但是研究显示真实情况恰恰相反。
比如WebQuest，它是一个基于网络的教育工具，允许学生在线来解决具体问题或研究信息。它的意图是教学生们发现并评估在线材料。一项来自139个参加WebQuest教导讨论的教师的研究显示，大多数导师发现这些形式的项目都很有效率。
他们的学生，实际上，都很享受WebQuest的“合作式互动式本性。与他们自己寻找一般性互联网信息截然相反，学生们必须与别人讨论才能完成任务，” 数据驱动教育工具已经在美国很大范围内使用了，报道说。举例来说，16个州的学校，使用数据勘探技术去确认处于危险中的学生。通过使用关键因素(如旷课，纪律问题，课堂表现变化)预测模式，教育者可以确认哪些学生最有可能退学。
数据可视化工具也显示了良好的潜力。比如仪表盘，用一种简单的用户界面展示主要绩效指标，允许学校管理者看到他们的学生的总体表现。
但是要在学校中广泛启用大数据工具存在许多障碍，包括预算不足，不兼容的信息系统，对数据驱动技术潜力的缺乏理解以及对隐私的担忧。
“克服这些障碍并不容易，”West写到，“创建数据分享网络使得学生隐私的平衡和以研究为目的的数据访问都成为必要。”
大数据浪潮，汹涌来袭，与互联网的发明一样，这绝不仅仅是信息技术领域的革命，更是在全球范围启动透明政府、加速企业创新、引领社会变革的利器。现代管理学之父德鲁克有言，预测未来最好的方法，就是去创造未来。而“大数据战略”，则是当下领航全球的先机。
大数据，这一世界大潮的来龙去脉如何？数据技术变革，何以能推动政府信息公开、透明和社会公正？何以促发行政管理和商业管理革新，并创造无限商机？又何以既便利又危及我们每个人的生活？Google、百度之类搜索服务，何以会不再有立足之地？引领世界的数据帝国——美国和西欧，正在如何应对大数据时代？我们中国，又当如何作为？
本书通过讲述美国半个多世纪信息开放、技术创新的历史，以别开生面的经典案例——奥巴马建设“前所未有的开放政府”的雄心、公共财政透明的曲折、《数据质量法》背后的隐情、全民医改法案的波澜、统一身份证的百年纠结、街头警察的创新传奇、美国矿难的悲情历史、商务智能的前世今生、数据开放运动的全球兴起，以及云计算、Facebook和推特等社交媒体、Web3.0与下一代互联网的未来图景等等，为您一一细解，数据创新给公民、政府、社会带来的种种挑战和变革。
许倬云[史学大家、匹兹堡大学历史系荣誉讲座教授] 在极权的国家，他们手上拥有足够的资讯，足以利用这资讯，掌握每一个人的日常生活；“老大哥”的影子，可以无所不在„„涂子沛先生《大数据》这部书，清楚地叙述了资讯时代对我们生活的影响与社会的控御力。他讨论的范围方方面面、极为广泛。我们要对涂子沛先生致敬与致谢，因为他为华文世界提出一个重要的话题。
托马斯·H·达文波特[哈佛大学商学院访问教授、巴布森学院总统杰出奖教授、全球顶尖的管理咨询大师] 在很多领域，中国政府和中国的企业都有雄心勃勃的计划，这引起了全世界的关注，这些雄心和计划，现在应该拓展到大数据的领域。涂子沛先生的《大数据》这本书，将在这个重要的领域，为中国政府和企业的努力提供引导和帮助。
无论是对中国政府，还是就中国的商业组织而言，《大数据》都是一本重要的书。
杨叙[英特尔全球副总裁、中国区总裁] 《大数据》这本书讲述了数据技术浪潮的兴起过程，回顾了近一个世纪以来美国作为一个世界强国的开放历史，气势磅礴。从书中可以看到，美国的发展动力，正是开放和创新。我们正在向个性化的智能互联网时代迈进，计算力的扩展正在不断加速，数据将成为我们最强大的创新动力。
薛海培 [奥巴马总统大选亚裔事务顾问、美国华人全国委员会会长、凤凰卫视时事评论员] 《大数据》从奥巴马建设“前所未有的开放政府”出发，描写了半个多世纪以来数据对美国社会政治、商业、文化等方方面面的影响，谈及了1930年以来历任美国总统，可谓波澜壮阔。涂子沛作为科技业的精英，并没有将自己眼光和生活局限于技术之上，他对美国社会的独到观察和理解、对华人社区工作的积极参与和贡献，都是促成本书成为一本佳作的重要原因。
郭巍青 [中山大学政治与公共事务管理学院教授] 《大数据》是一本视角独特、取材新颖、别开生面的好书。它以数据为轴线，描绘了美国走过的开放创新历程。从该历程中我们看到，数据挖掘是一种知识生产过程，从中产生创新，产生管理，产生推动社会变革的理论与实践。更有意思的是，美国政治的发展，公民权利的实现，以及各种自由与福利的保障，都和对数据的创造性应用密切相关。这对已经步入信息时代的中国，尤其有借鉴意义。趋势所在，数据乃大。涂子沛先生的专业性分析和介绍，是一项创造性的工作。
Ramayya Krishnan [卡内基梅隆大学海因兹学院及信息管理学院院长、终身教授] 大数据具有催生社会变革的能量。但释放这种能量，需要严谨的数据治理、富有洞见的数据分析，以及一个激发管理创新的环境。涂子沛的《大数据》这本书总结了美国的经验和实践，并为中国提出了一个路线图。我为他的成就感到骄傲。这本书完整地融合了技术、政治、商业三个角度，体现了我们学院师资教学的独特优势。我相信本书会在中国激发新的思想和讨论，帮助中国迎接大数据的挑战。
薛华成 [中国管理信息系统的主要开创者、澳门科技大学行政与管理学院名誉院长] 通过历史故事的讲述，用近似新闻评论的笔法，《大数据》这本书以美国为例介绍了由经验管理到数据管理这场正在发生的革命性变革，通俗形象地讲清楚了科学的道理，实属难得。这对学者们扩大视野，对管理干部深化科学发展观的认识，都有十分重要的价值。
施伯乐 [复旦大学计算机研究所所长、上海（国际）数据库研究中心主任] 《大数据》这本书揭示了数据在未来社会中的革命性作用。大数据将是下一个社会发展阶段的“石油”和“金矿”。无论是个人、企业还是国家，谁能更好地抓住数据、理解数据、分析数据，谁就能在下一波的社会竞争中脱颖而出。关于数据的知识，将成为个人知识结构中的必备要素和基础。
赵嘉敏 [东西网总裁、译言网创始人之一] 子沛兄的《大数据》这本书，帮助我们形象地了解信息自由、技术创新与社会进步的关系。我最感兴趣的是美国信息自由制度建立的过程。它让我看到，一个社会、一种文化，是如何通过自省式的努力，认清比自身存在更本源的客观规律。这种制度一旦建立，就如同打开了控制某个基因群组的开关，后面所呈现的演化，虽然眼花缭乱，反而显得平淡无奇、顺理成章了。】
董洁林 [苏州大学企业创新和发展研究中心主任、教授] 18世纪启动的工业革命为人类创造了巨大的财富，也极大地推动了社会变革。20世纪中启动的信息革命对人类社会也将产生巨大的冲击，而这个进程刚刚开始。涂子沛先生所著的《大数据》一书，用有趣的故事带我们回顾信息时代的里程碑，使我们透过未来的变幻不清的迷雾，展望和畅想信息革命的大趋势。
汪小帆 [上海交大电子信息与电气工程学院教授] 《大数据》值得仔细阅读与思考。要让数据更好地说话，既依赖于数据科学与技术的发展，更需要政府、机构和公民的数据意识的不断提高。
张晖 [卡内基梅隆大学计算机系终身教授] 数据科学正在成为一个新兴的学科和领域。涂子沛先生的《大数据》这本书，为我们揭示了大数据浪潮发生的前因后果，以及这种技术进步对政治、经济、文化的种种影响。希望读者从本书中获益，以积极的态势应对中国的大数据挑战。
《大数据》读后感。
老师们从：何谓大数据；立足国情对大数据进行探讨；大数据在教育教学中的主要应用等几个方面畅谈了自己的感悟。
张萌老师说：大数据体量庞大、结构复杂、是产生巨大价值的数据集合。大数据这种方法在中国的国情下需要以更加科学、合适的方式进行实践，不可生搬硬套。
董译雯老师说：在你我感叹《大数据》里深植于美国民众血液中的自由、民主、严谨的价值观的同时，可否想过中国教育体制下的孩子们身上还残留多少独立与自我意识？作为典型的八零后，我们这一代人身上最缺失的便是独立思考能力。但愿，我的学生哪怕是因为我所做的一点点努力而开始思考“我”这个字的含义，足矣！
张红杰老师说：很感谢校长给我们推荐了《大数据》这本书。在教学工作中，应该有大数据意识，创新意识。学习一些专业的教学统计法、数据分析法，从中发现一些教育现象，并采取相应的策略。让我们的教育教学工作少一些随意和盲目，多一份严谨与科学。
白媛媛老师通过文中的三个事例，结合教学实际，谈了自己教学中对数据使用的价值；结合自己的工作，谈了如何实现工作的最高境界。
交流活动尾声，身为阅读《大数据》的倡议者、发起者、以及忠实的读者韩校长幽默风趣的同大家分享了他读后的感悟：我们心中要装着学校，因为我们个人的命运依赖群体的命运；工作要追求精细化，不能做胡适书中的“差不多”先生；尊重数据，拥有数据意识，建立数据团队！
此次活动从寒假期间倡导读《大数据》一书，到开学伊始的分组沙龙，再到今日的阅读共享，现已圆满告一段落。相信此次活动定会增强我校全体教师的数据意识，掌握大数据，运用大智慧助推我校的教育教学上一个新的台阶！
真棒，这个月读了两本书。涂子沛的《大数据》从民主和国家战略的层面介绍了大数据的影响力，其中的内容虽不技术，但非常值得深思。
PS：我觉得涂同学这个文章是为了宣扬美帝的XX和XX的，其用心有点险恶哦：）试将有触动的部分记录如下：
好的数据结构的重要性
一个好的数据结构和一个糟糕的代码，比一个糟糕的数据结构和一个好的代码强多了。——埃里克。雷蒙 美国软件开源运动的领导者。
我们正在进入一个新的世界，在这里，数据可能比软件还要重要。——蒂姆。奥莱利 奥莱利媒体创始人、技术活动家 2007年。硬件->软件->数据
最小数据集
1973年，首先在医疗行业的信息收集中被提出来。随着时间的推移，“最小数据集”在美国已经演变成了一个一般性的概念，它指代国家的管理层针对某个业务管理领域强制收集的数据指标。不少领域的“最小数据集”甚至被上升到立法的高度。
大数据战略
2010年12月，总统行政办公室下属的科技技术顾问委员会，信息技术顾问委员会向奥巴马和国会提交了《规划数据未来》的专门报告，该报告把数据收集和使用的工作，提到了战略的高度。“如何收集、保存、维护、管理、分析、共享正在呈指数级增长的数据是我们必须面对的一个重要挑战。从网络摄像头、博客、天文望远镜到超级计算机的仿真，来自于不同渠道的数据以不同的形式如潮水一般向我们用来。如何保证这些数据现在、将来的完整性和可用性，我们棉铃着很多的问题和挑战。如何使用这些数据，则是另外一个挑战。。因对好这些挑战，将引导我们在科研、医疗、商业和国家安全方面开创新的成功。” 2012年3月29日，奥巴马政府又进一步推进了其“大数据战略”。奥巴马的高级顾问、总统科学技术顾问委员会的主席霍尔德伦代表国防部、能源部等6个联邦政府部门宣布，将投入2亿多美元立即启动“大数据发展研究计划”Big Data Research and Development Initiative，以推动大数据的提取、存储、分析、共享和可视化。
数据发布的作用
如果认为网上的数据发布仅仅是为了社会监督，那就大错特错了。监督仅仅只是其中一个目的。交通安全管理局在介绍他们循数管理的经验是，特别强调了通过网络发布数据的重要意义。
在网上发布数据，将会吸引一大批对这个问题感兴趣的各界人士参与到政策制定的过程中来，足够多的眼睛，将会使所有的问题都无所遁形，更多的问题将被发现，更多的细节将被讨论，更好的方案将会被激发。还有，通过发布这些数据，一项具体的政策的执行效果能够被量化，各个州之间分方便进行实时对比，新的政策如果更加有效，很容易在全国范围内被接受、复制并推广，形成一种良性的“政策竞争”氛围。
数据可视化
美国联邦政府也意识到“数据可视化”的战略意义。2004年，联邦政府在国土安全部成立了国家可视化分析中心，专门推动该项技术在政府部门的应用，特别是情报分析领域的应用。
发布数据的质量
OMB（管理预算的，有点像我们的计划部）制定的3个指导原则：
一是质量要有标准，各部门必须制定衡量数据质量的统一标准，包括三个方面：客观性、实用性和完整性
二是质量管理要有流程。各部门必须针对数据质量，完善信息管理的流程，防止地质量的数据的出现。
三是要有质量救助机制。政府各部门必须建立一个行政机制来应对社会、公众对于数据质量的质疑和挑战；如果政府发布的数据质量确实存在问题，必须有一个相应的纠错机制来补救。2001年，美国国会甚至通过了《数据质量法》Data Qualilty Act
集中的数据仓库对客户隐私的影响
反对方自然是隐私之上的信奉者。他们认为，在信息时代，无论是个人的日常消费等琐碎小事，还是事关健康、教育的重大决策，都会在各种各样的信息系统当中留下“数据脚印”。这些“数据脚印”，保存在不同的系统中，可能无伤大雅。但如果建立起中央数据银行，通过数据整合和信息贾总，就可以再现一个人生活的轨迹和全景，各个系统之间的数据可以彼此印证、互相解释，个人隐私就会无所遁形。
隐私学学者认为，这种信息加总和数据整合，无异于一种监控，准确地说，是一种“数据监控”Dataveillance，其对个人隐私权的侵害，无异于《一九八四》中的电幕。进入大数据时代之后，甚至有专家提出：大数据就是老大哥！Big Data is Big Brother
统一身份证与客户隐私近几十年以来，美国也对统一身份证这个问题做过很多次民意调查，但除了珍珠港事件之后的昙花一现，每次都是反对意见占了绝对上风。1942年，民意调查的创始人乔治。盖洛普曾经在《纽约时报》上对统一身份证这个问题做过一个很好的总结。他认为，统一身份证是管理社会、控制公民的一种手段，在美国，这种手段被视为是警察国家的做法，是集权社会的象征，是违反美国精神的。
万维信息触角计划与建言计划
万维信息触角计划。Total Information Awareness。追踪恐怖分子的“数据脚印”。将各种数据连接、集中到一起，提高管理、查询和统计的效率，并进行数据挖掘。
建言计划。Analysis,Disseminaton,Visualization,Insight and Semantic Enhacement。在“交易空间”的数据基础上实施数据挖掘技术，以发现潜在的恐怖威胁。这一次，国土安全部声称，他们已经把隐私保护的技术预先嵌入到系统中，例如，自动屏蔽个人的姓名和社会安全号码。
政府扶植软件业
在软件业的发展过程中，美国联邦政府也起了举足轻重的作用。由于软件的可通用性低，整个软件产业最早是由个别大项目推动的。这些大项目，基本上都是由联邦政府认购、买单。。他们帮助IBM成为软件产业的巨头，也为美国培养了一大批程序员。类似的大项目成了程序员的摇篮和“西点军校”。在这些项目中成长起来的技术中坚，后来散布到各个行业，成为各个领域软件开发的带头人。正式联邦政府这些大项目带来的人才优势，几十年以来，美国的软件业一直在全世界占据领先地位。
公共数据开放的8大基本原则
1、数据必须是完整的；
2、数据必须是原始的；
3、数据必须是及时的；
4、数据必须是可读取的；
5、数据必须是极其可处理的；
6、数据的获取必须是无歧视的；
7、数据格式必须是通用非专有的；
8、数据必须是不需要许可证的。
数据混搭器
Datamasher.org是阳光基金会举办首次公共数据程序员开放大赛（App for America）的金奖作品。它不仅仅是一个应用程序，还是一个平台，任何用户都可以在它上面选择需要整合对比的公共数据组，然后产生以地图为基础的数据可视化分析。
圣人治国
当我们放大历史上的种种细节，把很多件事情的前因后果联系起来，就很容易发现：历史的每一步发展，都相当的错综曲折。其中作出重大贡献的英雄人物，根本没有谁总是“伟大、光荣、正确”。理解美国总统，既是能干人，更是普通人，他们在以一己之力推动社会进步、国家富强的同时，无法面面俱到，甚至犯下了不少错误。但因为存在一个比较完善的制衡制度，这些错误，可以被纠正，也往往成为另外一些人建功立业的奇迹。美国的这些历史也证明，圣人治国是一个无法企及的良好愿望，甚至可以说，根本就是一个无稽之谈。
公共利益缺乏代表的困局
利益受到侵害的大众，由于其分散性，很难有效地组织起来；而公司、资本家一方，由于其利益高度集中，很容易结盟，形成游说的势力，左右政府的政策。（所以需要非政府组织参与。）
资费套餐的选择 在英国，有几百种手机套餐可供消费者选择。到底哪款套餐最适合呢？这取决于消费者上网、发短信、听音乐、下载、传送图片以及网内、网外通话等各种活动的长短和多少。英国一些手机运营商已经开放了用户消费的明细数据，而第三方立即设计出专业的算法，迅速为用户在几百个套餐当中找到最贴身、最经济的方案。
大数据
在全球经济的很多领域，大数据在以很多的方式创造价值。事实上，研究表明：随着消费者、公司、各个经济领域不断挖掘大数据的潜力，我们正处在一个巨大的浪潮的尖峰，这个浪潮，就是大数据驱动的创新、生产效率提高、经济增长以及新的竞争形式和新的价值的产生。——《大数据：下一个创新、竞争和生产率的前沿》 麦肯锡全球研究所 2011年5月
数据就是直接的财富
和互联网时代相比，大数据的时代，不仅意味着更广泛、更深层的开放和共享，还意味着更精准、更高效、更智能的管理革命。在大数据的时代，数据就是直接的财富、就是核心的竞争力，很多行业，都要相继跨入一个数据兴则企业兴、数据强则企业强的竞争时代。
手机数据的应用
埃森哲正在开发策划一个新的项目以量化告诉公路上广告牌的效果，其核心手段就是分析手机数据。通过手机产生的地理位置数据，可以计算每天有多少行人经过某个特定的广告牌、从什么方位经过、什么时候经过，行人中有多少当地的、又有多少外地的等等。通过这些数据，确定广告的效果，为不同用户找到最佳的广告地点和时间。
大数据时代的这些新应用和新的商业模式将影响改变全球每一个人的生活。
对学习的研究：大数据与教育
如今，上到大学，下至幼儿园，众多科技帮助并提升了学生在课内外的学习过程。获取学习资料、观看授课视频、评价教学活动、进行团队合作、完成家庭作业、参加课程考试，这一切都可以在互联网上完成。
这些基于科技进步的工具与平台给予了学生与教师更多的可能性。仅需数代的革新，这些工具就能提供实时的评估来使学习资料能够按照学生的接受速度来进行演示。不仅如此，教育技术还能扩大受教育人数、增进学生间的互动并使教学内容的持续性反馈成为可能。
除了个性化的教育，新的数据类型的运用使得研究者对于学习行为的研究能力有了质的飞跃。从大规模开放在线课堂等基于科技的学习的平台上获取的数据可以被精确跟踪，借助这些数据，我们能够进行对远超传统教育方式的探索，对学生学习轨迹的移动进行更为准确与广泛的研究。具体包括：深入了解学生在学习活动中的接收效果，根据不同的学习目标，选择合适的学习资料，并进一步地运用这些数据帮助那些处于相似状况的学生。目前，教育部正在研究如何运用这些科技，并已开始整合国家教育技术计划下在线教学平台所产生的数据，并计划成立虚拟学习实验室，为进一步的研究提供方法论上的指导。
教育领域的大数据革命同时也带来了一些亟待解决的问题：随着科技日益深入课堂教学，我们如何最好地确保学生的隐私不受侵犯。一方面，各州与本地社区历来都是教育的主要提供者；另一方面，大量的在线学习工具与课程都是由盈利性企业提供。这就导致了在谁有权获得线上教育平台产生的数据及这些数据应当如何被使用的问题上备受争议。对于这类教育记录，《
《大数据》一书 篇2
现代产业与信息技术的发展使数据资源成为越来越重要的生产要素。爆炸式增长的数据量对多源、异构、高维、分布、非确定性的数据及流数据的采集、存储、处理及知识提取提出了挑战。大数据思维就是此环境中的产物,它并不局限于传统的基于因果关系的逻辑推理研究,甚至更多地通过统计型数据的搜索、分类、比较、聚类、关联等的分析和归纳,关注数据集内隐藏的相关性(支持度、可信度、关注度)。图灵奖得主吉姆·格雷将这种数据密集型的研究范式从理论科学、计算科学、实验科学中分离出来,成为“第四范式”[1]。
2008年《Nature》推出Big Data专刊[2]后不久,文献[3]将大数据计算称为商务、科学和社会领域的革命性突破。2011 年,《Science》的Dealing with Data专刊阐述了大数据对科学研究的重要性[4]。同年,麦肯锡公司发布关于大数据的竞争力、创新力和生产力的调研报告[5],分析了大数据的影响、关键技术及应用领域,进一步燃起学术界和产业界对讨论大数据的热情。美国政府于2013年3月宣布投资2亿美元启动“大数据研究和发展计划”[6],将其上升为国家战略。大数据被认为是继物联网、云计算之后,IT行业又一次颠覆性的技术变革。
云计算是利用互联网实现随时、随地、按需、便捷地访问共享资源池(如计算设施、应用程序、存储设备等)的计算模式[7],关注计算能力,并与关注知识提取的大数据技术相得益彰。
电力是社会发展的重要基础。随着全球能源形势的日益严峻,各国大力开展了智能电网的研究和实践[8,9]。其目标是建设一个覆盖整个电力生产过程,包括发电、输电、变电、配电、用电及调度等环节的实时系统,以支撑电网的安全、自愈、绿色、坚强及可靠运行[10]。而其基础则是电网广域全景实时数据的采集、传输、存储、分析及决策支持。
而愿景中的电网则是网架坚强、广泛互联、高度智能、开放互动的智能电网。文献[11]分析了智能电网大数据的产生与特点,指出已有的数据处理技术在智能电网的数据存储、处理和展示等方面所面临的挑战,已成为智能化发展的制约因素。 文献[12]探索了基于云计算的智能电网信息平台的可靠存储和高效管理。文献[13]研究了用户侧电力消费的大数据,从中挖掘其用电行为,以改进需求响应系统。
以电为核心的大能源体系正在成为全球能源的发展战略[14]:一次能源的清洁替代与终端能源的电能替代都必须依靠电网的输送才能大规模地实现。文献[15]指出,电力可靠性问题的顶层设计应该以大能源观为指导,不能局限于电力系统自身,还要分析其与一次能源、外界环境、管理政策、用户需求与方式变化间的交互,研究广义阻塞对电力系统安全性与充裕度的影响。
电力、能源及广义环境的多源、多态及异构数据的数量呈指数级增长,需要有相应的广域采集、高效存储和快速处理技术予以支撑。而从这些数据中挖掘知识及价值应用则使电力大数据的话题融入大数据的研究热潮。本文及其续文是笔者关于如何将电力大数据的思维应用到电力的广义可靠性、大能源安全及环境安全方面的思考。
1 大数据概念的演绎
1.1 定义
对“大数据”还没有统一的定义,通常指量大、多源、异构、复杂、增长迅速,无法用常规的方法处理的数据集合[16]。许多数据往往只在统计学观点上具有某种相关性,而不一定像传统应用的数据那样具有严谨的因果关系。对这样的统计关系型数据,只有当反映一个真实问题的数据量达到能在一定程度的统计意义上描述其真实面貌时,才能有效地提取知识,支持决策。而对于常规的因果关系型数据来说,数量的大小往往仅影响到计算资源,而与提取知识的方法关系不大。
因此,大数据与小数据之间并无绝对的界限,而是相对于目标问题而言的。大规模的数据量只是大数据概念的特征之一,也不应该用海量的规模作为大数据的必要条件。
大数据技术涵盖了从信息产生、采集、存储、转换、集成、挖掘、分析、计算、展示、应用及维护等数据全生命周期管理过程[17],需要具备从不同类型的多源异构数据中,快速提炼出有价值信息的能力。
1.2 基本特征
数据是以编码形式对自然现象、社会现象、试验仿真结果及经验的记录,包括数字、文字、图像、声音等形式。与传统数据相比,大数据具有四大显著特征4V,即量(Volume)、类(Variety)、速(Velocity)、值(Value)[18]。“量”是指数据容量足够大;“类”是指数据种类呈现多源多态特性;“速”是指实时性要求高;“值”是指数据价值密度相对较低。在数月的监控视频中,可能仅1~2s的画面有用,但通过关联数据的挖掘、分析和提取,却可能获得很高的信息价值。
一般认为,数据规模或复杂程度超出了常用技术按照合理的成本和时限来处理的能力,就可称为大数据。笔者认为如果统计型数据量对于具体目标问题来说,已经具有统计意义,就可以用大数据思维来处理。若为大数据设立数百TB的阈值,必将大数据思维束之高阁,扼杀了其广泛应用的生命力。
除了从因果、统计及博弈等数据关系的视角来对数据类型分类外,还可以按数据结构的视角将其分为三种类型:①结构化数据,即可以用二维表结构来逻辑表达的行数据,关系型数据库是其有效处理工具;②非结构化数据,是一类不能用有限规则完全表征与刻画的异构性数据,如图像、音频和视频等信息,它们之间不存在直接的因果关系,存在不相容性及认知的不一致性;③半结构化数据,介于上述两种结构之间的数据,可以用树、图等模型表达,如Web、办公文档及电子邮件等信息。据统计,随着社交网络、传感物联及移动计算等新技术、新渠道的不断涌现,企业中的半结构化或非结构化数据占比越来越大,有的已达80%。
1.3 思维方式
大数据技术的思维方式是:将采集到的经验与现象实现数据化与规律化,在继承传统的统计学、计算数学、人工智能、数据挖掘等方法的基础上,从单一维度转向多维度统筹融合,开发知识处理的新方法,从更深刻的视角,以更高的时效发掘多源异构数据,从而发现新知识和新规律,并实际应用的方法学。
若可以用简单的表达式直接描述某问题的结果与变量之间的关系,那么即使其数据量很大,也不一定属于大数据思维。当数据之间没有或还不能严格描述其因果关系,而数据集已相对地具备统计意义,就需要并可以采用大数据思维来处理。例如:对于一个市场调查的数据集,如果仅仅求取人群对某种商品的需求分布,那么思维方法并不会因为数据集是否海量,而改变常规的数据处理思维。但如果要从人群对该商品众多技术、经济、全程服务特性等各方面要求中提炼出有助于提高企业竞争能力的决策支持,那就需要有新的思维方法,包括信息挖掘与利用的思维、模式及方法,以帮助人类获得更深刻的洞察力。
关注统计关系的思维方法,同样可以应用于有限数据集上[19],只是其结论的可信度可能受到影响。
1.4 大数据技术的挑战
1.4.1 大数据的采集与集成
利用各种传感器及终端,采集反映物理世界、市场经济与人类行为等现象的静态/动态的异构数据,成为人、机、物三元世界的信息纽带[20]。其挑战主要体现在:①从结构化数据为主,向结构化、半结构化与非结构化的三者融合的变革;②数据来源的多样化,特别是移动终端的广泛应用,使大量数据需要同时带有时间与空间的标志;③有用信息被淹没在大量无关或弱相关的数据中,或需要处理低质量及局部缺损的数据。
1.4.2 大数据的存储
大量多态异构数据的高效、可靠、低成本存储模式是大数据的关键技术之一,对多源多态数据流之间的交互索引与转换效率影响很大。
数据压缩技术可以减少数据传输量及提高存储效率,但也增加了数据处理环节及计算负担[21]。分布式存储要权衡对存储空间及实时性的影响:对实时数据采用实时数据库或内存数据库;对核心业务数据采用传统的并行数据仓库系统;对大量的历史和非结构化数据采用分布式文件系统。
算法在处理复杂结构数据时相对低效,故希望事先为复杂结构的数据建立索引结构来帮助搜索,并合理地将非结构型数据结构化。
1.4.3 大数据的分析
需要关注大数据的形态描述、基本运行规律及其可控性。其中,最复杂的是人类社会行为信息,其决策行为必须与物理系统及信息系统相结合。
目标领域的信息若能与关联领域的信息相结合,则不但知识量得以增加,而且更有可能揭示综合性、交叉学科的未知知识,甚至从统计型数据中发现其(准)因果关系。知识的涌现性反映在模式、行为和智慧上。例如:将提高风机效率的研究与气象信息、电网信息联系,其效果将大大提升。大数据与云计算为之提供了数据资产的保管、搜索的技术,但也不是数据越多越好,而信息的提炼与知识的发现一般很难通过直观方式的分析和解读来获取。
数据驱动的分析方法包括:聚类、判别、回归、识别、隐变量、主因分析、时间序列。需要处理大规模的不定解问题,及必要时信息的补充问题,利用特征的相关性来发展统计学,有效地表达高维随机变量函数的联合概率分布。
用以发现知识的技术有:遗传算法、神经网络、数据挖掘、专家识别、回归分析、聚类分析、关联分析、数据融合、机器学习、自然语言处理、情感分析、空间分析、时间序列分析及其他计量学方法。一个例子是Google采用机器学习和神经网络来分析服务器群的数据,掌握大量变量之间的交互。神经网络在无显式编程下自适应学习,大大提高服务器群的效率,发现普通人注意不到的复杂互动关系。
随着大数据的应用从离线走向在线,甚至实时,所面临的系统复杂性、数据复杂性和计算复杂性挑战更为严峻。目前虽然出现了一些较为有效的方法,如流处理模式、批处理模式,及两者的融合[22],但仍未有一个相对普适的(准)实时的分析处理框架,在合理精确性的前提下实现快速的随机优化。
1.4.4 大数据的易用性
易用性应该贯穿在大数据的集成、存储、计算、分析,乃至展现等整个业务流程[23]。从技术层面看,可视化、人机交互及数据起源技术都可有效提升易用性,但仍存在元数据的高效管理的难点。元数据是关于数据的组织、数据域及其关系的信息,是描述信息资源的重要工具。
1.4.5 大数据的安全性
数据可靠性和通信网络安全性至关重要。必须研究各种广域量测数据和仿真数据的完备性、适时性和价值的评估技术,研究在广域信息不完全条件下的分析、控制技术。
“8·14”大停电前的几个月,北美电力可靠性委员会(NERC)警告说,随着电力业务的复杂化,越来越多的电力公司不遵循2002年发布的非强制性的安全导则,致使一些数据采集与监控(SCADA)网络被蠕虫破坏。大数据安全是一项包括技术层面、管理层面、法律层面的社会系统工程,其保障体系的框架由组织管理、技术保障、基础设施、产业支撑、人才培养、环境建设组成。应该研究数据源和传输的可靠性,研究信息系统故障或受到攻击时的行为,以及信息的阻塞、淹没、丢失和出错对大能源可靠性的影响。
移动互联时代中,人们在不同场合产生各种数据足迹;大数据技术将大量行为信息聚集在一起,就很可能暴露其隐私。由于尽可能地获取信息本来就是应用大数据技术的目的,故与隐私权的保护存在着矛盾。如何协调共享与隐私,需要制度与监管的保证。
现有的数据安全保护技术主要针对静态数据集[24],包括开放与防御的平衡,防止数据被窃取或篡改。但仍需要解决动态信息的安全性问题。
1.4.6 大数据的应用
大数据学科的兴起与人类需求密切相关,其中的信息挖掘及知识提炼环节必须与待求解问题紧密结合,而应用环节则是大数据技术发展的动力与归宿。因此,大数据研究应该遵循问题导向、需求牵引及数据共享的原则。必须结合具体的目标问题,将采集到的低价值的大数据加工成高价值的思想或知识,大数据技术才有生命力。若没有应用企业的深度参与,若不能按照商品的规律运行,大数据技术就难以真正取得收效。此外,若没有各管理部门对数据共享的落实,大数据技术也只能是纸上谈兵。
知识作为资源,需要像物质资源那样分配及流通。为此,需要对知识产品定价,并从数据使用的视角揭示信息流与科学活动的内在规律。
目前对大数据应用的关注,主要集中在商业与服务业这些以统计关系为主的领域[25],较少涉及具有较强因果关系的领域,如电力系统及能源市场等领域。笔者认为,是否能成功地将统计关系、博弈关系与因果关系取长补短,是大数据技术能否扩大应用领域的一个关键。
2 电力大数据
2.1 问题的提出
从能源系统看,它包括电网和非电的能源网两部分;电力系统应该在能源的清洁替代与电能替代中有效地承上(一次能源)启下(终端能源),兼顾左右(与其他二次能源协调)。
从信息系统看,它包括专用通信网与互联网(Internet)两部分。专用网用于对信息安全性或实时性要求高处,但由于非开放式的接入,故不适合与广泛用户的互动;互联网用于开放场合,但信息安全及实时性差。显然,两者对于信息系统来说都不可或缺。
能源革命需要的是能源系统的全部组分与信息系统的全部组分的深度融合[26],即大能源系统与大信息系统组成的信息能源系统,而不是局限于它们的某个子集之间。但是,智能电网的研究范畴基本上局限于能源系统中的电力系统与通信系统中的专用网[27],因此其信息物理融合的概念也就局限于“电力生产信息+电力系统”。作为能源革命重要环节的“一次能源系统及终端能源系统”,以及作为信息革命重要环节的“网络金融及需求侧参与信息”却并没有得到应有的重视。
显然,目前的智能电网框架中的专用通信网的功能需要从电力系统扩展,不但涉及各种非电的能源环节,而且涉及相关的非能源环节,以更好地支持对电力可靠性及经济性的研究,并支撑综合能源安全、能源经济安全及环境安全。另一方面,开放的网络经济及广泛的用户参与都需要互联网的支持,互联网数据的管理与挖掘成为非常重要的任务。
整个能源行业在转型发展中面临的机遇和挑战,来自一次能源的压力、环境安全的紧迫性、电力系统内外复杂性的增加、运行环境及扰动事件的不确定性与风险的增大、经济与技术的发展、市场改革的要求。为了应对上述挑战,必须提高数据的及时性、完整性、一致性及信息安全防御能力,提高对数据的管控能力,消除数据壁垒、存储无序且不一致的现象,完善对外部环境、基础设施及人才队伍的掌控。
从传统的电力数据演变为电力大数据,跨领域的时空扩展将电力系统的界面条件从确定性变为时变性,同时也增加了多时间尺度的动态复杂性[28]。涉及各类数据的采集、集成、存储、管理、知识挖掘、决策支持、可视展现等技术,也反映了电力及综合能源数据的管理、知识的挖掘和应用等一系列推进能源生产、转换、输送、消费方式的创新思维。其中的互联网数据大多为传统数据库不支持的非结构化类型,包括图片、视频、音频、地理位置信息、网络日志、博弈行为、金融动态、政策法规。数据的在线或实时处理,往往呈现出突发及涌现等非线性状态演变现象,难以预测。
为此,信息创新必须与能源革命在更高层次上深度融合,特别是在一次能源中的清洁替代及终端能源中的电能替代上,不但将协调优化的概念提升到综合能源流的范畴,而且推动电能更主动发挥在一次能源与终端能源之间的核心纽带作用,实现能源生产模式与消费模式的革命。
但是,将大数据技术局限于互联网数据也是片面的。通过专用网或仿真网获取的数据,包括智能电网概念中已涉及者,以及有待外拓的非电能源领域与非能源领域中的数据问题,同样存在大量的挑战。既然讨论的是信息物理融合问题,那么其框架就更不应该在信息系统内部或能源系统的内部设立藩篱。
当前的研究都在一定程度上受限于物理系统中的藩篱或信息系统中的孤岛。例如:①稳定性与经济性的研究都针对给定的边界条件,不能真实反映上下游环节的变化对电力系统的影响;②充裕性问题被粗犷处理为固定比率的备用容量,无法适应大规模不确定性的可再生能源及充放电用户的入网;③决策过程基本无法考虑博弈行为的影响;④忽视了信息系统本身可靠性的影响;⑤缺乏对电力系统外部环节的自适应能力。
要突破上述藩篱与孤岛,就必须遵循以电力系统为核心环节的大能源系统在大数据时代下的发展理念,顺应管理体制及技术路线的变革。
2.2 电力大数据的特征
一方面,电力大数据具有大数据的共性,包括目标领域向其他相关领域的扩展,以及数据类型向非结构型及非因果型数据扩展,时间维度向多尺度的流数据扩展。由此形成大量的异构异质数据,包括数字、文本、图形、图像、音频、视频等静态和不同时间尺度的动态数据,以及大量统计关系与博弈关系的数据,都需要快速处理。
另一方面,电力大数据必然继承了能源行业数据的特征,包括大量的因果关系数据、高维的时空数据,广域的监测控制,快速的时间响应及实时控制数据。除了电力系统的状态外,还需要获取并分析相关领域的数据,并处理部分数据缺失时的不确定性。
运行工况或故障场景都会影响系统的稳定性和控制策略。中国的电网现在已普遍实现了在线的量化分析功能,按实测工况和典型故障来指导预防控制,并向自适应的紧急控制与系统保护发展[29]。但若要有效地应对极端自然灾害环境,则还需要采集并处理大量非结构型的视频、语音、图片,并与电力系统分析功能有机结合。大规模间歇性可再生能源(RES)与电动汽车(EV)的入网对电力充裕性与备用调度提出挑战,要求大大提高对风电、太阳能发电及EV充放电的预测精度,这就需要处理大量非结构型的地理及交通动态数据。为了应对相继故障,基于常规因果关系型数据的分析算法也应该解决多米诺效应的演化路径及实时评估的经典难题。
2.3 电力大数据的类型
除了按数据结构等大数据概念来划分电力(能源)系统大数据,还存在其他视角,列举如下。
1)按业务领域,电力大数据可分为:①规划运行类,包括电力规划、电能生产、运行监控、设备检修等数据;② 企业运营类,包括企业发策、运营、电力市场、用户信息等数据;③企业管理类,包括人财物资、资本运作、企业资源计划(ERP)管理、协同办公等数据;④非电的能源类,包括各种一次能源、非电的二次能源、终端能源使用模式等数据;⑤非能源类,包括气象、环境、碳资产、宏观经济政策等数据。
2)按时间维度可分为:①背景及法规数据;②历史数据;③调查及预测数据;④在线实测数据;⑤仿真推演数据。
3)按数据采集来源可分为:①书本及文档;②专用网数据;③互联网数据;④问卷及调查;⑤交互博弈及仿真结果。
2.4 电力系统的数据量
常规SCADA系统按采样间隔3~4s计算,10 000个遥测点每年将产生1.03 TB数据(12B/帧×0.3帧/s×86 400s/d×365d×10 000遥测点);广域相量测量系统的采样率为100次/s,10 000 个遥测点每年将产生495 TB数据。美国PGE公司每个月从900万个智能电表中收集超过3TB的数据。国家电网公司的2.4亿块智能电表,年产生数据量约为200TB,而整个国家电网公司信息系统灾备中心的数据总量,接近15 PB。 以2004年山东系统(97台机、462条母线、702条支路)为例,设在线每5min对220kV以上线路的三相永久故障分析一次暂态稳定性,仿真时长10s,仿真步长0.01s,则一年内将产生1 092TB的数据量。当大规模的间歇性分布式可再生能源入网后,发电侧计及气象数据的实时监控的数据量比传统发电成倍增加。智能配电、智能电表、电动汽车和用电技术的发展也大大增加了需求侧的数据量。电力企业的精细化管理,与一次能源、环境、交通、市政等外部系统的联系日益深化,对数据量的依存度也越来越高。
2.5 电力大数据对电力可靠性的支撑
整合各种广域系统采集的静态和动态数据,包括雷电场、台风风力场、山火场等非结构型数据与常规的电力数据及仿真信息相结合,从所获的现场实测或仿真得到的时间响应曲线中提取深层知识。以支持稳定性与充裕性的量化分析及自适应控制,协调故障前的预防型博弈,故障后瞬时的故障隔离和预测型紧急控制,检测到违约症状后的校正控制,以及系统崩溃后的恢复控制。在此基础上,综合防御框架还应该实现多道防线的时空协调,通过协同各道防线和各种控制手段,最大限度地减少大停电的风险。
信息的可靠性是分析和决策的物质基础;机理分析和量化分析则通过数据挖掘来深刻掌握电网的行为特性[30];正确的决策是为了能以最小的风险代价来最大限度地满足电力需求。互为补充的相量测量单元(PMU)、远方终端设备(RTU)和仿真数据共同满足系统在空间中和时间上的可观性和可控性[31]。需要研究在不完备数据下,如何将信息论和系统论相结合,从数据中挖掘深层信息。
在电力的长期可靠性分析与控制方面,需要考虑社会、经济、科技、能源与政策等发展的不确定性,以及各种博弈行为的影响,将目前依靠主观判断的方式逐步提升为基于混合仿真推演的方式。
3 信息能源系统的大数据平台
3.1 电力(能源)系统运行数据的采集
关系数据库强调完整性及一致性,云计算强调可扩展性,但难以保证实时性。Internet的TCP/IP协议在流量控制和数据纠错时会产生10ms量级的时延,难以满足实时控制,特别是紧急控制的要求。
RTU和SCADA系统可以用低成本采集大量的广域数据,并满足静态可观性,但没有统一时标,采样周期长、时延大,只能抽取慢速动态特征。故障录波和保护信息系统就地记录大量暂态信息,可支持故障的事后分析,但上传的滞后时间长,难以实时应用。
PMU数据不依赖于系统模型和参数,可在统一时标下快速采样,提供系统实际的时间响应曲线,用来校核仿真模型和参数,并提供仿真的初值。但受价格限制较难满足高可观性。
20年来的研究热点之一是将PMU用于实时稳定性分析及开环控制,根据受扰后短期实测数据预估稳定性,并在失稳前选择并执行控制措施,但至今未能用于稳定分析和开环控制。文献[32]明确指出,在非自治因素下单纯依靠轨迹的外推来预测并不可靠,并且即使在没有时间约束的离线环境下,要对有数学模型的仿真曲线进行稳定性量化分析也非易事。若在计算已有轨迹的稳定裕度时没有模型参数可用,其量化分析就更难。更重要的是,只有通过仿真才能在措施实施前确认其效果。不与仿真工具结合,就难以按合理的保守性来确保控制的充分性。其根本原因是:在事前,PMU无法观察到控制措施的效果,也无法在不依靠系统模型及参数的前提下求取实测轨迹(特别是稳定轨迹)的稳定裕度。PMU在应用上的这个瓶颈是本质性的,不可能真正突破。
现场伪量测是对广域数据加工中挖掘出来的数据;仿真伪量测是在仿真中产生的数据。它们的正确性受到模型、参数、初值和算法等的限制。
3.2 电力(能源)系统的大数据平台
随着数据采集环节的质量提高、成本降低,以及各种广域数据采集系统的数据共享,可以通过更多数据来全面掌控电力与能源。为此,需要将各种广域监测系统和数值仿真系统置于统一的平台中,有助于数据挖掘,识别相继故障的先兆特征、临界条件和传播模式,从而提高预警水平,增强防御停电灾难和事后分析的能力。
由硬件资源、基础软件、网络通信、数据集成、计算支撑、应用支撑、安全管控等环节构成的大数据平台支持多源多渠道异构数据的即插即用、融合与管理,支撑各种开发、应用及信息展示功能的即插即用。通过基于数学模型的因果型数据、无因果关系的统计型数据以及参与者博弈行为的融合,管理各类能量的生产、转换、输送及使用,调度与仿真数据的集成与管理。
4 结语
虽然当前关于大数据的应用案例大多发生在互联网企业中,但传统的电力及能源企业也在思考如何从关于大数据的空泛介绍走向实际应用。特别是除了直接依赖互联网的电力金融业务及面向消费的个性化服务以外,在基于传统数据的系统分析与控制领域中,如何融合电力及能源的统计关系数据、因果关系数据及博弈行为数据,发挥大数据的价值。例如:间歇性能源及负荷预测,引导需求响应及节能减排,降低停电风险,反窃电,堵塞经营漏洞,优化资产全寿命周期管理等方面。特别是:如何使企业决策从当前基于常规数据及主观经验的模式,发展为基于数学模型、参与者及多代理模型的混合仿真的沙盘推演模式。其中的多代理模型就需要大数据技术的支撑。这关系到电力大数据技术是否能进入到通常由因果关系数据一统天下的物理系统分析领域。为此,思维方式需要重大变革。
摘要：大能源思维将电力视为能源生产与消费全流程中的枢纽环节,藉此推动上游一次能源的清洁替代与下游终端能源的电能替代,支撑能源的可持续发展。大数据思维将各种数据资源从简单的处理对象转变为生产的基础要素。这两种思维的融合,使电力大数据成为大能源系统广泛互联、开放互动及高度智能的支撑,包括:广域多时间尺度的能源数据及相关领域数据的采集、传输和存储,以及从这些大量多源异构数据中快速提炼出深层知识并发挥其应用价值。作为两篇论文中的开篇,在演绎大数据基本概念、结构类型及本质特征的基础上,归纳电力大数据的特点。针对综合能源,通过基于数学模型的因果型数据、无因果关系的统计型数据以及参与者博弈型数据的融合,构建信息能源系统的知识挖掘平台。其续篇将讨论信息能源系统,并通过若干案例,反映大数据思维对提高大能源经济性与可靠性的贡献。
余世存《大时间》一书的魅力 篇3
久盼的余世存研究周易的《大时间》一书，终于完成撰写并出版，为他高兴之余说点想法。
流传本《周易》一书至迟完成于西汉，其成书应该有一个漫长的编纂过程，孔子大概是一名关键编者，而其中的核心要素八卦，考古学证明商周之交已经出现或形成。就占筮而言，甲骨文考古遗存证明殷商时已经极其发达，占筮之法多种，八卦是占筮的体系之一，通过周易而成为中国主流。我为什么要说这样的历史呢？这是要说明，尽管流传本《周易》可能并非中国现存最早的一本书，但它包涵的内容在总体上则属于最早，可以视作为除甲骨文外中国最古老的文本。进一步来说，也可能是世界最古老、完整的文本之一，不仅体现了中国人的原思维，而且也可能很大程度上体现了人类的原思维，蕴含着30005000年间人类精神的诸种信息，那时候黄河流域是人类在东亚的汇聚地。因此，像余世存这样，用新的视角和方式挖掘和发挥周易的思想，总是一件十分有意义的事情，值得珍视中国精神和人类精神的读者关注。
中国对于周易的研究，从汉朝以后就一直属于显学，绵亘至今而不断，专称为易学。无论是道学还是儒学，《周易》都属于最重要的经典之一。在经学时期，易学有汉学与宋学的派别之分，在清朝构成了有清一代学术的重要组成部分。虽然《周易》更被视作儒学经典，但入民国后，易学不仅没有因为反孔否儒的潮流而被忽视，反而有更受热衷的现象，研究成果在数量上超过了元、明、清三朝，在质量上超越了汉学和宋学。1980年代之后，易学再次出现一个高潮，除老派的金景芳、高亨等有所新作外，还新出有黄寿祺、吕绍纲、余敦康、张立文、董光璧等人。
1980年代后，最特出的易学成就有两个方面：一是考古学的进步，比如对1973年发现的马王堆帛书《周易》的研究，以及原始八卦符号的发现和梳理；二是文化学等方面的发挥，突破传统易学比较严格的学术约束，进行文化学、艺术学等方面的发挥。其特点是不再拘泥于文本的考证和训诂，将现存流行本《周易》设定为一个成熟了的文本体系，根据其基本精神向文化、艺术等人文领域乃至商务、日常生活等领域延伸，既试图从宏观角度和模糊思维立场对人类文化现象进行重新猜想和探秘，也试图令似乎深奥难懂的周易更加切近走入人们的人生。余世存的《大时间》，正是这一潮流中出现的一个最新成就。
如果认为余世存《大时间》不够学术，那么，这一批评无疑是恰当的。但是，学术本身并非余世存的目的，他的目的所在是人生。章炳麟回顾自己早年时说：“《易》道冥昧，可以存而不论。”意思是自己年青时候认为《周易》中的道理太玄，虽然不能认为没有价值，但也没有必要去花精力研究。后来，有了丰富人生经历的他才明白：“不学《易》，则终身不能无大过，而悔吝随之。”（章炳麟《自述学术次第》）意思是一个人如果不懂得周易里的道理，一生就很难不遭遇大挫折，晦气、祸难会始终伴随自己一生，不知道该如何解脱。这是明白了的章炳麟研究易学的动机所在。但是，章炳麟有厚实的国学功底对周易进行专门研究，普通人即使明白了章炳麟明白了的道理，又哪里能去专门研究周易呢？因此，对于普通人来说，就只能阅读研究家已经研究形成了的成果。但是，普通读者读《周易》困难，难道读章炳麟的《周易易解题辞》《八卦释名》之类就不困难吗？比较而言，还有什么能比用通俗语言撰写的余世存《大时间》更适合于阅读的呢？
说余世存《大时间》不够学术，仅仅是从其体例和表述方式而言，并非说他没有学术思想的根基。如果没有学术思想的根基，那么，就成了缺乏依据的胡思乱想。余世存的易学思想，核心是空间和时间，简约而论就是时空论或宇宙论。他在《自序》中称受到了张桢先生的启发：“张桢先生以数学老师的精确性，把易经六十四卦的时空起止计算出来。自汉儒之后，千百年间的易经研究者多忘了易卦的历法功能，忘了易经的时空特征。”余世存可能是为了突出张桢对自己的启发，因此把话说得过了。余世存的时空论、宇宙论并不仅仅来源于张桢先生，张桢本身也并不能够是无根之水，他们都只能是突出和发挥了周易本就突出存在着的时空元素。
以研究侧重为特点的易学流派，无论是汉学还是宋学，都有象数一派，而时空则是象数的一个基本要素，不同的研究家只是或给予内涵，或给予明朗而已。无时空，则无所谓象数。
余世存《大时间》时空观的特色，是将六十四卦直接与现行历法衔接，内在基础为中国古典的二十四节气循环，外在形式为太阳公历，这样就固定下普通人可以很明晰的六十四卦时间链。这是一个模式，这个模式的可靠性是什么，余世存没有详尽论证，可以认为这是余世存心出的一个运用模式，其证明并非论证，而是印证。他在书中罗列了古今中外1048个名人，以其相符性分别于六十四卦，称之为“卦人”。这样，读者就可以有一种便利，同样可以将自己设定为一名“卦人”，根据出生日期或事件日期自名为“某卦人”，按照余世存就该卦的阐释，玩味其中，领会人生。余世存《大时间》最突出的特点就在这里。不过，余世存《大时间》最突出的缺陷也正在这里，也即，最突出的特点也恰是最突出的缺陷。余世存过于希望用名人数量印证其对六十四卦的解释，忽视了就个案的详尽分析，或者是迫于被简单理解为命理的无奈，因而可能有令读者云里雾里的恍惚。
然而，这缺陷未必就是遗憾。所谓心出之印证，有不可言说、难以言说之前提，然而又不得不言说，从而需要通过说者与听者之间的互动才得以实现，也即读者并非被动，读者本身就是创造者，是发现者，是在言说者。易并非可以仅仅依靠言说者进行证明，而是也需要依靠每一个“卦人”自己来心证，因为人人心中本皆有易。每个读者的人生，岂是作为著者的余世存能够说清楚的？每个人自己的人生，还能有谁比每个人自己更能够心知心会的呢？
当读者在阅读《大时间》时，是余世存在用一己之心对读者言说，而读者也恰在以一己之心跟余世存交流和进行自我观照。也许彼此不能证明什么，但彼此却在共同印证着。全部的蕴味，皆在其中。这正是易的俗世魅力，也是余世存《大时间》这本书的阅读魅力所在。
大数据时代的大数据管理研究论文 篇4
信息技术作为时代不断发展的象征，不管是在我国行业的发展中，还是在人们的日常生活，都起到了重要作用。同时，在信息技术不断发展的过程中，大数据时代的应用范围也在不断的扩大，其来源渠道也非常多，数量也在不断增加。在这种情况下，大数据时代的大数据信息管理就显的尤为重要。由于大数据的数量不断增加，现有的管理形式已经无法满足大数据时代的发展，并且在利用计算机对大数据进行全面分析和处理的过程中，也受到了严重的影响，因此，要想有效的对大数据进行充分利用，就要对大数据管理形式给予高度重视，采取有效的措施，不断加强大数据的管理形式，最终实现有效、便捷、安全等管理性能，这也为对我国信息技术提供了重要的发展方向。
大数据时代的“数据解读” 篇5
一、经济数据的知识性解读 所谓知识性解读，指的是教师在教学时，能够从纵横两个视角引导学生对《经济生活》中的数据进行解读，让学生获取相关的经济学知识，以达成思想政治课的知识目标。1．基于纵向视角的知识性解读。从纵向视角对经济数据进行知识性解读，强调的是对一定的经济数据进行历史性考察，并据此解读出相应的经济学知识。如对教科书第10页“2010年4月8日人民币对美元的汇率中间价为682.59，2013年4月8日人民币对美元的汇率中间价为626.5”这一数据，我们的历史性考察分两步：首先是选择四个典型的历史时期来考察汇率情况。一是1953年到1972年，国家实行计划经济，实行严格管制和固定不变的汇率政策，使人民币对美元的汇率基准价长期稳定在246.1上。二是1981年至1993年，国家实行对外开放，发展社会主义市场经济，为扶持出口，增加外汇收入，人民币对美元的汇率基准价控制在149和195.8之间。其中1985年至1993年国家为平衡国际收支，实行官方牌价与外汇调剂价格并存的政策，使人民币对美元的汇率基准价由293.6逐渐上升到576.2。三是1994年至2005年，为进一步完善发展社会主义市场经济体制，国家逐步形成了以市场供求为基础的、单一的、有管理的浮动汇率制。人民币对美元的汇率基准价保持在835与819间浮动。四是2005年7月21日起至今，实行以市场供求为基础的、参考一蓝子货币进行调节、有管理的浮动汇率制度。人民币对美元的汇率基准价水平由797上升到619，并呈稳中有升的特点。其次，在上述四个时期考察的基础上，我们可引导学生解读出这样一些基本的经济学知识：一是我国的汇率政策是为适应并促进不同时期经济社会发展的需要而制定的，期间经历一个由严格管制向市场逐渐过渡的历史过程，并呈日趋市场化开放化的发展趋势。二是汇率是以另一国货币来表示的本国货币的价格，其高低最终由外汇市场决定，但同时也会受到国家政策等因素的影响；三是一国汇率数据的变动会对该国经济发展和居民生活带来一定的影响。我国人民币汇率总体呈上升趋势，这对我国经济发展和人民生活既有利也有弊，需要我国防范汇率风险等。2．基于横向视角的知识性解读。从横向视角对经济数据进行知识性解读，强调的是对经济数据横向间的各类关系进行分析，并解读出其中所蕴涵的经济学知识。如对教材第66页“财政收入”这一数据，我们的知识性解读也分两步进行：首先将教材上“2012年财政收入”来源项目细化，并选择典型项目进行横向分析。一是分析财政收入、税收收入、非税收收入的数量及关系：2012年财政收入117210亿元（不含债务收入），税收收入100601亿元，非税收收入16639.24亿元，分别占全部财政收入的85.83%和14.20%。二是分析税收中几个主要税种的数量及关系：国内增值税26415.5亿元、国内消费税7875.58亿元、营业税15747.64亿元、企业所得税19654亿元、个人所得税5820.28亿元、关税103.5亿元等，其中国内增值税已成为我国目前税收的主要来源，企业所得税次之，营业税居第三，然后是国内消费税和个人所得税，关税数量较少。三是分析非税收收入中主要项目数量及关系：行政事业性收费4579.54亿元、国有企业利润1154.02亿元、罚没1559.81亿元等，其中行政事业性收费最多位居第一，而国有企业上交利润相对比较少，低于各类罚没收入。四是几类主要国有企业利润数量及关系：烟草企业252.64亿元、石油化工企业308.45、电力企业76.74亿元、煤炭企业106.54亿元、电信企业106.90亿元、电子企业1.65亿元、金融企业0.33亿元、转制科研企业1.88亿元等，其中石油化工、煤炭、电力等资源类国有企业利润占总利润的42.61%，而科技为主的国有企业利润只占总利润的9.5%。其次在上述分析的基础上，我们可引导学生解读出这样一些基本经济学知识：一是税收是依法取得财政收入的基本形式，是财政收入的主要来源。二是增值税、营业税、企业所得税等是国家收入的主要来源，但也直接影响企业的生存和发展。当前的税收改革特别是“营改增”，对国家税收总量及企业发展与竞争力影响甚大。三是非税收收入中行政事业性收费太多，而国有企业上交利润偏低，与国有经济的性质、地位及作用不匹配。四是国有企业利润结构不合理，其中资源类国有企业的利润占利润总量过高而科技类国有企业利润偏低，这表明我国仍需要大力推进经济发展方式的转型升级。
二、经济数据的能力性解读 所谓能力性解读，指的是教师在教学时，能够引导学生运用比较、综合两种方法对《经济生活》中的经济数据进行解读，提升学生分析数据和概括数据的能力，以达成思想政治课的能力目标。1．基于比较方法的能力性解读。运用比较方法对经济数据进行能力性解读，强调的是对不同的经济数据，依据一定的标准进行相应的比较，以培养和提升学生分析数据的能力。如对教材第82页虚线框中的“农村居民人均纯收入”和“城镇居民人均可支配收入”数据的能力性解读，可分下述两种情况：首先，对同一经济主体在不同时间点上的数据进行纵向比较性解读，以培养学生纵向分析数据的能力。如可将教材82页上“农村居民”和“城镇居民”两类经济主体的经济数据，分别补充上2013年和2014年的最新数据，形成下述比较表格： 依据上述表格数据，引导学生分别分析从2009年至2014年农村居民人均纯收入和城镇居民人均可支配收入数据变动的特点：城乡居民人均收入逐年增加，但农村居民收入增长速度快于城镇等。其次，对同一时间点上不同经济主体的数据进行横向比较性解读，以培养学生横向分析数据的能力。我们同样可依据上述表格，引导学生分析我国在2009年至2014年期间，每年农村居民和城镇居民人均收入数据的差异情形：城镇居民收入高于农村居民，绝对差距数据在拉大等。2．基于综合方法的能力性解读。运用综合方法对经济数据进行解读，强调的是在一定的范围内对不同经济主体的经济数据进行相应的综合，以培养学生的数据概括能力。一般我们可选择两种主要范围展开综合性解读：首先就同一教学单元中的经济数据进行综合性解读，以培养学生从单元经济数据中概括出相应结论的能力。如对第二单元“生产、劳动与经营”中的主要数据，我们按照因果联系的逻辑原则，将“我国主要产品产量居世界位次”、“城乡居民储蓄存款余额”、“储蓄存款利息和股票价格”、“投资理财的分配数额”、“保险理赔数额”等数据进行综合，形成下述数据体系：依据上述体系，引导学生对①②③④四组原因结果关系进行概括，可得到这样的结论：随着我国我国经济不断发展、经济实力不断增强，居民储蓄余额不断增加，同时由于国家经济的发展和居民储蓄余额的增加，会引起居民投资理财途径的多样，而这会进一步提高了居民的储蓄余额和国家经济的发展，由此在居民投资与国家经济发展间形成了相互促进的良性互动。总之，一国经济的发展与投资间存在着密切的关系，需要我们正确地处理。其次对教材中不同单元中经济数据进行综合性解读，以培养学生从不同单元经济数据中概括出相应结论的能力。如对第二单元“生产、劳动与经营”和第三单元“收入与分配”中的众多数据，我们同样可依照因果联系的逻辑原则，进行综合，形成下述综合体系： 依据上述体系，引导学生对①②③④⑤⑥六组原因结果关系进行概括，可得到这样的结论：第一，随着我国经济的发展，不仅带来居民投资增多和日趋多样，而且还促使国家财政收入、企业收入和居民收入不断提升及财政支出数量的增加。第二，我国居民投资和财政投资的增加，必然促进我国经济的发展。第三，国家财政收入的增加、企业利润、居民收入的不断提升，也必将推动我国经济的发展。第四，在国家财富一定情况下，投资的增加会引起收入的减少，而收入的增加会引起投资的减少，两者存在此消彼长的关系。第五，国家、企业和个人之间收入分配结构的变化会影响国家经济的发展，同样国家投资结构和居民投资变动也会影响国家经济的发展。总之，一国经济的发展既需要投资的作用，也需要消费的作用，因此必须协调好投资与消费的关系，实现经济的转型与持续发展。
《大数据》一书 篇6
PPP项目合同体系的合同组成
在PPP项目中，项目参与方通过签订一系列合同来确立和调整彼此之间哒权利义务关系，这些合同构成了PPP项目的基本合同体系。根据项目特点的不同，相应的合同体系也会不同。PPP项目的基本合同通常包括PPP项目合同、股东协议、履约合同(包括工程承包合同、运营服务合同、原料供应合同以及产品或服务购买合同等)、融资合同和保险合同等。其中，PPP项目合同是整个PPP项目合同体系的基础和核心。在PPP项目合同体系中，各个合同之间并非完全独立，而是紧密衔接、相互贯通的，合同之间存在一定的“传导关系”。
1.PPP项目合同
PPP项目合同是项目实施机构与中选社会资本签订(若需要成立专门项目公司，则由项目实施机构与项目公司签订)的约定项目合作主要内容和双方基本权利义务的协议。其目的是在项目实施机构与社会资本之间合理分配项目风险，明确双方的权利义务关系，保障双方能够依据合同约定合理主张权利、妥善履行义务，确保项目全生命周期内的顺利实施。PPP项目合同是其他合同产生的基础，也是整个PPP项目合同体系的核心。
2.股东协议
股东协议由项目公司的股东签订，用以在股东之间建立长期的、有约束力的合约关系。股东协议通常包括以下主要条款：前提条件，项目公司的设立和融资，项目公司的经营范围，股东权利，履行PPP项目合同的股东承诺，股东的商业计划，股权转让，股东会、董事会、监事会组成及其职权范围，股息分配，违约，终止及终止后处理机制，不可抗力，适用法律和争议解决等。
3.履约合同
(1)工程承包合同。项目公司一般只作为融资主体和项目管理者而有本身不一定具备自行设计、采购、建设项目的条件，因此可能会将全部或部分设计、采购、建设工作委托给工程承包商，并签订工程承包合同。项目公司可以与单一承包商签订总承包合同，也可以分别与不同承包商签订合同。承包商的选择要遵循相关法律、法规的规定。由于工程承包合同的履行情况往往直接影响PPP项目合同的履行，进而影响项目的贷款偿还和收益情况。因此，为了有效转移项目建设期间的风险，项目公司通常会与承包商签订一个固定价格、固定工期的“交钥匙”合同，将工程费用超支、工期延误、工程质量不合格等风险全部转移给承包商。此外，工程承包合同中通常还会包括履约担保和违约金条款，进一步督促承包商妥善履行合同义务。
(2)运营服务合同。根据PPP项目运营内容和项目公司管理能力的不同，项目公司有时会考虑将项目全部或部分的运营和维护事务外包给有经验的运营商，并与其签订运营服务合同。具体操作中，运营维护事务的外包可能需要事先征得政府方的同意。但是，PPP项目合同中约定的项目公司的运营和维护义务并不因项目公司将全部或部分运营维护事务分包给其他运营商实施而豁免或解除。
(3)原料供应合同。有些PPP项日在运营阶段对原料的需求量很大，原料成本在整个项目运营成本中占比较大，同时受价格波动、市场供给不足等影响又无法保证能够随时在公开市场上以平稳价格获取原材料，继而可能会影响整个项目的持续稳定运营，如燃 煤 电 厂项目中的煤 炭。因此，为了防控原料供应风险，项目公司通常会与原料的主要供应商签订长期原料供应合同，并约定个相对稳定的原料价格。原料供应合同一般会包括以下条款：交货地点和供货期限、供货要求和价格、质量标准和验收、结算和支付、合同双方的权利义务、违约责任、不可抗力、争议解决等。除上述一般性条款外，原料供应合同通常还会包括“照供不误”条款，即要求供应商以稳定的价格、稳定的品质为项目提供长期、稳定的原料。
(4)产品或服务购买合同。在PPP项目中，项目公司的主要投资收益来源于项目提供的产品或服务的销售收入。因此，保证项目产品或服务有稳定的销售对象，对于项目公司而言十分重要。根据PPP项目付费机制的不同，项目产品或服务的购买者可能是政府，也可能是最终使用者。以政府付费的供 电项目为例，政府的电 力主管部门或国有电 力公司通常会事先与项目公司签订电力购买协议，约定双方的购电和供电义务。此外，在一些产品购买合同中，还会包括“照付不议”条款，即项目公司与产品的购买者约定一个最低采购量，只要项目公司按照该最低采购量供应产品，不论购买者是否需要采购该产品均应按照该最低采购量支付相应价款。
4.融资合同
从广义上讲，融资合同包括项目公司与贷款方签订的项目贷款合同、担保人就项目贷款与贷款方签订的担保合同、政府与贷款方和项目公司签订的直接介入协议等多个合同。其中，项目贷款合同是最主要的融资合同，一般包括陈述与保证、前提条件、偿还贷款、担保与保障、抵销、违约、适用法律与争议解决等条款。同时，出于贷款安全性的考虑，贷款方往往要求项目公司以其财产或其他权益进行抵押或质押，或由其母公司提供某种形式的担保，或由政府作出某种承诺，这些融资保障措施通常会在担保合同、直接介入协议以及PPP项目合同中具体体现。
5.保险合同
由于PPP项目通常资金规模大、生命周期长，负责项目实施的项目公司及其他相关参与方通常需要对项目融资、建设、运营等不同阶段、不同类型的风险分别投保。通常可能涉及的保险种类包括货物运输险、建筑工程险、针对设计或其他专业服务的专业保障险、针对间接损失的保险、第三人责任险、政治风险保险等。
6.其他合同
PPP项目中还可能会涉及其他的合同，如与专业中介机构签署的投资、法律、技术、财务、税务等方面的咨询服务合同等。
大数据产业园绿色大数据南方基地建设-PPP项目合同模板： 本合同于2017年【X】月【X】日由下列双方在XX市签订： 甲方：XXXX，系按照中华人民共和国法律正式组织和存续的XXX机构，其住所为XXXXX，法定代表人为XXX；
乙方：XXXX，系按照其注册地法律设立、登记、注册及运作的有限责任公司/股份有限公司，其住所为XXXX，法定代表人为XX。待XXXX成立项目公司，并由项目公司与甲方签署本合同的补充协议后，乙方即指项目公司。第一条 定义与解释 1.1 定义 1.2 解释
第二条 声明与保证 2.1 甲方的声明与保证 2.2 乙方的声明与保证 2.3 各方的声明与保证 2.4 违反声明与保证
第三条 大数据产业园绿色大数据南方基地建设PPP项目的合作范围和期限
3.1 大数据产业园绿色大数据南方基地建设项目概况 3.2 大数据产业园绿色大数据南方基地建设项目的合作范围 3.3 甲方前期投资的确认 3.4 大数据产业园绿色大数据南方基地建设项目合作的排他性 3.5 大数据产业园绿色大数据南方基地建设项目合作期限 第四条 前提条件
4.1 履行本合同的前提条件 4.2 前提条件的期限 4.3 前提条件的放弃 4.4 前提条件未实现 第五条 项目融资 5.1 乙方的融资责任 5.2 融资担保 5.3 甲方对融资的支持
第六条 大数据产业园绿色大数据南方基地建设的土地指标和土地出让
第七条 项目建设进度 7.1 首期启动资金
7.2 大数据产业园绿色大数据南方基地建设项目实施进度 第八条 运营和维护
8.1 大数据产业园绿色大数据南方基地建设项目公司经营计划及财务资料的报告
8.2 大数据产业园绿色大数据南方基地建设项目设施的运营和维护
8.3 运营协调委员会 8.4 审计部门的监管 8.5 履行义务 第九条 产业发展服务
第十条 大数据产业园绿色大数据南方基地建设项目公司的成立及股权转让的限制
10.1 大数据产业园绿色大数据南方基地建设项目公司成立 10.2 股权变更的限制
第十一条 政府购买服务的付费机制 第十二条 履约担保 第十三条 双方承诺 13.1 甲方的承诺 13.2 乙方的承诺 13.3 双方承诺 第十四条 保险 14.1 保险义务 14.2 需购买的险种
第十五条 守法义务及法律变更和政府行为 15.1 守法义务
15.2 法律变更和政府行为
15.3 不视为法律变更及政府行为的情形 第十六条 不可抗力 16.1 不可抗力事件 16.2 不可抗力事件发生期间各方权利和义务 16.3 不可抗力事件的处理 第十七条 甲方的监督与临时接管 17.1 甲方的监督权
17.2 大数据产业园绿色大数据南方基地建设项目质量管理 17.3 中期评估
17.4 甲方临时接管的权利
第十八条 违约、提前终止及终止后处理机制 18.1 违约与赔偿 18.2 提前终止及处理机制
第十九条 大数据产业园绿色大数据南方基地建设项目移交 19.1 期满移交 19.2 移交程序 19.3 提前终止的移交 第二十条 争议解决及法律适用 20.1 争议的解决 20.2 法律的适用 第二十一条 其它 21.1 环境保护 21.2 保密条款 21.3 税收优惠 21.4 通知 21.5 合同的文字 21.6 合同的生效 21.7 合同的补充 21.8 合同的附件
签署页】
本合同由以下双方于二零一七年X月X日在XX省XX市签署，以兹为证：
甲方：（盖章）乙方：（盖章）
《大数据》一书 篇7
一、高校学生管理大数据的内涵
(一)大数据的内涵
全球最具权威的IT研究与顾问咨询公司高德纳将大数据定义为需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产(2001)。麦肯锡环球研究院在其《大数据:创新、竞争和生产力的下一个前沿》报告中指出,“大数据”是指其大小超出了典型数据库软件的采集、储存、管理和分析等能力的数据集(2011)。而《大数据时代》的作者维克托迈尔·舍恩伯格(2012)认为,大数据是人们获得新认知、创造新价值的源泉;大数据还是改变市场、组织机构,以及政府与公民关系的方法。
(二)高校学生管理大数据的内涵
信息技术的其普及与广泛应用,不仅推动了高等教育信息化的发展,同时也带来了学生学习、交流与生活方面的各种结构化的或碎片数据,大量数据的产生无疑将高校学生教育管理带入了大数据时代。高校学生管理大数据就是要整合校园信息资源,主动收集学生学习、生活和网络使用数据,充分利用大数据及其技术,分析和研究数据中蕴含的价值,进而促进高校学生教育管理工作创新。从这个观点出发,发展高校学生管理大数据,从揭示大学生学习、行为规律和高校学生教育管理规律,对推动高校学生教育管理工作创新与发展、丰富教育大数据理论研究具有重要意义。
二、高校学生管理大数据主要组成
目前,我国教育信息化从基础设施、数字资源、人才培训、关键技术及标准等方面都有了长足的发展。大部分高校在数字化校园建设的基础上,建设完成了完备的应用系统。信息技术的发展及其普及与广泛应用,不仅推动了高等教育信息化的发展,同时也带来了大学生学习、交流与生活方面的各种结构化的或者碎片数据,大量数据的产生无疑将高校学生教育管理带入了大数据时代,为高校学生管理大数据建设打下了坚实基础。
当前,大多数高校通过数字校园建设,形成了诸如学生行为管理系统、教务管理系统、图书借阅系统、校园财务系统、学生自主选学系统、精品课程平台、学生上网认证系统、校园门禁系统、学生校园消费查询系统等应用系统,在高校人才培养和学生健康成长方面发挥了重要作用。经过多年的运行,这些系统产生了大量数据,构成了高校学生教育管理大数据的主体。同时,学生在互联网和微信、微博等新媒体上产生的数据,也是高校学生教育管理大数据不可忽视的组成部分。根据笔者对这些数据的分析和研究,从数据的归属角度,把其初步分为下面几个方面:
(一)基础数据
这些数据主要涉及大量与学生相关的基本情况,诸如学生的基本信息、兴趣爱好、政治面貌、家庭情况、所属院系专业、入校成绩、是否外宿等数据。这些数据,往往反映了学生的学习基础、家庭背景等信息,掌握这些信息,将有利于针对性地开展学生教育管理和帮扶工作。
(二)学习数据
学校教务管理系统、精品课程学习平台等系统包括了学生选课数据、学生自主选学数据、学生课堂考勤数据、考试成绩、教师上课评价数据、学生参与讲座和学术报告的情况等有效信息,是学生学习行为的全面反映。图书借阅系统储存了学生所有借书信息,学生实践平台则记录了学生参与课外实践的数据。这部分学习数据蕴含了学生的学习兴趣和学习状态,可以成为学习推荐服务的重要参考。
(三)行为数据
高校学生管理系统是高校开展学生教育管理的主要信息化平台,其中蕴含了学生奖励信息、学生违纪信息等数据资源,这些结构化数据中蕴含了大量学生行为特征信息,可以作为学生行为分析的重要数据来源。
(四)资助数据
学生资助管理系统能够充分反映学生在校期间受资助的情况,学校财务系统则能够反映学生的缴费情况、勤工助学酬劳等信息,学生校园消费查询系统则能基本反映出学生在一定时期的就餐和其他消费情况,是分析学生家庭经济困难状况的很好参考。
(五)健康数据
校园网认证系统包含了学生经过学校校园网出口访问的所有网页信息,分析学生上网的目标网页内容,不仅能够反映出学生的兴趣爱好,同时也能够发现一些人格方面的缺陷。而学生心理健康管理系统等能够直接反映学生心理健康状况,为制定心理健康服务计划,帮助学生健康成长具有重要价值。
(六)社交数据
随着信息技术的普及,学生对使用网络和新媒体开展社交产生了浓厚兴趣。每天在QQ、微信、微博、传统的BBS等平台产生大量数据,这些数据不仅包含了学生交流的信息,也能够充分反映校园舆情,对掌握学生思想、心理等具有很重要的价值。
三、高校学生管理大数据建设思路
目前,对高校学生管理大数据建设的研究还很少,更多地是就高校大数据集成和典型应用方面的探讨。笔者认为,大数据时代运用大数据支持管理服务决策毋庸置疑。高校学生教育管理工作必须紧跟形势,运用好信息化技术和大数据这个方法论,全面更新理念,进一步树立数据意识,从顶层设计着手,认真组建专业挖掘团队,全面整合校内外数据资源,在健全安全机制的基础上,积极发展学生管理大数据,合理运用大数据的分析结果为工作决策提供数据支持。
从技术的角度讲,高校校园网中各个应用系统往往各自独立运行,加上互联网和微信、微博等数据的碎片化特征,要形成真正的大数据,还需要进一步制定政策,运用技术手段开展数据整合工作,通过全面整合,打通数据之间的壁垒,使沉睡的数据被重新激活,形成更大的价值。目前互联网技术已经非常成熟,加上近年来日益发展的云计算、云存储、NoS ql以及网络爬虫技术的发展,为高校大数据整合提供了技术基础。
从人才的角度,这些技术的应用,必须要有专门的团队支持。目前高校学生教育管理队伍难以满足数据驱动需求。因此要及时成立高校教育管理大数据工作领导小组,组建专门的数据收集团队和分析挖掘团队。运用计算机技术开展数据采集和数据融合,运用数学、统计学的原理开展数据挖掘与建模,形成预测和决策的数据可视化成果。把这些成果应用到高校人才培养中,实现个性化推荐学习资源、为学生量身定制学业计划、及时分析校园舆情影响、实时预测学生思想动态,将会有效提升高校学生教育管理的有效性。
从安全的角度讲,大数据时代如果不能确保数据安全,将会造成“大数据就是大风险”的可怕后果。高校教育大数据不仅整合了高校师生信息,也包括大量学生学习、生活和社交以及校园舆情方面的数据,将这些海量数据集中存储,虽然方便了数据分析和挖掘,但如果由于安全管理不到位造成数据丢失和损坏,则将引发毁灭性的灾难。同时黑客攻击或不当层面的数据公开,将会导致师生信息的泄露,给师生人身安全和校园声誉带来不良影响。因此,高校要在发展教育管理大数据的同时,切实加强制度建设,形成数据规范化管理,要明确数据管理的职能部门,制定严格的工作方案和预案,对什么数据可以公开,什么数据在一定层面公开,什么数据必须保密做出规定。同时也要对可能出现的风险建立防控预案,保障数据安全的同时,维护好师生和高校利益。
四、高校学生管理大数据的应用建议
笔者在总结现有研究的基础上,认为高校学生管理大数据主要在以下方面具有重要应用。一是建立教学资源推荐系统。通过整合学生基础数据和自主选学平台、图书借阅系统等数据,可以深入分析学生兴趣爱好与教学资源的关联关系,主动开展推送服务,不仅可以满足学生的学习需求,同时可以有效提升教学资源的利用率。二是建立学生行为预警系统。通过整合学生管理系统和教务管理系统,可以深入挖掘学生行为和学业之间的关联关系,建立相应的预测模型,对学生学业和行为进行预警,可以在问题发生之前采取相应措施,确保学生健康成长,顺利完成学业。三是建立学生心理健康预警与服务系统。通过整合学生基本数据和健康数据,可以及时筛查问题学生,主动开展心理健康疏导服务,把心理健康教育做到无形。四是构建资助认定与服务系统。通过整合学生基础数据、资助数据、行为数据等方面的信息,通过数据分析支持学生家庭经济困难认定,及时挖掘学生消费等信息,为学生资助服务提供数据支撑。五是建立校园舆情监测系统。通过整合学生社交数据,及时分析校园舆情影响、实时预测学生思想动态,将会有效提升高校学生教育管理的有效性。
参考文献
[1]维克托·迈尔-舍恩伯格.大数据时代[M].浙江人民出版社,2013
[2]邱启照,孙鹏.大数据时代高校思想政治教育的机遇和挑战[J].教育理论与实践,2016(9)
[3]梁家峰,亓振华.适应与创新:大数据时代的高校思想政治教育工作[J].思想教育研究,2013(6)
[4]“信息社会发展研究”课题组,张新红.中国信息社会发展报告2015[J].电子政务,2015(6)
[5]李怀杰,夏虎.大数据时代高校思想政治教育模式创新探究[J].思想教育研究,2015(5)
[6]胡晶君.大数据时代高校学生工作创新探究[J].太原大学教育学院学报,2015(4)
[7]桑庆兵.大数据在高校的应用与思考[J].南通纺织职业技术学院学报,2013(2)
[8]胡树祥,谢玉进.大数据时代的网络思想政治教育[J].思想教育研究,2013(6)
[9]张燕南,胡继岳.关于大数据应用于教育的思考[J].中国电力教育,2013(32)