核心数据库（通用12篇）
核心数据库 篇1
在当前数据环境之下, 网络和计算机数据技术的深入发展与应用, 成为了推动工业环境安全以及控制体系朝向纵深延展的重要力量。进一步体现在过程控制中, 就是以组态软件作为突出代表的监督与控制体系的建立, 而在这样的体系中, 实时数据库的应用发挥着至关重要的价值。
1 实时数据库的结构分析
实时数据库在组态软件环境中, 与历史数据库以及其他告警、趋势曲线分析等一同作用, 形成最为核心的数据库体系。进一步对相应的应用需求展开分析, 可以发现实时数据库所面临的核心问题, 在于如何通过自身工作效率的提升, 实现数据呈现的实时特征, 并且同时确保数据在多个上位机端呈现的一致性和准确性。从功能的角度看, 实时数据库作为工业控制系统中关键的数据管理与共享体系, 除了必须要求能够有效地面向各种下位机现场数据的采集, 为应用程序提供统一稳定的数据平台以外, 还应当不断深入数据的存储和管理工作细节, 关注数据的处理效率和一致性锁定等环节。除此以外, 必要的开放性也是组态体系的必然要求, 标准化的接口和更好的兼容特征, 同样成为实时数据库未来发展的必然要求。
在这样的需求环境之下, 一个典型的实时数据库结构参见图1。
在整个系统中, 虚线框内为数据库核心, 其两端分别与数据采集和服务接口相连。其中数据采集接口进一步与数据前端, 诸如分布式控制系统 (DCS, Distributed Control System) 以及可编程逻辑控制器 (PLC, Programmable Logic Controller) 和相关工作现场的仪表设备等。而服务接口则进一步与应用系统保持联系, 主要是工业控制用的各类程序, 诸如工控组态、实时优化以及各种数据统计和显示软件等。同时应用程序通过服务接口模块间接调用包括告警、显示以及现场控制等相关组态功能部分, 实现具体的职能。
2 实时数据库的核心技术分析
对于实时数据库的实现技术体系而言, 实时性、容错性以及稳定性都是其必须要做到的重要特征, 为了保证这些特征的实现, 在实时数据库体系中涉及到多个方面的核心技术, 包括组件化的模块设计、被动式内核结构等, 但是对于实时数据库而言, 最为核心和关键的技术, 仍然是高效的数据存取技术。
高效数据存取技术, 在实时数据库系统中表现为一个技术簇, 其中包括多个方面, 快速位号检索、访问同步及数据共享、高速数据读写等技术, 是其中的突出表现。多项技术共同保证整个实时数据库体系的高效特征。
快速位号检索主要用于实现在海量位号中快速定位指定目标。在实际对于数据进行读取的时候, 大量外围业务和应用会对存取位号提出频繁要求, 并且CPU的工作能力会因此而被占用。在工控领域中, 通常采用字符串作为位号, 但是这进一步加剧了处理速度的问题。因此实时数据库为每个组态位号分配一个ID, 用以实现高速检索。同时实时数据库系统采用了双索引结构, 主索引数据结构为平衡二叉树, 以ID作为标志, 并且叶节点为指向位号实例的指针;副主索引的数据结构为可扩展线性数组, 以位号的索引号作为数组下标, 数组单元内容为指向位号实例的指针。通过这样的机制, 结合ID的回收利用机制, 实现对于位号的快速检索。
在工控环境中, 实时数据库必然会面临大量的并发访问, 如何有效处理这些并发访问, 确保及时反映, 也是实时数据库面临的重要问题之一。与此同时, 大量的数据更新, 同样也是对于实时数据库的一种并发访问需求体现, 同样需要有所响应, 并且还需要进一步将更新的数据结果反馈给应用领域。对此, 实时数据库负责数据服务的内核模块采用了COM的MTA模式, 对于多客户端的并发访问能够实现有效支持。并且实时数据库还会依据数据源对位号展开分组, 并且组内持有共享锁, 可以实现数据的同步与锁定, 避免因为大量访问和读写而造成的数据混乱。
高速数据读写同样是支持实时数据库高速运行的核心技术之一。在读写的过程中, 必然存在有必要的数据量需要留驻在内存环境中, 但是内存本身的物理容量又限制了其留驻数据的总量。针对此种情况, 实时数据库系统会考察不同数据的访问频率, 以数据挖掘的总体思路来实现频繁访问数据的内存策略, 并且进一步为了提升历史数据的存取效率, 采用对应的组态缓冲技术, 不断实现存取速度的优化。
3 结论
实时数据库对于工控工作环境而言意义重大, 其工作效率更是成为众多技术中的核心问题。实际工作中唯有时时关注技术发展, 切实分析实际环境需求, 才能选择良好的策略, 推动整个组态软件体系的发展。
参考文献
[1]王荃, 垒壹, 李福中.工控组态软件实时数据库系统的设计与实现[J].计算机应用, 2000, 27 (3) .
[2]周东球.先进控制软件系统实时数据库的设计[J].微计算机信息, 2003, 19 (10) .
核心数据库 篇2
微博淘宝版上线
两品牌微博结局不一一个暂拒运用粉丝涨了
一个首先运用粉丝降了
8月初，阿里巴巴与新浪协作又一款实质性商品面试：微博淘宝版。面临这款商品，榜首批测验品牌有着不一样情绪，品牌a思考到会伤及品牌，因而微博未参加测验，粉丝涨了;品牌b榜首时间呼应，经过微博，淘宝店肆获得了不少流量，但微博粉丝却降了。
品牌a：
怕伤及品牌用户不思考运用
8月1日，微博淘宝版发布当天，阿里携手新浪宣告榜首批测验用户名单，并把他们的姓名写在一张富丽的ppt上：百草味、新农哥、蓁蓁等。当前，微博淘宝版只关于淘宝网，暂不向天猫敞开。
8月5日清晨，测验名单中一些品牌开端高调运营“微博店肆”，还有一批品牌的微博则无动于衷。品牌a微博担任人小阳(化名)通知记者，其时他们对此事(在测验名单中)并不知情。当天晚上，小阳发现自个的品牌呈现在大v号微博中，并被网友大举转发。“我其时就蒙了，不晓得是怎样回事儿。”百度了良久，小阳才弄理解是个啥情况。他回想道，大约是两周前，阿里给他们c店店长(淘宝网店长)发去邀请函。后来，该品牌c店店长找到小阳，表明期望能够运营微博淘宝，谈了半响小阳最终没有同意。他的榜首感受是，在微博上触及出售会伤及品牌与粉丝。“微博淘宝版能带来流量是必定的，但微博归微博，太走推广道路粉丝会丢失。”
沿袭这种思路，记者注意到，小阳所担任微博粉丝量坚持微上升趋势：8月6日晚至8月7日清晨，粉丝增加了11人
品牌b：
第一时间运用获得流量丢失粉丝
小阳忧虑的这种局势，发生在了另一个测验品牌上：百草味。8月5日清晨，微博淘宝上线，百草味榜首时间注册。当日清晨1点23分，成功卖出榜首单。
但同样是8月6日晚至8月7日，百草味官微粉丝呈现了很多丢失。记者注意到，8月6日下午7点左右，其粉丝量为636604人;8月7日11点，粉丝量为635622人，
不到20个小时，粉丝丢失量达982人。
百草味微博担任人向记者表明，自个也认识到了粉丝正在丢失，并在做严重调试。此刻，记者注意到百草味显着减少了微博推送频率。
放下粉丝丢失外，微博淘宝的确给百草味带去了很多流量。到首运营日正午12点多，用户经过 进店已成为榜首流量来历，占有总流量的34.8%。
对此，业内人士邱龙君以为并不新鲜：“百草味是少量内测店肆，其时又是微博淘宝版上线首日，此数据没有参考价值。两个月后当咱们对该商品不别致时，那才是实在的数据。”
商品体会
用户账号一键登录商家后台可直控微博
微博淘宝版发布，对用户商家来说是一次全新的购物体会。
此前微博也能同享商品，但信息不全，不晓得来自啥商家，不晓得星级多少，不能辨认真假，也无法晓得报价。
而记者从百草味发布的坚果食物中，能知道它的商品、卖家称号、店肆星级、报价、销量等信息，而且能够挑选去采办。点击采办后，记者能够直接跳转至淘宝页面，无需再次输入淘宝账号。
整个进程正是微博淘宝给用户带来的价值：一是双渠道账户互通，降低了用户注册登录的本钱;二是淘宝商品信息在微博中解析为card方法。
关于卖家来说，它在后台能够运用一切的微博功用(账号互通)，如发微博、私信、求重视等。其间也融入了有些淘宝特征功用：发布宝物信息、表现店肆认证、联络微博进行数据发掘。
“卖家在淘宝后台能够监控洞悉用户的动机，知道商品在微博中的传达情况以及下一步用户意向。” 商业商品部总经理程昱向媒体同享到。
技能难度
自身技能不杂乱但二者用户数巨大
本年4月份，阿里巴巴入股新浪，历时三个月榜首款实质性商品总算出炉。“曩昔三个月里，两边主要是把两个渠道账户打通，包括用户账户也包括公司账户。”新浪高档副总裁王高飞向媒体表明。
微博淘宝的主要功用也是基于此，但阿里 各自的巨大用户，给账户打通带来了不少艰难。据揭露数据计算， 当前的用户数量已破5亿，而据数据显现，淘宝网店肆数量也已超越700万家。
仅从技能层面来看，微博淘宝版并不杂乱。记者就账户互通疑问，采访了一位从事数据库工作的工程师小朱，他表明：“这并不是太大工程。假定 用户数据是a，淘宝是b，完成一键同享需求先获得两边授权，需打通数据库接口，让a在b端口也能登录。”
大数据是企业未来核心战略等 篇3
微软全球资深副总裁、微软亚太研发集团主席张亚勤
IT行业最近一直在讨论三大平台。第一个平台是终端平台，包括PC和移动之间竞争，也包括移动终端平台之间的竞争。第二个平台是云计算平台，微软、亚马逊、IBM及其他很多企业都在做云，国内现在也有相关企业涉足。第三个平台是云和端之间的平台——社交商务平台。
在接下来的5年时间中，IT产业的竞争主要是这三大平台的竞争。谁赢得平台竞争，谁在新的时代里就有更大的话语权。为什么这么说？因为最重要的是提供软件、提供应用以及提供服务，当中会产生大量的数据。
大数据能够蓬勃发展，主要有三个推动力。第一个推动力是大数据中经常谈到的三个“V”。这三个“V”分别指Volume（容量）、Variety（多样性）、Velocity（速度）；数据量的指数级增长，数据与各种类型的完全结构化，数据产生和应对的毫秒级速度，让大数据时代的到来成为可能。
第二个推动力是云计算重组能力得到大幅度增加，报价却降低。30年前，采集存储一个TB数据需要花16亿美元，而现在只要100美元就可以做到。
而最后一个推动力是云计算的兴起，让大数据成为云计算时代的杀手级应用。事实上，人工智能、机器学习、数据挖掘，这些算法早已在实验室成熟。
《时代》杂志称奥巴马的胜利，其实是大数据的胜利。奥巴马在整个政府信息化利用大数据方面，确实做得很好。这个例子告诉我们，每个企业都应该把数据作为自己核心的战略。因为，拥有数据才能拥有未来。
云+端才能握住掌中的明天
IBM全球副总裁兼中国研发中心总经理王阳
计算时代从2011年开始进入了第三个时代——认知系统纪元。计算机已经可以认知，可以学习大量的数据，总结出规律。
在一次美国ABC实况转播的计算机与人类进行的较量中，计算机是最后的赢家。这是一个跨时代的过程，各大刊物都有报道。试想，人类如果掌握了这种技术，它能够进行学习、钻研，并且总结出我们想知道的知识，我们可以用到哪里？
在移动互联网时代，如何把前端的智能终端和后端的云打通？如果在两者之间加上一个移动应用平台或云平台，问题就能迎刃而解。后端和前端打通后，企业应用、个人应用等都可以放到移动平台上，通过移动终端展示给每个用户，让他们在其中获得价值。
但我们应该看到，后端有各种各样的应用以及ERP等很多系统，且应用在不同的地方。在不同的系统中，怎么才能把前端和后端打通？要想手上的云终端真正掌握明天，就需要一个非常强大的平台。IBM已经搭建了一个平台，能够把前后端打通，非常方便。
试想一下，移动互联网时代，我们每个人的手机不但是通话工具，也是计算工具，它能够听、能够说、能够看，能感知自己的位置，可以读出很多东西的终端，这是很美妙的一件事情。但要实现这个，需要把后端知识和庞大系统通过一个有机平台，跟前端联结在一起，只有这样我们才能掌握明天。
摩尔定律推动ICT产业融合
英特尔中国区董事总经理黄节
业界一直在讨论“摩尔定律能走多远，以及摩尔定律还是否适用？”，虽然问题讨论过很多次，但它的表现却一直很优秀，因为它一直在证明自身。实际上，摩尔定律带来四个好处。
第一个是更高的性能；第二个是更低的功耗；第三个是更小的体积，第四是更低的成本。这四个好处，实际上是推动了整个移动互联网，推动了整个IT和CT的融合。在终端领域，IT跟CT的融合已经很明显。移动互联网、智能手机实际上是移动通讯和计算机融合。融合后，人们发现30%的应用原来通讯应用，70%的应用是互联网应用。
英特尔以前关注计算机，现在把注意力转移到移动通讯。现在，英特尔和联想、中兴、摩托罗拉等厂家在中国乃至全球都推出了内置英特尔CPU芯片的手机。在中国，英特尔还和摩托罗拉、中国移动推出了第一款TD-SCDMA手机。除此之外，还有超极本、平板电脑。在云计算和大数据时代，IT和CT设备之间界限也变得模糊。
显然，摩尔定律能够带来高性能、低功耗、小体积、低成本，推动ICT融合，推动移动互联网时代的到来。
移动互联网时代中国要成为强国
新华都集团总裁唐骏
中国IT市场上，缺的不是产品，不是技术，也不是资金，而是创意和品位。
中国是一个生产大国，出了很多产品。什么叫产品？就是在原材料上面加10%这叫产品。什么叫名牌？成本价加一个0就是名牌。什么是奢侈品？在成本价加两个0。什么是文物？就是在成本价加N个0。
中国不缺产品，也盛产文物，但是我们缺名牌，缺奢侈品。就像年会的主题“握住掌中的明天”一样，中国在移动互联网领域也是一个大国，大到什么程度？比如说我们的QQ同时在线人数，已经超过同时看电视的人数，这是一个革命。
但在互联网领域，中国只是一个大国，不是一个强国。没有核心操作系统，没有芯片，核心应用很多也是从国外引进来的。一直以来，中国有一个强国之梦。如果中国只是使用别人的系统、别人的芯片，只能永远是一个大国，做不成强国。
现在，移动互联网已经在改变我们，改变我们的生活。10年前，正是移动互联网开始的时候，我参加一个智能手机新闻发布会。出席会议的三个嘉宾分别是多普达公司的杨兴平、芯片供应商中国区总裁杨叙和我。
我记得很清楚，当时就在说智能手机将改变人们的生活，改变人们的工作方式。10年过去了，多普达公司接近消失了；而10年前只有微软一家手机操作系统公司，10年后在智能手机领域，微软已经不能独霸；10年前，谷歌根本没有想到进入操作系统领域，10年后的今天，谷歌几乎占据了移动互联操作系统的半壁江山。
nlc202309011232
这说明什么？说明在移动互联网时代，重要的不是起跑，关键是有长跑的毅力。人生最重要是什么？是一个长跑，是一个故事，是一个享受人生的过程。中国在移动互联时代一样，尽管丢失了10年，但我们现在可以重新来过。因为，未来10年谁也不知道最终的结果。
地图是移动生活的入口
高德软件董事长成从武
移动互联网正在发生重大的转变，对整个产业产生颠覆性的影响。它给地图这个行业带来了怎样的发展机遇呢？
移动互联网带来的最大变化是把握了社会生活中的碎片化时间。而地图恰恰跟所有碎片化服务发生了关系。在苹果应用商店前百名排名中，有33个应用与地图有关。现在最火的移动应用微信，每天发出的位置请求数量超过7亿多次，新浪微博也有接近2亿次的位置请求……
社交和地图的结合，说明地图已与人们的衣食住行、吃喝玩乐都有关系。数据显示，人类生活80%都跟地图、空间信息有关系。在位置服务领域，谁是最后的王者？在我看来，地图行业如果仅凭APP包揽天下，是不可能的。
移动互联网的到来，让大家开始讨论传统的PC等端口是不是将被以智能手机为代表的移动端代替。我并不这样认为，实际上还有很大的一批人还在使用传统的终端，也不会消失。比如小孩玩游戏，喜欢用电脑和电视，老人则喜欢通过电视观看电视剧或综艺节目。
而地图则能进入所有的端口。电视端、PC端、移动端、汽车端都能进入。高德与IBM、微软等公司不同，他们服务的是所有产业和企业用户。而高德的目的是基于位置服务，将地图作为移动互联网时代中最重要的战略，去赢得用户的欢心。
智能终端和无线网络推动移动互联网发展
AMD全球高级副总裁、AMD大中华区总裁邓元鋆
移动互联网的快速发展，主要受智能终端以及无线网络的推动。
智能终端包括手机、平板电脑以及即将上市的其他终端，它的普及率越来越大。在今天的市场上，虽然还没有出现几百元价格的智能终端，但我相信智能终端的价格会越来越低，会让很多人都能够买得起。
现在智能终端的出现，人机界面更加简单，即使是老人和小孩，也都能轻松自如地运用手中的终端。随着智能终端普及率的提高，移动互联网也会加速前行的脚步。
另外，高速无线网络的快速发展，为移动互联网插上一对腾飞的翅膀。无处不在的3G、WiFi网络，不但在速度上比传统的2G更快，价格也更便宜。再加上丰富的互联网应用，使得越来越多人离不开手机。它在影响人们生活的同时，也刺激着移动互联网，使其加速发展。
在我看来，移动互联网的未来绝对是一片光明。早在2004年，我就看到了这个趋势，并且当时也预测到它即将改变人们的生活和行业的发展得趋势。现在，移动互联网的发展已经比较成熟，相信在2013年会迎来爆发式增长，2014年会发展更快。因为，运营商提供的带宽越来越快，它提供的网络更加宽广，各种应用更容易到达用户的手上。
（本刊出版时，邓元鋆已从AMD离职。）
电商超越传统企业只是时间问题
商务部电子商务和信息化司副司长聂林海
电子商务近几年发展非常快。数据显示，2006年，电子商务交易所得只有1.5万亿元，而2011年达到5.88万亿元，年均增速超过30%，相当于国民生产总值的12.5%。
现在，很多中小企业都意识到电子商务的重要性，但是不知道怎么做。在我看来，电子商务将向三个方向发展。一是传统企业跟电子商务融合。电子商务的发展对传统企业冲击非常大。北京中关村的IT卖场，前些年火的时候连停车的地方都没有，但现在非常萧条。更大的冲击是传统书店，新华书店在上世纪80年代有100多家，但现在只剩下60多家。专家预测，再过5年，将有80%的书店关门，50%的鞋店关门。
第二个趋势是移动电子商务。
另外，电子商务现在多是自己做物流，下一步应该开放为别的电子商务企业服务。对于传统企业转型电子商务，我的建议是不要自己去做平台。现在，有人觉得传统企业做电子商务具备优势，但我不这样认为。电子商务现在是重资产，要做大做强，得有强大的硬件，要有大量的服务器和大量软件队伍，还有物流配送队伍和客户服务队伍。每一项投资都非常大。因此，中小企业如果要做电子商务，最好不要自己做平台。
第三个趋势是电子商务的发展会越来越快，在未来有可能代替传统企业。我同意这个观点。从宏观上看，经营电子商务的企业会越来越多，超过传统企业数量的只是时间问题。
栽好梧桐树引来金凤凰
辽宁东戴河新区管委会主任罗建彪
东戴河位于辽宁省西南端，距北京、天津、沈阳300公里，102国道、京哈铁路等横贯全区。并且赤绥铁路等也都在规划设计中，它是连接蒙东地区乃至蒙古国的重要铁路。
东戴河历史悠久，秦始皇曾经在这里建行宫。北戴河虽然也有秦始皇的遗迹，但真正的秦始皇行宫遗址在我们东戴河。上世纪80年代，这是全国10大考古发现之一。李克强同志任辽宁省委书记的时候，提出了沿海开放的战略。东戴河正处于沿海开放的起点。更主要的是，它地理优势明显，离京津地区近。从北京到东戴河，只需要3小时车程。东戴河新区建设只有4年时间，现在这里的建设项目包括房地产、工业厂房和研发基地，已经具有1千万平方米的建筑规模。投资金额已达到60多亿元，入驻企业达到300多家。IBM公司的王阳博士曾先后多次到绥中考察，目前他的一个团队正在我们东戴河工作。致远软件的徐石先生也曾到绥中做过考察，和致远的合作目前正在探讨。
我相信我们只要有坚定的信念，顽强拼搏，就一定能够到达胜利的终点。东戴河的明天会更美好，东戴河欢迎你们到绥中投资建设，我们将以最好的政策，最优的服务欢迎你们。
DB2并行数据库核心技术探究 篇4
当前, 银行业中的许多核心业务系统 (如记账系统、支付清算系统、征信系统等) , 随着业务事件的发生、业务流程的运转、业务推广, 业务系统中的生产性子系统, 每天要接受大量用户的7╳24小时高并发实时访问, 吐出海量的交易数据, 对于银行企业来说, 这些交易数据是无价之宝, 业务系统中的管理性子系统要对该海量交易数据实时进行数据归档、统计分析、货币政策及金融服务等业务价值挖掘处理, 其数据容量以TB乃至PB来衡量。时至今日, 传统的数据库系统技术仍然难以满足这个问题空间的需求。
自1945年第一台电子管计算机诞生以来, 历经近60年, 计算机硬件飞速发展, 特别是微处理器的迅猛发展, 处理器的运算性能以摩尔定律提速、每1.5年提高1倍, 主存储器的容量每3到4年翻1倍, 磁盘的容量每年提高60%, 而且这些硬件价格都一直保持下跌, 性能价格比一直在提升。这些导致了新型计算机体系结构的发展和应用。而今, 业界一致推崇, 大规模并行处理机作为海量数据处理和实时高性能计算需求的解空间, 为问题求解提供了坚实的物质基础。
在海量数据实时处理的问题空间与大规模并行处理机的解空间之间, 由于两者的概念和处理逻辑截然不同, 要弥补这一距离, 需要从问题空间向解空间进行映射, 建立映射函数f:y=f (x) , 定义域为:{x/x=海量数据实时处理的问题空间的概念和处理逻辑}, 定义域为:{y/y=大规模并行处理机的解空间的概念和处理逻辑}。由此可见, 并行数据库系统的本质可以概括为:从海量数据实时处理的问题空间到大规模并行处理机的解空间之间的映射f。而且, 从问题空间向解空间直接进行映射, 必定存在一定的复杂性, 为了控制这一复杂性, 需要建立一个复合映射函数f, 即f (x) =P (L (x) ) , 其中L为从问题空间到并行数据库系统的逻辑映射, P为从并行数据库系统到解空间的物理映射。实现映射的基本手段是建立模型, 为逻辑映射建立并行数据库系统的逻辑结构模型, 为物理映射建立并行数据库系统的物理结构模型。
2 并行数据库系统的目标、原则与方法
由映射f的定义可知, 并行数据库系统的基本目标是:高性能、高可用性。高性能由并行机制来保证, 高可用性由冗余机制来保证。
高性能由线性加速和线性扩展两个指标来度量。假设没有并行性情况下, 投入1个单位计算资源, 在1个单位时间内, 完成1个单位计算规模的1个计算任务。线性加速是指:投入n个单位计算资源, 在1/n个单位时间内, 完成1个单位计算规模的1个计算任务。线性扩展是指:投入n个单位计算资源, 在1个单位时间内, 完成1个单位计算规模的n个计算任务。
吸收业界专用数据库机研究失败教训, 为了达到并行数据库系统的上述基本目标, 遵循如下并行数据库系统的原则:由有限构建无限。即不存在一台无限快的处理器提供无限能力的计算资源, 而是由无限多个有限能力的计算资源通过一定的结构关系来形成一个无限能力的计算资源。这种结构关系就是并行计算体系结构和并行计算算法的研究内容。
并行机制的基本实现方法有流水线并行性和分区并行性。流水线并行性:把一个关系运算的输出结果串联到另一个关系运算的输入端, 使得多个关系运算构成流水线, 利用流水线深度 (即步数) 来获得并行性。由于在关系运算中, 流水线深度太小等因素限制了其并行性的发挥。分区并行性:采用分而治之的思想, 其实质是把大任务转化为多个独立的小任务, 包括数据分区和并行运算2个方面, 即分割大规模数据集为多个小规模数据集, 使得一个关系运算被分割成多个相同的子关系运算, 这些子关系运算分别作用在不同的小规模数据集上。
数据分区是分区并行性的关键, 假定要把数据映射到n个磁盘上D0, D1, …, Dn-1上, 目前, 有3种经典的数据分区策略:
轮转法:对于关系r中的第i个元组分配到第 (i mod n) 个磁盘上, 保证了元组在多个磁盘上的平均分布。适合于扫描操作。
散列分区:关系r中的一个或多个属性作为分区属性, 对于r中的元组rt, 该元组被分配到第h (rt) 个磁盘上, 其中, h为一个值域为{0, 1, 2, …, n-1}的散列函数。适合于基于分区属性的点查询, 不适合范围查询。
范围分区:对于关系r, 分区属性为A, 则在A上可以定义一个分区向量:[v0, v1, …, vn-2]。分区过程如下:若t[A]〈v0, 则t被分配给第0个磁盘, 若t[A]≥vn-2, t分配给第n-1个磁盘, 若vi≤t[A]
并行运算是分区并行性的第二步。由于关系运算是基于集合的, 集合的偏序关系、等价划分等性质, 适合于进行数据分区, 所以关系运算特别适合于并行处理。并行关系运算一直以来是算法研究的热点领域, 特别是并行连接和并行排序等。
冗余用于改善可靠性, 冗余信息可以用来在磁盘等出现故障时, 重新生成数据。
3 DB2并行数据库系统的逻辑结构模型
IBM DB2 InfoSphere Warehouse Enterprise Edition就是在并行数据库系统的目标、原则与方法指导下研发的一款高端并行数据库系统, 俗称DB2 EE with DPF。
DB2并行数据库系统的逻辑结构模型如下:
DB2数据库分区采用分区并行性中的散列分区策略来设计。每个数据库分区称为节点或者数据库节点。每个数据库分区都有自己独立的计算资源 (CPU、主存储器和磁盘) 。每个数据库分区是一个数据库, 有自己的数据、索引、事务日志和配置文件。支持的并行性粒度有:节点间、节点内、查询间、查询内部。没有限制的规模, 横向扩展。基于分区键, 通过散列函数均匀地映射数据到不同的数据库分区, 当用户发出SQL操作时, 被连接的分区作为协调节点 (协调节点是运行协调代理的一个数据库分区, 任意一个数据库分区都能够成为协调节点) , 负责处理用户的请求, 并根据分区键和分布图将用户的请求分解成多个子任务交由不同的分区并行处理, 最后将不同分区的执行结果汇总返回给用户。
DB2表空间采用分区并行性中的轮转法策略来设计, DB2中称之为条带化。表空间是由容器构成的, 容器是数据的物理存储, 如果一个表空间有多个容器, 那么数据在写容器的过程中是按照循环的方式按块 (extent) 写的。当在第一个容器中写完一块后在第二个容器写, 然后又循环到第一个容器, 以此类推。
DB2分区表采用分区并行性中的范围分区策略来设计。分区表根据分区键, 将表数据分布到多个数据分区中。允许一个逻辑表被分成多个分散的逻辑存储对象, 每个存储对象对应表的“一部分”, 值的范围用来指定每个分区。数据分区是表的一部分, 它包含该表的一部分记录, 并且与其他记录分开存储。这些数据分区可位于不同的表空间或同一表表空间中。普通表只可以放于一个表空间中, 而分区表可以将自己的各个不同部分放在不同的表空间中。
多维集群弥补数据库分区、表分区的declusterring的缺点, 从物理上把表数据同时沿着多个维聚集起来, 允许聚集多维内的物理数据页面来聚集逻辑表上的数据, 提高查询性能。
4 DB2并行数据库系统的物理结构模型
为了支持DB2并行数据库系统的逻辑结构模型向大规模并行处理机的解空间映射, 需要引入DB2并行数据库系统的物理结构模型。
大规模并行处理机MPP的3种典型物理结构:共享内存、共享磁盘、无共享。
共享内存SE:所有的处理器和磁盘共享一个公共的主存储器, 采用总线连接。优点是处理器之间的通信效率极高。缺点是其规模不能超过64个处理器, 否则会变成瓶颈。
共享磁盘SD:所有的处理器共享一组公共的磁盘。采用互连网络连接, 每个处理器都可以直接访问所有的磁盘, 每个处理器有自己私有的主存储器。优点是容错性, 缺点是速度要慢一些。
无共享SN:各处理器既不共享公共的主存储器, 又不共享公共的磁盘。在SN中, 机器的每一个节点包括多个处理器、一个主存储器和多个磁盘。采用互连网络连接, 一个节点上的处理器可以通过高速互连网络与另一个节点上的另一个处理器通信。由于局部磁盘访问有各个处理器的本地磁盘提供, 所以无共享模式客服了所有的I/O都要通过一个互联网络的缺点, 只有那些非本地磁盘的查询及其结果关系需要通过网络传送。优点是无共享体系结构更具可扩展性, 可以很容易地支持大量的处理器。缺点是数据的传输涉及两端的软件交互, 故速度要慢一些。
对比以上3种物理结构, 可知无共享SN的物理结构适合架构高性能数据库系统, 所以DB2率先采用之。DB2并行数据库系统的物理结构模型如下所示:
系统的拉动查询性能的主要组件。
5 结束语
本文提出了提高吞吐量以及满足高可靠性需求的问题空间, 然后给出了DB2并行数据库系统向相应解空间的映射及其模型建立, 同时研究了DB2并行数据库
摘要：DB2并行数据库系统当前在银行业的许多核心业务系统中被广泛使用, 本文力求以一种创新性的逻辑思路, 系统化地从并行数据库系统的本质、目标、原则、方法、逻辑结构模型、物理结构模型等方面对DB2并行数据库系统的核心技术进行研究与分析, 以期更好地指导DB2应用实践。
关键词：并行数据库系统,并行机制,DB2,数据库分区,表分区,映射
参考文献
[1]杨利、周兴铭、郑若忠.并行数据库的体系结构.国防科技大学计算机研究所.1995.
[2]陈越洲、杨树强、贾焰.基于DB2的并行数据库体系结构研究.计算机工程.2005年3月.
[3]Abraham Silberschatz (美国) 等.数据库系统概念 (第五版) .机械工业出版社.2008年12月.
[4]王立福等.软件工程 (第三版) .北京大学出版社.2009.
核心数据库 篇5
几种主要的排序算法：冒泡排序、选择排序、插入排序、快速排序、归并排序、Shell排序、堆排序等。
冒泡排序算法思想：
将待排序的元素看作是竖着排列的“气泡”，较小的元素比较轻，从而要往上浮。在冒泡排序算法中我们要对这个“气泡”序列处理若干遍。所谓一遍处理，就是自底向上检查一遍这个序列，并时刻注意两个相邻的元素的顺序是否正确。如果发现两个相邻元素的顺序不对，即“轻”的元素在下面，就交换它们的位置。
选择排序算法思想：
选择排序的基本思想是对待排序的记录序列进行n-1遍的处理，第i遍处理是将L[i..n]中最小者与L[i]交换位置。这样，经过i遍处理之后，前i个记录的位置已经是正确的了。
插入排序算法思想：
经过i-1遍处理后,L[1..i-1]己排好序。第i遍处理仅将L[i]插入L[1..i-1]的适当位置，使得L[1..i]又是排好序的序列。
快速排序算法思想：
快速排序的基本思想是基于分治策略的。对于输入的子序列L[p..r]，如果规模足够小则直接进行排序，否则分三步处理：1. 分解(Divide)：将输入的序列L[p..r]划分成两个非空子序列L[p..q]和L[q+1..r]，使L[p..q]中任一元素的值不大于L[q+1..r]中任一元素的值。2. 递归求解(Conquer)：通过递归调用快速排序算法分别对L[p..q]和L[q+1..r]进行排序。3. 合并(Merge)：由于对分解出的两个子序列的排序是就地进行的，所以在L[p..q]和L[q+1..r]都排好序后不需要执行任何计算L[p..r]就已排好序。
归并排序算法思想：
分而治之(divide -conquer)。每个递归过程涉及三个步骤：1.分解，把待排序的n个元素的序列分解成两个子序列，每个子序列包括 n/2 个元素。2. 治理，对每个子序列分别调用归并排序MergeSort，进行递归操作。3. 合并，合并两个排好序的子序列,生成排序结果。
Shell排序算法思想：
算法先将要排序的一组数按某个增量d分成若干组，每组中记录的下标相差d.对每组中全部元素进行排序，然后再用一个较小的增量对它进行，在每组中再进行排序。当增量减到1时，整个要排序的数被分成一组，排序完成。
堆排序算法思想：
大数据应把握核心技术话语权 篇6
2012年1月6日，在北京举行的“中国非结构化数据管理高峰论坛暨‘核高基’科技重大专项课题成果发布会”上，记者了解到，大数据时代中国研究机构已把握了先机。本次会上发布了“核高基”项目——非结构化数据管理系统的最新研究成果，并就如何推动中国非结构化数据管理技术的研究和创新、加速国产非结构化数据管理系统的产业化进程进行了探讨。
提前为大数据准备
大数据问题的核心是非结构化数据的处理。根据“核高基”非结构化数据管理系统课题组的定义，非结构化数据是指那些显示数据结构的数据，典型的例子像文本、网页、邮件、格式文档、图型图像、视音频等。
非结构化数据处理非常困难，因为其种类繁多且不断推陈出新，不同种类数据需要不同的操作方式进行处理。
相关数据显示，大数据已成为当下诸多公司，尤其是互联网公司的必需品，一些公司待处理的非结构化数据已达ZB(10万亿亿字节)级别，如互联网公司的网络访问日志等。
“迄今为止，软件行业经历了三次大的浪潮：第一次始于上世纪70年代操作系统、数据库的出现；第二次始于上个世纪90年代中期，半自动化数据文本处理软件的出现；现在已经进入大数据时代，表现为非结构化数据的大量涌现。”北京航空航天大学李未院士在演讲中表示，“中国企业在第一次浪潮中是跟踪学习，第二次则是主动参与，在第三次浪潮中要有自己的一席之地，所以我们要早做准备。”
记者了解到，为了把握新型数据管理领域发展的先机，特别是在大数据时代中国能拥有话语权，国家“核高基”科技重大专项中提前部署，于“十一五”期间设立了“非结构化数据管理系统”课题。
“‘十一五’期间，中国部署了两个相关课题，一个是关系数据库管理系统，另一个是非结构化数据管理系统。其中，关系数据库管理系统面向传统市场，而非结构化数据管理系统是作为下一代技术储备，瞄准未来的新型数据管理应用市场。”课题组成员清华大学王建民教授介绍说。
据悉，围绕“核高基”的非结构化数据管理系统研究课题形成了三个主要的研究团队，分别由北京航天大学、清华大学、浙江大学组成。“应该说，在非结构化数据管理领域形成的这三个集产、学、研、用为一体的核心科研创新团队，为未来的中国非结构化数据管理的创新发展积累了宝贵的人才资源。”王建民如是评价。
致力于掌握核心技术
非结构化数据管理系统研究课题组经过两年多的科研攻关，取得了丰硕的成果。在大会上，课题组发布了三项重点研究成果，包括四面体数据模型、分布式柔性事物管理模型、跨媒体计算理论与方法。这些都是非结构化数据处理方面非常核心的技术。
“非结构化数据管理有四个核心问题需要解决，即模型问题、系统问题、管理问题以及应用问题。”清华大学孙家广院士解释说。
所谓模型问题是数据的建模，也就是如何统一表达结构化数据和非结构化数据；系统问题是指如何弹性地应对数据和负载的动态变化来构造一个系统，以支撑不同的操作行为；管理问题就是如何有效地存储和操作海量数据；应用问题就是如何在大型数据之上支持这个分析型和事物型的应用。比如，由北京航空航天大学牵头的研究团队推出的四面体模型解决的就是数据的建模问题，也是非结构化数据管理中最核心的问题之一。该四面体模型合理地表达了非结构化数据的基本属性、语义特征、底层特征以及原始数据等组成部分，以及各组成部分之间的内在联系。
值得一提的是，非结构化数据管理系统研究课题的部分研究成果已形成应用成果——3款自主的非结构化管理系统产品，并成功地应用于盘古搜索、新华微博、天宇舆情分析等典型海量数据管理领域，不仅彰显了中国非结构化数据管理技术的核心竞争力与广阔市场前景，而且推动了非结构化数据产业发展。
“未来，课题组还会致力于形成非结构化数据管理自主规范和国家标准，并建立非结构化数据管理公共测试平台，以促进非结构化数据管理软件产品的市场推广以及非结构化数据管理技术转移与产业化，最终促进新型数据管理产业链的形成。”王建民表示。
核心数据库 篇7
随着油田信息化、数字化建设发展, 各类用于生产管理、技术研究的应用系统数量不断增加, 功能不断完善, 极大的方便了生产数据管理、分析和指导, 推动了厂数据管理、分析模式的变革, 但是, 随着各类系统的增加, 由于其存储的数据量呈几何级增长, 不仅耗用大量存储, 更因各系统间数据关联性小和一致性差, 造成数据无法共享, 基层数据仍需员工通过传统的EXCLE报表进行手工录入和计算, 生产管理工作效率低下, 因此, 研究建立厂级核心数据库及作业区综合报表系统开发应用有着重要意义。
2应用现状
2.1人工录入数据多、工作量大
目前采油厂生产数据主要由SCADA系统自动采集和基层资料员、技术员人工进行收集、整理, 并在作业区综合报表、油水井工况系统、A2系统、地质及工艺等相关系统中进行手工填报, 由于各系统、报表数据需求不一致, 动态数据录入量过大等问题造成员工录入工作量繁重。
2.2系统、报表间数据无法共享
由于各个系统建设初期缺乏统一规划, 不同系统之间数据缺乏共享, 加上传统EXCEL报表数据存储的局限性, 造成生产数据出现脱节, 形成信息孤岛, 系统报表间大量的油水井数据无法进行关联、协同分析, 数据集成效益无法显现。
2.3作业区报表数据管理效率低
目前作业区报表依靠传统EXCEL报表工具制作和存储, 通过基层资料员、技术人员每日通过电话、报表等方式收集和填报, 由于缺乏系统的审核机制, 数据修改无法统一同步更新, 查询和数据分析不方便, 生产管理效率低, 存储安全性差。
3建设目标及开发思路
3.1建设目标
(1) 开发设计采油厂标准的数据库模型、字典, 开发规范、开发性的数据库接口, 为后期数据接入其他系统做好充足准备。
(2) 建立采油厂生产核心数据库, 统一数据来源, 规范数据格式。
(3) 自动生成满足于作业区生产需求的综合报表系统, 实现固定与自定义报表生成、多样式展示及导出。
3.2开发思路
3.2.1数据库开发思路
(1) 核心数据库设计。通过对采油厂所有与生产相关的数据和业务需求进行整理分析, 充分利用自动采集的数据、抓取专业系统分析结果数据、以及人工补录部分数据, 统一数据存储运算, 规范审核机制, 开放数据接口, 建立采油厂完整的生产核心数据库。
(2) 数据集中管理, 解决数据多头录入、重复录入。对采油厂所有生产相关系统数据按照生产逻辑进行整合归类, 按照基础信息、油井投产、钻井、生产日数据等统一数据项和规范命名, 共整理分出10大类110小类, 满足后期新开发系统和公司级系统数据接入的需求。
通过规范数据名称和集中存储机制, 合理建立数据项, 消除数据多头录入、重复录入的问题, 共计筛除重复项1437项, 确定建立数据项1630项。
(3) 数据录入规范统一, 保留传统报表办公模式。一是开发统一数据录入窗口, 实现对作业区生产管理组织架构、油层开发属性、措施作业类型等基本名称和信息的统一录入, 确保数据名称、类型等基本参数规范、统一标准。
二是开发符合实际生产的数据录入功能, 实现作业区在日常填报、审核数据的同时同步完成对系统数据的录入, 并自动对数据进行整理、计算和共享, 最大限度保留作业区日常办公的操作习惯, 减轻员工录入工作量。
(4) 开放接口, 实现系统间数据共享, 数据分析、利用最优化。统一规范数据库接口, 实现核心数据库、油水井工况系统、SCADA系统、地质动态分析等系统数据的共享接入, 利用核心数据库进行运算和存储, 实现各系统数据的快速读取和分析。
3.2.2作业区综合报表开发思路
通过对作业区现有规范的综合报表进行统计、分类, 一类是以作业区调控中心为主导, 按照“2-4-8”三级生产监控体系运行, 由站点收集填报, 井区、调控中心进行逐级审核和补录, 其实时性相对较强, 主要用于日常生产动态监控;
另一类是以作业区技术组为主导, 以产量监控报表为基础, 借助油水井工况分析系统, 由站点收集填报, 井区、技术组进行逐级审核和补录, 每24小时编制的技术分析报表, 其编制时间较长, 相对滞后, 主要用于单井生产分析与技术研究。
(1) 实现录入审核“三统一”, 实现自定义审核。通过规范数据录入报表、填报单位、填报时间、审核单位、审核流程机制, 实现站-井区-作业区多级填报审核, 同时增加数据自定义校准验证, 保证入库数据的准确性。
(2) 建立安全存储机制, 让数据安全风险可防、可控、可追溯。通过优化存储模型和内置的硬件冗余等保护措施确保数据发生灾难后及时恢复, 同时根据用户权限和IP地址设定数据访问限制, 记录操作日志, 最大限度的保障数据库运行的安全性, 避免了传统EXCEL报表录入和分散存储等带来的安全弊端。
(3) 建立数据智能化分析, 自定义查查询分析。厂核心数据库关联油、水井生产动态、井筒工况、地面工艺、井组注采、区块 (油藏) 动态等数据模型, 将人工经验转化为系统智能“经验库”, 数据更加全面和直观, 减轻技术人员统计分析的工作量, 减少人为计算数据错误因素的影响, 为油田开发提供可靠的科学决策。
4结论与认识
通过在采油厂建立生产核心数据库, 规范、统一数据录入源, 对生产过程的所有相关数据进行集中管理和分析, 生成的报表数据分析更加全面和直观, 充分发挥数据信息化管理的优势, 提高工作效率。随着核心数据库的发展和成熟, 以及应用系统的更新升级, 老旧数据库逐步淘汰, 核心数据库将在为生产管理中发挥更加巨大的作用。
摘要：核心数据库建设是基于采油厂生产运行所有相关数据, 按照生产管理流程和逻辑重新定义数据项而建立的厂级核心数据库, 其目的在于解决目前各类生产相关系统之间数据不能共享、由于人为因素等造成同一数据在不同系统、报表间数据录入不一致、频繁重复录入以及后期新增系统数据库重复建设等问题。通过厂级核心数据库的建设, 实现对生产核心数据的管理和存储, 在不改变作业区现有报表录入流程和使用的情况下开发作业区综合报表系统, 减轻员工录入工作量, 提高生产数据利用率。
核心数据库 篇8
开展全国国土资源“一张图”建设, 形成国土资源核心数据库, 是落实中央领导、部领导和全国国土资源信息化工作会议精神的重要行动和步骤, 是要解决当前国土资源数据汇交、采集、更新、积累、整合、开发、利用尚不能满足国土资源监测监管和社会化服务需求的信息化瓶颈问题。
南京市“一张图”的建设主要围绕3个重点展开。一是多源数据的整合, 主要解决过去国土资源“多张图”的问题, 改变各部门之间相对独立、存在数据孤岛的情况, 从而实现“一张图”统一管理。二是注重集成、面向服务和监管, 基于统一的地理空间框架, 面向国土资源监管和服务目标, 集成管理基础地理、土地资源、矿产资源和地质环境等各种数据集。三是注重数据联动, “一张图”的各种数据不是简单的叠加, 而是通过搭建基于“一张图”核心数据库的业务管理系统。根据业务内在联系, 实现关联和联动, 通过关联数据的展示反映业务的内在联系。
如何充分发挥数据在国土资源形势分析、资源监测监管、地质灾害防治、宏观调控、辅助决策支持及社会化服务中的作用, 这是国土资源信息化建设的核心任务之一, 对国土资源管理工作和社会服务具有重大和全局的意义。建立1个集中管理、安全规范、充分共享、全面服务的核心数据库势在必行。文章以南京市为例, 研究“一张图”核心数据库的建设和管理问题, 通过分析国土资源数据、元数据及其在数据管理中发挥的作用等, 设计元数据结构, 提出基于元数据的“一张图”核心数据库建设管理。
1 国土资源数据现状分析
国土资源数据一般来源于国土、规划、测绘等部门, 且数据格式、坐标系、数据精度、空间尺度、时间尺度、数据标准等也各不相同。从数据使用的角度讲, 数据种类繁杂。比如:依数据种类划分, 国土资源“一张图”数据库主要包括空间数据和非空间数据。其中, 空间数据包括矢量数据和栅格数据;非空间数据包括业务指标、表格、文档、报表、附件等数据。依数据用途划分, 又主要包括基础数据和专题数据。其中, 基础数据主要是遥感影像数据、城镇地籍数据、土地利用现状数据和土地利用规划数据;专题数据主要包括建设项目用地数据、土地供应数据、土地开发整理数据、土地执法监察数据、土地储备数据、基本农田数据、基准地价数据、农用地分等定级数据、矿业权数据、矿产资源规划数据、地质灾害数据等其他专题数据。这种数据状况导致信息孤岛无法破除, 限制了国土资源管理中数据的挖掘和综合利用, 制约了国土资源数据的共享和服务。
总之, “一张图”核心数据库包含的数据内容丰富、来源多样, 数据标准、模型、格式、精度、存储形态等差异很大, 要将种类繁多、数据量巨大的各类土地、地质、矿产数据库集成整合为支撑国土资源监管和管理行为的核心数据库, 需要按照统一的标准规范开展数据整合和数据整理工作。
2 元数据
元数据, 即数据的数据, 主要是描述数据的内容、质量、数据源、基础结构等。国际上针对不同应用领域制定了很多元数据标准, 其中地理信息领域也有很多元数据的标准, 如FGDC (美国联邦地理数据委员会) 、ISO (国际标准化组织) 、OPEN GIS (开源GIS协会) 、国家基础地理信息各自都制定了地理空间元数据内容标准。这些标准基本上都对元数据的定义、相关术语、层次结构、性质、元数据内容、空间参照系统、标识信息等方面做了标准化描述。
信息化高速发展的时代, 元数据已经由一种描述与索引的方法扩展到包括数据发现、数据转换、数据管理和数据使用的整个数据共享使用过程中的工具和支撑之一。在数据管理与共享中, 元数据发挥的作用也更为重要。例如:城市公共信息平台建设中也规范了相应的元数据标准, 通过研究其元数据要求, 比较研究地理信息其他应用中的元数据使用。概括总结元数据在地理信息数据管理与共享中发挥的作用如下:
数据发现阶段, 通过元数据定位和理解数据, 并对其进行查询、浏览、分析。
数据转换阶段, 通过元数据掌握其格式、空间参考、文件大小等信息, 指引和控制数据转换工作的思路和方法。
数据管理阶段, 通过元数据掌握数据的来源、状况、质量、内容等。基于元数据组织数据库, 可以有效降低数据存贮的空间, 减少数据用户查询数据库及获取数据的时间, 从而降低数据库的建设使用和管理维护费用。
数据服务阶段, 通过元数据掌握数据的适用范围和适用对象等, 控制数据的共享、使用和安全。同时基于元数据借助XML等可提高数据交互服务的效率, 节约时间、降低数据共享服务成本。
3 南京市“一张图”核心数据库建设
3.1 框架设计
通过对南京市国土资源数据的整理和归类, 南京市国土资源“一张图”核心数据库从逻辑上划分为基础层、专业层、管理层。其中, 基础层通常作为底图数据使用, 更新频率较低、周期较长, 如基础地理数据、遥感影像、地形图;专业层是由土地、矿产、规划等业务部门调查规划产生的数据, 具有内容种类繁多、多尺度、专业性强等特点, 包括土地利用专题 (土地利用现状数据、基本农田数据) 、土地规划专题、矿产资源专题、地质环境专题等;管理层是在土地、矿产资源等管理过程中产生的数据, 具有伴随管理业务实时更新的特点, 包括征供地数据、执法巡查、土地整治等。
同时, 在全面梳理部、省、市相关数据库建库标准和规范, 并参考《全国一张图核心数据库建设方案》的基础上, 结合南京市实际情况, 相关部门制订南京市“一张图”数据库建设方案和覆盖南京市国土资源数据的4个大类、21个小类、50余个数据集的数据库结构。下一步是需要厘清“一张图”核心数据库框架结构 (见图1) 。
元数据由1个或多个元数据子集构成, 包含1个或多个元数据实体。综合分析南京市国土资源管理数据的特点, 定义元数据实体是下列实体的聚集, 分别为:基本信息、质量信息、更新信息、来源信息、覆盖范围信息、分发信息、流转信息、元数据扩展信息。
具体描述数据的如下信息: (1) 基本信息。描述数据的文件名称、数据格式、大小、空间参照系统、比例尺、成图时间、保密级别以及简单的内容提要。 (2) 质量信息。描述数据生产参照的质量标准或规范、质量等级、质检单位、质检人员。 (3) 更新信息。包括更新时间、更新单位、版本、更新内容、更新说明。 (4) 来源信息。来源单位或部门、来源负责人、来源人联系方式、来源格式、来源空间参照系统、接收信息 (接收人、联系方式、接收时间) 。 (5) 覆盖范围信息。描述实体的时间范围、空间范围。 (6) 分发信息。描述可使用者 (使用人名称、所在单位部门、岗位名称) 、操作权限、使用期限、使用者责任等信息。 (7) 流转信息。主要是针对管理数据, 描述其在审批流程中产生的元数据内容, 包括创建时间、所在业务节点、时间节点、办理人、办理状态、结束时间、成果类型、事宜认定。 (8) 元数据扩展信息。考虑到日后的元数据管理需要, 特设元数据扩展信息, 待需要时补充描述。
3.2 管理模式
南京市国土资源“一张图”数据以“集中统管, 分权使用”思想为指导, 元数据贯穿数据的整个生命周期, 市局采用Oracle11g集中存储各类空间、非空间数据, 矢量、栅格数据, 并以数据服务的形式、分权提供给市、区县、国土所3级使用。如图2, 数据管理和元数据管理同为“一张图”核心数据库的管理的重要部分, 数据编辑、更新、入库, 每一个环节牵制着元数据的录入、更新和扩展;同时数据服务阶段, 数据分发与展示也离不开元数据的查询、分析的支撑, 进而提高数据服务的准确性和效率。下一步是需要厘清“一张图”核心数据库管理模式 (见图2) 。
3.2.1 数据存储管理
根据前期的元数据设计, 国土资源“一张图”数据集中存储于“一张图”数据库中, 构建实体元数据, 不同的数据实体分用户集中统管。用户根据权限可以对数据进行编辑、入库、更新操作, 同时, 数据实体相应的元数据录入数据库;用户也可通过元数据查询、分析快速获取定位自己需要的数据, 实现元数据表和实体数据同步维护、关联分析。
从数据入库、编辑更新、查询分析, 到数据分发使用, 元数据贯穿数据的整个生命周期。元数据不再仅仅是对数据描述的数据, 更是管理数据的得力助手、获取数据的高效途径, 为依托“一张图”进行国土资源管理, 实现国土资源数据切实整合、高效利用, 提供了数据保障。
“一张图”平台支持元数据的入库, 维护元数据与数据的关联, 可对元数据进行浏览查询, 进行查询和统计汇总, 在数据经历重要处理时追加或更新相关元数据信息, 可实现元数据的输出与打印。下一步是需要厘清“一张图”平台元数据查询页面 (见图3) 。
3.2.2 数据服务管理
国土资源数据使用中, 市、区县、国土所3级可访问的空间范围不同, 不同部门处室对数据的需求各不相同, 不同的访问者对数据的操作权限也不同。因此, 在数据服务管理时, 基于“分权使用”的思想, 根据元数据过滤数据、限制权限, 把正确的、合理的数据提供给相应权责的用户。图4是为南京市国土资源“一张图”基础数据服务平台中受控于元数据分发信息的“角色—权利”形式的数据分权使用管理的界面。下一步是需要厘清“一张图”数据服务分权管理 (见图4) 。
4 结语
元数据自身的特点决定了其在“一张图”核心数据库建设、管理中不可或缺的地位。南京市基于元数据成功构建了涵盖城乡范围、空间及非空间数据、区分基础、专题等数据种类的国土资源“一张图”数据库, 准确反映国土资源业务数据之间的关联关系, 为管理者对国土资源“总量、结构、布局和时序”的全面掌握提供准确、全面的数据支撑。今后的研究和实践还需进一步完善现有元数据结构, 提高国土资源行业对元数据的应用分析能力和管理能力。
参考文献
[1]李军.地球空间元数据的使用研究[J].地球信息科学, 2000 (3) :8-12.
[2]辜寄蓉, 苗放, 王成善.基于元数据的信息共享机制研究[J].物探化探计算技术, 2006 (1) :75-79.
核心数据库 篇9
本文借助Sybase公司的CASE工具Power Designer 6.0, 结合当前国内流行的财务软件用友U8的数据库特征, 给出了一个完整的账务处理子系统的数据库设计模型, 包括描述E-R图的概念模型 (.CDM) 、由概念模型直接转换而成的物理模型 (.PDM) , 以及直接生成的基于Access的物理数据库, 供财务软件数据库分析人员和设计人员参考。
一、财务软件数据库设计的原则
1.存储空间与运行效率的矛盾
伴随用友ERP不断升级, 其考虑的因素日渐增多, 导致其生成的数据库也日渐庞大。笔者在“电算化会计”课程的U852实验过程中, 只处理了4笔总账日常业务的账套备份文件达到16.4MB, 包含6个财务子系统的实验备份账套竟然达到328MB, 收缴电子档作业成为一个不小的难题。U870安装时建立数据库的时间也长达半小时。尽管电子科技的发展带给我们日趋扩大的硬盘空间, 但我们在存储及备份财务数据时, 总感觉存储空间紧张, 这不得不让我们把眼光重新聚集到数据库设计的优化问题上。
在数据库的设计过程中, 存储空间和运行效率是一对永远解不开的矛盾。或许用友的软件工程师们当初为了提高财务软件的运行效率, 没有太多考虑存储空间的节省, 如客户、供应商、项目、存货等辅助核算的所有相关信息都存储在“凭证及明细账表 (GL_accvouch) ”中, 致使该表中的大量字段空白, 因为只有少数科目涉及辅助核算, 造成数据库空间的较大浪费;再如U870的一张采购单就有上百个字段, 其实用户用到的仅有10个字段左右, 其他字段皆为占据空间的空白字段, 致使财务数据账套成为庞然大物。
本文的账务处理子系统数据库的设计, 借鉴用友U8的数据库设计原理, 以提高存储空间的利用率、减少冗余数据为前提, 得出便于维护、节省空间、符合第三范式要求的优化数据库。本文之后还会相继推出关于固定资产、工资、销售与应收、采购与应付、库存与存货等5个子系统数据库优化设计的文章。
2.PowerDesigner 6.0中E-R图转换为物理模型的原则
在PowerDesigner6.0中, E-R图中的实体转换成表, E-R图中联系的转换结果依赖于联系的基数和类型。在一对一的联系中, 只对dominant (强制规定) 的一端生成表;在一对多的联系中, 为“一”的一端实体中的关键字就转换为“多”的一端的表的外码, 在多对多的联系中, 则产生一个新表, 新表的关键字由两个实体中的关键字组合而成, 可以添加联系表的属性。
二、账务处理子系统的数据库设计
按存储空间最优、兼顾运行效率的原则设计出的符合第三范式的账务处理子系统的E-R图见图1, 图中共17个实体、33对实体间的联系;图2为账务处理子系统的物理模型, 由PowerDesigner 6.0从图1转换而来, 自动生成20个联系表及联系表的关键字, 并添加了联系表的相关属性;图3为基于Access的账务处理子系统的物理数据库, 共计37个表, 由PowerDesigner 6.0从图2直接生成。
三、账务处理子系统E-R图及物理模型分析
因账务处理子系统E-R图及物理模型较为复杂, 本文把实体表间的联系拆分为3个部分 (与“账套表”相关、与“科目表”相关及其他) , 分别表述如下:
1.与“账套表”相关的E-R图及物理模型分析
一个账套只能保存一个公司或一个独立核算单位的会计资料。在实际工作中可以根据需要建立多个账套, 通过合理组织账套文件, 及时掌握各子公司或下属独立核算单位的财务状况, 为加强企业管理和经济核算提供必要的信息。
(1) 账套表—币别码表:
一个账套中只涉及一种记账本位币, 一种币别可以成为多个账套的记账本位币, 因此币别码表和账套表之间的联系为1 ∶n, 生成物理模型后, 币别码表的关键字成为账套表的外码。
(2) 账套表—行业码表:
一个账套中所记录的内容只属于一个行业, 一个行业可以有多个账套, 因此行业码表和账套表之间的联系为1 ∶n, 生成物理模型后, 行业码表的关键字成为账套表的外码。
(3) 账套表—凭证类型码表:
一个账套中可以有多个凭证类型 (如收、付、转) , 一种凭证类型也可以隶属多个账套, 因此凭证类型码表和账套表之间的联系为m:n, 在物理模型中生成联系表凭证类型表, 存储该账套中各种凭证类型的科目限制信息, 如收款凭证的借方必须有“1001”或“1002”。
(4) 账套表—科目表:
一个账套中可有多个科目, 一个科目可为多个账套所用, 因此账套表和科目表之间的联系为m:n, 在物理模型中生成联系表科目余额表, 存储该账套中的科目余额信息, 包括科目的期初余额和方向、借贷方发生额、借贷方累计发生额及期末余额和方向, 每月一条记录。
(5) 账套表—部门码表:
一个账套中可有多个部门, 一个具体的部门只能属于一个账套, 因此账套表和部门码表之间的联系为1 ∶n, 生成物理模型后, 账套表的关键字成为部门码表的外码。
(6) 账套表—存货码表:
其设计原理基本同“账套表—部门码表”, 联系为1 ∶n, 生成物理模型后, 账套表的关键字成为存货码表的外码。
(7) 账套表—项目码表:
其设计原理基本同“账套表—部门码表”, 联系为1 ∶n, 生成物理模型后, 账套表的关键字成为项目码表的外码。
(8) 账套表—凭证主表:
一个账套中可有多张凭证, 一张具体的凭证只能属于一个账套, 因此账套表和凭证主表之间的联系为1 ∶n, 生成物理模型后, 账套表的关键字成为账套主表的外码。
(9) 账套表—银行码表:
一个账套中可有多家开户行, 一家银行可为多个账套服务, 因此账套表和银行码表之间的联系为m:n, 在物理模型中生成联系表——银行余额表, 存储该账套中的银行方的银行余额信息, 包括银行的期初余额和方向、借贷方发生额、借贷方累计发生额及期末余额和方向, 每月一条记录。
2.与“科目表”相关的E-R图及物理模型分析
(1) 科目表—科目类别码表:
科目类别需要根据科目编码首位判断, 确定该科目属于资产、负债、所有者权益, 还是成本和损益。一种科目类别中可有多个科目, 一个科目只能属于一种科目类别, 因此科目类别码表和科目表之间的联系为1 ∶n, 生成物理模型后, 科目类别码表的关键字成为科目表的外码。
(2) 科目表—科目性质码表:
科目性质主要是指科目所带的辅助核算, 包括部门、个人往来、供应商往来、客户往来、项目核算等。一种科目性质可针对多个科目, 如供应商往来一般可包括应付账款、应付票据和预付账款等科目, 而一个科目只能带一种辅助核算 (用友U8中一个科目最多允许带两种辅助核算, 本文设计的数据库为简单起见, 不考虑此种情况) , 因此科目类别码表和科目表之间的联系为1 ∶n, 生成物理模型后, 科目性质码表的关键字成为科目表的外码。
(3) 科目表—部门码表:
一个科目 (如“管理费用”) 的辅助核算可能涉及多个部门, 一个部门可能参与多个科目的辅助核算, 因此科目表和部门码表之间的联系为m:n, 在物理模型中生成联系表——部门核算表和部门余额表, 分别存储该账套中部门辅助核算的日常核算信息和累计信息, 其中部门核算表是以一张凭证为一条分录, 而部门余额表是一个月为一条记录。在用友U8中, 把所有的日常辅助核算信息均存储于凭证及明细账表 (GL_accvouch) , 而把所有的辅助核算余额信息均存储于辅助总账表 (GL_access) 中, 虽然提高了查询效率, 但却以占用大量存储空间为代价。
(4) 科目表—职员表:
其设计原理基本同“科目表—部门码表”, 联系为m:n, 在物理模型中生成联系表——个人核算表和个人余额表。
(5) 科目表—往来码表:
其设计原理基本同“科目表—部门码表”, 联系为m:n, 在物理模型中生成联系表——往来核算表和往来余额表。
(6) 科目表—项目码表:
其设计原理基本同“科目表—部门码表”, 联系为m:n, 在物理模型中生成联系表——项目核算表和项目余额表。
(7) 科目表—存货码表:
其设计原理基本同“科目表—部门码表”, 联系为m:n, 在物理模型中生成联系表——存货核算表和存货余额表。
(8) 科目表—银行码表:
其设计原理基本同“科目表—部门码表”, 联系为m:n, 在物理模型中生成联系表——银行核算表和企业银行余额表。除此之外, 为单独存储企业的未达账项, 单独设置了联系表——企业未达账项表。
(9) 科目表—凭证主表:
凭证主表是存储凭证信息的表, 每张凭证为一条记录。一个科目可以在多张凭证中出现, 一张凭证中也可以涉及多个科目, 因此科目表与凭证主表之间的联系为m:n, 在物理模型中生成联系表——凭证明细表, 以凭证中的每行分录为一条记录。
3.其他E-R图及物理模型分析
(1) 部门码表—职员表:
一个部门中可能有多个职员, 一个职员只能属于一个部门, 因此部门码表和职员表之间的联系为1 ∶n, 生成物理模型后, 部门码表的关键字成为职员表的外码。
(2) 职员表—角色码表:
一个职员可以充当多个角色, 一个角色可由多个职员充当, 因此职员表和角色码表之间的联系为m:n, 在物理模型中生成联系表——用户角色表, 存储该账套中的用户角色对应关系。
(3) 角色码表—模块码表:
一个角色对多个模块拥有权限 (如总账会计拥有总账系统的所有模块权限) , 一个模块可以隶属多种角色 (如多种角色都能进行凭证查询) , 因此角色码表和模块码表之间的联系为m:n, 在物理模型中生成联系表——角色权限表, 存储该账套中的角色和模块的对应关系。
(4) 银行码表—结算方式码表:
一个银行可提供多种结算方式, 一种结算方式可以为多家银行所用, 因此银行码表和结算方式码表之间的联系为m:n, 在物理模型中生成联系表——银行对账单表, 存储该账套中的银行对账单信息。
四、账务处理子系统数据库设计评价
虽然本文设计的账务处理子系统数据库便于维护、节省空间、符合第三范式的要求, 但其运行效率有一定欠缺, 如我们在基于本数据库的账务处理系统中输入一张带有客户往来核算的凭证, 此时需要更新的数据表包括凭证主表、凭证明细表及往来核算表;而在用友U8中, 因为所有的辅助核算信息均处于“凭证及明细账”表中, 因此录入凭证后仅在该表中添加记录。表1和表2～表4分别表示在U8和本文设计的账务处理子系统数据库中录入以下凭证时, 数据库相应表中的记录形式。
凭证:借:应收账款——甲公司 585 000
贷:主营业务收入 500 000
应交税费——应交增值税 (销项税额) 85 000
从表1和表2～表4中我们很容易看出, U 8的数据库设计中, 将凭证主表和凭证明细表放在一起, 而且将所有辅助核算信息也放在“凭证和明细账”表中, 录入该销售凭证时, 大量字段空白, 造成存储空间的一定浪费, 但由于其所有凭证信息均存储于一个表中, 因此添加、修改凭证及凭证查询等运行效率比较高;而本文中的账务处理系统数据库设计仅一张凭证就比U 8的数据存储少62 (=86-24) 个字段, 可节约大量存储空间;若考虑字段长度及大量凭证, 则可大大减少数据库的存储空间。
数据库的设计方案并不唯一, 希望本文的账务子系统数据库设计能够为广大财务软件的分析人员和设计人员提供借鉴, 在使我国的财务软件功能不断强大的同时, 也能不断提高存储空间的利用效率。
参考文献
[1]刘梅玲, 朱学义, 黄岩.CASE工具在电算化会计实验教学中的应用[J].中国管理信息化, 2008 (11) .
[2]陈旭, 毛华杨.会计信息系统分析、设计与开发[M].北京:清华大学出版社, 2006.
核心数据库 篇10
随着信息技术的不断发展、企业部门业务的不断演化,第一批信息化(1999—2005年)浪潮中所构建的信息系统在功能上已不能适应企业高速发展的业务;在性能上受制于逐渐堆积的海量数据,日渐缓慢;在可拓展性方面,则由于前期建设集中式布局,单一数据库的架构导致牵一发而动全身。鉴于上述几种主要原因,越来越多的企业正在逐步布局新一代信息化系统的建设。灵活、高效、易用、易拓展、单点登陆等第一代系统的瓶颈被日益关注。本文主要关注信息系统中独立于实际业务的通用功能模块,将其抽离、独立,形成一套能够通用于各系统的通用框架,并在外观、技术、操作方式、参数获取方面提供全套解决方案。
1 模块抽取
管理信息系统不同功能模块因单位不同、业务不同而千差万别,但对于功能的授权、用户的管理、部门组织结构的维护几乎在任何一个系统均一模一样。同时,为保证系统的UI统一、操作统一、传参方式统一,这些独立于具体业务模块的顶层设计如果抽取、封装,必将为系统的拓展、SOA架构的搭建、提升代码效率、统一编码风格等方面带来巨大好处。
本文所设计统一框架在功能上包含:组织结构管理、用户管理、角色管理、系统功能管理、授权平台、信息发布模块管理、信息发布。具体如图一所示。
2 分布式数据库架构
为实现管理信息系统的SOA架构,提高系统可拓展性,并且在物理层面实现海量数据的分离,分布式数据库架构无疑是最好的解决方法之一。对管理
注:模块结构图中只包括主要功能模块,增、删、改、查功能为基本功能模块略
信息系统而言,将独立于业务的部门、人员、权限等抽取封装后,数据库架构可如图二所示。
通过数据库的物理分离,可实现每一个业务数据库单独对应一个业务应用系统。在开发实施过程中,可极大程度提高并行效率。同时,在运行维护过程中,也不用担心某一具体业务应用的故障导致整个系统的崩溃。
为解决上述架构中不同数据库之间数据共享的问题,可通过跨库,甚至跨域视图实现。以常见的“人员信息”为例,数据共享视图代码如下:
其中,KingFrame为核心框架数据库名。
图二架构在资源紧张情况下,可通过在一台服务器进行发布若干数据库及程序实现。随着应用不断拓展,也可根据新增硬件(服务器)情况,将业务数据库或业务系统划分至新的服务器,甚至实现本地服务器+云服务器的“混合云”架构。
3 核心框架数据库设计
通用功能抽离形成的核心框架,将实现系统基本数据的管理,包括:部门、人员、权限、角色四大信息。此类核心数据一般只能由系统最高管理员进行操作,并且通过图一的架构不难发现,物理上的独立还极大程度降低了数据安全风险。核心数据库模块结构(VISIO设计)如图三所示。
图三只描述了核心框架中基于角色的权限访问控制机制所涵盖的必须数据表,通过程序可实现部门管理、用户管理、角色管理、授权平台四大核心功能。如果需要实现图一中的通用信息发布,只需单独根据需求设计业务数据表即可,本文暂略。
4 分布式框架应用架构
管理信息系统架构设计分为数据库架构以及应用程序架构两大类。其中关键核心在于全局变量的共享与同步(SESSION共享)。文本以“江西省知识产权转化交易中心系统”为例(使用visual studio2013+sqlserver 2012+vi sio2010+powerdesign15.1设计开发),应用程序逻辑结构如图四所示。
图四方框中的四个工程,其中KingF rame Work V3为核心框架,其他3个业务应用工程分别为KingP ro jec(t项目库信息管理)、KingP ropertyR igh(t知识产权信息管理)、KingS cience(科研信息管理)三个并行子系统,且在逻辑上均与核心框架工程并列(为同一级)。但为使不同工程之间实现全局变量共享,在物理设计上须如图五所示。
从图五中可知,逻辑上并列的工程项目,在物理结构上其实是KingF rame Work V3的一个子目录。这是全局变量共享的必须设计,也是各类轻量级架构中持久化设计的原理之一。系统整体架构(数据库架构+应用架构)如图六所示。
5 结束语
本文通过对管理系统通用业务的抽离与封装,实现了管理信息系统中基于分布式数据库的通用框架。通过此框架,可极大程度提高管理信息系统的开发效率,并在性能、数据分离、数据安全等方面有较大提高。
目前,该框架已经成功应用于“江西省知识产权转化交易中心系统”、“江西科技学院科研计分管理系统”、“江西科技学院团委双创信息管理平台”、“南昌铁路局站段网络办公系统”等多个B/S系统当中,并取得了良好效果。
参考文献
[1]戴炳荣,宋俊典,钱俊玲.云计算环境下海量分布式数据处理协同机制的研究[J].计算机应用与软件,2013,30(01):107-110.
[2]王桂茹,谷月雁.一体化分布式电量计量系统设计[J].华北电力技术,2012,(03):33-36.
[3]王兴中.铁路调度指挥系统中数据存储体系及索引结构的研究[D].北京:中国铁道科学研究院,2011.
[4]丁键.大型数据库的分布式管理策略研究与应用[D].南京:南京理工大学,2012.
[5]孙鹏.基于本体的分布式数据库语义映射研究[D].沈阳:辽宁大学,2011.
[6]惠晓实,王凯航,陆舟,等.一种基于web技术的网络数据库系统的设计[J].计算机应用研究,2000,17(01):84-86.
[7]姚磊岳.Trusted Access Control Based on FCE of User Behavior in Cloud Environment[J].WSEAS,Transactions on Computers,2015.
互联网思维就是以客户数据为核心 篇11
以客户数据
为核心思考的商业模式
什么是B2C决策模式？我认为B2C决策模式就是“拍脑袋”模式，以往董事长的决策方式是“我认为、我公司认为、我们专家认为”，所以企业做出来的产品、提供的服务，全都是凭经验拍脑袋想出来的。一个企业做出了怎样的主观决策，消费者就要承受怎样的经营思维。
但有了互联网以后，逐渐有很多企业改变了原有的经营理念：用户需要什么，我才提供什么。甚至说得更白，我让用户参与我的项目，我再决定最后生产什么，这就是所谓的C2B决策思维。比如小米手机，它受到欢迎不是因为硬件有多好，定价策略多厉害，而是它让一大群粉丝觉得有参与感，觉得小米手机是自己参与制造的，这一个小小的功能，就是我当初提出来的。在互联网时代，你应该了解消费者，你应该洞察消费者，你应该让消费者参与到企业的经营，然后再做出产品，提供服务。
为什么互联网可以改变商业模式？因为我们了解客户的成本突然降低。假如没有互联网，雷军怎么聚集这么多用户？怎么搜集潜在用户的想法？过去的几十年，企业总是忽略用户的想法，因为企业要了解用户的需要是什么太困难了，所以才习惯性地忽略了。
然而，在互联网世界里，得到这些信息数据的成本是相对低的，唯一的难题是老板的思维跟不跟得上——要知道，用数据击败自己已知的经验，是非常痛苦的事。
就绿瘦而言，董事长皮涛涛也是经历了两年半的时间，才做到谈决策的时候不再用“我认为”的句式，而是要求“先把数据拿出来看一下”。在互联网的商业模式下，思维的改变是企业未来生存的最大问题，经验不是不重要，但只能让你满足1万人的需求，数据却能让你满足1000万人甚至几亿人的需求。
互联网的整个思维和价值，在不同的层面其实都是数据应用。比如你要了解你的客户，靠的是数据；要经营一个平台，进行跨平台合作，靠的也是数据，这就是互联网给我们带来的思维转变。
所以，互联网思维用最简单的一句话概括，就是以客户数据为核心思考的经营模式。
要在互联网世界应用好数据，第一，必须先界定你的用户在哪里。如果你不了解用户在哪里，就已经生产产品开始销售，那么你等于永远活在小数据时代，因为你不了解你的客户，你根本没办法洞察你的用户，大数据时代需要的是全样本的思维。
第二，数据是有不同层次应用的。很多老板认为，自己公司都是用数据做决策的，每个月都要看线性报表、资产负债表、销售报表等很多报表。但是报表不是知识，是没有竞争力的，这些数据不能为你预测未来。数据是要被挖掘成为知识的。
什么叫做挖掘？就是找出关联性，找出数据与数据之间的关联和差异，然后从关联与差异中找到商机在哪里。当一个企业开始具备这样的能力时，它就拥有了数据背后的知识，甚至能闭着眼睛就知道明天的销售量是多少。
第三，数据有一个非常奇妙的特征，你发现了数据与数据之间的差异化和关联性后，你是可以拿这几组数据来组合的，然后重新细化、重新分类、重新发现其中的关联、重新发现其中的差异化。在数据的这种发散组合、细化、分散组合的循环里，我们常常可以达到“一对一营销”，也就是精准营销的目的。这是因为通过重新组合后，你会发现每一个客户，其实都是独立的个体，每一个客户的数据特征都是有差异的，通过精细的数据洞察及分析，你就有办法实现精准营销。
绿瘦的大数据营销
绿瘦的高层是如何运用大数据进行管理和营销的呢？做生意就跟打仗一样，要知己知彼，不但要通过数据了解你的企业，还应该了解你的竞争对手。而这些数据你无论付不付费，都是可以拿得到的，只是很多企业不知道怎么取得数据，拿到了也不知道如何使用。
绿瘦有一个数据中心，有专人分析自己品牌与其他品牌在竞争上的差异化，因为有了扎实的数据调研，绿瘦才不需要每次定价都参考同行，或者像某些公司派卧底到竞争对手公司处上班获取情报。在互联网世界，这些数据都是公开的，只是看企业如何应用。
比如投放网络广告，绿瘦所有的投入都是看一个数字：转化率。绿瘦的数据专员研究社会化媒体进来的流量，这些流量是从哪个地域来的，从哪个平台哪个媒体入口来的，这些流量与转化率有什么关系，购买关键词的价格有没有变化，需不需要调整。如果转化率不好，这个渠道的投入马上就得刹车了。所谓的转化率，就是计算企业取得流量的成本，以及流量对产品业绩的贡献。互联网思维，要求企业随时看数据分析报表，做到每一角钱都达到最好的投放效果。
近几年，绿瘦做了一个很好的思维转换，就是通过数据做推广决策，而不是凭市场中心各媒体渠道经理的喜好。每个主管的专业、经验都是不同的，所以有的主管喜欢搜索引擎，有的主管相信社会化媒体营销，有的主管喜欢传统的目录营销。但目前绿瘦一年几个亿的营销费用，已经完全用实时数据判断进行投放了。绿瘦的高管经验不重要，他们只需要根据数据，计算出到底是用20万元买2.2元的网络广告，还是用10万元买2.3元的网络广告。他们的任务就是和数据打交道。
流量来了，怎样转化成销售业绩？流量进了绿瘦，销售人员通过数据马上就能判断客户是在一天中的哪个时间、看了哪个产品的广告进来的，从哪个省市进来的，然后初步判断她的倾向性，可以向她推荐哪些类型的产品。因为在不同时间、不同省份、不同的媒体来源，人们的采购规律都是已经被我们归纳出特征的。比如一个河南客户，是下午通过QQ空间点击进来的；另一个四川客户，是晚上通过微博点击进来的，他们的行为特征是不一样的。当然，这些数据都是需要不断记录的，用所有过去沉淀的数据预测新的客户采购行为。绿瘦现在已经经营出一个规则了，绿瘦的营销人员很清楚知道客户接下来要什么，靠的不是猜测，而是数据。
因为把大数据应用到销售管理上，销售人员就可以像工厂流水线一样管理，任何一个人坐到那个位置上，工作状态都是可管理的。以往老板头疼的是销售人员没办法营销好客户，但这可能不是销售人员的问题，而是你没有办法给他提供更多的客户信息。而绿瘦现在建立了一个非常复杂的数据模型，能够为不同的客户匹配不同形态的销售人员，告诉他们如何针对每一个客户进行服务和销售。
以往销售靠激励，销售总监、经理每天召集大家喊口号，对大家打鸡血，而现在销售则要靠数据。这需要绿瘦的销售主管做出差异化的应变，他们现在天天做的，是随时观察数据变化，通过昨天的数据预测今天的销售，通过今天的销售结果和预测的差异再分析市场，要有对数据的紧急应变能力，而不是向员工喊加油。
有了互联网思维，绿瘦在客户管理方面也出现了很大的变化，绿瘦要把对客户关系的营销，变成一种自给自足的服务模式。什么叫自给自足？这就是绿瘦创新的阿米巴模式。以往销售人员流失了十个客户，公司就想办法花钱开发新的客户给销售人员，销售人员就未必珍惜现有的客户；现在销售人员要自己想办法让客户去给自己做口碑营销，从老客户里生长出新客户，所以他必须把每一个客户服务好，让客户体验非常满意。
在这个过程中，为了让销售人员维护客户关系，公司必须提供很多维护客户关系的工具，让销售跟客户产生充分的关系互动。同时，市场中心要协助策划更多的客户服务营销方案，让业务部门更好地使用工具。比如积分兑换、赠阅的会刊杂志和赠品，这些工具都是让销售人员自己决定怎么使用的。数据中心也会帮助销售人员进行数据分析，协助销售人员做客户的多维度分级管理。通过这一系列的协助，销售人员就能做“自给自足”的营销服务，甚至把增殖服务拓展到O2O。
核心数据库 篇12
关键词：数据库系列课程,课程体系,教学模式,案例法
0 引言
随着信息技术的发展, 各类企业对信息化建设和应用的需求日益普遍, 对数据库设计和数据库应用开发人员、数据库管理员等工作岗位的需求量不断增加, 数据库系列课程已成为计算机、信息工程和信息管理类专业重要的专业基础课, 合理设计符合面向实际应用特点的信息类专业的数据库系列课程体系, 已成为重要的课题。虽然高校每年都要向社会各个行业输送大量掌握了数据库技术的毕业生, 但是真正精于数据库操作及应用的专业人才相对较少。因此, 以培养能力为核心的数据库系列课程的教学内容与教学改革, 是我们亟待解决的问题。
1 现状分析
1.1 课程设置与应用的脱节
数据库系统的系列课程一般包括数据库原理及大型数据库系统开发两个部分, 其中数据库原理是整个系列课程的基础部分, 而大型数据库系统开发是对基础部分的理解与升华, 它们相辅相成、互相促进。而目前存在的主要问题是教学大纲的制定仍停留在较老的版本中, 没有调查社会对人才的需求, 没有根据时代的进步与时俱进, 导致教学过程中过分注重数据库原理知识的讲解, 而忽视了数据库设计和应用技术的重要性。这一点主要体现在数据库的原理课程是必修课, 且课时较多, 相应的实验课时较少;大型数据库系统开发课程只是一门选修课且课时少, 学生不太重视这门课程, 这使得学生对数据库的知识缺乏完整性, 不能适应企业对数据库应用人才的需要。
1.2 实践环节与工程化原则的脱节
在教学过程中, 无论是理论型课程还是系统开发类课程, 实验课堂教学主要采用验证型实验。这类实验课程的优点是加强了对学生单个技能的培养, 缺点是忽略了学生对于新知识及创新能力的培养, 最主要是没有激发学生的主观能动性, 学生将大量时间用到了去验证已有实验的结果。而真正的工程化是以解决现有的实际问题为主, 这些实际问题大多是不以人的意志为转移的突发事件, 大多数高校恰恰忽视了对学生这种能力的培养, 这导致学生们不会采用软件工程的思想去合作开发一个实用的数据库应用系统。
1.3 缺乏实践平台
现有的教学过程与教学环境是以学校的实际情况为基础, 课程的设置与内容多以理论为主, 实践学时较少, 数据库平台部署在单机系统环境下, 与企业所要求的大型数据库网络差别较大, 难以培养学生的综合动手能力和解决问题的能力及项目实施能力。
2 课程教学模式的设计
教学模式包括课程体系、课程内容与教学方法等, 合理设计教学模式是实现教学目标的重要保证。
2.1 课程体系的设计
围绕以培养能力为核心的应用型教育, 确定数据库系列课程的主干课程为:“数据库原理”和“大型数据库系统开发”。整个数据库系列课程体系应体现原理、方法和应用的有机结合, 课程体系改变了传统的数据库原理、大型数据库应用的课程体系。在“数据库原理”课程里, 突出原理和系统设计的介绍;在“大型数据库系统开发”课程里, 突出数据库后台程序设计和数据库的管理;以任务驱动为目标, 结合数据库应用案例分析, 使学生对数据库有更深的感性认识, 为今后进行系统设计和项目实施做好准备。
2.2 改变教学内容
对于企业的需求进行调研, 根据新的课程体系, 改变原有教学内容, 注重结合学生应用型能力的培养, 注重知识的连续性, 培养学生的主观能动性与开创性。数据库原理主要讲解数据库的基本原理、数据库设计的原理及基本过程;数据库设计与开发涉及从数据库原理到案例开发的整个过程。教学中我们使用的教材是王珊老师编写的《数据库系统概论》一书, 书中的原理部分主要讲解了数据库的基本概念、关系数据库、关系数据库标准语言SQL和数据库安全性与完整性;书中的设计与应用部分主要讲解了关系数据理论、数据库设计和数据库编程;关于书中的系统部分讲解了关系查询处理和查询优化、数据库恢复和并发控制等。
第一, 适当调整内容的顺序, 合理安排课堂教学的时间以期达到好的教学效果。例如:如果将原理知识讲完再去讲解系统设计, 学生将会没有充裕的时间进行系统设计;如果先讲系统设计, 那么出现的问题是学生设计的系统不符合数据库规范化要求, 数据库性能较差。所以, 教学中适当调整教学内容, 在数据库基本概念和关系查询之后可以安排数据库系统设计的相关内容。第二, 简化关系代数语言和关系演算语言的讲解。关系代数和关系演算语言是一种比较抽象的查询语言, 而现在最多使用的关系型数据库主要使用的是数据库语言, 所以对于这部分的讲解可以少讲, 以节省学时。第三, 增加规范化理论部分讲解。实践表明如果数据库关系表满足第三范式, 那么这个数据将会是一个性质比较好的关系表, 但从关系满足第一范式到满足第三范式, 这个范式分解过程确不易被学生理解, 其理解抽象且难理解, 实际教学中学生对于这部分内容掌握不好, 而且大多数学生不会进行范式分解。因此教学中适当加大范式分解方法的讲解。第四, 合理设计实验, 将后续实验和前期需求分析、概要设计和逻辑设计的实验结合起来, 减少验证性实验的个数, 增加开发型实验的个数及学时。
大型数据库系统开发是数据库原理的实例和在应用层面上的提高, 课程教学中选择一个有代表性的系统管理, 介绍系统中的业务流程, 分析其中的数据流和功能模块, 进而开发出一个完整的数据库, 讲授其中的数据处理流程及数据库结构以及数据传递关系, 设计视图和各种查询的存储过程。目前常用的数据库管理系统有SQL Server和Oracle等, 因此数据库管理系统课程在数据库系列课程中的位置越来越重要。
2.3 改变教学方法
改变传统以讲授为主的教学方法, 以案例教学和任务驱动教学为主, 提高学生的分析能力与获取信息的能力。案例教学中教师的责任不再只是单纯地传授知识, 要与学生一起创造出能激发学生努力地探索和思考的氛围和环境。
在案例教学过程中首先要选择具有代表性的案例, 课堂教学要灵活组织、注重示例性讲解, 掌握教学节奏, 让学生的思维活跃起来, 积极地参与思考, 提出问题, 引导学生主动地、积极地参与教学活动, 并以大作业的形式考核学生对于该部分的掌握情况。教学中要强调学生的团队合作精神, 案例的完成不是个人行为, 通过案例分析和实际应用可提高学生积极思考的能力、处理问题分析问题的能力和团结协作。
任务驱动教学是教师、学生、任务三者的积极互动过程。设计任务是实施任务驱动教学法的前提和基础, 也是该教学法实施的关键环节。教师应根据教学进度和教学要求设计任务, 把所要学习的知识巧妙地隐含在一个任务当中, 使学生在完成任务的过程中掌握知识和技能。任务的设计应对教学大纲和教材进行分析的基础上遵循典型性、实践性、针对性和系统性原则。
3 教学中应注意的问题
在数据库系列课程教学中不能忽视教师的指导作用, 以培养学生的自主学习能力和应用开发能力, 案例教学和任务驱动教学以学生的积极参与为前提, 对教师提出了更高的要求。教学过程中, 教师的角色由传统的教学主导者转变为教学活动的引导者, 在任务实施过程中, 教师要及时为学生提供帮助和指导。学生是认知的主体, 学习环境只是促进学生主动学习的外部条件, 是外因。因此, 不应忽视学生的自主学习, 应要求学生独立完成学习任务。
4 结论
数据库系列课程是理论和实践并重的学科, 合理进行数据库系列课程教学模式改革, 已成为培养高素质的信息类人才的重要课题。针对企业对人才的需求和对目前高校实际教学情况的分析, 本文从课程体系的设计、教学内容的调整和教学方法的改进等方面进行阐述, 希望能够培养以学生能力为主的一套适合普通院校的数据库系列课程体系和教学模式。
参考文献
[1]王珊, 萨师煊.数据库系统概论[M].四版.北京:高等教育出版社, 2006.
[2]师俊强, 岳喜展.“目标任务”教学法在高职专业课教学中的应用[J].教育探索, 2008, 10:44-45.
[3]孟宪虎.信息管理类专业数据库课程实验教学模式研究[J].计算机教育, 2011, 1:60-64.
[4]孟宪虎.面向应用型人才培养的数据库系列课程体系和教学模式改革探索[J].计算机教育, 2009, 24:6-9.