数据管控（共8篇）
数据管控 篇1
在当今大数据时代背景下, 企业数据管控是现代企业管理极其重要的内容, 谁能捕获、分析、利用好数据, 谁就能抢占先机, 打赢这场无声的信息之战。要做到这一点, 企业必须首先加强自身数据管控。对企业数据进行有效管控, 就得很好地把握其中的道与术, 道是方向, 是指为达到企业数据管控目标而进行的顶层设计;术是手段, 是指为实现企业数据管控目标所采取的一切有效举措。只有道术齐驱, 才能很好地管控企业数据, 达到企业数据管控预期目标, 让数据服务企业管理, 使企业持续经营不断盈利。
一、顶层设计是企业数据管控之道
企业为了平稳有序生产, 实现数据管控目标, 就应对数据管控进行顶层设计。顶层设计是指企业站在战略制高点, 从最顶层开始, 明确企业经营发展目标, 自上而下对数据管控进行一层一层的设计, 使所有层次和子系统都围绕总目标开展工作, 上下形成合力, 达到预期的管控效果。顶层设计要紧密结合企业实际, 既要前瞻预判统筹谋划, 又要尊重现实科学分解, 使管控目标在总体规划目标指引下得以分步实施整体带动。顶层设计最重要的是做好管控架构和流程设计, 自顶向下, 架构未来, 为企业数据管控指明方向, 使企业在信息之战中立于不败之地。
1. 完善的数据管控架构是顶层设计的核心
数据管控架构是企业数据管控体系建设的重要内容, 是企业数据管控顶层设计的核心, 是一个综合性很强的系统工程, 涉及大量跨业务、跨部门、跨系统的工作。一个完善的数据管控架构应明确管控目标、清晰管控对象、明示管控措施、明确部门权责, 对企业数据实行规范管理, 并以IT技术为支撑、各种技术综合运用为保障, 促使企业各项业务目标的实现, 进而达到企业数据管控目标。
数据管控目标应服务于企业战略和业务目标, 数据管控在不同时期会有所变化, 关注点会有所不同, 管控对象及管控措施也应随之做相应调整。权责明确的组织架构以及相关管控制度、管理规范也应根据企业实际情况及未来发展需要而定。必须强调的是, 应充分利用现代信息技术建设数据管控平台, 以IT为支撑提高管控效率、降低管控成本、帮助数据增值。
2. 顺畅的数据管控流程是顶层设计的关键
顺畅的数据管控流程能够很好地保证数据管控目标的实现, 设计数据管控流程应充分考虑企业管控模式、主营业务特点等企业实际, 兼顾应急响应, 并应相机抉择进行流程再造。以笔者所在的北京环卫集团数据管控工作为例:由于北京环卫集团是改制重组形成的大型国有企业, 承载着政府环境卫生信息搜集报送等重要任务, 尽管在改组后实行扁平化管理, 但是仍然具有数据来源层级较多等特征。为了实现高效准确的企业数据管控目标, 设计了顺畅的四级数据管控流程, 即:作业单位→分公司→集团职能部室→北京环卫集团 (企业管理部) , 明确各自职责, 将每一层级管控内容标准化、流程化、专业化、信息化, 实行精细化管理。
二、有效执行是企业数据管控之术
企业数据管控顶层设计后应该得以有效执行, 有效执行是企业数据管控之术, 是企业数据管控目标得以实现的必然途径。只有严格按照设计框架及流程执行, 才能将管控工作落到实处, 进而推进数据管控目标的实现。一般来说, 企业数据管控有效执行主要有以下五点:
1. 建章立制强化管控意识
对数据管控应建章立制, 明确规定相关工作内容, 明确各自职责、清晰工作规程, 将各项工作进行精细化管理。从企业高层领导重视开始, 强化各级管理人员及所有职能管理部门的管控意识。使企业数据管控有法可依、规范运行, 形成上下同心、齐抓共管的良好管控氛围。
2. 加强培训提高业务能力
企业通过各种形式的培训, 解决不同业务部门之间对数据管控存在的沟通和理解上的歧义等问题, 提高管理人员的业务能力以及数据管控水平。只有各层级管理人员的业务能力和管理水平全面提升, 才能按照企业数据管控架构及流程高效开展工作, 共同把好企业数据管控质量关。
3. 集中归口管理分级负责
数据集中管理是保证数据管控体系正常运转的关键, 在企业数据管控有效实践中, 无一例外都有一支专门的、稳定的数据管控团队, 负责企业内数据处理与管理。仍以北京环卫集团为例, 该集团有近50人的专职数据管控队伍, 企业综合数据由该集团企业管理部集中管理、统一出口, 专业数据则由集团各职能部室专项负责、归口管理, 各单位按要求提供相应数据资料, 对本级数据质量负责。各单位对关联数据相互把关, 协同发展, 使数据管控既集中化又不乏专业性。该企业较高的数据质量及工作效率多次赢得政府数据监管使用部门的肯定, 说明集中归口管理能够很好地管控企业数据。
4. 业务信息技术协同发展
企业数据管控涉及的业务管理、信息化、专项技术管理、应用分析等方面应协同发展, 以便有效避免数据管控系统性风险及信息孤岛现象的发生。应通过加强统计分析有效扩展数据内涵, 呈现数据管控成果, 用数据说话, 用数据解读企业发展, 在企业管理中最大限度地发挥企业数据的作用, 并为改进企业数据管控提供有力的借鉴。
5. 特例处置彰显管控活力
已设计好的数据管控模式和工作流程并非就此一成不变, 墨守成规可能会使数据管控效果衰减, 对特殊事项应视情况具体分析灵活处理, 以求取高效率高质量的数据管控效果。比如, 对临时布置的数据调查, 若各相关职能部室已有详实可用的资料就应直接利用, 大可不必还按照逐级搜集报送流程处理, 这能成倍提高数据管控效率, 也彰显了数据管控特例处置活力。
管理是一门艺术, 没有标准答案。笔者谨列举以上几种举措, 一个企业究竟采用哪些管控措施更为有效, 还得视企业具体情况而定。
三、道术齐驱是企业数据管控之重
顶层设计为企业数据管控描绘了蓝图, 指明了数据管控方向, 彰显企业数据管控之道;有效举措具体将数据管控内容落到实处, 令企业数据管控之术显露无遗, 尽展企业数据管控活力。企业数据管控的道与术密不可分、缺一不可。有道无术, 道无法落地, 循道而不贰, 则天都不能祸;有术无道, 会找不到方向, 管控只会事倍功半、踟蹰不前、甚至开历史倒车, 道术齐驱实为数据管控之重。
实践证明, 大理想才有大责任, 大责任方出大智慧, 大智慧造就大企业。大企业都深谙企业数据管控顶层设计之道, 对有效执行落实管控内容之术也驾轻就熟, 更是深知只有在这道与术的双轮驱动下, 才能很好地管控数据的真谛!只有道术齐驱, 才能让企业数据管控出成效、见真经, 达到企业数据管控预期目标, 真正为企业经营发展服务, 打赢无声的信息之战, 使企业永远立于不败之地。
数据管控 篇2
社会的稳定离不开公安的帮助，现代化社会已经进入高速发展的时期，为了方便公安的便利，信访人员管控、大数据平台、分析研判等等一系列系统也就孕育而生。重点信访人员管控系统开发,公安大数据平台搭建咨询汪顾问。
信访系统为信访群众提供了快捷、透明的来信来访、网上信访、视频信访、电话信访、短信信访、领导信箱、移动信访、信访微博、信访微信、信访论坛、民意征集、网上评议等诉求投诉、民意表达渠道，让信访人可以非常方便、便捷的选择任一信访投诉方式表达自己的诉求。
汪顾问：13/82//311/579//1而当前，各行业数据爆发性增长，急需转变数据处理模式。在公共安全领域，治安系统、智能交通视频数据呈井喷式增长，已显现出行业大数据的典型特征。公安系统开发
大数据平台的功能主要是：
围绕人、车、物、网、像五要素，整合公安业务数据、社会数据等资源，分析挖掘数据价值，构建数据整合、信息共享、数据研判于一体的人工智能大数据管控平台。
个人全息档案、社交关系分析、活动碰撞分析、案件团伙分析、积分预警、身份轨迹布控等。通过全方面的体系架构，实现从数据汇聚、数据清洗、存储、计算，到数据碰撞、分析、研判、挖掘，最后到业务应用，形成一体化的统一、高效、便捷大数据平台。
源中瑞科技有限公司拥有智慧城市、智慧公安、互联网金融三大事业部，在对各种智慧类系统开发方面有着一定的经验，在全国许多地区已有多处落地，公司现今拥有近200位研发人员，通过不断创新打造出属于我们的定制化不开源系统，与市面上系统都有一定的差异，从而打造出自己的品牌。
数据管控 篇3
大数据的时代已然来临，电子商务领域也不例外。据商务部统计数据显示，2015年电子商务交易额达到20.8万亿元，同比增长约27%，其中，B2C电子商务交易额在2015年开始超过C2C电子商务交易额，达到电子商务购物市场的52.2%，预示生产经营企业直接开展电子商务活动，逐步成为主流。
与此同时，电子商务产品质量问题越来越引起消费者的关注和担忧。由于电子商务继承了互联网的跨地域和虚拟性特征，不少电商经营主体诚信缺失、质量意识淡薄，致使电子商务领域假冒伪劣产品频频出现，网购质量维权常常陷入难以追溯的困境。如何顺应互联网发展，构建电子商务产品质量大数据，服务电子商务产品质量管控和提升，成为电子商务相关方密切关注的课题。
构建电子商务产品质量大数据应用平台
以“创新、协调、绿色、开放、共享”的发展理念为指导，构建电子商务产品质量大数据应用平台（以下简称“平台”）。“平台”聚集多方数据资源，构建电子商务产品质量信息云、监管云、服务云。信息云以质量舆情监测分析系统、电商平台质量数据分析系统、电商产品网上抽查协作系统、电商产品标志标识核查系统、政企协作属地查处系统为基础，支撑监管云和服务云建设。监管云由五大功能模块构成，依次是风险监测、网上抽查、源头追溯、落地查处和信用管理。服务云由两库三网构成，两库是电商质量信息服务系统（信息库）和电商主体质量信用系统（信用库），三网是电商主体身份认证系统（认证网）、电商平台质量协作系统（协作网）和产品质量检测协作系统（检测网）。三云合一，有机协调，为电子商务产品质量监管服务提供基础支撑。
大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。它具有5V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）Veracity（真实性）。而信息云、监管云、服务云的实现基础是电子商务产品质量大数据。在电子商务领域，产品质量大数据来源广泛，既包括互联网上的产品质量相关数据，也包括传统质量监管产生的数据。目前主要考虑质量舆情监测数据、电商平台质量数据、质量投诉举报数据、质量监督抽查数据和质量检验检测数据等五大类数据。
多种类型电子商务产品质量数据
质量舆情监测数据
国家领导人将互联网空间视为第五疆域。互联网空间已经成为人们表达观点和诉求的阵地，散布在互联网空间的舆情具有容易集中、容易突发和影响面广的特点，因此，监测互联网空间的质量舆情信息，对于加强电子商务产品质量管控具有重要作用。采集、分析、预警、追踪互联网空间的质量舆情信息，针对各种网络载体，如新闻、论坛、博客、微博、图片、视频、SNS、文档等，抓取和导入各种类型的质量舆情原始数据，并对结构化和非结构化的原始数据进行预处理，实现“第一时间”、“一站式”、“稳准狠快”将产品质量舆情信息读懂、读薄，生成产品质量舆情监测数据，是构建电子商务产品质量大数据的重要内容。
电商平台质量数据
电商平台积累了大量的电子商务产品及其质量相关数据。据不完全统计，目前天猫、京东、1号店等主流电商平台的B2C企业主体有近30万家，各类平台的电子商务产品数达到10亿数量级。网购消费者对购买的电子商务产品的总体评价和具体评论，构成海量的电子商务产品质量信息库。对电商平台上呈现的电子商务产品消费者评价、消费者退货、消费者投诉、电商平台处罚、电商平台评级、价格偏差等质量相关信息，进行采集、存储、分析、统计等，可构建覆盖全网电子商务平台、电子商务企业和电子商务产品的质量大数据系统。此外，电商平台质量数据还包括电商平台在实施品质自律管理时产生的质量数据，如某电商平台的某电商企业经营的某生产企业的某类产品的某些质量问题。
质量投诉举报数据
目前，虽然还没有面向电子商务购物的统一的官方质量投诉举报网络平台，但是针对电子商务产品质量的投诉举报屡见不鲜。据中国电子商务投诉与维权公共服务平台统计数据，2015年全国电子商务投诉案例中，43.74%的投诉涉及网络购物。广东、北京、上海、浙江、江苏是电子商务产品质量投诉举报的密集区域。对投诉举报数据进行基本特征的提取，可形成涉及电商平台、生产地域、企业主体、产品类型、质量问题、消费者特点的电子商务产品质量投诉举报基础数据库。若投诉举报数据与历史质量处罚数据、监督抽查和风险监测数据等高度匹配，则发现质量问题的概率极大增加。同时，经过统计分析的质量投诉举报数据，也是分析研判区域性质量问题的重要基础。
质量监督抽查数据
上世纪80年代开始实施的产品质量监督抽查制度，是我国质量监管体系的重要组成部分。30余年来，尤其是2011年《产品质量监督抽查管理办法》实施以来，全国质检系统积累了大量的以数千万计的产品质量监督抽查数据，包括国抽数据和地抽数据。产品质量监督抽查数据信息中包含企业名称、企业所在地、电商平台、产品名称、产品商标、规格型号、生产批次、抽查结果等，是非常精炼、准确的产品质量监管数据。从监督抽查结果数据，可以统计分析出哪些产品质量风险较高，哪些地域产品质量风险较高，哪些产品质量提升明显，哪些地域产品质量提升明显，这些统计信息对电子商务产品质量风险监测具有导向作用。
质量检验检测数据
目前，全国范围内，质检系统内、其它监管部门、民营、外资、中外合资的检验检测机构总量达到2.5万家左右。数万家检验检测机构每年承担了大量的产品质量国家监督抽查、地方监督抽查、质量风险监测和企业委托检测业务，积累了大量的产品质量检测数据。地市级的质检部门下属产品质量检验检测机构，每年新增的质量检测数据就达到70万条左右，这些数据包含了产品生产企业、产品具体质量情况等信息，是确切的质量数据。若实现2.5万家的质量检测数据共享，能非常客观地统计出每类产品的质量总体情况、质量问题明细情况，甚至描绘出我国每个地域、每类产品的质量地图。
“神秘买家”抽检验证大数据平台结果
为初步验证电子商务产品质量大数据构建对于质量风险监测和质量提升的支撑作用，电子商务相关方开展基于质量大数据的电子商务产品监督抽查，初步掌握每类产品在各电商平台、各产地的质量状况。
任务实施之前，通过电子商务产品质量舆情监测，结合电子商务产品质量投诉举报信息，发现网购消费者比较关注儿童玩具、服装、鞋类、背提包和小家电5大类日用消费品的质量问题，质量评论和质量诉求较多。根据该信息，选定5大类14种电子商务产品，开展电商平台质量数据的采集和分析，并确定具体抽样的电商平台和样品购买链接。
“神秘买家”按照分层动态随机抽样方法，从主流电商平台抽取了359家企业生产的502批次电子商务产品。经检验机构质量检验，268家企业生产的371批次产品合格，抽查合格率为73.9%。检出110家企业生产的131批次产品不合格，不合格产品检出率为26.1%。按产品划分，不合格产品检出率在30%以上的有7种，包括皮鞋56.3%，毛绒布制玩具40%，羊绒针织服装35.6%，背提包34.3%，休闲服装（机织）33.7%，移动式插座33.3%，室内加热器30.4%。不合格产品检出率在10%至21%之间的有5种，包括羽绒服20.5%，针织内衣17.1%，电吹风14.8%，弹射玩具12.5%，旅游鞋10%。不合格产品检出率在10%以下的有2种，其中电水壶为3.6%，塑胶玩具未检出不合格产品。
监督抽查质检结果与质量舆情数据、电商平台数据、投诉举报数据反映的质量情况，总体上相吻合，这也证明了电子商务产品质量大数据的5类数据源具有相互验证和相互补充的作用。
电子商务是以互联网为基础的新业态，在创新发展的过程中不可避免需要逐步建立质量管控体系。以互联网和大数据技术为基础，构建电子商务产品质量大数据采集、分析和应用系统，有利于实现电子商务产品质量管控的智能化和自动化。提出的电子商务产品质量大数据系统架构，以及包含质量舆情监测数据、电商平台质量数据、质量投诉举报数据、质量监督抽查数据和质量检验检测数据在内的数据源分析，有效支撑了电子商务产品质量风险监测应用实践，对于构建电子商务产品质量监管服务新生态具有实际应用价值。
数据管控 篇4
在智慧广电建设以及“三网融合”不断推进的背景下, 广电行业不仅是信息的生产者、传播者, 还应成为新的生活方式的发起者、组织者、提供者, 成为社会生活的中心枢纽之一。面对智慧化的新浪潮, 广电要把加快构建“智慧广电”作为转型升级的重要目标。因此, 建设高带宽、高可靠性、可运营管理、具备多种业务综合承载能力和扩展性的广电数据网络, 实现对网络资源、用户资源及应用资源的智能管理以及业务和应用的开放接入, 完成广电业务从单一形态向全媒体、全业务、全功能的转变, 在为广大用户和社会各界提供数字电视基本业务、数字电视自选业务的基础上, 还可提供互联网接入、虚拟专网、城市安防等各类服务, 是广电行业向互联网+发展的必经之路。
1贵州广电数据业务承载管控系统需求分析
1.1业务承载需求
广电数据网络应能承载以下业务:
1.交互业务:主要包括视频点播、视频组播、互动电视、网络电视、时移电视等业务种类。
2.数据业务:主要包括互联网访问、数据下载、邮件收发、办公自动化以及在线游戏等信息化应用, 提供TCP/IP协议数据的计算机双向通讯业务。
3.实时业务:主要包括IP电话、视频电话、视频会议、即时通信、视频监控等新通信业务。
1.2网络管理需求
广电数据网络应是一个可管理的系统, 可以实现对网络、业务、平台、终端的全面管理, 可以根据业务开展需求进行网络配置资源的分配与管理等。
广电数据网络应可实现对网络传输、业务提供、用户操作的控制, 以应对特殊情况下的安全管理要求。
2贵州广电数据业务承载管控系统架构
本文建设覆盖贵州全省的, 接口规范、开放智能、信息安全、可管可控的IP城域网络、有线和无线相结合的接入网, 以及IP数据网实现可运营、可管理所必须的网络管理、用户和终端认证、终端和业务流量管控等相关综合管控系统。
面向三网融合业务的承载和运营管理需求, 本文建设的综合管控系统包括用户和终端认证系统、基于广电业务的用户行为管控系统、基于三网融合业务流量的综合管控系统以及基于广电双向网络的综合网络资源管理系统和设备资源统一管理系统 (图1) 。
用户和终端认证系统由高清互动接入认证系统和多媒体宽带计费及业务管理系统组成。其中, 高清互动接入认证系统实现视频、语音、数据等业务的接入和认证, 多媒体宽带计费及业务管理系统为各类业务提供用户管理、业务管理、认证授权、计费及统计等全功能的支持。
基于广电业务的用户行为管控系统实现终端数据采集和基于大数据的用户行为分析, 实现对终端行为的管控。
基于三网融合业务流量的综合管控系统针对广电网络中承载的三网融合业务, 实现业务流量分类与疏导。
基于广电双向网络的综合网络管理系统实现对网络系统的故障管理、性能管理、配置管理、维护管理等集中管理功能, 以便用最新的网络技术和管理手段指导IP网络扩容建设, 为IP业务的快速发展提供强有力的支撑。
设备资源统一管理系统系统整合网络资源基础数据, 对网络资源数据进行统一管理, 便于对运行维护的数据进行实时更新。
3贵州广电数据业务承载管控系统建设方案
3.1 IP数据网总体架构
贵州省广播电视信息网络在全省存在省、地市、区县三级网络架构, 其IP数据网按照传统IP网络分层设计的思路, 形成了省核心-地市核心-业务控制-汇聚-接入的形态。为避免广电数据网络中节点或层次增加而增加网络时延、抖动和丢包等, 更好的承载视频业务、多媒体通信等端到端的业务, 贵州广电IP数据网采用扁平化结构设计, 整个网络分为省级城域骨干网和地市城域接入网两层结构。
如图2所示, 省级城域骨干网实现三层路由交换结构和业务控制;地市城域接入网实现二层交换型结构。在骨干网实现具体的数据处理、业务细分和Qo S划分等;在接入网转发来自网络核心层或接入层节点中的业务流, 扩大核心层节点的业务覆盖范围, 提供用户直接接入业务, 实现接入用户的可管理性。省到地市的骨干网之间形成万兆双链路保护, 每个地市的骨干网和接入网之间也形成万兆双链路保护, 以实现业务的高速、可靠传输。
按照IP数据网扁平化设计思路, 贵州广电因地制宜, 根据每个地市、区县机房用户的覆盖情况和可预计的用户发展情况, 结合网络业务的开展预期, 合理设置了总前端和分前端, 原则上每个分前端服务的用户数不超过6万户。
根据广电数据网络可扩展性、开放性和兼容性、可运营性和安全管理性等设计要求, 贵州广电IP数据网采用MPLS为主的技术体系, 在同一个物理平面通过MPLS-VPN隧道实现多个逻辑平面的业务承载。同时, 针对不同业务的运营宜遵循以下电信级保障技术进行支撑:
1.VOD和Vo IP等对实时性要求高的业务承载要求整网支持完善的三层/二层组播分发技术和组播控制技术。
2.Internet数据业务承载要求整网支持完善的网络安全控制技术。
3.多业务共同运营要求支持完善的精细化Qo S技术。
3.2基于广电双向网络的综合网络管理系统架构
综合网络管理系统体系结构如图3所示。
系统从下至上依次包括了:物理层、采集/预处理层、数据层、逻辑处理层、业务层, 以及对外接口。整个结构中, 从数据采集、数据处理到数据访问各层次, 都使用了Corba技术, 保证了分布处理和集中控制的有机结合。
1.在物理层, 系统通过不同的采集方式, 实现了对物理网络的不同数据源的获取。
2.在采集/预处理层, 系统实现了各类原始数据的采集、格式化、整合和关联处理。
3.在数据层, 系统保存了所有原始的或处理后的数据信息, 包括告警、性能、流量原始数据;性能、流量的统计数据;拓扑/链路数据;设备资源等数据。
4.在处理层, 系统由不同的后台功能模块组成, 分别实现了不同的处理功能, 包括:拓扑处理、性能处理、故障处理和流处理等等。
5.在业务应用层, 系统提供了基于B/S的WEB服务, 实现拓扑图、导航树、图表和告警列表等信息的呈现和监控, 同时还包括各类配置功能。
3.3基于广电双向网络的设备资源统一管理系统架构
系统功能架构设计坚持“模块化、松耦合、可配置”的技术思路, 遵循“数据与功能分离, 功能与流程分离, 应用与展现分离, 生产与分析分离”的技术原则, 全网资源数据的统一建模, 资源数据元数据管理, 可支持自定义, 保证新网络新设备及时入库, 资源能力服务封装, 保证资源信息企业内共享, 端到端资源管理。
设备资源统一管理系统系统功能架构如图4所示。
4贵州广电数据业务承载管控系统关键技术
为了建成高带宽、高可靠性, 具备多种业务综合承载能力和扩展性, 支持网络资源、用户资源及应用资源智能管理的广电数据网络, 在系统设计中, 遵循的总体建设思路和优势如下:智能、安全、可管可控的数据网络设计, IP数据网扁平化设计, 采用MPLS为主的技术体系, 采用支持广播网和互联网共同接入的融合终端, 采用内存认证技术, 采用业务流量分析识别技术, 采用统一的管理信息库, 基于GIS技术实现设备资源集中管理和全面支持可运营、可管理、可维护。
1.智能、安全、可管可控的数据网络设计
在数据网络设计中, 按照规范接口、开放智能、信息安全、可管可控的特点, 支持广电网络和互联网中各类资源的安全交换和按需智能分发, 支持标准、开放的业务运营环境, 基于广电网络为用户提供丰富多彩的创新业态服务。
2.IP数据网扁平化设计
在IP数据网设计过程中, 按照IP数据网扁平化设计思路, 根据每个地市、区县机房用户的覆盖情况和可预计的用户发展情况, 结合网络业务的开展预期, 合理设置总前端和分前端。
3.采用MPLS为主的技术体系
根据广电数据网络可扩展性、开放性和兼容性、可运营性和安全管理性等设计要求, IP数据网采用MPLS为主的技术体系, 在同一个物理平面通过MPLS-VPN隧道实现多个逻辑平面的业务承载。
4.采用支持广播网和互联网共同接入的融合终端
终端是业务的最终呈现环节、是最接近用户的设备。因此, 设计一款强大、便捷、安全、集合广电/互联网特性的融合终端, 对于广电开展三网融合业务是极为重要的。通过对融合终端, 可以实现广播网和互联网的共同接入, 实现对跨屏互动能力的支持, 使之具有开放、迅捷的操作体验, 能够对外提供开放和标准的接口, 并且能迅速集成第三方的资源和能力。
5.采用内存认证技术
在用户和终端的认证处理过程中, 数据库是认证处理的瓶颈, 认证程序在数据库出现问题时是不能正常进行认证处理的。基于内存数据库的内存认证技术, 使认证处理主流程中所需的全部数据存放在内存中, 通过内存数据库的方式进行存取, 从而提高认证处理的稳定性与效率。
6.采用业务流量分析识别技术
虽然通过Eo C或者终端设备的网管系统的性能监控可以对用户终端的异常行为进行初步判断, 但要实现对用户行为的精细化管控, 仍需采用业务流量分析识别技术, 对用户访问网站、论坛发帖、在线聊天、收发邮件等行为进行分析, 以发现和杜绝用户的不合规行为。
为了对不同优先级的业务实现不同的Qo S保障, 可以采用区分服务 (Diff Serv) 进行业务流量分类和疏导, 但要发现网络中不合理抢占资源, 可能造成网络拥塞的业务, 也需要采用业务流量分析识别技术, 及时发现网络中的异常流量, 并对其进行限制和控制。
7.采用统一的管理信息库
传统广电网络要升级为互联互通的全业务承载网络, 首先要建设综合网络管理系统以提供强大的网络运维管理能力, 然而广电网络中不同设备的管理要求和管理能力各不相同, 不同厂家设备的管理功能也各不相同, 为了实现网络的统一管理、统一配置, 需要结合广电数据网络业务运营需求, 针对不同类型设备制定相应的、统一的管理信息库。统一管理信息库对于Eo C等设备数量庞大、各厂家网管不统一的系统尤为重要。
8.基于GIS技术实现设备资源集中管理
随着广电网络公司的业务发展和网络资源的不断增长和扩大, 要实现运行维护的数据进行实时更新, 在已有资源的基础上合理建设新的网络资源, 有效地管理和配置现有资源, 最大限度地减少运营成本, 需要结合运营实际需要, 开展数据普查工作并建设全网络的网络资源管理系统。
网络设备资源集中管理系统可以通过集成GIS系统可以实现网络资源的统一标识和所见即所得的网元虚拟呈现, 按照区域、专业等多种维度进行设备资源管理。为了提高了网络设备资源的管理效率, 网络设备资源集中管理系统应支持PDA对接和同步呈现, 并可以基于移动终端实现信息采集和自动上报。
9.全面支持可运营、可管理、可维护
省核心-地市核心-业务控制-汇聚-接入网络及终端系统等基础设施支持高效的用户访问管理, 网络可以根据业务承载需求进行配置。
5结束语
本文通过智能、安全、可管可控以及IP扁平化的数据网络设计, 构建MPLS为主的技术体系, 并采用内存认证技术、业务流量分析识别技术、融合终端技术、MIB库以及基于GIS的资源管理技术, 实现了贵州广电数据业务承载管控系统的建设, 实现了贵州广电数据网络的全面可运营、可管理、可维护。在本文建设系统的支撑下贵州广电通过广播网加互联网的方式, 把以高清互动业务和宽带接入业务为主的双向互动业务在全省范围内进行推广, 目前已经向全省提供260套直播节目超过6万部剧集的影视内容。
本文为数字电视基本业务、数字电视自选业务、互联网接入等各类服务提供支撑, 对推动贵州广电数字化、网络化、智能化建设具有重要意义。本文可为数据网业务承载管控系统的建设提供技术参考。
参考文献
[1]刘鹰.广东省IP数据网络规划方法探讨[J].电视技术, 2013, 37 (5) :125-127.
[2]孙黎丽, 李忠炤, 姚琼.基于EPON+Eo C技术的有线电视宽带接入网综合网络管理系统研究[J].广播与电视技术, 2011, 38 (zl) :103-115.
[3]胡智慧.基于GIS技术的广电网络资源管理系统的开发与应用[J].中国有线电视, 2013 (4) :514-518.
数据管控 篇5
数据迁移对系统切换乃至新系统的运营有着十分重要的意义。数据迁移的质量是NGBOSS (新一代业务运营支撑系统) 成功上线的重要前提, 也是NGBOSS今后稳定运行的有力保障。如果数据迁移的质量较差, 没能屏蔽全部的垃圾数据, 将对新系统造成很大的隐患。反之, 成功的数据迁移可以有效地保障新系统顺利运行, 并能继承珍贵的历史数据。在割接过程中, 数据迁移需要按数据特点进行数据提前和后续迁移, 使割接时间段内迁移数据尽可能少, 保证整体割接时间可控。
中国移动江苏公司NGBOSS项目建设过程中, 由于老系统 (现网BOSS) 和新系统 (NGBOSS) 涉及两家不同的集成商, 新老系统的表记录和表字段定义完全不同, 业务数据复杂且数据量大 (近5 000万用户、5 000张数据表, 1 PB数据的迁移和比对) , 如何能够确保NGBOSS数据迁移的质量和时间最优化, 是NGBOSS项目组研究的重要课题之一。
1 数据迁移工作的主要内容
NGBOSS项目组需要将老系统的数据库记录根据新系统的表结构进行映射以及迁移脚本程序开发工作, 实现新老系统数据的无缝迁移, 数据迁移工作具体内容如下:
1) 完成新老系统数据库表映射逻辑;
2) 完成老系统数据库记录的迁移策略;
3) 依据映射逻辑与迁移策略, 完成新老数据库表数据转换脚本开发;
4) 根据数据迁移抽取操作步骤, 完成从老系统抽取数据工作;
5) 根据数据迁移转换操作步骤, 完成在新系统中转换数据工作。
2 采取的具体措施
为了解决新老系统数据结构不一致以及数据量大的难题, NGBOSS项目组通过“数据迁移质量管控方案”确保数据迁移的质量, 通过“数据迁移时间管控方案”确保割接当晚数据迁移时间不影响次日正常业务受理。具体如下。
2.1 数据迁移质量管控方案
工作目标:将现网BOSS的有效数据100%迁移到NGBOSS中, 确保数据无遗漏, 且新老系统数据记录转换正确。
该工作在数据模拟割接完成后进行, 主要包括4个方面:
1) 错误数据核对:通过分析日志信息发现并清理现网BOSS中不符合业务逻辑与规则的异常数据, 同步修正现网BOSS产生异常数据的程序缺陷, 确保异常数据对数据迁移无影响, 具体流程见图1。
2) 全业务对账:根据业务分类完成新老系统数据表的字段数量级全部业务的对账, 生成业务对账报告, 确保影射数据库表字段级数量一致。具体流程见图2。
3) 数据逻辑点检查:利用业务逻辑与规则SQL (结构化查询语言) 脚本检查转换完毕的数据记录是否符合NGBOSS的业务逻辑, 确保转换完毕的数据记录符合新系统的业务逻辑。
4) 数据抽检:根据抽检用例检查转换到新系统的数据记录是否符合业务要求, 从而定位并解决从老系统迁移过来的数据问题, 确保转换后的数据记录符合业务逻辑与规则要求。抽检内容主要包括:个人、集团、资源类数据。具体流程见图3。
通过以上4个方面, NGBOSS项目组成员顺利确保全部有效数据表记录无遗漏, 转换数据记录100%正确。
2.2 数据迁移时间管控方案
工作目标:减少数据迁移的时间, 为整体割接预留足够的时间。在不影响系统正常运行、业务正常受理的前提下, 按数据特点进行数据提前和后续迁移, 确定割接时间段内迁移数据尽可能少, 保证割接时间可控。
现网BOSS的数据量大, 如果所有数据集中到割接当晚迁移势必延长整体割接时间, 为缩短割接时间, 割接迁移组成员从数据抽取与转换两个方面入手。具体如下。
2.2.1 缩短数据抽取时间
主要通过3种方式:
1) 增量表方式:需要提前2天完成将大数据量表迁移到NGBOSS, 割接当天只迁移新增的数据。该方式一般适合于有时间类索引表, 如:前后台受理流水表, 用户业务订购流水表。
2) 触发器方式:需要提前2天完成将大数据量表迁移到NGBOSS, 割接当天只迁移触发器表中数据。该方式需要提前在老系统中新增触发器, 一般适用于表记录变更量不大但比较重要的表, 如用户资料表、用户业务信息表。
3) 数据瘦身方式:提前备份并清理现网数据库表中不需要的迁移数据。该方式一般适用于老系统表由于未纳入日常维护导致数据量非常大的表。
2.2.2 缩短数据转换时间
主要通过2个优化方面:
1) 优化转换代码:对于执行时间TOP10的语句分析并优化, 减少程序代码执行时间。
2) 优化转换逻辑:在不影响业务逻辑的前提下, 优化转换逻辑, 提高程序代码执行效率。
通过以上两个方面, 割接迁移组在6 h之内完成全部数据表的迁移和比对, 大大缩短了整体割接时间, 使NGBOSS割接过程中对用户影响降到最低。
3 结束语
NGBOSS项目需要迁移的业务数据复杂且数据量大, 为确保NGBOSS成功割接, 项目组以数据迁移的质量和时间管控为抓手, 通过“数据迁移质量管控方案”“数据迁移时间管控方案”, 不断创新, 做好数据迁移每项工作, 包括:细化迁移实施方案, 提前清理老系统异常数据, 进一步做好老系统数据表的重组操作, 按数据特点进行数据提前和后续迁移等工作, 使得数据迁移工作又好又快地完成。管控方案可作为电信级业务支撑系统数据迁移通用方案。
摘要：介绍了NGBOSS (新一代业务运营支撑系统) 大数据迁移工作的数据迁移质量管控, 主要包括4个方面:错误数据核对、全业务对账、数据逻辑点检查和数据抽检。数据迁移时间管控包括数据抽取与转换, 其中通过增量表方式、触发器方式、数据瘦身方式来缩短数据抽取时间, 通过优化转换代码、优化转换逻辑来缩短数据转换时间。
数据管控 篇6
关键词：数据中心,优化治理,能效管控
0 引言
2012年7月, 国资委办公厅出台了 (国资发[2012]93号文件) 《关于加强“十二五”时期中央企业信息化工作的指导意见》, 国资委明确要求推进信息共享和多业务综合集成。国内外一流企业的广泛实践也证明, 数据共享和业务融合能够有效提高工作效率、推动专业协同, 保障信息系统更好地发挥作用。
2012年9月4日, 国家电网公司 (以下简称“公司”) 召开数据共享和业务融合工作推进电视电话会议, 深入总结分析公司数据共享和业务融合工作取得的成果及面临的新形势、新要求、新任务, 对各项任务进行再动员、再部署、再落实, 促进企业管理水平全面提升。
公司根据监管机构的要求在2013年1月先后出台了《2013年信息化建设实施意见》和《2012年公司信息系统数据综合治理水平评价年度通报的通知》, 在数据中心建设方面扩展并完善SG-CIM和数据资源管理工具深化建设。同时要求各网省电力公司进一步加强数据综合治理工作。
2013年4月3日, 在公司总部召开了关于某电网企业数据中心优化治理及效能管控工作汇报会, 会上公司信息通信部 (以下简称“信通部”) 领导对该电网企业关于数据中心优化治理的探索研究及工作思路表示肯定和支持, 要求该电网企业加大工作力度, 努力摸索形成一套适应网省公司数据中心工作要求的优化治理办法, 并以此工作为起点推动数据中心的持续治理完善。
目前, 数据中心优化治理及能效管控研究主要集中在优化数据中心结构、能耗总量方面。文献[1]认为降低数据中心的能耗成本更符合数据中心的商业利益;文献[2]根据不同数据中心间的服务需求量和电价差别, 设计了多数据中心间的负载路由机制, 旨在削减数据中心的整体能耗成本;文献[3–4]从当前数据中心运维面临的“业务连续性、智能管理、降低成本”等方面研究能耗解决方案;文献[5–8]主要从数据中心数据质量、管理体系方面阐述数据中心优化治理方案。
本文在上述文献研究成果基础上, 围绕公司发展战略, 依据公司现有数据中心治理手段, 充分继承前期数据中心治理成果, 优化整合数据中心及能效管控, 立足于提升数据中心服务能力, 建设具有公司特点的数据中心优化治理及能效管控体系, 为推动公司持续、健康、快速发展提供坚实有力的保障。
1 数据中心治理现状及必要性分析
1.1 现状分析
随着“三集五大两中心”、智能电网建设的快速深入推进, 各业务统一集中管控、数据共享与业务融合、决策智能都对数据中心提出了更高的要求, 需要数据中心给予快速反应和高效优质服务, 而精细化、动态地掌握数据中心整体情况是满足上述需求的首要条件。为此, 迫切需要以科学合理的方法进一步理清数据中心现状, 让数据中心各级管理者全面而细致地了解数据中心基础环境、应用、数据三大管理对象的管理属性信息, 以更好地支撑各项业务应用的需要。
在数据中心的建设、生产服务和运行维护工作中, 信息化管理部门、运行单位和业务部门的各级管理者和业务人员需要具备简明、直观且能便捷获取明细信息, 多视角、多层次展现特性的可视化能力以支撑业务和管理工作。目前IMS和数据资源管理工具已从信息系统统一监控和数据处理等角度提供一定的可视化能力, 但尚不能完全满足从数据中心全局角度出发, 统一、多视角、多层次、细致化的可视化支撑管理的需求。需要进一步以数据中心资源的统一识别、表示法为基础, 构建管理的可视化展现和支撑能力。
当前数据中心包含结构化、非结构化、海量准实时、地理信息4部分, 营销基础数据平台、调度数据中心也在建设中。在公司管理集约化、专业化、高效的大背景下, 现行信息化业务和管理人员有限, 难以应对各数据平台分散建设运行的管理工作, 迫切需要构建完善一体化管理的技术支撑手段和业务管理流程, 建设数据中心统一管理支撑平台和管理体系, 高效集约地开展数据中心工作。
1.2 必要性分析
数据中心初步建成投运以来, 开展了数据共享、交换和辅助智能决策业务, 进行了建设和运维管理工作, 初步构建了技术和管理支撑体系。数据中心优化治理及效能管控, 将在SG186、SG-ERP数据中心建设成果的基础上, 清理环境、摸清家底, 持续优化完善数据中心技术和管理体系建设, 实现数据中心的一体化管理, 进而形成数据中心的统一全景视图。这将有利于网省公司更全面、更细致地管理数据中心的建设和生产运维工作, 总部从更高、更宏观的角度管控和指导各分部及省公司数据中心规划建设工作和集团级数据管理工作, 将为“三集五大两中心”和坚强智能电网的建设与智能决策分析提供一体化管理平台和系列“电网数据地图”支撑。
1) 省公司需要数据中心全景视图支撑管理工作。当前, 在总部的统一规划下, 省公司已逐步建成了以一体化平台结构化数据中心、非结构化数据管理平台、海量/历史准实时数据管理平台、地理信息管理平台组成的数据中心系统, 各部分均有自己的管理视角, 由信息部门分别管理维护。因此, 充分整合各部分的信息资源, 依托数据自动采集技术, 构建一套数据中心统一全局视角与多层次业务技术管理维度相结合的全景视图, 并且动态维护该视图, 可以实现省公司层面乃至全公司层面数据资产可视化管理, 有力支撑省公司数据中心精细化运行维护工作和总部数据中心规划发展和技术管控工作。
2) 省公司需要保障数据中心“长治久安”的管理体系。数据中心各个部分均有与之相匹配的后台管理软件和管理体系, 但各系统管理软件大多为系统软件自带后台管理模块, 功能分散, 缺乏统一管理, 给运行维护带来不便。通过优化治理, 将从集团化数据资产管理角度出发, 统一规范数据管理范畴及内涵, 持续优化和完善数据中心管理体系, 可以更高效地开展数据综合服务和运行维护保障工作, 为“三集五大两中心”深化建设提供更富效能的数据服务支撑。
3) 通过优化治理, 为管控数据中心效能夯实基础。通过优化治理, 梳理清晰数据中心整体现状, 构建并动态维护全局、多角度、多层次的统一视图, 使省公司对数据中心的数据状况、运行状况、综合服务能力有更深入细致的掌握。在此基础上, 就可以对数据中心的运行效能、数据服务效能、数据资产增值等情况开展进一步的识别、监测、评估、优化等精细化的深度管控工作, 辅助保障数据中心服务能力持续增强。
2 数据中心优化治理及能效管控建设方案
2.1 技术路线
数据中心的总体设计思路是结合产品的实际情况在当前主流稳定第三方框架的基础上设计出稳定、可扩展、复用程度较高的系统, 稳定性主要体现在能平滑进行后续产品版本升级, 可扩展性主要体现为适配器采集及分析的应用功能扩展, 可复用性主要体现为采集及分析底层核心模块的复用设计。
1) 总体上采用J2EE体系框架, 软件体系结构采用多种架构设计 (如多层结构、MVC模式、Io C等) , 保证程序具有松耦合性、易扩展性、跨平台性。
2) 采用稳定成熟的开源框架Ext、Spring、Hibernate, 在数据库交互层根据实际需要可采用JDBC方式, 通过采用成熟的开源框架, 使开发可更集中精力于业务层面上的开发。
3) 在程序设计层面合理应用设计模式搭建灵活可扩展的应用程序。
4) 对采集和分析模块尽量做到底层模块的复用。
5) 对某些复杂的独立应用模块尽量采用成熟的第三方模块, 如任务调度采用Quartz。
6) 需要对外公布的API采用提供Web Service接口的方式。
7) 尽量采用XML作为数据交换标准。
2.2 技术架构
在总体技术架构关系中, 业务架构从业务角度对数据中心运维业务进行细化、抽象、归纳、总结, 形成整体业务能力视图, 为应用架构和数据架构提供关键输入;应用架构基于业务架构, 从系统应用功能的角度定义应用功能、应用划分和应用分布, 形成数据中心优化治理辅助管控平台应用架构蓝图;数据架构基于业务架构和应用架构, 从系统数据支撑的角度对数据模型、数据分类、数据存储、数据流转等方面进行规划设计;技术架构基于应用架构和数据架构, 从系统技术实现的角度定义各类系统组件、集成关系、部署方式和系统安全防护体系。技术架构如图1所示。
数据中心优化治理辅助管控平台采用Web应用三层架构方式, 包括界面展现层、业务应用服务层、数据访问层、数据库资源层;页面展现层显示为用户提供操作界面, 业务应用服务层处理业务逻辑, 数据库资源层存储数据和文件。
2.3 业务架构
数据中心的业务涉及总体规划管理、数据管理、运行维护管理 (见图2) , 提供数据中心全景视图, 提高数据资产的利用, 支撑企业项目的规划和建设、资源环境的运行维护。
1) 总体规划管理。数据中心的总体规划管理涉及规划计划管理、项目管理、技术规范管理。其中涉及规划计划管理的有全景视图管理, 利用全景视图辅助数据中心规划;项目管理涵盖数据中心所有相关项目的业务工作, 包括系统试运行、上线等;技术规范管理主要是贯彻执行国家电网公司数据中心相关政策及规范。
2) 数据管理。数据管理是数据中心的核心业务领域, 主要是在生产运营中保证数据资产和相关服务的完整性、安全性、可用性和可维护性。主要包括数据架构管理、数据开发管理、数据安全管理、数据质量管理、数据治理、元数据管理等。
3) 运行维护管理。数据中心运行维护管理主要是数据中心环境、相关业务应用系统的日常运行维护工作, 保障相关业务应用稳定运行。主要包括故障处理、日常巡检、备份和恢复、检修、综合调优等。
2.4 数据量化方法
实现数据中心数据服务量化的方法, 涉及业务系统、业务服务器、数据中心服务器和数据中心数据服务指标4个对象间的关联, 其特征在于通过采集技术获取基础数据, 将服务器的端口访问信息、进程信息、性能数据进行关联, 并与业务系统进行绑定, 将底层物理数据转化成量化的考核指标, 利于数据中心的优化管理;将服务器性能信息与数据库会话信息结合, 形成业务系统对数据中心的CPU、内存、存储占用指标, 实现物理硬件数据与软件运行信息的有机结合, 提供数据服务量化指标信息。数据中心数据服务量化方法分为以下步骤。
1) 建立业务系统与业务服务器的关联关系, 业务服务器包括应用服务器和数据库服务器。
2) 业务服务器访问数据中心服务器提供数据, 或者数据中心服务器连接业务数据库服务器主动获取数据。
3) 数据中心服务器通过性能采集获取连接信息, 包括业务服务器IP以及本地连接端口。
4) 根据数据中心服务器根据连接信息获取提供服务的进程。
5) 根据进程获取占用的内存、CPU资源。
6) 根据上述关联关系, 数据中心可以将各业务系统对数据中心服务器的性能服务要求进行量化, 形成数据中心服务器CPU、内存按业务系统使用的分类清单。
7) 建立业务系统在数据中心操作数据存储 (Operational Data Store, ODS) 相关表的关联关系, 明确表所属业务系统。
8) 在数据中心ODS服务器上采集数据库的访问信息, 分析业务系统相关表的记录变更情况, 并采集相关库表的存储空间增长情况。
9) 结合步骤6, 形成业务系统对数据中心服务器CPU使用、内存使用、存储空间使用的量化清单。
3 应用效果
1) 规范数据接入管理体系。使数据中心数据服务有序进行, 对新系统接入进行影响评估并纳入规范化管理 (数据服务运维流程和新系统接入流程) , 同时实现数据接入流程的线上管理。总之, 流程化的工作管理规范了数据中心常用的业务流程, 提高了数据中心数据管理水平。
2) 提高运维工作效率。数据中心运维人员每天需要花费2~4 h的时间执行大量的监控脚本, 工作效率低, 发现问题不及时。通过数据中心优化治理及能效管控的实施, 数据抽取–转换–装载 (ExtractTransform-Load, ETL) 监控、OGG监控、DBlink监控、数据库表空间、数据交换平台及时率等问题实时展现, 运维人员能够在第一时间发现系统故障, 同时减轻了运维监控的工作量。
4 结语
数据中心优化治理及能效管控项目的建设, 将在SG186、SG-ERP建设成果的基础上, 总结、理清数据中心基础环境、应用和数据现状, 构建并完善数据中心业务管理、服务能力、资源状况的全局视图, 全面监控数据中心核心要素的运行状况, 为各级决策者、管理者、执行者提供全方位、多角度的可视化展示和数据分析服务, 支撑精细化管理, 对数据中心做到“心中有数”。
参考文献
[1]RAO Lei, LIU Xue, XIE Le.Minimizing electricity cost:Optimization of distributed Internet data centers in a multielectricity-market environment[C]//Proceedings of the 29th IEEE Conference on Computer Communications (INIFCOM’10) San Diego, USA, 2010:1–9.
[2]王巍, 罗军舟, 宋爱波.基于动态定价策略的数据中心能耗成本优化[J].计算机学报, 2013, 36 (3) :600–611.WANG Wei, LUO Jun-zhou, SONG Ai-bo.Dynamic pricing based energy cost optimization in data center environments[J].Chinese Journal of Computers, 2013, 36 (3) :600–611.
[3]戴欣平.云时代数据中心的能效管理[J].软件和信息服务, 2013 (7) :64–65.
[4]谌志明.中兴通讯数据中心能效管理及智能化运维[J].通信世界, 2014 (6) :29–30.
[5]孟庆.大规模数据整合的难点与数据中心优化方向[J].网络与信息, 2012 (1) :12–13.
[6]施超.数据中心安全隐患分析与治理[J].计算机光盘软件与应用, 2013 (12) :37–38.
[7]席敏晖.浅谈企业级数据中心运维管理[J].科技创新与应用, 2014 (12) :46–47.
数据管控 篇7
现代制造业的发展对工控和自动化技术提出了集成化、网络化、实时性、准确性要求[1]。可燃气体应用范围越来越广,其一旦泄漏将会给人们的生命财产带来威胁,造成不可估量的损失和伤亡。因此,可燃气体报警器使用状态是否良好,数据是否准确可靠,对安全生产事故的判断与防范起着至关重要的作用[2]。
穆克等研发的报警器数字检测系统[3],能够自动完成对气体检测仪的检定,但该系统仅涉及检定环节,且原料气不能充分混合,影响检测结果的准确性。吴珂等研发的可燃气体报警器在线检测系统实现了远程数据监控和采集的功能[4],但该系统没有充分考虑报警器检测头可能出现的报警误差而产生报警误判断。王显建所设计实现的可燃气体报警器检定装置能对不同类型固定式和便携式可燃气体报警器进行在线检测[5],但该系统中各子系统之间不能达到数据实时一致性的要求。
由此可见,目前报警器性能检测普遍存在离线检测、检测可靠性差、精度低的缺点,各生产环节无法保持数据的一致。因此,针对检测现状,本文在自行设计研发的可燃气体检测头生产线管控系统过程中,将综合采用多种方法来保证整个管控系统数据的准确一致性。
1 系统中影响数据准确一致性的因素
自行研发的可燃气体检测头生产线管控系统作为一条完整的生产线,包括多个检测、返修、服务器等子系统,其网络结构如图1所示。检测子系统成批地采集检测头数据并处理分析及判断等级,当有故障或有不合格的则需将之送入返修子系统进行返修,完成返修则还需进行检测,服务器子系统管控着整个生产流水线,将协调多个检测、返修子系统,完成收集汇总所有检测头的数据并永久保存之,为设计、销售、售后服务、财务等提供各种统计数据以及数据挖掘等功能。这些工作过程中存在检测头数据的产生、使用、传递、存储、处理等。
管控系统中存在诸多因素将影响着数据的准确一致性。首先,系统需每批同时地采集检测腔内24个检测头数据及即时的可燃气体浓度,因此,如何设计检测腔的结构,包括可燃气体注入孔和排泄孔的大小及位置、被检测头的布局、浓度检测传感器的布局等,如何设定可燃气体注入速度,采取何种腔内气流循环方式及对采集数据的处理方法等等,将直接影响着检测腔内不同区域的可燃气体浓度是否一致,数据采集是否即时同步和可靠。其次,如何有效的过滤干扰信号,如何根据检测头输出波形特征来判断其工作状态,包括对一批24个检测头中正确的提取出每一个所对应的数据并保存到该检测头的记录中,如何在确定检测头状态后提取状态发生时刻的气体浓度等等,将直接影响数据处理环节24个检测头状态的准确判断与气体浓度的一致对应。最后,数据存储环节汇总保存所有检测头的数据并保证各子系统间数据准确一致,因此,在数据上传、分发操作中采样何种架构、采用何种协议、同步内容的设计、进程并发的控制等,在检测-返修(录入返修信息)-再检测的最多5次循环中,如何辨别区分各检测头、检测返修新旧数据的管理、循环流程的控制等等,将直接影响整个系统各子系统间各检测头数据的准确一致。综上,影响数据准确一致性的问题较多,且涉及到各个环节,于是本文将从数据采集、处理、存储三个环节进行分析,综合采用多种方法以保证整个管控系统中各检测头数据的准确一致性。
2 系统数据准确一致性的分析与实现
管控系统需保证各环节检测数据的准确性和一致性。在管控系统的研发过程中,通过对影响管控系统数据准确一致性诸多因素的分析,从数据采集、处理、存储三个环节对系统进行分析与实现。首先,采集数据时,采用改善检测腔设计等方式保证采集的准确性;其次,处理数据时,利用算法有效过滤干扰、判断检测头状态等保证数据的准确性;最后,传输存储数据时,使用一致协议等技术保证各子系统间数据准确一致,同时,为了保证检测头在各个工位的流转中数据不出现混乱错位,运用条码技术,对每个检测头生成唯一的条码,通过在各环节扫描条码,达到识别区分各检测头,并自动读取、录入各检测头数据,建立物理空间与信息空间的联系的目的。
2.1 数据采集环节数据准确一致性的分析与实现
底层的数据采集影响着后期的计算、汇总和统计等,只有保证底层数据的完整准确,才能保证上层数据应用的准确性和一致性。数据采集环节需每批同时地采集检测腔内24个检测头数据及即时的可燃气体浓度,传至检测工位计算机分析处理。现有检测子系统检测腔示意图如图2所示。
在实际生产检测时发现检测腔结构设计不够完善,可燃气体不能均匀地注入检测腔内,检测腔内气体浓度呈阶梯形曲线分布,如图3所示。导致靠近注气孔的区域的检测头先触发报警行为、远离注气孔的区域的检测头后触发报警行为,增大数据采集的误差。另外,检测腔内气体分布不均匀会影响红外线气体分析仪准确采集检测头状态改变时刻的气体浓度值。
因此,为达到检测腔内可燃气体均匀分布的目的,通过对现有检测腔内气体扩散分布模式的分析研究,本系统对影响气体均匀分布的主要因素进行了改善。首先,完善检测腔设计,从注气孔引出若干条底部有排气洞的管子,均匀贴在检测腔顶部的内侧,如图4所示。
改进以后可燃气体能够从上往下较均匀扩散到检测腔内,减少由于检测头处于不均匀可燃气体浓度环境而引发的先后报警的误差,其次,改变红外线气体分析仪布局,在检测腔内壁与检测头平行的位置安装三台红外线分析仪,取三台仪器示值平均值,作为检测腔内可燃气体浓度值。改进后三台红外分析仪检测到的浓度分布如图5所示。说明改进后不同区域可燃气体浓度分布较均匀。
此外,为进一步达到检测腔内不同区域可燃气体浓度一致的目的,增加流量控制计,合理设定可燃气体注入速度,使可燃气体流量适中地注入检测腔内,且在检测腔内壁偏上位置安装两台排气扇,改善气流循环方式等等,如图4所示。通过以上具体措施达到检测腔内不同区域的可燃气体浓度均匀一致与数据采集同步可靠的目的。
2.2 数据处理环节数据准确性的分析与实现
数据处理是对原始数据进行分析和处理的技术过程,是自动控制和系统工程的基本环节[6]。数据处理环节对采集环节采集到的检测头数据进行分析处理,即根据检测头输出波形特征判断其工作状态,并在确定检测头状态后提取状态发生时刻的气体浓度。
数据处理环节中因硬件设备电平随机干扰、系统不稳定等偶然因素均会引起尖脉冲干扰信号[7],这些因素均有可能引起检测头脉冲信号的误判断;此外,检测开始检测头一直默认输出高电平信号,当检测头第一次输出低电平时有可能是报警也有可能是发生故障,只有检测其输出1Hz的脉冲信号时,才能判断发生了报警行为,理论上由于检测头的这种输出特性,确定检测头报警相对报警发生时刻有500ms的时间延迟,而在状态确认的500ms时间差里,可燃气体浓度已经发生了改变。因此,基于剔除干扰脉冲、准确判断检测头状态、提取状态发生时刻气体浓度的原则,处理环节检测头数据处理流程如下,首先,剔除掉有可能引起检测误差的尖脉冲信号,即每次检测头的电平信号均需间隔5ms读取三次按照算法判断其电平高低;其次,按照算法当检测头连着输出三个1Hz脉冲信号才能判断该检测头报警,排除把故障检测头误判断为报警检测头的可能;最后,浓度采集模块与检测头信号采集模块并行采集,每次采集到的浓度值均及时锁存待用,以保证准确采集检测头状态发生时刻的可燃气体浓度值,如图6所示。
排空可燃气体检测检测头是否恢复不报时,由于检测头的输出特性,数据处理环节有可能把没有恢复不报的检测头误判为恢复不报,因此按照算法间隔490ms三次读取检测头电平,若检测的结果均为高电平则该检测头恢复不报,则第二次测得高电平时刻的浓度作为恢复不报浓度,进一步提高判断检测头恢复不报、恢复不报浓度的准确率,如图7所示。
2.3 数据存储环节数据准确一致性的分析与实现
数据存储环节收集汇总所有检测头的数据永久保存之,同时,在管控系统中需保证检测头数据在各环节的上传、分发、存储等过程中准确一致。
检测子系统实时采集到的检测数据、返修产生的返修数据均需实时上传至服务器子系统,检测头进入返修、已返修检测头再次检测时,服务器子系统均需及时分发历史数据并存储新数据,此外,同一检测头在管控系统中存在各个工作过程间的数据流转,在检测-返修-再检测循环中,存在检测头新旧数据管理、循环流程的控制等问题。
因此,为保证检测头数据在各子系统间上传、分发、存储等过程中准确一致,本文结合管控系统生产线实际应用,基于Sync ML标准体系架构[8],利用Sync ML数据同步规范定义数据同步操作中检测、返修、服务器子系统间数据传输协议。协议定义了会话流程、会话过程中的数据交互过程、同步双方的握手过程等,在Sync ML消息头定义了含有消息的数据源信息、协议版本、认证信息、会话信息等,在消息体中以XML格式的文档定义了检测头状态改变时刻、状态改变时气体浓度值、返修-再检测流程控制等等,数据同步规范如图8所示。
为达到各子系统间数据上传、分发等过程准确一致的目的,选用Sync ML同步传输双向传输模式。首先,检测、返修子系统发出同步请求,同步初始化数值、目标地址、源地址、同步认证等;其次,服务器子系统发出同步请求、回复请求,唤醒对方;再其次,检测、返修子系统提交数据,回复服务器子系统的请求;然后,服务器子系统提交数据,回复检测、返修子系统请求;再然后,检测、返修子系统显示数据更改情况,回复同步请求;最后,服务器子系统确认更改,证实数据已经做了更改。通过以上同步规范,达到保证检测头数据在各子系统间上传、分发、存储等过程准确一致的目的。其次,为保证检测头在检测-返修-再检测的最多5次循环中数据的准确一致性,运用条码技术,并使用前推式“链”表管理检测头新旧数据、控制其循环流程等。通过以上方法保证整个系统各子系统间各检测头数据的准确一致。
3 实验验证
按照生产线流程,进行一系列实验验证管控系统各环节保证数据准确一致性方案的可行性与有效性。实验采用可燃气体甲烷作为标准样气,检测阶段一通过流量控制器以每秒1400ppm的流量注入检测子系统的检测腔内以检测被检测头是否会发生报警行为,然后检测阶段二利用排气扇排空可燃气体以检测被检测头是否会恢复不报。检测子系统完成检测后,检测子系统工控机检测界面如图9所示。
检测子系统部分检测数据如图10所示。
检测到有故障的检测头需进入返修子系统进行返修处理,返修子系统部分历史数据上传如图11所示。
服务器子系统汇总存储的部分数据如图12所示。
观察图9工控机检测界面可知,检测子系统能够实时采集到检测腔内24个检测头数据及即时的可燃气体浓度,能够按照企业标准对检测头数据进行分析处理,判断其等级并在检测界面上以虚拟色彩的形式表现出来。此外,对比分析本地检测、返修数据与服务器子系统数据,对比结果表明,检测子系统完成一批检测以后,同批次24个检测头的数据能够按照Sync ML数据同步协议及时上传至服务器子系统,返修与再检测的数据也能够按照协议及时上传至服务器子系统,从而达到管控系统各子系统间数据一致性的要求。
此外,为验证检测的准确性,取一定数量的检测头作为样本,利用管控系统与人工检测方法分别进行三次检测,两种检测方法的误差率对比如表1所示。对比结果表明,管控系统检测误差率较少,检测准确性有了很大提高。
综合以上测试可知,管控系统能够高效准确的检测被检测头,且能达到检测、返修、服务器多子系统间数据分布存储的一致性的目的。
4 结束语
现代制造业的发展对工控和自动化技术提出了集成化、网络化、实时性、准确性等要求。本文对管控系统涉及的检定数据的准确性以及检测、返修、服务器多子系统间上传分发存储数据的一致性问题进行了分析与研究,并逐项解决数据采集、处理、存储三个重要环节的数据准确一致性,从而保证整个管控系统数据的准确一致性。测试表明,该管控系统能较好地保证数据的准确一致性,可靠性高、实时性强,具有较高的实用价值,对企业现代化、精确化具有一定的参考意义。
摘要：随着科技发展,工业控制自动化对精准型工业系统的需求越来越高。文中在自行研发可燃气体检测头生产线管控系统的过程中,针对检定数据的准确性以及检测、返修、服务器多子系统间分布存储数据的一致性问题,从数据采集、处理、存储这三个环节进行分析,综合采用多种方法以保证整个管控系统数据的准确一致性。最后,在生产实践中验证了其方法是有效的。
关键词：工业控制自动化,可燃气体报警器,数据准确性,数据一致性
参考文献
[1]刘美丽.现代工业条件下工业自动化的特点和作用[J].自动化与控制,2010,3(196):73-74.
[2]Han Yao-zhen,Xiao Hai-rong,Pan Wei-gang.Design and Realization of a New Combustible Gas Alarm System[C]//2010 International Conference on Electrical and Control Engineering.IEEE computer society,2010:691-694.
[3]穆克,韩志刚.有毒有害气体报警器数字检测系统的设计[J].辽宁石油化工大学学报,2012,32(1):74-83.
[4]吴珂,张全斧,黄武,等.化工行业可燃气体报警器在线检测系统的研发[J].安全科学技术,2014(2):7-11.
[5]王显建.可燃气体报警器检定装置的设计与实现[D].成都:电子科技大学,2013.
[6]Eric D.Knapp,JoelL angill.Industrial Network Security[M].2nd Edition,USA:2014:351-386.
[7]田园.多通道脉冲信号高精度计数方法研究[D].西安:西安工业大学,2012.
数据管控 篇8
21世纪以来, 信息技术发展取得飞跃式的突破。为应对随之而来的管理难题, 信息管理员通过建设相关管控平台, 提升运维水平。在国内, 信息系统管控主要定义为协助管理人员进行内外网管理、设备监测维护、人员网络监控等操作。以欧美地区, 信息系统管控已逐步向产品化、体系化发展, 逐步涵盖了IDC、广域网、互联网, 并涉及ISP、云计算等领域。与此同时, 管控的手段和技术也在不断发展和优化, 不再局限于信息系统建设本身, 包括信息系统运行的环境、用户对于信息系统的使用体验都已经纳入管控范围。信息系统的管控逐步智能化、简易化。
管控产品为信息系统管理人员的运维工作提供了便利, 但如果设计不合理, 将成为信息数据安全隐患。数据安全是信息系统运行的生命线。介绍在信息系统管控应用中如何合理规避数据安全风险。
1 信息系统管控平台
信息系统管控平台通过公用的网络协议获取IT基础设施的性能、配置、事件等数据, 如SNMP、SSH、WMI、SYSLOG。信息系统管控平台结构如图1所示。
信息系统管控平台的建设必须保证数据安全, 在实际应用过程中, 数据安全的保护主要包括:
(1) 数据保密性防护。管控平台存储众多用户基本信息, 如登录用户、密码、联系方式等, 需保证此类数据的保密性。
(2) 数据完整性防护。管理对象的配置、性能、故障等信息是实现维护工作的重要数据支撑, 要求保证数据完整、准确。
(3) 数据可用性防护。管控平台在维护过程中需要管理对象具备一定的操作、读写权限, 操作过程需要合理、合规, 不得影响管理对象正常运行, 需保证数据的可用性。
2 数据安全防护技术
一套完善的信息系统管控体系, 必须保障IT基础设施的数据安全。应在技术层面合理设计, 利用技术手段规避数据安全隐患。数据安全防护技术用于在对信息系统管控的过程中, 保障数据保密性、完整性和高可用性, 主要是针对数据的提取安全、存储安全、组织安全和使用安全等。
2.1 数据保密性防护技术
实现数据保密性是信息安全的首要任务。信息系统监控数据库采用存取控制和审计跟踪等手段来保障数据的保密性, 同时通过加密技术对库中的敏感数据加密, 防止外在非法攻击动作对数据的恶意访问。
信息系统监控的数据库数据量庞大, 并且同时为多个用户提供数据存取服务, 数据安全防护问题尤其突出。数据保密性防护的具体实现方式如下:
(1) 用户标识和鉴定。系统通过核对用户的用户帐号 (ID) , 决定该用户对系统的使用权。数据库系统不允许未经授权的用户对数据库进行操作。
(2) 存取控制。监控系统通过多种数据模型来实现数据的存储控制, 包括:访问控制矩阵模型、扩展的访问控制矩阵模型、多级安全模型、信息流安全模型。
(3) 用户视图。在设计数据库应用系统时, 对不同的用户定义不同的视图, 使机密数据不出现在不应看到这些数据的用户视图上, 即有选择地授予视图上的权限, 将用户、组或角色限制在不同的数据子集内。
(4) 加密存储。监控系统采用“MD5+系统自定义拆分逻辑”来实现数据库的帐号加密和数据加密。系统数据库加密的范围包括帐号、字段值、对象名称等。
2.2 数据完整性防护技术
数据的完整性主要包括物理完整性和逻辑完整性。物理完整性是指保证数据不受物理故障 (如硬件故障、突然断电等) 的影响, 并有可能在灾难性毁坏时重建和恢复数据库;逻辑完整性是指对数据库逻辑结构的保护, 包括数据的语义完整性和操作完整性。
2.2.1 物理完整性防护
实现数据物理完整性的防护, 需要在信息系统管控平台建设过程中将数据通过存储阵列进行保存, 并部署数据实时备份工具RMAN来实现数据的实时增量备份功能, 保证系统在出现灾害性损坏时的数据恢复能力。
2.2.2 逻辑完整性防护
数据逻辑完整性包括数据存储完整性和数据应用完整性, 其中数据存储完整性主要取决于数据库的完整性。
数据库完整性防护要求在管控平台数据库结构和库表结构设计过程中, 充分考虑结构的合理性, 尽量减少字段与字段之间、库表与库表之间不必要的关联, 减少不必要的冗余字段, 防止修改一个字段的值影响其他字段的情况发生;严格控制数据库的创立与删除, 库表的建立、删除和更改等操作。
数据应用完整性体现在数据的精准性和可靠性上, 验证数据精准性和可靠性的手段包括数据审计、数据归并和数据过滤。在信息管控平台的实际应用中, 需要对各管理对象的管理数据进行审计, 审计操作可通过多种技术方式实现, 如正则表达式等。审计操作完成后, 根据历史记录或知识库进行匹配, 如符合相关匹配条件, 对数据进行归并操作, 结合历史记录及知识库, 对数据进行完善;反之将其过滤, 最终实现数据的完整性。
2.3 数据可用性防护技术
信息系统管控平台的可用性包括提供业务持续性和灾难恢复两个方面。数据可用性防护技术包括:
(1) 数据备份。信息系统管控平台数据库在为用户提供数据支撑的同时, 还必须同时运行备份过程, 可针对平台数据库进行总体备份, 也可以针对平台业务、运行数据进行备份。
(2) 实现高可用性。实现数据高可用性的技术手段包括:提高数据存储机制本身应付内部故障的能力, 当数据出现轻微异常时, 通过“自修复”实现高可用性, 技术手段包括完善软件配置、开启状态判断功能等;多主机提供数据支撑服务, 同时具备远程位置灾难恢复机制, 并要求管控平台必须支持远程站点运行, 满足无缝恢复能力。
数据可用性防护技术还需要与业务管理手段相结合, 建立清晰、有效的可用性维护过程和流程, 合理规避数据安全风险, 满足数据可用性要求。
3 案例
某大型企业搭建了一套信息系统管控平台, 其管理对象具备服务器数量多、设备分布广、网络架构复杂等特点。为实现对设备的管控, 使用了JMX、SNMP、AGENT、JDBC、SYSLOG等网络技术。平台内部各模块数据交互多, 用户权限复杂。
该信息系统管控平台需要从现有信息系统和设备提取大量的数据, 建设过程中, 结合数据安全性防护技术、保密性防护技术、完整性防护技术和可用行性防护技术, 将上述来源不同、位置不同、类型不同、数量庞大的数据发送至数据处理层, 由数据处理层统一处理后按规范格式存储。
该信息系统管控平台汇聚了网络管理、系统管理、安全管理、业务管理、IT服务管理等多种监控与服务管理系统的监控数据, 并提供对外数据接口以便其他业务系统调用。
管控系统采用数据总线作为与外部系统间的数据交互通道, 通过定制的统一接口保证数据的完整性、保密性和可用性。其他业务系统获取数据时, 调用数据总线提供的各类数据对应的接口方法, 数据总线根据请求将对应数据统一封装成数据包, 返回给业务系统。
该平台制定的数据规范和接口标准要求在数据传输、存储过程中采用加密等技术保证数据保密性;数据接口和请求时, 需要通过身份验证方可执行接口交互的工作;通过正则表达式等算法进行数据分析、归并和过滤, 实现对数据完整性的保护;部署双数据库集群机制实现数据的高可用性。
通过信息系统管控平台的建设, 该企业获得了良好的收益:管控范围全面, 大大地提高了运维管理效率;可及时发现故障, 根源故障快速准确, 提高了故障处理能力和系统持续运行能力;通过运行趋势分析, 提前预防故障的发生, 通过各类报警方式, 提高故障预知能力和安全隐患处理能力;全面管理企业多层级IT组织架构, 全面监控管理各层级IT基础架构。
参考文献
[1]王淑江.系统与服务监控技术实践[M].北京:电子工业出版社, 2009
[2]仲秋雁.管理信息系统[M].北京:清华大学出版社, 2010
[3]中华人民共和国国家技术监督局.B/T 20271-2006技术信息系统通用安全技术要求[S]
[4]童争雄, 刘特.数据完整性检验策略的构建[J].江西科学, 2004, (03)