业务实时监控方案

业务实时监控方案（共3篇）

业务实时监控方案 篇1

信息化社会对业务运营分析及时性要求越来越高, 亟需一种实时或准实时监控业务受理数据的方法, 实现高速分析, 以达到辅助快速决策的目的。传统的经营分析, 一般在原有业务系统上直接进行统计分析, 或者建设数据仓库系统用于分析。前者可能占用业务系统大量的资源, 对正常运营造成极大影响, 通常在繁忙的业务系统上不允许常态化应用。后者一般在业务系统闲时从数据库表中按日、按月抽取数据, 存放在数据仓库中, 能进行复杂的分析, 但也难以及时运营分析, 导致问题发现时间延迟。因此, 设计一套新的方案, 通过读写分离技术将对源系统的影响降到最低, 并具备高性能、低延迟, 适应复杂业务环境, 满足实时、准实时的运营监控分析需求。

一、目标

本方案提供了一种基于数据库日志, 通过结合使用数据实时复制产品如Golden Gate、流处理产品如Stream和内存库如Timesten, 实现对业务受理数据进行及时监控的方法。主要目标是:

1、解决了数据获取的时效性问题。提供了一种基于数据库日志的实时数据获取方法, 数据处理与存储采用流技术与内存技术, 全过程不写磁盘, 在低生产系统开销的情况下提升整体数据获取跟分析的性能。2、实时与准实时数据应用能力。提供高效的实时统计、实时监控与准实时分析能力, 将数据应用的响应时间由传统的天级提升到分钟、小时级。3、辅助快速决策。实时与准实时的数据, 能提供了更广阔的应用场景, 如基于异常业务销售、办理波动, 迅速变更渠道资源如人员排班等工作, 又如库存变更与物流配送时间点合理安排, 提升厅店效率, 实现减员增效。最终实现将传统的业务分析从辅助决策长期目标向提供实时运营, 协助提高企业管控能力, 从而提升了企业数据信息的价值。

二、技术方案

本方案主要组成部分包括数据获取模块、数据处理模块、数据存储模块、数据应用模块、系统管理模块五个部分。各模块的功能具体说明如下:

1、数据获取模块。数据获取模块包括数据实时获取和数据实时加载两个子模块。当业务系统数据库因业务受理、业务回退等种种原因产生数据变动时, 数据获取子模块根据预定义需要监控的表, 通过数据复制产品实时捕获数据库相关变化LOG并转化成可识别的数据格式, 传递到流处理模块或内存库。数据加载子模块获取的数据按既定逻辑要求加载到数据存储模块, 过滤清洗掉与实时分析需求无关的数据, 降低数据存储的压力, 并保证目标系统与源系统的数据一致性。

2、数据存储模块。数据存储模块采用内存数据库作为存储介质, 对数据的进行集中存储与管理, 一方面避免了数据在处理过程中的大数据量交易数据落地写磁盘对分析性能的影响, 保障了处理过程的及时性;另一方面内存数据库也为外部频繁的数据实时读取、调用与分析提供了高效的响应能力。

3、数据处理模块。数据处理模块包括实时数据汇总与准实时数据分析两个子模块。实时数据汇总依托流处理的强大在线汇总能力, 获取并提交展示对及时性要求最高、逻辑相对简单的信息。准实时数据分析基于内存数据库, 按照既定的周期如每10分钟, 对加载的数据做轻度汇总, 并进一步的分析挖掘, 最终提交逻辑相对复杂的分析结果。

4、数据应用模块数据应用模块在获取数据处理模块的结果, 并构建各类业务场景, 如实时统计, 实时监控, 准实时分析等。实时统计面向业务量、收入等最核心的指标, 展示当前累计发展量, 尤其在短期促销时可更显性查看成果。实时监控通过监控波动率, 设定阀值门限等, 及时掌握收入风险、渠道交易异常、库存情况等, 用于管控风险。准实时分析不仅对业务数据做简单的汇总, 还可以通过设定多个维度, 实现更细致的分析, 如各渠道横向对比, 基于时间序列的纵向对比等。

5、系统管理模块。系统管理模块是系统稳定、高效运行的有效保障, 包括调度管理、负载均衡、异常控制等。调度管理具备任务管理、依赖管理、并发管理等功能, 按时间定时生成或者按照事件触发任务, 在满足系统能力或优先级要求时派发, 控制整个系统程序有条不紊执行。负载均衡主要对主机集群的管理, 将应用均衡分配到各主机节点, 充分发挥集群的性能, 以应对实时、准实时分析带来的高并发、高负荷分析与访问。异常控制则在系统出现异常时, 如设备故障、程序故障时, 提供临时解决方案, 确保系统的高可用性。

三、结语

本方案使用数据实时复制技术, 通过抓取数据库日志, 实时获取生产数据并通过流处理转换技术, 对业务受理数据进行实时计算, 或直接输出到内存数据库中进行准实时分析, 最终交付直观展现业务信息。在此基础上能有效提升企业信息的价值, 为实时决策提供更快捷的依据。

业务实时监控方案 篇2

勐腊海关：

我公司投资新建的磨憨国际物流中心因受地理环境限制，仓储及办公场地均建在距离磨憨囗岸约四公里的磨本村。物流中心自设计，建设之初都严格按照海关监管场所的有关要求及规范严格实施，经过多方共同努力，现已基本完成了综合楼.货场.仓库.薫蒸库.冷藏库等物流中心的主体工程, 鉴于物流中心在今后开展的国际货运物流运输过程中由于距离海关检验场地较远，不便于海关实施对监管货物实时，全面监控的实际问题，我们经过咨询.调研初步确定了两套短距离物流货运车辆实时全面监控的解决方案, 现将具体实施方案汇报如下:

一、采用软硬件技术相对成熟的GPS车辆追踪定位监控糸统: 普洱市圣码科技有限公司提供的GPS全球卫星定位车辆安防系统，结合了GPS全球卫星定位系统、GIS地理信息系统，GSM/GPRS全球移动通信系统，计算机网络技术，实现防盗、防劫、反盗、反劫、导航、定位、监控、商务信息服务等功能。

1、全天候全球卫星定位

车载设备内置GPS接收机，可全天侯实时计算本车运动状态信息，主要为：车辆位置（精确到10米）、运行速度（精确到1公里/小时）、运动方向（精确到1度）及时间信息（精确到1秒）；

2、车载设备定位控制

车载设备安装后，便进入24小时开启，以便中心管理员进行统一控制、调度；

定位功能：命令车载单元单次报位；

呼叫功能：命令车载单元按照指定时间间隔自动报位；

3、信息查询

中心控制系统具备丰富的、全面的数据信息，可应客户要求，确认客户识别码后提供下列服务：

车辆信息查询：提供车辆的相关信息查询，例如车辆位置及运动状态、车牌号、车型、驾驶员名称、所属单位及通讯联系方式等；

地理信息查询：提供地图信息、位置标定、道路检索、信息查询，例如沿途主要建筑物、加油站、酒店、火车站、飞机场、公安局、居民区等；

4、车区域报警

控制中心可根据客户需求预设车辆行驶区域，当发现车辆离开行驶区域时，系统自动报警；

5、历史数据记录、分析、回放（选配）

系统自动记录各车辆的运行轨迹、请求服务的次数及具体时间、紧急报警的次数及具体时间、失窃报警的次数及具体时间，根据所保存的历史数据，可在电子地图上回放

所选车辆的实际行车过程，也可在电子地图上快速再现所选车辆的行车路线轨迹及时间，为事后处理路上事故、被盗被抢等事件提供有力证据。

6、看车服务

当按下看车键后，如车辆位置有变动，车载终端立即发出报警信息

7、超速报警

当车辆超过警戒设定的速度时，则中心发出报警信号。

8、分级管理

本系统服务平台可自建，可租用，同时可实现分级管理功能，如在勐腊建立一个监控中心，可在磨憨、关累、等多个地方建立分监控中心，实现分级管理。

9、安装方式

外置安装, 车载终端自带高容量鋰电池和強力吸附磁铁, 不需拆动和改变被监控车辆电路,方便灵活。

10、设备配置

车载GPS终端20套,GPS车辆追踪定位控制软件一套, 监控电脑一台, 总投资约10万元。

GPS车辆追踪定位监控系统拓扑图

二、釆用中国电信3G网络监控系统

无线视频监控系统基于最先进的视频采集与无线通信技术构建，由前端电子设备和中心软件两大部分组成，借助CDMA、3G、WiFi等无线通信网络，可在电脑及手持终端上对各类移动、活动目标进行实时远程监控。

其中，中心软件由运行于信息中心服务器的后台服务，以及运行于PC终端或移动终端上的客户端软件组成，为各级用户提供对设备、账号等基础数据的管理，以及在监控终端上实现实时视频监控与录像下载、回放功能。无线网络视频监控系统是无线网络技术应用最多的领域之一。无线网络视频监控系统主要用于对重要区域或远程地点的监视和控制，视频监控系统将被监控点实时采集的视频文件，GPS数据及时地传输给监控中心，实时动态地报告被监测点的情况，及时发现问题并进行处理。

采用无线网络视频监控解决方案，无需铺设网络电缆，可迅速方便地在各种需要的地方布署数字摄像设备，建立新的视频监控系统或对现有的视频监控系统进行扩展，具有很强的灵活性和可扩充性。采用宽带无线接入设备，可以将多个被监测点与中央控制中心连接起来，且搭建迅速，可以在最短的时间内迅速建立起无线链路。现场监控点安装的摄像机所摄录的实时和高分辨率的视频图像通过宽带无线接入设备进行传输,并可以完成对远程监控点的实时控制。设备配置：

车载式DVR双路音視频服务器20套，吸顶式车载摄像机40套，高灵敏防水防震拾音器20只，话筒20只，7英寸车载液晶显示屏（带喇叭）20台，24伏转12伏电源转换器20套，服务器平台租金每年2.85万元, 监控电脑1套,总投资约60万元。

无线网络视频监控系统拓扑图

结合上述短距离监管车辆监控方案的实施, 我们还准备抽调3名专职安全监督员, 配备对讲通信设备, 手提电脑等专业器材, 积极配合海关监管部门对监管车辆实施由磨憨国际物流中心至口岸海关査验场地的全程押车监控

磨憨金孔雀交通运输有限责任公司

业务实时监控方案 篇3

提供云计算的数据中心通常由大量的硬件、软件资源相辅相成, 共同对外提供服务。他们的关系和行为复杂而不可预测。为了保证服务的可靠性和服务质量, 通常需要有专门的监控系统对这些资源的状态和性能进行实时或准实时的检测。而传统的集中式监控, 无法做到可伸缩和水平扩展, 面对如此巨大的数据量更没有办法做到秒极的实时监控任务。因此需要一个全新的监控架构体系。Opentsdb正是专门为这种数据的处理和存储进行设计的一个开源数据库软件。

2. opentsdb设计简介

(1) 特点

opentsdb是一种开源的, 架构在hadoop和Hbase之上的时间序列数据库。具有分布式、可伸缩的特性。能够提供毫秒级时间精度的数据存储、支持极强的并发读写数据能力。同时得益于hadoop和hbase, 它具有趋于无限的存储扩展能力。

(2) 数据模型 (schema)

opentsdb每条数据包含以下属性

a:metric (指标) , 即监控指标, 比如监控主机的cpu使用率可以定义为 (cpu_usage)

b:value (值, 64位整数或单精度浮点数) 表示指标的实际值, 比如上面的80%

b:timestamp (uinx时间戳, 秒或者毫秒) , 比如上面的12:00

d:tags (标签, 由tagk和tagv组成用于描述指标的属性) , 比如为了描述某台主机的cpu使用率, tags为host=192.168.0.1

(3) 存储优化

opentsdb的底层hbase存储是根据rowkey来分区的, 将大数据的表按rowkey水平切分成多个region, 每个region由region Server提供服务。因此一个良好设计的模型必须保证数据的读写在每个节点上均匀分布, 这样才能充分发挥分布式集群的特性。为了提高数据的读写效率, 对模型进行了以下优化.

a:缩小rowkey, 为每个metric、tagk、tagv分配三个或四个固定长度的字节,

这样即节省了存储空间, 和网络流量, 同时提高了查询效率, 减少了jvm的内存占用

b:减少key value数, 按行合并 (多行单列变成单行多列) , 然后再按列合并 (单行多列变成单行单列)

c:指标 (metric) 预分桶, 减少对热数据的写压力

3. 系统功能架构图

(1) 数据采集

在被监控对象部署专门的采集Agent, 周期性对主机、数据库、中间件等对象进行数据的采集, 产生规范化的配置和指标数据, 将其发送至消息队列中间件 (AMQP) 。Agent提供JAVA、C、LUA的API接口及源代码库, 支持SHELL、JDBC、JMX、SN-MP、SYSLOG等方式的采集手段。

(2) 数据处理

Sever端监听并接收消息队列里面的指标数据, 对消息进行解析, 同时对性能数据进行运算, 聚合, 产生新的性能指标, 将原始指标和计算后的指标数据通过opentsdb的API存储到Hbase里面。性能处理程序同时对指标进行阀值规则匹配, 对于超阀值的指标数据, 产生告警消息发送给告警处理程序处理。

告警处理程序接收告警消息, 对消息进行排重、过滤、重定义, 形成归并后的告警信息存储到oracle中, 同时匹配告警通知规则, 将相应的告警信息短信、邮件通知给相应的运维人员。

配置处理程序从不同的队列里面接收配置消息, 转换、解析后存储到oracle。

系统接口层提供rest接口, 接收其他系统发送的性能消息, 进行解析、验证、转换成规范的消息格式转发到内部消息队列。

(3) 用户接触层

告警台集中显示来自数据采集层和数据处理层经过相关处理后的告警事件, 确保运维人员可以及时响应来自平台和软件的分级、分类的告警。运维人员可以监视到被管对象的实时告警事件和处理后的告警事件, 并对相关告警进行告警确认、清除等操作

性能展示提供被管对象历史和当前性能数据的查询、分析功能。提供多种形式 (如表格、直方图、曲线图、饼图等) 的性能查询、统计结果显示, 并可将其进行存储和输出打印, 提供定制性能报表的灵活性。

规则配置提供告警归并、重定义、过滤、排重、性能阀值等规则配置和管理

4. 后记

本文大致介绍了基于Opentsdb的分布式实时监控方案。该技术在已在某企业上线并投入使用。随着信息化系统的逐渐互联网化, 被管资源爆炸式的增长, 同时pc机和虚拟资源的大量使用, 对这些资源的实时监控已经成为运维的头等大事。随着系统的建设, 将大大减轻运维人员的工作量, 保证生产系统的稳定运行。

参考文献

[1]“Opentsdb, a distributed, scalable time series database, ”2010-2012, -http://opentsdb.net..

[2]“Apache HBase, ”2007, -http://hbase.apache.org/.

[3]“Hyperic, open source systems monitoring, server monitoring, and it management software, ”2012, -http://www.hyperic.com.

[4]“SEEDS-Self learning Energy Efficient buil Dings and open Spaces.”[Online].Available:http://www.seeds-fp7.com/.[Accessed:13-May-2014]

[5]“Big Data-Datatilsynet.”[Online].Available:http://datatilsynet.no/Nyheter/2013/Big Data-rapporten/.[Accessed:13-May-2014]