实时分析

实时分析（共12篇）

实时分析 篇1

电力网的电能损耗率简称线损率, 它是电力系统的综合性技术经济指标, 也是国家考核电力部门的一项重要经济指标, 线损计算也是供电部门的主要技术工作之一。

1 提出背景

1.1 实时线损计算的提出

结合城乡电网的建设和改造工作, 努力降低电能损失和功率损耗、加大降损力度、倡导和实施节能用电, 对有效提高电力资源的综合利用率, 改善我国电力能源日益紧缺的局面, 向全社会提供更多的优质电力资源, 促进社会的经济建设和发展起到了良好的推动作用。因此, 做好线损管理与节能降损工作是电力企业提高供电水平、提升服务质量, 提高社会效益和经济效益, 增强企业实力, 开展优质服务, 建设‘一强三优’的现代公司的重要保障工作。

随着变电站远程抄表系统的建设和用户端远程抄表系统的建设和日趋成熟的现场电能量采集技术, 实时数据已能够准确无误的集中到供电公司后台数据库里, 给开发研制实时线损管理系统提供了坚实的硬件基础。

我们需要将两个系统进行有机的结合, 建立实时线损管理系统, 实现在监测中心集中管理各考核单元的线损率, 实现全公司统一的线损管理由“管理结果”到“管理过程”的根本性转变。

1.2 实时线损计算的目的

实时线损管理系统以SG186系统数据和远程抄表数据为基础, 通过从现有的变电站、负控、高压和公用变台系统中实时提取相关的数据, 实时计算线路线损、分段线损 (峰、谷、平段) 情况以及线路分支线损, 来辅助供电企业进行用电决策, 构建综合线损分析辅助系统, 实现实时线损计算和管理, 达到设备管理数字化、业务管理无纸化、数据分析自动化的目的。

1.3 实时线损计算的作用

(1) 从总体上可以将线损中的技术线损和管理线损区分开来, 并及时发现计量故障和用电异常情况, 以便及时对计量故障和用电异常进行检查和处理。

(2) 将线损按照电压等级, 线路, 变压器和管辖区域进行分类统计为管理考核提供数据支持, 并与现行管理机制相适应。

(3) 能够给出各种线损统计, 指导确定降损方案的制定, 并给出降损措施的效果分析。

2 电力网线损研究的意义

2.1 线损的定义

在输配电过程中, 电能的传送和电磁转换皆是通过电流来实现的, 电流通过导线时要产生损耗。此外, 运行在网络中有大量的输配电变压器、电容器、开关、仪表等设备, 这些设备本身也要消耗一定的能量。因此, 工程上把给定时间内, 电网中所有元件产生的电能损耗称线损电量, 简称线损。

2.2 研究线损的意义

(1) 提供评价电力系统电网结构及运行方式经济性的依据。

(2) 确定电网中损耗过大的元件和设备并找出损耗大的原因。

(3) 考核实际线损是否真实、准确、合理, 根据实际线损与理论线损的差值确定管理线损的多少, 以衡量营业管理的水平, 以便采取措施把线损降低在一个比较合理的范围内。

(4) 根据理论线损中导线的损失电量和变压器损失电量所占的比重, 以固定损耗和可变损耗所占的比重, 可找出电网中的某些薄弱环节, 以确定技术降损的目标, 以采取有效措施不断降低线损。

(5) 为制定线损计划指标、采取降损措施、总结节能用电成果提供理论依据。

(6) 为电网的发展规划、改进计划提供科学依据。

3 系统设计方案及功能介绍

3.1 设计目标

电网实时线损分析系统旨在建立一个供电企业内部的实时线损数据在线监测和分析处理平台。该平台利用供电企业内部局域网, 将与线损计算相关的SG186营销业务管理系统、变电站远程抄表系统、用电信息采集系统等相关数据有机的结合起来, 实现实时线损计算分析。

通过信息技术、无线通讯技术、数据仓库技术、JSON数据交换格式等现代技术手段, 实现一个完整的智能化用电检查管理平台, 从而形成一个智能化分析、信息化管理、无纸化办公、实时数据处理的立体化管理平台。

3.2 设计原则

在系统建设上, 系统可按照以下原则进行建设:

(1) 以数据为核心、以业务为支撑、以服务为目的。

(2) 先进性与实用性相结合的原则, 能够进行灵活调整, 适应用电检查工作的实际情况。

(3) 兼容性和可扩展性。

(4) 可操作性、易用性原则。

(5) 可维护性。

(6) 渐进式实施原则。

(7) 系统安全机制。

3系统实现的功能

(1) 自动从SG186系统中提取线损计算所需要的相关档案数据, 并根据SG186系统数据的变化而自动更新, 完全做到自动提取、无需手工操作。

(2) 自动从科林变电站远程抄表系统与南瑞远程电能抄表系统中, 提取计算线损所需要的抄表数据, 形成以小时线损、日线损、月线损的整套线损数据。

(3) 能够计算110KV变电站的主变三侧平衡、母线平衡等母线电量平衡计算。

(4) 实现实时线损的计算, 便于对线损异常情况进行监测, 及时有效地发现计量故障和用户违章窃电行为。同时可以任意调取2个时间段线路供电量和该线路下的所有变压器总表的用电量为售电量, 计算该时段的线损率, 从中发现异常情况, 并可以将线路线损指标与线损进行实时对比分析及处理。

(5) 通过对重点线路的24小时线损实时监测, 提供单条线路日线损统计对比图和24小时线损对比图, 达到线损的精细化管理。

(6) 准确的核对SG186系统中录入的表底与当天抄表时的远传表底是否相符, 给电量计算提供了准确的、快速的核对工具。

(7) 监测预付费装置状态, 分析预付费用户数据是否存在异常。

4 效益分析

4.1 经济效益分析

4.1.1 直接经济效益

此系统最早在一个供电所全面开展, 该供电所月平均售电量1100万kwh, 实行实时线损率监测后, 10KV线损率降低了1个百分点, 即每月节约了10万kwh电量, 每年多收回100万kwh电量, 折合60万元, 可谓效益可观。是一个投资小效益高的项目。

4.1.2 间接经济效益

用电检查人员出动的人/次数减少, 不用再对整条高损线路盲目普查, 只需对电量异常户进行筛查, 减少了人力物力的开支。

4.1.3 社会效益分析

通过本系统的智能监测和科学分析准确诊断用户计量设备的运行状态, 及时发现故障, 最短时间内进行故障处理, 保证了用户和本公司计量设备的安全长期运行。发现电能计量有异常的及时能够与用户进行协商追退电量的问题, 将问题解决在萌芽状态, 杜绝了计量设备故障运行发现滞后, 不仅损失了电量, 还给追加电量的工作造成很大麻烦, 通过此系统, 使用户和供电公司人员心里都有一个明白帐, 用户工作比较容易做通, 增加了社会效益。

5 项目的实施及应用效果

5.1 项目启动

在各级领导的关心和支持下, 无极县供电公司“电网实时线损分析系统”于2011年10月启动建设。为顺利完成此项目, 我们成立了以无极县供电公司营销部人员为基础人员, 聘请其他科研机构为外协的科技开发小组。项目建设初期, 为保证“电网实时线损分析系统”的顺利快速实施, 公司组织了专门的研制小组, 组长由公司经理担任, 主管营销副经理兼副组长, 小组成员有营销部、计量中心、调度通信、计算机网络管理、供电所还有软件公司等部门的人员。分工明确, 任务落实到人, 考核到人。

在项目实施过程中得到北京市供电公司海淀分公司、石家庄供电公司发展策划部、营销部等部门相关专家的大力支持和有力的技术指导。

5.2 电网实时线损分析系统的应用

系统达到了设计规范的要求, 具备良好的人机互动界面, 操作简单易学, 适合于大面积推广。

系统采用的产品和技术符合国际、国家或行业标准。

系统共享变电站和用户端远程抄表数据, 共享SG186数据, 实现了数据的格式统一。

系统提供开放的操作平台, 在局域网上的任何一台电脑都能查询实时线损率数据和曲线、表格。

系统具有严格的安全性:通过权限设置只有1台维护电脑可以进行基本档案的维护, 保护数据不被非法截获或非法修改。

系统的应用是线损管理过程中一个突破性改革, 提高了生产力, 提升了管理水平和管理效率, 把管理人员从数字中解脱出来, 使管理人员有更大的时间侧重于发现问题和解决问题。

摘要：电网实时线损分析系统以国家电网SG186营销业务管理系统为基础, 集成变电站远程抄表管理系统、用电信息采集系统, 形成一个完整的数据综合管理分析平台。它集计算机技术、通讯技术、网络技术、数据库技术为一体, 以实时采集的电网运行数据为计算数据的来源, 对这些分散数据进行分析, 得到配电网接线结构, 实现线损数据的在线监测、自动生成、实时分析, 帮助供电企业及时发现计量故障和违约用电情况, 为供电企业节能降损提供数据来源与技术支撑。而降低线损率等于在企业生产成本不变的前提下提高企业的经济效益, 对于供电企业而言具有重要的意义, 是提高电网经济效益的一个主要途径。

关键词：实时线损计算,在线监测,降损分析

参考文献

[1]张锋, 江道灼, 黄民翔.基于配电监测数据的19kV配网实时三相线损计算[J].继电器, 2003.

[2]许绍良, 宋冶, 苗竹梅, 等.电力网电能损耗计算导则[M].北京:中国电力出版社, 2000.

[3]孙宏斌, 高峰, 孙伯明, 等.最小信息损失状态估计在拓扑错误辨识中的应用[J].中国电机工程学报, 2005.

[4]朱发国.基于现场监控终端的配网线损计算[J].电网技术, 2001.

[5]宋卫星.县级电力MIS系统总体设计与用电营销系统的实现, [硕士学位论文], 北京:北京交通大学, 2002.

实时分析 篇2

滑坡实时监测就是在滑坡灾害体上实行滑坡变形动态同步的监测,从而掌握监测对象变形动态和发展趋势.向家沟滑坡是巫山县地质灾害实时监测预警示范站一个典型监测点,滑坡威胁着其上的医院、学校、居民及其下方港口码头,对其实时监测数据进行分析,从而对实时监测系统运行状态和滑坡现状进行简要评价.

作 者：杨秀元 高幼龙 董时俊 李刚 YANG Xiu-yuan GAO You-long DONG Shi-jun LI Gang 作者单位：杨秀元,高幼龙,李刚,YANG Xiu-yuan,GAO You-long,LI Gang(中国地质调查局水文地质环境地质调查中心,保定,071051)

董时俊,DONG Shi-jun(中铁第四勘察设计院集团有限公司,武汉,430063)

Linux实时性能分析与优化 篇3

关键字：Linux；RTAI；负载均衡调度算法

中图分类号：TP316文献标识码：A文章编号：1007-9599 （2011） 06-0000-01

Linux's Real-time Performance Analysis and Optimization

Huang Chengmao,Liu Xianqiang

(School of Optoelectronic Information,University of Electronic Science&Technology,Chengdu610054,China)

Abstract:Linux is a time-sharing operating system,its real-time performance is not perfect.We can reconstruct the Linux to meet real-time needs.This paper studies the defects of real-time applications which based on linux kernel 2.6.29,and presented the mothod to imporve the real-time performence in two ways.

Keywords:Linux;RTAI;Load balancing scheduling algorithm

Linux是一个分时操作系统，对实时任务的响应时间存在很大的不确定性和不可预测性，若将其直接应用在实时性要求比较高的硬实时环境中，就必须对Linux内核做一些改进。

一、改善嵌入式Linux实时性能的方法

（一）本文首先要介绍一种基于ADEOS的RTAI改进方法

ADEOS（Adaptive Domain Environment for Operqating System）是在已有的操作系统下插入一层，通过向上层的多个操作系统提供一些原语和机制，从而实现硬件共享。RTAI（Real-Time Application Interface）是面向模块的，利用Linux提供的内核机制完成实时任务和提供实时服务

1.基于ADEOS的RTAI-Linux的构建，它主要包括下面几个步骤

（1）获得标准Linux内核源码和RTAI触源代码；在本文中我们用到是Linux-2.6.29内核版本。

（2）将标准Linux-2.6.29内核源代码打上ADEOS和RTAI补丁。具体的操作如下：

#cd/usr/src/linux-2.6.29 /*首先进入到保存了内核代码的目录中*/

#path-pl -b<../rtai -3.5/base/arch/pathes/hal-linux-2.6.29-i386-1.7-01.patch

（3）进入Linux内核目录，进行内核配置与内核编译、接着要安装编译好的模块，最后还要进行内核配置，把支持ADEOS和RTAI的选项编译进内核。

（4）运行RTAI实时内核，我们只需要将已经编译好的各个模块安装到系统中即可。加载已经编译好的模块操作如下：

# cd /usr/realtime/modules /*进入到modules的目录中*/

#insmodrtai_fifos.ko /*加载编译好的rtai_fifos.ko模块*/

#insmodrtai_kshed.ko /*加载编译好的rtai_fifos.ko模块*/

#insmodrtai_hal.ko /*加载编译好的rtai_hal.ko模块*/

2.基于ADEOS的RTAI-Linux的实时性能测试

测试平台：Intel P4 1.8GHz、内存512M；内核Linux-2.6.29+RTAI3.5；测试过程：对内核空间进行2个小时周期为10000ns的响应测试；测试结果如表1所示。

其中，AD_MAX表示从开始测试到当前响应提前的最长时间；DE_MAX表示从开始测试到当前响应延时的最长时间；OVER表示响应大于10000nS的次数。从表1可见，RTAI内的最大提前为229ns，响应的最大延时为4000ns，可见RTAI的响应时间可达到几us以内，可以很好的满足实时性能的需求。

（二）运用负载均衡调度算法

系统在执行的过程中，虽然所有的嵌入式应用都要求有实时性的要求，但是并不意味着所有的应用都一定具有实时性。在实时任务里，先将硬实时任务、软实时任务和非实时任务区分开来，从而采用不同的调度策略来满足硬实时任务的时限要求。所以便有了另一种比较实用的方法来改善系统实时性能，即：负载均衡调度算法。通过运用负载均衡调度算法实验测试的结果如表2所示。A[5]，A[50]，A[300]分别表示客户端发出5个，50个以及300个HTTP请求。T1为未使用负载均衡调度算法的平均响应时间，T2为使用负载均衡调度算法的平均响应时间。

由表2可见，负载均衡调度算法起了很大的作用，并且有效的提高了系统的实时性能。

二、结束语

本文对嵌入式Linux的实时性作了一些探讨，并且着重在提高嵌入式Linux的实时性能方面提出了两种解决方法。相信随着实时性能饿不断完善，Linux会得到越来越广泛的应用。

参考文献：

[1]刘松林.在嵌入式应用中增强Linux实时性的方法研究[J].咸宁学院学报,2004,24,6

[2]白小明,邱桃荣.Linux的嵌入式实时操作系统的研究[J].微计算机信息,2006,2:78-80

[3]毛得操,胡希明.Linux内核源代码情景分析[M].杭州:江大学出版社,2001

[作者简介]黄成茂（1986-），湖南常德人，在读硕士研究生，专业：电路与系统，研究方向：嵌入式系统；刘显强（1986-），四川泸州人，在读硕士研究生，专业：电路与系统，研究方向：嵌入式系统。

实时能效分析及智能评级方法 篇4

关键词：电力用户,能效分级,RBF神经网络

面对逐步增大的电力发展压力, 各国都在采取措施进行节能减排, 提高电力能源效率。能效电厂 (Efficiency Power Plant, EPP) 项目是通过能效测评措施降低需求侧耗能, 节约的电能相当于发电厂所发的电, 其产生的效果与建设实际电厂一样。美国加州运行EPP项目, 在维持经济持续增长的情况下, 全社会用电量降低了6%[1]。日本通过能效“领跑者”计划的实施, 使得全社会能效升级[2]。在广州, 19家企业25个EPP项目在2009年正式实施以来, 已经实施完成并测评的项目可实现年节电8.3亿千瓦时[3]。由此可见, EPP项目在各国的实施促进了节能减排, 具有显著的社会效益。

能效分级是能效分析的基础, 根据企业各能效环节的评级结果, 可制订出有针对性的节能方案, 为全社会实施节能改造及节能考核提供科学准确的依据。现有的对能效电厂的关注点主要集中在能效电厂规划建模、能效电厂的项目的节电潜力优化模型以及考虑能效电厂的项目电力系统模拟等方法上[4,5,6], 对能效分析以及能效分级的研究较少。传统的研究运用层次分析法[7]进行能效分析, 权重和结果完全依赖专家经验, 有较大的主观性。本文引入RBF神经网络方法, 以其为核心建立电力用户RBF神经网络模型对实时数据进行科学能效分析并评级。该方法兼顾了主观性和客观性, 比传统方法更迅速、准确。

1 RBF神经网络

RBF (径向基函数) 神经网络是一种局部逼近的神经网络, 具有学习速度快、逼近能力强和分类能力好的特点。RBF神经网络有3层:第1层为输入层, 神经元个数等于输入的维数;第2层为隐含层, 神经元个数根据问题的复杂度而定;第3层为输出层, 神经元个数等于输出数据维数, 其网络结构如图1所示。

RBF神经网络的学习过程分为两个阶段, 第一阶一阶段, 根据所有的样本决定隐含层各神经元的高斯基函数的中心值和标准化常数;第二阶段, 在决定隐含层参数后, 根据样本, 利用最小二乘原则, 求出输出层的权值。

在RBF网络中, 隐含层节点通过基函数实现非线性编号, 将输入空间映射到一个新空间, 输出节点在新空间实现线性加权组合。基函数一般选用高斯函数, 其是具有径向基的函数, 其中心向量被定义为网络输入层到隐含层的连接权向量, 这个特点使得隐含层对输入样本有聚类作用[8]。

高斯函数表达式

式中, x是n维输入向量;Ci是第i个基函数的中心, 与x具有相同的维数;ei是第i个隐含层节点的变量, 决定了该基函数围绕中心点的宽度;m是隐含层的节点数;是向量x-ci的范数, 通常表示x和ci之间的距离。基函数对输入信号在局部产生相应, 即当输入信号靠近基函数中央范围时, 隐含层节点将产生较大的输出, 因此这种网络具有局部逼近能力。

输入层实现了x→Ri (x) 的非线性映射, 输出层实现了Ri (x) →yk的线性映射, 输出函数即

式中, p为输出节点数;wik为隐层单元与输出层单元的连接权重。

2 实时能效评级的RBF神经网络模型

建立电力用户实时能效评级的RBF神经网络模型主要分为5个阶段: (1) 选定能够反映对象特性分级指标, 并建立科学的分级指标体系。 (2) 建立能效分级标准及分级处理。 (3) 确定RBF神经网络的理论输出值, 并建立用于训练和验证神经网络的样本集。 (4) 进行仿真, 根据网络训练结果, 确定用于能效分级的RBF神经网络结构, 及样本分界数据。 (5) 利用建立好的RBF神经网络模型对待分析的实际对象进行智能评级。

2.1 能效指标体系构建

指标体系是智能评级的基础。指标的选择好坏在智能评级中的作用举足轻重[9]。本文将指标体系划分为宏观评价指标和微观评价指标两个层级。

通过能效测评系统对某企业半年来的数据统计与分析, 初步认定能效指标集如下:宏观评价指标分别为电能能效指标、电能污染能效指标和经济能效指标;微观评价指标中, 电能能效指标可细分为4项评价指标, 电能污染指标也可细分为4项评价指标, 再加上经济能效指标, 共计9项评价指标, 分别对电力用户的电能、环境和经济3方面进行能效分析, 较全面地反映了用电企业的能效水平[10]。该企业的电力用户综合能效分析指标体系, 如图2所示。

2.2 能效指标体系标准及分级

参照电能质量标准, 将能效单项指标在标准范围内划分为3个等级, 为质量合格时的等级划分。将超出标准范围内的各能效单项指标划分为4个等级, 为质量不合格时的等级划分。这样的划分有利于在能效合格时, 精细考察能效情况, 而在能效不合格时大范围考察能效问题。从1~7级, 能效标准逐级下降, 1级为优质能效等级、2级为良好能效等级、3级为合格能效等级、4级为轻微污染能效等级、5级为轻度污染能效等级、6级为中级污染能效等级、7级为严重污染能效等级。能效指标分级标准如表1所示。

2.3 RBF神经网络理论输出级样本集

表1中各单项能效指标值为网络的输入, 即x1~x9。能效分级的等级值即为网络中的输出yk, 由于每组样本只有一个等级值, 因此网络只有一个输出K=1。RBF神经网络模型的理论输出对应于1~7级, 网络的理论值输出分别为1、2、3、4、5、6、7。

首先根据表1, 利用随机分布原理, 在各评价等级内随机生成指标, 例如对于第1等级:x1≤0.5, 0.5<x1≤1, 1<x1≤2, 2<x1≤3, 3<x1≤4, 4<x1≤5, x>5。通过上述区间内随机取值的方法可以生成任意多的样本, 同理也可生成其他等级的样本。本实例从样本集中选用350个样本作为神经网络的学习样本, 700个样本作为训练样本。

3 算例分析

本文采用Matlab R2013a分析软件进行分析。网络设置的误差容限为0.01, 经过12.23 s后, RBF网络满足要求, 此时, RBF网络的隐含层神经单元为26。图3给出了700个测试样本的详细等级分布。

在实际生产实际中, 各用电企业对象的能效等级大多分布在第1等级到第4等级之间, 因此这里着重关注这4个等级的数据分布情况。

由图3可看出, RBF模型在第1等级的平均绝对误差是0.059 8, 相关系数是0.999 026;在第2等级的平均绝对误差是0.112 0, 相关系数是0.998 236;在第3等级的平均绝对误差是0.098 7, 相关系数是0.999 223;在第4等级的平均绝对误差是0.079 8, 相关系数是0.999 001。这些数据表明, 检验样本与测试样本具有相近的拟合能力, 网络的泛化性能好。

样本的分界数据分别为1.459 8, 2.478 3, 3.534 2, 4.469 1, 5.542 1, 6.440 7。因此, 例如对于网络的输出, 值在 (0, 1.459 8) 为第一等级, 在 (1.459 8, 2.478 3) 为第二等级, 其他等级以此类推。

为验证网络适用性和实时性能, 选取2014年7月上海市某企业1~5楼办公楼所有空调的能效情况, 其中选取负荷最大日和负荷最小日的24小时实时能效, 结果如图5所示。

由图4所示, 负荷最大日与负荷最小日的能效等级都分布在第1等级与第3等级之间, 并且这两天的早上8点至晚上8点能效等级都比其他时间段内的能效等级高, 表明早上8点至晚上8点该时段的能效状况不理想。其原因在于, 这期间是工作日时段, 由于其他设备的开启, 为保持设备温度, 需要空调设备持续运转, 再者, 该企业的部分空调设备老化, 耗能增加。

对比负荷最大日与负荷最小日, 可得出负荷最小日的24小时实时能效是要普遍好于负荷最大日的实时能效, 这是因负荷最大日发生在周一, 且当日气温接近36℃, 并且其他设备由于生产任务都高速运转, 负荷最小日发生在周日, 气温是28℃, 且企业只有少量值班人员。负荷最小日的能效等级最大值出现在11点, 负荷最大日的能效等级最大值出现在12点。两日的最大值都出现在中午, 表明温度对空调能效的影响较大。

分析图4可以得出, 该模型具有较强的实时性, 且较好的反映了监测对象实时能效的变化, 适用性较高, 为节能治理提供了较好的依据。

由以上分析, 该企业可采取淘汰落后的空调, 更换为变频空调。再者, 可将部分生产挪到晚上20点后, 从而减少空调的超负荷使用时间。

4 结束语

实时分析 篇5

摘要：H.263是面向运动图像远程实时传输的压缩方法。基于大量实际研究，分析了H.263的算法流程，从色彩空间转换函数、DCT、IDCT、运动估计和运动补偿等多方面提出并实现对H.263的优化策略，采用增强PB帧模式提高压缩比，最后给出了定量测试结果。

关键词：H.263 CIF DCT IDCT运动估计与运动补偿

运动图像远程实时传输系统的网络传输部分架构在Internet之上，则现阶段Internet的状况是带宽小、延迟大、不稳定。所以为了获得良好的实时传输效果，除了改善传输控制机制之外，还需要实现高压缩比、低耗时、能达到实时压缩和解压缩效果的运动图像压缩方法。H.263是国际电信协会-电信标准化部门ITU-T（The International Telecommunications Union-Telecom-munication Standardization Sector）于1995年通过的用于低比特率实时传输的视频编码协议。其设计初衷是满足带宽低于64kbps的低带宽视频应用需求，如视频会议、可视电话等。现在H.263也被应用于运动图像远程实时传输系统中，但原始的H.263在实时性和压缩比等方面还有不少可优化余地。本文针对具体的运动图像远程实时传输系统应用，在大量研究工作基础上提出多个H.263的优化策略，并取得了相当好的效果。

1 H.263压缩算法的分析概要

H.263的输入视频帧格式为QCIF（Quarter Common Intermediate Format,大小为176×144）、CIF（Common Intermediate Format,大小为352×288）等。将每个视频帧分成许多宏块（MB-Micro Block），每个宏块由4个Y亮度块、1个Cb色度块和1个Cr色度块组成。块（Block）的大小为8×8。H.263以宏块为单位进行视频帧的压缩。

H.263使用离散余弦变换DCT（Discrete Cosine Transform）减小空间冗余，使用运动估计和运动补偿（Motion Estimation and Motion Compensation）减小时间冗余。H.263有两种编码方式，一种是Intra方式，帧内编码，产生的帧作为关键帧-I帧；另一种是Inter方式，帧间编码，产生的帧作为非关键帧-P帧。

通过分析，将H.263压缩算法的流程图归纳为如图1所示。

通过分析和测试表明，DCT、运动估计和运动补偿是H.263最重要的部分，同时也是H.263实现中最耗时的`运算环节。要提高H.263的运算速度，就要针对这些环节进行优化。

图1 H.263压缩算法流程图

2 转换函数、DCT和运动估计环节的优化

2.1 色彩空间转换函数的优化

CIF格式基于YUV色彩空间，而应用程序中，大多数视频采集程序只提供RGB色彩空间的视频帧，因此需要建立从RGB色彩空间到YUV色彩空间的转换函数。

RGB到YUV的转换函数如下所示，其中Y为YUV色彩空间的亮度值，U（Cb）和V（Cr）为YUV色彩空间的色度值。

Y=0.299×R+0.587×G+0.114×B；

Cr=V=(R-Y)×127/179;

Cb=U=(B-Y)×127/226;

H.263原有的色彩空间转换算法采用浮点运算，但浮点运算会消耗较多的CPU周期。为了加快视频处理速度，采用整形乘法和向右移位来代替浮点乘除，从而有效缩短了转换时间。

优化后的转换函数如下：

Y=((R×313524)>>20)+((G×615514)>>20)×((B×119538)>>20);

Cr=V=((R-Y)×743962))>>20;

Cb=U=((B-Y)×589244))>>20;

2.2 DCT、IDCT算法的优化

二维DCT公式为：

(本网网收集整理)

二维IDCT公式为：

上述两式中，,n取8。

通过分析得出，DCT快速算法的实现可以有两种方式。一种方法是把已有的快速变换算法（如FFT、FHT等）映射到DCT计算中，这种方式多了一个映射环节，增加了计算的复杂度；另一种方法是从DCT变换本身寻找规律进行改进。

在H.263应用中，注意到两条规则：一是能量集中在少部分DCT系数上；二是随着量化步长的增大，被量化为零的DCT系数增多，而且对DCT计算的精度要求降低。于是，采用一种零系数预测策略，即根据量化步长，首先对DCT变换的输入数据分类，对于给定的量化步长，如果输入数据将要被量化为0，那么这些数据就不必做DCT运算，而直接将变换结果置为0。这样只需对部分数据进行DCT变换，因此节省了大量无效运算。另外，利用DCT的局部并行性，使用Intel的多媒体处理指令集-MMX来实现DCT计算，大幅度提高了运算速度。

2.3 运动估计与运动补偿算法的优化

运动估计是指在参考帧中搜索一个与当前帧图像块最相似的图像块，即最佳匹配块，搜索结果用运动向量来表示。运动补偿是指利用参考帧和已求得的运动向量重构当前帧，氢重构帧和当前的差值作为当前帧的补偿值进行压缩编码。两者互相配合，共同实现压缩效果。

运动估计算法的研究从两方面着手：快速搜索算法和块匹配准则。

最简单的搜索算法是全搜索法（FS），这种算法精度高，但计算量过于庞大。为了加快运算速度，保证精度，人们提出了很多快速搜索算法：三步法（TSS）及基于三步法的改进算法、二维对数法（LOGS）、交叉搜索法（CS）、四步法（4SS）、预测搜索法（PSA）、钻石搜索法（DS）等。钻石搜索法是迄今为止综合性能最优的快速搜索算法之一，用于本次项目研究中。

块匹配准则决定何时找到最佳匹配块，从而终止搜索进程。传统的准则有绝对平均误差函数（MAE）、互相关函数（CCF）、均方误差函数（MSE）、最大误差最小函数（MME）等。由于传统方法没有考虑人眼的视觉特性，所以判断结果和人眼的感知相差较大。实际H.263采用的块匹配准则为MSE的替代准则SAD（绝对差和），两者的公式如下：

其中：F0和F-1分别代表当前帧和重构帧（参考帧）；k,l为待编码宏块在当前帧中的坐标；x、y为重构帧中参考宏块的坐标；N表示宏块的尺寸，此处为16。从公式中可见，SAD用绝对值运算代替了MSE的乘方运算，明显降低了运算量，从而可以加快计算速度。

测试表明，SAD的计算量要比MSE的计算量减少三分之一，而它们的图像效果相当。

此外，还可以利用硬件特性加速块匹配准则的运算速度，Intel的MMX技术提供了这种特性。SAD等块匹配准则主要针对短数据的重复计算，MMX增加了系统单个指令操作数据的数目（SIMD），从而可以在一个指令中完成多组数据的计算，实现并行机制，从而加快运算速度。

3 提高压缩比的选择

H.263提供了许多高级模式来提高视频压缩比。从对压缩效率的贡献角度看，大运动向量模式、高级预测模式、PB帧模式和增强PB帧模式是最重要的4个高级模式。

在大运动向量模式和高级预测模式下，运动向量可以指到图像边界以外，增大了运动向量的表达范围，从而在本质上提高了运动补偿的精度以改善编码效率。

基本PB帧模式下，一个PB帧是一个P帧和一个B帧组成的整体。当前P帧由前一个P帧预测得到，B帧则由单一个P帧和当前P帧预测得到（见图2）。PB帧模式在增加较少比特数的情况下，将帧率提高了近一倍。

增强PB帧模式的主要改进点在于预测方式的增强。基本PB帧模式对B帧图像（或宏块）仅允许使用双向预测，而增强的PB帧模式对B帧图像则允许使用前向预测（见图3）、后向预测（见图4）和双向预测（见图2）三种手段。这样，在压缩过程中，有机会选择更适合的预测方法处理B帧图像（或宏块），从而提高B帧的压缩效率。基本PB帧模式的B帧只能通过双向预测获得，这对慢速运动图像效果较好。当输入运动图像存在快速不规则的运动时，B帧质量会急剧恶化，而增强PB帧模式的B帧有三种预测方式可选，可以解决这一难题。通过分析和测试表明，增强PB模式比基本PB帧模式有更强的鲁棒性，更适用于运动图像远程实时传输

。

大运动向量模式和高运动预测模式由于增大了运动向量的表示范围，可以增强运动补偿的精度，从而提高压缩比；而增强PB帧模式引入B帧，有三种预测方式可以生成B帖，在相同帧率的情况下，将压缩比提高近80%，压缩效果明显。在实际程序设计中，笔者配合传输环境测试模块，在网络带宽较低时实现这三种方式的配合使用，发挥了更大的压缩效率，达到更高的压缩比。

4 实验数据和性能分析

4.1 算法优化测试

分别取100帧三种不同格式（SUB-QCIF：88×72，QCIF：176×144，CIF：352×288）的视频值，每20帧取1个关键帧，视频帧质量取6000，比较优化前和优化后算法的时间效率，结果如（图5）所示。

纵轴单位为毫秒，表示压缩完成所需时间。可见，要处理的视频帧越大，优化后的算法取得的加速效果越明显。

4.2 增强PB帧模式压缩效果测试

分别取100帧三种不同格式（SUB-QCIP：88×72，QCIF：176×144，CIF：352×288）的视频帧，每20帧取1个关键帧，视频帧质量取6000，比较使用增强PB帧模式前和使用增强PB帧模式后算法的压缩效率，结果如（图6）所示。

纵轴为压缩比。要处理的视频帧越大，冗余信息越多，增强PB帧模式的压缩效果越明显。

★ 一种基于航摄图像特性的H.263压缩算法的改进

★ 图像记忆法与右脑教育法

★ 技术生态化及其社会实现

★ 基于虚拟现实技术的自行车漫游系统的研究与实现

★ 蓝牙技术硬件实现模式分析

★ 简析图像检索系统中的CBIR技术

★ 光学遥感图像星上实时处理技术的研究

★ 金刚石合成控制系统中多串口通信技术的设计与实现

★ 施工技术与施工个人简历

实时分析 篇6

【关键词】精密玻璃；自动化；系统管理

引言

自动生产线实时管理系统，简称MES，是一套面向制造企业生产车间的生产信息化管理系统。MES系统主要为生产、质检、设备、工艺、物流、仓库、计划等部门提供实时信息服务，通过工业以太网，将设备控制系统、条码扫描器、车间PC、大屏幕显示终端、条码打印机和网络打印机等设备连接起来，实现数据通信，同时通过路由器接入工厂骨干网，通过信息实时采集、整理归纳、传递反馈，形成工作任务要求处理，实现品质控制、生产运行监控、产品追踪、生产调度、设备管理、人员调配与考核等功能，从而达到生产全过程、全方位管 控，使企业的生产处于有序的可控状态，将企业生产数据、供应链、库存等企业内部的信息孤岛集成为闭环的信息体，使生产过程管理等一系列的自动化的实时的监管与控制，可以为企业打造一个全面、系统、有效、可行的协同管理平台。在精密玻璃的生产上引入MES系统可以有效的提高劳动生产率，实时的监控生产过程中各个环节的工作状态，一旦发生故障可以及时的维修，确保所有生产环节的衔接，从而提高生产过程中劳动生产效率，促进企业提高自动化水平，为企业的健康发展提供保障。

1.自动化生产线实时管理的总体作用

自动化生产线管理的总体作用主要有一下几个方面：

（1）可以查询生产数据和历史数据，方便控制生产各个环节，当数据异常时可以及时发现，及时维修。

（2）可以实时的监控生产各个环节，当一个生产环节出现故障或者受特殊情况影响时可以及时的发现并作出反应，更有利于各个部门的相互衔接，做到有的放矢。

（3）可以及时的发现生产过程中的异常情况，例如温度、湿度变化的影响。

（4）可以建立生产控制数据体系，方便以后生产过程中的查询比对，也为以后改进工艺流程提供数据支持。

（5）管理生产现场的资源，包括对设备、人力和物料等进行规范的管理。对产品、物料等采用扫描枪自动识别，提高效率，杜绝人为错误。

（6）根据产品数据和资源情况，分析生产能力，及时发现瓶颈问题，对有关进行和后续进行的生产、工序计划进行灵活的调整。

（7）加强了生产现场的监控，通过自动识别、即时记录和数据采集，减少了人工操作，对物料的准备、短缺或错误，能够及时知道并采取行动，加快了与生产制造的匹配节奏。

（8）改进了生产流程，减少了手工作业单、统计等环节，以及人工造成的差错，解决生产业务数据录入滞后的问题，车间管理效率大幅提升。

（9）生产过程的即时记录，清晰物料的流向和状态，半成品/产品能够根据记录进行有效的追溯，如追溯产品使用的工艺工序、原料提供商、批次、操作员、生产时间等。任意视角和环节的前追后溯，故障定位及责任界定明确，管理到位。

（10）半成品/产品，以及生产过程能够进行有效追溯，通过记录的生产数据，统计分析产品、设备、材料供应、人力资源等的数据，为决策、提高生产效益提供准确的数据依据。

2.利用自动化生产线实时管理系统的实现管理控制

2.1精密玻璃制造过程中的自动化实时管理控制

在配料阶段可以监控配料的执行情况，玻璃原料的库存、批次、厂家以及配料的质量情况，记录到数据库中，如果配料出现短缺或者质量不合格可以及时的发现并调整，自动化生产控制系统会将配料阶段的各种数据反映到管理部門中，方便管理人员的查询和控制。当原料进入窑炉溶解时，我们可以通过自动化生产控制系统检测窑炉各个位置的温度数据、通道入口温度、炉压、液位、加料机转速、加料量、电极的电流情况，天然气压力、热值、流量，氧气的压力、流量，助燃风和冷却风的压力、温度、流量等。

一旦某个数据出现异常，及时调整。特别是在设备运行过程中的各种参数，通过对设备参数的检测，可以随时随地的掌握设备的运行情况。在通道部分，我们可以通过检测冷却水系统、加热系统的运行状态。统计对调功器的电流、电压及功率参数，来确保各个环节的有序进行。

2.2玻璃热加工时的自动化实时管理控制

玻璃热加工时段我们主要考虑的是产品技术和缺陷技术：在产品技术中，我们通过生产自动化控制系统可以对玻璃的投入总数、横切机实际切割数、称重测厚数据、机器人装载数、抽检数、纵切机切割数、半成品机器人装载数、半良品率和良品率、废品数量等进行统计，通过和以往数据的比对，查出原因所在。在缺陷计数方面，我们也可以利用自动化生产控制系统中的数据，对缺陷类别，氙灯检测、抽检检测、称重、测厚等数据进行统计分析。

2.3其他事项及后续阶段的自动化实时管理控制

我们可以通过自动化实时管理控制系统对环境控制进行监测，对生产各个区域的温度、湿度等环境要素进行实时记录、分析、控制，未满足生产条件的，及时调整。

后续阶段的各项工作中，我们通过对UPS实时监控、理化部分监控、在线称重数据监控、质量数据监控、后工序产品监控等各方面的数据监控，实时的掌握生产各环节的协同情况。例如在质量数据监控阶段我们应主要监控样品的玻璃属性，包括长度、宽度、重量、厚度、应力、翘曲、波纹度等，确保所有的良品被选择，所有的不良品被淘汰。还有在产品跟踪阶段我们可以通过自动化生产实时管理系统，准确的定位质量问题的原因、涉及范围，可以对产品隐患实现追溯和分析机制，从而确保工艺的稳定性和产品的良品率。

结语

综上所述，通过自动化生产设备实时管理系统对生产的各个化解进行监测、记录。可以系统全面的分析出各个环节、工艺、设备的运转情况，通过分析采集数据，比对历史数据和标准数据，一方面可以做到实时的控制生产各个环节，另一方面可以发现工艺、设备、人员等在某些方面的不足，为以后的改进工作提供科学依据。

参考文献

[1]肖卓豪，左成钢，朱立刚，陈媛媛，卢安贤.氧化钇对CaO-BaO-Al2O3-SiO2-GeO2系玻璃结构与性能的影响[J].中国有色金属学报，2008（11）

[2]万军鹏，程金树，陆平.混合碱土金属氧化物对硼硅酸盐玻璃热膨胀系数的影响[J].玻璃与搪瓷，2008（01）

实时电视收视率调查分析系统 篇7

近年来, 随着国内媒介经营产业化、集团化的发展, 收视率调查已越来越受到业界的重视。无论是电视机构运作, 还是广告经营, 节目评价, 收视率都是备受关注的重要指标之一。为什么收视率会受到如此的重视呢?这应该从媒介经营本身说起。从表面看, 媒介经营可以这样描述:一方面, 媒介 (电视台等) 经营频道和节目, 受众收看电视节目;另一方面, 媒介 (电视台等) 把时段卖给广告商, 获取广告收入, 广告商对广告产品进行广告创意和制作, 把广告投放在购买的时段上, 提供给广大受众, 并从广告主身上获取利润。媒介经营的是电视频道和节目, 与广告商/广告主交易的是播出时段 (节目) , 但仔细分析, 播出时段 (节目) 并不能直接为媒介经营者和广告尚带来效益, 媒介经营者最终效益的实现, 是因为经过了“受众”这一环节。从本质上看, 在媒介经营中, 媒介与广告商之间交易的是受众, 也就是附着在交易时段和节目上的“观众注意力”。

如图1所示, 媒介经营频道和节目, 以此来吸引观众, 然后, 把附着在节目和时段上的“观众注意力”卖给广告商, 广告商和广告主寄希望于广告在时段和节目上的投放能够吸引附着的观众, 使之成为广告产品的实际消费者, 从而达到促销的目的。

在这一过程中, 要想达成媒介与广告商/广告主双赢的局面, 关键在于对观众的认识、开发和经营。收视率, 是对观众收视行为的科学量化和评价, 因而收视率就必然在媒介的整个经营过程中起到举足轻重的作用。

收视率为媒介经营者经营频道和节目提供了重要的参考。如前所述, 媒介经营者经营频道和节目的目的, 是为了吸引观众的注意力, 要想吸引更多的观众, 就必须了解观众的收视习惯和偏好等, 并以此为依据, 制作相应的节目内容, 调整和优化频道节目的编排。收视率数据来源于观众的科学调查, 是对观众收视行为、收视结构等方面的描述和反映, 因此, 它越来越成为媒介经营者经营频道和节目的“谋士”。

广告商更注重的是广告的投放效果, 因此, 他们关注的不是节目的内容和形式, 而是收视这些节目的观众群体的“质”和“量”。他们强调广告产品的目标定位与观众群体的结构一致, 保证广告投放的针对性;强调一定的观众规模, 保证广告传播的范围;强调观众群的稳定性, 保证广告的信息传播的深度, 使观众自己尽量记住广告的内容, 最终去购买广告所宣传的产品。因此, 收视率数据也是评价广告投放效果的客观依据。

相比之下, 广告主的目的最为单纯和直接, 广告投放是市场营销的一个重要环节, 他们投放广告的目的就是为了促销产品。事实上, 收视调查最初正是广告主的推动下产生的。广告主最关心的是广告的收视观众在多大程度上能成为产品的直接消费者, 收视调查可以帮助他们进行媒介收视观众与产品消费者之间的比较研究, 进而优化广告投放策略和产品的市场促销策略。

观众、节目、广告是电视媒介经营的三大核心要素, 它们之间存在着相互制约、相互影响的关系, 媒介经营就是三大要素不断变化、组合的过程。

研究收视率就是为这三大要素的优化组合提供科学, 客观的依据。

在收视率调查中常用的数据采集方法有三种, 即电话法、日记卡法和测量仪法。电话法是指采用打电话的方式来收集观众收看电视信息的方法, 一般用于一次性调查。分为电话回忆法和同步电话调查方法。日记卡法和测量仪法采用固定样本组进行的连续收视调查中。目前中国内地的全国性、全省性收视率调查目前仍以日记法为主, 人员测量仪只在较大的城市中使用。

测量手段不同导致不同的公司提供的收视率数据不相同。日记法是由用户填写日记卡, 要求很烦琐, 因此很多的内容是事后补填的, 有误差, 不准确。人员测量仪法是指利用“人员测量仪”来收集电视收视信息的方法, 是目前国际上最新的收视调查手段。这样获得的收视信息是很准确的, 产生的收视率也基本是可信的, 但是, 人员测量仪法的成本比较高, 而且最快隔一天计算出收视率数据。

收视率数据的价值主要体现在它的实时性、真实性、准确性中。利用传统方式得到的收视率数据在这三方面都无法保证。利用目前广泛流行的网络技术和嵌入式技术可以非常有效的解决传统方式中不可克服的问题。

2 实时电视收视率调查分析系统的基本结构

实时电视收视率调查分析系统是基于网络技术和嵌入式技术设计的。它的基本构想是, 通过部署在样本用户家中的收视率调查设备自动识别出当前收看电视的情况, 然后通过Internet将其结果发送专用服务器, 在服务器上做适当的处理后就发布给收视率分析系统。

图2中, 电视机和调查终端是部署在样本用户家中的收视率数据采集部分。宽带运营商负责Internet网络接入服务。服务器部分表示用于收视率数据收集发布的服务器群, 实际上将会有很多服务器组成。蓝色的电脑则表示用于收视率分析的客户端软件。箭头表示整个收视率调查系统的数据流图。数据从终端电视的频道选择开始, 经过收视率调查终端、网络运营商、收视率数据服务器, 最终发布到收视率分析终端。数据在这个流程中逐步被加工。

如图3组成部分可划分成三大模块, 收视率数据采集, 收视率数据网络发布和收视率数据分析三大模块。这三部分共同组成实时电视节目收视率调查网。

3 实时电视收视率调查分析系统的业务构架

收视率调查系统最本质的需求就是, 能够实时地、准确地得到可信的节目收视率数据, 并通过分析收视率数据来协助广告投放、电视剧制作、节目编排等业务的决策。

因此, 收视率调查网的业务架构就是基于这个基本需求, 围绕着收视率数据构建而成的, 如图4所示。

本系统由收视率数据的采集、发布、分析等三部分组成。

整个系统分为如下几个大的模块:

(1) 收视率数据采集系统

包括ARM嵌入式系统、收视率采集模拟器以及图像识别软件。通过在样本客户家中部署收视率信息采集盒子, 它会自动收集当前的收视情况, 并实时地通过Internet发回中心服务器。

收视率数据采集子系统是整个收视率调查系统的起点, 它用来从不同的样本用户家中采集收视率信息, 这些收视率信息包括开、关机和切换频道等。并将这些信息通过网络发送到节点服务器中。数据采集子系统主要包括两大模块, 图像识别和数据采集模拟器。

图像识别的硬件部分选用A R M 7芯片+视频采集卡技术。软件部分是u Clinux通用嵌入式技术。图像识别是采用模式识别技术, 将所看频道的台标采集出来和数据库中的图标进行灰度模式识别, 从而确定当前的频道。

(2) 收视率数据网络发布系统

分为实时发布和按时间段发布。主要包括数据汇总、数据管理和数据发布。通过网络将实时收视率数据和归档化的收视率数据发布给收视率数据分析软件客户端。

收视率数据网络发布子系统是将数据采集子系统发送过来的数据发布到收视率分析子系统。发布信息包括收视率数据、节目单信息和样本状态。它有两种发布形式。一种是实时发布, 采用实时HTTP方式实现。另一种是按时间段发布, 采用传统的HTTP方式发布。考虑到样本用户数据量比较大, 而且分布在不同的地方, 为了保证网络发布部分能正常工作, 我们采用分布式技术。原因:

(1) 采用分布式可以平衡网络负载。因为样本数据非常大, 一般一个中等城市需要部署300点, 一个省有10多个这样的城市, 全国30个省, 如果只使用一台服务器是无法保证系统正常运行的。

(2) 保证系统在升级或某一部分网络出现故障时, 不会导致整个系统停止运行。

(3) 实时收视率数据分析系统

对采集到的信息进行管理、分析和加工。以实时曲线、报表、对比分析等方式展现出来。

收视率调查的主要目的就是收视率的应用, 要把采集到的数据进行汇总、统计, 分析出收视率的情况, 透视出受众的收视行为。实时收视率数据分析子系统是对收视率网络发布子系统发布出来的数据进行分析, 可以实时显示出来, 也可以指定时间段显示。收视率宏观来说就是报表和图表的组合, 因此我们采用实时曲线、报表和对比分析等形式来展示各种收视率数据指标。如收视率排名, 多频道收视率曲线, 收视率走势图等。

4 实时电视收视率调查分析系统的网络架构

在实时电视节目收视率调查系统中, 为了迎合多方面的需求, 比如实时性, 分布式等。我们采用如下解决方案。

在样本用户家中安装收视率数据采集盒子, 在看电视的过程中, 它负责收集用户的开关机信号和选台信号, 将这些信息发送到不同的节点服务器, 这些节点服务器会定期把数据汇总到主索引服务器, 由主索引服务器对这些数据进行统一的管理。管理客户端是对用户、设备和节点进行管理, 收视率分析客户端用于对收视率数据进行分析。

系统部署图如图5。

其中:

(1) 主索引服务:对用户、结点、设备的统一管理。

(2) 结点服务器:为客户端提供收视率信息数据。

(3) 管理客户端:对用户、设备、结点等信息输入及显示。

(4) 收视率分析客户端:收视率数据的显示、分析。

(5) 电视机图标:表示数据采集。

5 实时电视收视率调查分析系统的实现功能

通过电视节目收视率调查网, 利用网络技术和嵌入式技术构建了一个用于收视率数据采集、处理、发布的平台。通过这个平台可以非常便捷的获取到准确的、实时的、可信赖的收视率数据。实现对这些数据的分析, 挖掘出有价值的信息。是本系统最根本的目标。

了解收视率数据的价值是实现收视率数据分析的前提。传统的收视率的价值和意义我们已经了解很多, 这里我们将进一步挖掘收视率的价值。

5.1 实时参考

实时的收视率数据能非常准确的体现出当前的收视情况。这个信息对收看者和电视节目制作方都有非常重要的意义。对于电视节目观众来说, 实时地收视率信息能很好的指导观众去选择自己喜欢看的电视节目, 而不是没有任何目的的换频道。同时利用观众对收视率信息的关注性又可以做很多有商业价值的增值应用。比如利用收视率实时排行信息制作一个专门频道, 并在这个频道上设计一些广告。对于电视台来说, 这个信息尤其重要, 很多电视台都会把前一天或者当前的收视率数据放在大厅里面, 以此鼓励优秀电视节目。

5.2 收视率分析报表

通过收视率分析报表可以清楚地知道各频道、各栏目或广告的收视情况。收视率分析报表对节目编排、节目评估和广告投放等有很好的指导作用。电视台能根据收视率情况合理的调整播放节目, 制片方通过收视率也能知道节目的收视情况如何。收视率分析报表能帮助广告主和代理公司进行投放决策能。广告商购买时段投放广告也是根据收视率的高低来支付广告费用。电视台能够根据某节目时段以收视率的高低为依据, 把相应时段以较高的价格卖给广告商, 得到更高的利润。收视率分析报表的频道的收视走势图能看到某一时段内, 节目的收视率高低。节目收视率排名能反映前X名的节目排行等。

我们的系统将采用如下的方式来展示如上的分析分析结果:

(1) 实时收视率展示

(a) 单一频道收视曲线及多个频道收视曲线

(b) 收视率节目曲线分析

(c) 收视率排名

(d) 广告收视率

(e) 时段收视率

(2) 收视率曲线分析

(a) 节目收视曲线

(b) 同类栏目日、周、月收视率比较

(c) 某地区主要收视率走势图

(d) 某地区总收视率表现图

(3) 收视率报表制作

(a) 各主要频道分钟收视率排名

(b) 各主要频道节目排行

(c) 地区主要节目排行

(d) 收视率趋势对比图

(e) 地区每天节目前40名排序报告

(f) 历史数据比较

(g) 各频道周曲线

(h) 市场竞争分析

主索引服务器采用两种方式把收视率数据发布到收视率软件终端。传统Http方式和实时Http方式。对实时曲线地展示和对比分析展示分别写了实时曲线组件和对比分析组件。具体关系如图6所示。

其中, 本地数据库内容包括:

(1) 节目单数据:某一地区某频道的节目单信息。

(2) 原始数据:从样本用户家中的采集卡采集到的收视率原始数据。包括秒刻度收视率数据和分钟刻度收视率数据, 以二进制形式存放。

(3) 加工数据:根据节目单和原始数据等加工过的专门用于发布的数据。

我们可以通过实时曲线分析直观地反映特定时段或节目的收视情况:

(1) 多频道收视曲线对比图

收视率曲线对比图就是在一定时段内 (全天或白天等) , 把某一地区某些频道的收视率情况以曲线图的形式显示出来。通过收视率曲线对比图, 可以清楚地知道这个时段内哪个频道的收视率最高, 哪个频道的收视率最低等。

设计图采用Excel自带的折线图, 在sheet2输入时间段和收视率数值。选中sheet2的内容, 插入折线图到sheet1中, 调整样式直到满意为止, 并保存成模板, 模板图如图7所示。

(2) 收视率节目曲线分析

收视率节目曲线分析有两种方式:一种是实时节目曲线分析, 另一种是非实时地节目曲线分析, 具体是哪种方式, 用户可以自己选择, 用户也可以按时间段察看收视率节目单曲线。节目单显示在对应时段的收视率曲线图上。

具体展示形式如图8所示。

(3) 收视率排名

将某一地区的不同频道的收视率按先后顺序以柱状图的形式显示出来。可以设定显示内容或显示特定频道。通过收视率排名可以知道哪些频道或哪些节目是最受欢迎的。

设计图采用Excel自带的柱状图, 在sheet2输入时间段和收视率数值。选中sheet2的内容, 插入折线图到sheet1中, 调整样式并保存成模板, 模板图如图9所示。

(4) 各种报表设计

报表设计是用Excel将各种想要显示的报表的模板做出来。然后采用XML组件和Excel组件读取XML文件内容到相应的Excel模板中, 最后提示用户保存Excel文件。

各个频道的节目收视率排行表如图10所示。

地区每天节目前X名排序报告如图11所示。

6 实时电视收视率调查分析系统的关键技术

以上我们主要介绍了电视节目收视率分析系统的设计, 下面将从技术层面对其中的关键技术进行详细的阐述。

(1) 数据库设计

收视率数据存放在主索引服务器上和各个节点服务器上, 但是用户发布的数据主要存放在主索引服务器上, 它是从很多不同的节点服务器下载过来的, 所以数据量非常大, 为了能正常发布和管理, 考虑到通用性和便于管理, 我们采用二进制格式对分钟收视率和秒收视率进行存放, 其它的信息采用XML格式进行管理和存放。

收视率数据包括节目单信息、地区信息、频道信息、分钟收视率、秒收视率和市场占有率数据。

(2) 开放式报表制作

报表分析是业务性很强的软件功能。很难设计成通用的报表适应各种各样的用户。实际上每个用户都有很多个性化的分析。为了适应这种开发需求。本系统采用如下的开放式报表制作方式。

(1) 报表制作所需要的数据统一由本地收视率数据发布层提供

(2) 本地收视率数据发布层是一组介于收视率报表模块和本地收视率数据之间的COM组件。它通过控制本地收视率数据库下载数据, 并将其发布给报表模块。

(3) 收视率报表的分析和展示部分采用HTA+XML+EXCEL的方式来实现。报表的分析部分和界面展示、报表制作等采用HTML-Javascript来编写。

(4) 每个分析报表对应一个H T A文件, 以及其他相关文件

(5) 分析报表可以从网上下载和更新。

在如上的方案中, 收视率报表的分析功能是由HTA中的脚本来实现, 展示部分是由HTA中的HTML代码和相应的动态网页脚本来实现的。因此, 报表的功能完全由对应的HTA和相应的其他文件来决定。而这部分又可以通过网络动态的更新和下载。因此, 可以满足开放式报表制作的需求。

如下将简单介绍方案的实现过程。

(1) 利用HTA来实现报表生成

在收视率分析系统中, 对于报表主要的功能需求是:

(1) 利用HTML界面生成报表数据, 以网页方式展示给用户。

(2) 将结果保存成指定的Excel、XML等格式。

(3) 以图表方式展示数据。

在本系统中主要通过如下几步来实现如上对报表制作的需求:

(1) 通过网页界面获取报表生成参数

(2) 利用本地收视率数据提供组件提供报表数据

(3) 在网页中利用脚本程序将X M L格式的数据填充到网页中。

网页的Script和Native Code的模块是通过COM组件来实现交互的。为了保证效率和保密性, 本系统中的报表数据将利用Native Code (ATL C++) 来编写, 并将结果保存。在DOMXMLDocument对象里面, 最后利用IDispatch接口返回给Java Script。

(2) 实时收视率发布

电视节目收视率系统的关键是保证数据的实时性, 这也是我们这个系统有别于其它系统的关键点。所以我们需要设计出一种用于实时发布的传输方式。将服务器端数据的变化实时传送到客户端而无需客户端不停地刷新、发送请求。

目前网络上比较流行的就是HTTP协议, 但是传统的HTTP是基于请求响应的协议, 它不是实时的, 服务器有变化时无法实时通知客户端, 只好等待Client端去轮询, 如果轮询频率过高就会导致负荷太大, 所以传统的HTTP协议不能实现实时的需求如图12所示。

为什么要基于HTTP协议做开发呢?因为如果要是设计一个全新的传输方式的话会有很多缺陷, 如:

(1) 协议不规范, 没有相应的技术支持。

(2) 网上的代理服务器、防火墙非常多, 只有HTTP协议才能顺畅的通过。

所以我们要对HTTP协议做一些处理。下面介绍一下实时收视率发布的实现原理如图1 3所示。对于传统的HTTP的Request和Response是实时的, 我们的原理是在服务器上做文章, 当客户端去请求服务器的时, 服务器端并非实时的给予回答, 而是阻塞请求直到有数据传递或者超时 (如10秒) 才回答, 这样就导致HTTP Client部分处于等待状态, 当它返回的时间刚好是数据到达的时间。实时的反馈和链接的保持是基于TCP自身的算法来决定的, 我们不需要在重写, 即服务器部分是重新设计的, Client部分是利用现成的HTTP组件实现。

HTTP的实现

实时收视率数据发布是基于如上原理设计而成的。它包括服务器部分, 和客户端部分。其中服务器部分是一款基于server-push设计的HTTP数据发布服务器。客户端部分是一个利用XMLHttp Request设计而成的实时收视率数据接收组件。

服务器的主要功能是接受HTTP请求, 并暂时挂起连接, 当接受到新的收视率数据的时候再唤醒连接, 并将收视率数据发送给客户端。其内部结构如图14所示。

其中:

(1) HTTP服务守护模块:是一个守护在80端口的HTTP服务, 当有新的H T T P请求到来时, 将这个请求添加到SHELL连接池。

(2) SHELL连接池:存放所有处于等待状态的HTTP连接请求。

(3) 数据接收模块:从数据采集部分得到收视率数据后经过处理并保存到服务器端数据库中, 同时发消息通知SHELL连接池。SHELL池接到通知后会自动把相应的HTTP连接激活, 并从数据库模块取回数据, 将结果返回给客户端。

(4) 服务器端数据库:负责保存收视率数据。

客户端部分的内部结构如图15所示。

其中:

(1) 实时数据下载任务管理器:上层应用模块将实时数据获取的任务添加到本管理器中, 本管理器通过异步XMLHTTPRequest组件从服务器获取数据, 并将其添加到本地数据库。

(2) 客户端数据库模块:负责存储本地的收视率数据, 详细设计参考收视率数据库设计。

(3) 收视率数据发布组件:负责向上层应用模块提供数据, 主要提供收视率数据以及新数据到来事件。

摘要：本文介绍一种实时电视收视率调查分析系统。该系统以电视节目收视率调查网为基础平台, 采用科学的收视率分析原理, 对实时和非实时的数据进行分析, 并将结果通过图表, 报表等方式展示给用户。电视节目收视率调查网是利用嵌入式技术和网络技术构建而成的, 用于收视率数据采集、发布的系统, 它通过部署在用户家中的收视率数据采集设备收集收视率数据并通过网络采集并发布给用户。实时电视收视率调查分析系统通过HTTP从收视率调查网获取数据, 并对其进行科学的分析, 以对比曲线、实时曲线和报表的形式分析出收视率所透视的收视行为, 如收视率的高低、市场占有率、分钟收视率、收视率趋势图等。

实时商务智能的框架及其技术分析 篇8

利用商务智能系统进行企业决策性分析已经成为众多企业提高其竞争力的重要方法之一,商务智能(BI)已经广泛应用于电信、金融、保险等众多行业中。随着BI应用环境的扩展和其相关技术的发展,传统意义上通过历史性数据的分析来帮助企业进行决策支持已经无法满足用户的需求,越来越多的企业领导者需要对实时的业务数据进行分析,以便于可以进行自主式的即席查询,实时地作出响应和决策。数据分析、数据集成、实时数据仓库的发展使得实时商务智能系统的实施成为了可能。为此,本文通过讨论传统商务智能中存在的一些缺陷,从而勾勒出了面向实时的商务智能系统框架,并对目前存在的一些相关技术问题进行了评价和分析。

1 商务智能与实时商务智能

1.1 商务智能

商务智能是一种基于大量信息基础上的提炼和重新整合过程,能提升企业共享、获取和分析智能的能力,已成为企业智能化决策、实现商务利益的重要手段和工具[1]。其工作原理主要是通过对数据进行抽取、清洗、聚类、挖掘等分析处理来产生可透析的各种展示数据,这种数据可直观地显示分析者所探寻的某种经营属性或市场规律[2]。

一个典型的商务智能软件应该具有的功能包括:多维数据分析及展现、报表工具、趋势分析、可视化工具、数据挖据等。

1.2 实时商务智能

在总结商务智能概念的基础上,笔者给出了关于实时商务智能的简单定义:在满足于商务智能各基本功能的前提下,进行无延时传递企业运作信息的过程。

基于这一定义,实时商务智能系统具有以下三个重要的实时性特征:

(1) 数据抽取、转换、加载、集成的实时性;

(2) 通过数据分析以产生决策支持的实时性;

(3) 将决策支持付诸于实施的实时性。

2 传统商务智能系统的缺陷

实时商务智能系统要求从数据的获取到对数据的分析,以及最后产生决策支持并付诸实施的过程做到无延时,这一点也恰恰成为了传统商务智能系统的缺陷所在,图1说明了传统商务智能系统无法满足实时性要求的状况。

2.1 数据集成过程中所产生的延时

在大型组织应用环境中,IT部门已经不得不将异构数据库中的业务数据进行集成,例如在财务应用和企业资源应用的环境中更是如此,然而将这些异构数据源规范化到具有统一结构的数据库中是一件很耗时的工作,同时这一过程也需要频繁的手工处理[3]。

显然,不能够做到高速、集中、统一地将异构数据源存储到数据仓库中的状况无法满足实时商务智能系统的要求,业务运作层各系统中不断更新变化的数据,繁杂的数据集成过程,将导致大量的延时产生。

2.2 数据分析过程中所产生的延时

首先,目前许多商务智能的解决方案是需要借助于信息分析专家的存在才能够实施的[4]。由于企业领导者对于数据分析知识的匮乏,信息分析专家利用自己特有的专业知识对数据进行分析,再把这些数据的分析结果向企业领导者进行解释,并帮助企业领导者最终来产生决策支持。显然这一过程违背了实时商务智能系统的要求,信息分析专家使得企业领导者并不是在无延时的情况下来获得战略决策的。

其次,作为智能系统本身的要求,满足预测性、自适应性以及具备恰当的行为实施能力是极其重要的,不具备以上三个关键要素的系统根本不能称之为智能系统[5]。而传统的商务智能系统基本上是在完成数据分析的过程后,由企业管理者依靠报表输出、视图展示工具等,来自行制定相应战略决策的,不具备自动预测功能和决策自动生成的能力。这势必造成从数据分析结果到决策支持产生过程的延时,在一定意义上违反了实时商务智能系统的要求。

2.3 战略决策付诸实施过程中所产生的延时

由于商务智能系统结构的本身原因,战略决策实施过程中所产生的延时相比以上两个方面的延时复杂得多。从实时商务智能本身的特征要求看,通过分析数据所产生的决策要在无延时的情况下付诸实施,这说明必须提供一种从战略实施层反作用于业务运作层各业务系统的实时方法才能满足这一要求。目前的传统商务智能系统基本上是依靠企业管理者人工付诸决策实施的,达不到实时商务智能系统的特征需求。

3 实时商务智能框架设想

要解决传统商务智能系统中关于实时性的缺陷问题,关键是要消除掉三个信息流传递过程中所产生的延时,从而建立实时商务智能系统的框架。图2简单地描述了实时商务智能系统框架的设想。可以看出,传统商务智能系统中所存在的三个信息流传递过程中所产生的延时已经不再存在,代替它们的是一个简单的三层模型结构。

集成数据存储层代替了原有的简单数据存储层,它利用实时ETL技术以及动态数据集成技术将业务数据集成至实时数据仓库中,减少过多的人工操作,实时同步于业务系统的数据源,使得整个数据集成过程可以做到真正实时或近似实时,以消除在数据集成过程中所产生的延时。

实时数据分析层主要提供两个功能。一方面,通过实时数据分析技术取代了传统商务智能系统中依靠专业数据分析人员进行数据分析从而产生决策支持的过程,高度的自动化分析特性能够让普通用户也可以操作,同时还可以使得商务智能系统根据企业业务的运营环境直接产生决策,避免过多的人工参与,减少了通过传统数据分析过程中所产生的延时。另一方面,实时数据分析层的决策输出必须有能力直接回馈于业务运作层的各业务系统,这样才能达到严格意义上的实时性。依靠决策输出来实时调整业务运作系统环境参数,直接回馈于业务运作系统,从而帮助企业进行业务经营已经成为了当前商务智能领域的前沿课题之一。

4 可应用的相关技术评价及分析

目前,可应用于实时商务智能领域的技术众多,其中有很成熟的也有尚未完全解决的。笔者通过查阅一些有价值的文献资料,在已勾勒出的实时商务智能框架的基础上,对一些可能应用到的相关技术进行了评价和分析,希望对这一领域今后的研究工作有所帮助。

4.1 实时数据仓库技术

为了解决传统数据存储过程中所产生的延时问题,必须依靠可以支持实时性和动态性的数据存储技术。实时数据仓库技术的发展为传统数据存储层的变更优化提供了可能,它已经成为了下一代数据仓库的发展趋势。

构建实时数据仓库最为关键的环节就是数据仓库的ETL过程,ETL是将业务系统的数据源通过抽取、转换、装载到数据仓库的过程,它是整个数据仓库系统中的核心环节,同时也是在部署商务智能系统中任务量最重、最难的环节。因为现有业务数据源众多,保证数据的一致性,真正理解数据的业务含义,跨越多平台、多系统整合数据,最大可能地提高数据的质量,这是ETL技术的关键所在。目前,最广泛采用的技术是利用SOA框架和XML统一数据格式来解决实时ETL过程中的平台跨越性和语义分歧性问题[6,7,8];利用增量ETL的自动化产生方法来解决数据仓库中数据与数据源的实时同步问题,减小实时ETL过程的开销,保证数据仓库的性能[9]。

要成功地实施商业智能项目,必须将分散在各个不同系统和地方的数据收集并整理起来,建立完善的数据仓库或数据集市。采用面向SOA思想、数据库网格技术的动态数据集成技术已经日趋成熟,它可以实时地进行数据集成,解决数据源异地性和平台异构性两个问题,为用户提供更丰富的资源服务[10]。

总之,未来要满足实时商务智能系统的集成数据存储层技术必须要确保以下三个目标:

(1) 在系统平台异构、语义分歧、数据源异地的情况下可以进行实时ETL和数据集成过程;

(2) 保证数据仓库可以从数据源中获取高质量的数据;

(3) 在ETL和数据集成过程中确保数据仓库的高性能需求。

4.2 实时数据分析技术

要满足实时商务智能系统能够对数据进行实时分析的要求,必须研究出具备以下两个功能的技术:

(1) 一种高度自动化的,面向企业各级人员使用的分析技术工具,使得数据分析过程能够避免过多的人工参与,特别是专业分析人员的参与;

(2) 一种自动化产生满足预测性、适应性的决策支持引擎,而不是仅仅提供报表、可视化工具等静态展示功能。

为了可以让企业管理者等普通用户来进行数据分析,甚至达到纯自动化分析的目的,以减少数据分析延时,必须研究出一种高度自动化的分析技术。这种技术工具应该能够根据特定的用户需求来自动采用特定的分析算法,而不是由精通数据分析的专业人员来操控。分析专家真正发挥的作用应该是在设计这种自动化分析工具的时候,而普通用户是不必知道隐藏在分析工具中的机器学习算法的。目前关于自动化数据分析工具的研究成果少之甚少,也是部署实时商务智能系统的重大技术挑战之一。

自动化决策支持提供给用户一种即时的决策输出引擎,代替传统的报表、图表等可视化工具,从而为企业决策者提供帮助。为了设计这一引擎,首先要解决预测性和适应性的要求,通过数据挖掘等相关技术当然可以解决类似问题,但是获得知识并不等于可以作出决策,目前主要的技术挑战是如何提供一种实时的决策输出功能,将客观的展示转化为主观上的决策帮助。为此,一些专家和学者提出了自适应性商务智能的概念[11],对如何即时产生决策支持的方法进行了研究。

4.3 战略决策的回馈支持

在战略决策产生后,所要解决的唯一问题就是如何在无延时的情况下将战略决策付诸实施。随着业务节奏的不断加快,企业管理人员必须随时掌握市场的变化和机会,这种趋势催生了一种新的商务智能模式,它实施一种战略决策的反馈功能,可以与业务运作层的一些自动化系统相结合,以当前正在发生的事件作为动态决策依据,来使整个商务智能系统达到一种闭合循环的状态,最终达到实时商务智能系统的特征需求。

目前,业务活动监控(BAM)和业务事件监控(BEM)解决方案的提出为此提供了一种契机。业务活动中的各种情况、事务和机会通常都会以“事件”的形式表现出来,每个事件的相关信息都会被发送到业务运作层的某些业务应用系统中去,这样实时商务智能系统就可以利用这些“事件”来激活相关的资料,提醒管理者作出相应的反应。BAM、BEM这类信息系统通过监控关键性指标(KPI),来向管理人员发出预警,以便他们更好地发现业务问题或者抓住业务机会。在典型的解决方案中,这些预警信息会通过集成化的消息系统来发出,也可以通过电子邮件、即时通信或者电话来发出。在理想状态下,事件预警可以发出足够的信息,帮助管理者了解情况并决定该如何解决问题。只要能够正确地构建起这样的实时商务智能系统,就可以跨越包括ERP、CRM、SCM在内的全部企业应用,将不同来源的预警信息发布给各类企业管理人员。目前已经有了一些关于BAM技术的研究,但真正能够实际应用于实时商务智能系统中的还不多[12,13]。

毫无疑问,这样的一种模式,是不可能完全依靠技术问题来解决的,它是需要管理艺术和信息技术双方面的结合来实现的,因此在处理决策实施的延时问题时要相对复杂些。

5 结束语

本文通过讨论传统商务智能系统关于实时性方面的缺陷,简要介绍了未来面向实时的商务智能系统的发展,重点对实时商务智能的框架和可能利用到的相关技术进行了设想和分析。实时商务智能这一概念在国外几年前已经提出了,但在国内的研究还寥寥无几,不争的事实是随着市场竞争激烈程度的增加,企业自身组织结构复杂程度的提高,传统商务智能将无法满足企业的需求,未来面向实时的商务智能将会成为商务智能在企业应用领域中新的热点问题。

摘要：当代商务智能技术的发展使得用户已不再满足于对历史性数据进行相关分析,越来越多的企业领导者要求进行实时数据的分析,从而作出实时的响应和决策。讨论了传统商务智能系统的一些缺陷,从而勾勒出一个未来面向实时的商务智能系统框架,同时对其相关技术进行了评价和分析。

实时分析 篇9

波特 (Porter) 提出的五力模型, 认为行业中存在着决定竞争规模和程度的五种力量, 这五种力量综合起来影响着产业的吸引力。运用五力模来分析企业所在行业竞争特征的一种有效的工具。在该模型中涉及的五种力量包括:潜在加入者的威胁、供应者的讨价还价能力、购买者的讨价还价能力、现存竞争者的威胁以及替代产品的威胁。

1.1潜在进入者的威胁

新进者的加入会打破市场的平衡, 引发行业内现有企业的竞争反应, 导致现有企业也投入更多的资源用于竞争, 因而收益降低。结合上表可知, 由于防盗产业市场前景好, 且其成本不高、容易获得政府批准且销售渠道简单, 导致该行业中其它企业容易进入该行业。

1.2供应商的讨价还价能力

企业的产品所需的原材料是市场上常见的电子元件, 各大电子供应商都可作为供应者, 这对于企业的生产并无太大影响。结合上表分析可知:来自供应商的威胁较小。

1.3购买者的讨价还价能力

首先, 防盗产品对于车主来说是一个必须的产品, 特别是对于高档车车主, 由于买方较多且其必须性使得购买者的讨价还价能力受到了限制。虽然目前市场上防盗产品种类繁多, 购买者选择性大, 实时防盗技术具有独有的防盗技术, 根据国家对汽车防盗装置性能的要求, 以及车主对爱车防盗的有效性需求, 购买者完全有能力接受, 因此结合上表可知:购买者讨价还价的能力也并不太强。

1.4现存竞争者的威胁

两个处于同行业或不同行业中的企业, 可能会由于所生产的产品是互为替代品, 从而产生相互竞争行为。当前由于中国汽车市场的迅速发展使得汽车防盗产业仍然处于高速发展阶段, 需求量很大, 生产汽车防盗产品的企业很多, 行业竞争较为激烈。结合上表可知:企业在现有竞争者中应具有优势。

1.5替代产品的威胁

实时分析 篇10

随着信息通信、现代控制、特高压输电等先进技术和可再生能源的迅猛发展,电网发展已进入坚强智能电网新阶段,地区电网承担着分布式电源接入,将风能、太阳能等可再生能源配送到用户的功能,地区电网出现故障将直接影响各类用户的可靠供电。同时,随着电网的发展,调控运行管理任务日趋复杂,运行风险急剧提升,通过对生产作业计划等进行风险校核,对计划进行优化和安全管控,可以消除和预防一些已知的风险,但是无法应对实时电网中极端灾害天气、设备故障、负荷波动等不确定风险因素的变化对电网的影响。当前急需开展地区电网风险的综合分析与管控,已有研究考虑气象信息、输电线路故障特性等因素对电网风险的影响,并取得一定的成效。文中提出一种地区电网全景风险实时分析及预警体系,介绍其功能构成,阐述研究内容并指出实现的技术难点,分析系统建设可行性,有效确定各种风险下电网运行风险水平,便于运行部门进行全局性把握,为调控运行等专业人员以及领导层提供关键的决策信息。

1 功能构成

体系功能构成如图1 所示,主要包括信息采集、风险辨识、风险评估和风险管控四部分。

1.1 信息采集

调控管理系统(OMS) 主要采集检修计划信息,能量管理系统(EMS) 主要采集负荷信息机组出力信息电网拓扑信息,生产管理系统(PMS) 主要采集设备历史故障信息设备状态评价信息,气象信息系统主要采集气象实况信息包括温度、风力等,设备监测系统主要采集雷电、覆冰、导线温度、变压器油气信息等,综合数据平台主要采集水情、煤情等信息,采集方式采用FTP、Web Service、数据库等。

1.2 风险辨识

根据采集的机组和负荷信息、电网拓扑信息和检修计划分析得到实时态或未来态的电网运行状态;利用蒙特卡洛、状态枚举、故障树等多种系统状态选择方法,对当前电网运行状态进行状态选择,生成多种电网事故场景;根据水情、煤情信息,分析一次能源供应情况,得到一次能源风险场景。

1.3 风险评估

通过对概率和严重程度的定级,完成风险等级的评定。首先,对风险辨识环节生成的电网事故场景进行分析计算,得到该场景的发生概率,并根据事故发生概率等级的划分,对该场景的事故发生等级进行评定。其次,通过潮流计算和薄弱运行方式识别,对电网事故场景下的电网运行状态进行分析评估,确定线路/ 变压器功率越线、母线电压偏离、厂站/ 重要客户全停、减供负荷等后果的严重程度,分别进行定级。最后,将定级后的故障概率等级和定级后的后果严重程度等级经处理得到综合风险等级,将所有电网事故场景下的同类风险等级按最高等级得到最终风险等级。

1.4 风险管控

对电网风险进行监视,一旦发生严重的风险即进行预警。同时,针对运行操作,评估与其相关的设备或厂站的重要程度,分析不同运行操作方案可能引发的安全事故风险大小,并据此对运行操作进行调整,达到风险管控的目的。

2 实施内容

2.1 建立电网风险因素实时分析及风险基础数据库

针对地区电网全景风险源数据多源、异构、海量的大数据特征,收集、分类、筛选出影响地区电网与设备运行的风险因素,在分析各主要风险因素对电网与元件停运作用机理的基础上,识别、描述并提取出该风险因素的特征参量。针对地区电网运行风险源数据多源、异构、海量且存储于不同安全分区的特征,结合各系统的不同粒度与实时性要求,制定模型之间的适配策略和协调方法,实现各类风险源数据的分类读取和高度集成,建立地区电网历史故障、强迫停运及设备缺陷等风险基础数据库。

2.2 完善设备实时停运率

电力系统时刻面临着诸多不确定因素,包括气象灾害、机组出力随机变化、负荷随机变化、设备状态、电网结构等。其中气象灾害如大风、暴雨、高温、雷电等对设备运行有着十分重要的影响,反映了影响设备的外部风险因素。而设备健康度是设备停运模型的基础,反映了影响设备的内部风险因素。基于收集、加工的实时不确定因素信息,结合相关历史统计数据,采用大数据分析方法,通过数据挖掘,分析不同风险因素与设备故障率间的关系,辨识地区电网中存在的风险,将电网运行的不确定性定量地落实到设备的停运率。综合考虑设备实时运行条件、设备所处环境条件、设备当前状态以及设备历史信息等,极大地丰富传统的设备状态评价,综合跟踪设备状态,得到设备的实时停运率。

2.3 电网全景风险识别与评估

从系统层、厂站层、设备层和用户层出发,针对重要用户、厂站、设备负载、母线电压、旋转备用、设备状态、一次能源、系统频率、用户负荷等,建立全景风险规则库,包括基态及事故态下风险概率定级规则、风险严重程度定级规则和综合风险定级规则。对基态电网进行潮流分析、静态安全分析,得到电网基态风险。采用状态选取方法,针对预想事故集,评估地区电网风险,得到电网事故态风险。根据风险规则库,对评估得到的风险进行定级。本部分研究内容是对地区电网运行风险进行局部性管理和预控的基础,通过风险全景化识别,全面捕捉地区电网各种潜在风险,从而全面感知电网的风险水平,确保地区电网安全运行。

2.4 电网运行操作校核与预警

在电网风险评估的框架下,通过风险实时追踪方法将预想事故风险评估所得到的运行风险分配到各个元件设备和厂站,量化电网运行状态下各个具体设备和运行厂站对电网风险的贡献程度,根据贡献程度计算电网设备和厂站的紧急重要度和警戒重要度,并对设备和厂站进行重要度排序。从排序结果直观反映各个设备和厂站在电网安全运行中的重要程度。对于重要程度靠前的设备和厂站,如将有运行操作执行,则基于实时风险评估结果考量不同运行操作方案可能引发的安全事故的风险大小,针对可能引发高风险事件的运行操作发出预警,指导电网运行操作选择和调整,从而减低地区电网运行风险水平。操作校核与预警示意图如图2 所示。

基于风险实时追踪方法,根据实时风险评估及设备/ 厂站风险相关性分析,得出设备/ 厂站重要度排序,针对重要度靠前的设备和厂站,根据运行操作方案中的操作指令顺序进行风险相关性分析,通过量化评估指标及评估相关操作方案可能引发的风险大小,最终根据风险量化值的大小选择最优的运行操作方案,从而确保电网安全稳定运行。

3 技术关键与难点

3.1 确定风险规则

从系统层、厂站层、设备层和用户层出发,针对基态和事故态电网,通过建立全景风险规则库,全面识别地区电网运行风险。并针对不同电压等级电网的特点,建立符合地区电网的覆盖市、县的智能风险评估体系。

3.2 良好人机交互

将全景风险评估结果可视化展示,可以使调控运行人员更方便、更直观地了解当前系统运行的风险情况,以便其采取的运行控制措施更加有效,更加具有针对性。

3.3 设备及厂站重要度确定

运用风险实时追踪方法,评估运行设备和运行厂站对电网实时风险的贡献程度,计算其重要程度。对于重要程度靠前的设备和厂站,评估其相关不同运行操作方案可能引发的安全事故风险大小,从而实现对运行操作进行实时校核和预警。

3.4 运行操作方案辅助决策

系统在线运行时,自动追踪和实时监测电网风险,对于风险等级高的区域或设备,在发布风险预警信息和风险决策支持信息的同时,自动分析计算给出合理的降低风险的运行操作调整方案。

4 结语

文中通过构建地区电网全景风险实时分析及预警体系,考虑机组出力、负荷变动、设备状态、灾害天气、电网结构等风险因素,结合相关历史统计数据,分析其大数据特征,挖掘风险因素间的关系,通过风险因素实时分析与评估,囊括电网全景风险,并进行动态滚动更新,为调控运行人员及时掌握风险水平和优化控制风险决策提供支持,进一步增强安全生产的预控和驱动能力,促进调控生产管理水平和工作效率的进一步提高。

实时通讯绝非“鸡肋” 篇11

国内引入EIM概念的时间并不长，大多数人印象中“EIM”不过就是用在企业里的聊天工具，充其量也就是个传传文件，发发消息的小玩意。前几年国内软件厂商们虽然下了大力气来宣传，但由于免费的IM server随处可得，企业对于IM的应用也不是很清楚，所以IM软件实际的赢利情况并不是很乐观。更有人说,“EIM不过是鸡肋”。难道这就是EIM的宿命？

暂且不妨先把目光放得远些，看看地球那一边美国人是如何操作的。

来自美国的数据

行业研究机构Radicati Group公司在2003年做过一项预测。标题为《2003-2007年间的即时通讯市场趋势》的预测报告称，越来越多的即时通讯用户相信，继电话和电子邮件之后，即时通讯服务正在全球迅速普及，而且将迅速成为个人间实时通讯的有机组成部分。据Radicati预测，全球的即时通讯服务账户将由目前的5.9亿增长到2007年的14.39亿，这将使每天发送的即时通讯消息数量由目前的5820亿增长到2007年的13800亿，而即时通讯软件市场将由2003年底时的680万美元大幅增长至2007年的2570万美元。其中企业领域增长显著，账户数量将由目前的6000万增长到2007年的3.49亿，增长幅度高达600%。Motorola与Dell等跨国大企业已经开始部署EIM系统。

有了市场的需求，厂商们自然是杀得热火朝天。Yahoo，Aol，Msn等CIM的巨头迫不及待的推出自己的EIM解决方案。

看来“EIM是鸡肋”的说法似乎可疑，但又有声音道“咱们是有中国特色的，凭什么老跟着欧美转。”此话不无道理，让我们再来看国内EIM的先行企业。

“国产”案例

浦发银行已经实施了全套Office System，其中Live Communication Server的应用目前还只体现在以即时信息方式发布通知，例如IT部门告知大家新增了什么IT功能、新的办公应用，再比如提醒员工及时更新病毒代码等等。

2002年初腾讯发布了企业可免费下载的EIM产品BQQ，到2003年9月发布收费版本RTX之前，BQQ注册企业用户已达到了8万多家。RTX发布后，付费购买的企业也在增加。在2003年11月，腾讯还推出了包含有IBM实时技术QuickPlace的RTX 实时协作版。TCL集团、青岛可口可乐等公司都已经成为RTX的用户。

既能减少办公开支，又能提高工作效率，EIM不是鸡肋，而是一只能打鸣的“金鸡”。可喜的是有些国内企业已经意识到了这一点。腾讯的RTX已经率先提出了企业协作平台的概念，如TCL等大企业集团已对此做出了积极的响应。

实时数据库设计的关键技术分析 篇12

随着信息时代的到来,传统的数据库已经不能适应不断更新、快速变化、限制时间的数据处理方式。实时数据库的产生不仅减少了数据库系统处理数据所需的时间,而且还提高了数据的储存效率,为信息的查询提供了便利[1]。在实时数据库中最基本的单元就是实时事务,从完成点的角度来看,事务主要有严格完成点、软完成点以及硬完成点,硬完成点是决定数据系统性能的基本条件。

1 关于实时数据库以及现代数据库的概述

1.1 实时数据库的特点

实时数据库的事务和数据都在时间上有明显的限制,系统是否具有正确性主要取决事务的逻辑运算结果以及产生该结果所需的时间。实时数据库的建立并不是把实时系统与数据库简单的结合在一起,在建立实时数据库的过程中必须要对储存数据的方式、处理事务的模式、系统的体系结构等方面的内容进行再次的开发和研究。在建立实时数据库的过程中,要注意以下几个方面的问题:

(1)实时性。数据库当中的数据和外部系统具体情况的吻合度决定了数据的建立是否有意义。

(2)容错性。在采集数据的过程中,外部环境的干扰可能使采集回来的数据被污染,因此,在建立数据库的过程中,系统必须要带有一定的容错性。

(3)稳定性。这是建立任意一个数据库系统的前提条件,为了体现实施数据库的优越性,在建立数据库时,实施数据库对稳定性的要求比建立传统的数据库的要求更高。

(4)鲁棒性。为了保证数据库的稳定性以及实时性在受到数据流量冲击时不发生损坏,在建立数据库的过程中就必须多设置几个数据源连接口[2]。

1.2 现代数据库的特征

现代数据库与传统数据库相比,在应用功能方面有了很大的提高,控制的知识面以及数据量也有明显的增加。现代数据库在应用方面主要有以下特点:

(1)结构的复杂性。任务之间在结构上是互相联系的,有的任务在执行过程中需要对事务进行合并或分裂,而有的事务则需要对事务进行划分结构层次或嵌套。

(2)可计划性。在现代数据库的应用过程中包含了定位限制、执行时间的限制、执行顺序的限制、资源要求、通信要求、时间要求等各方面的限制和要求。因此,在执行任务前一定要做好计划以及准备工作[3]。

(3)分布的规律性。一般情况下,事物具有周期性,为了更好地对任务的执行进行调度,在执行任务前,必须要对事务的分布规律以及事务的类型进行了解。对于非周期性的事务可以把最小的间隔时间作为其运行周期,在对事务进行处理的过程中可以采用动态处理与周期处理相结合的方式来进行。

(4)时间性。在现代数据库应用过程中的时间性主要表现在以下两个方面:一方面是处理事务的过程中有时间限制;另一方面是事务处理过程中的数据随着时间的变化。

(5)可靠性。如果在执行任务的过程中,发现事务的执行结果濒临失败时,系统必须有一定的“应急”能力,可对当前正在执行的事务进行补偿或者替换[4]。

2 实时数据库的理论以及应用

2.1 实时数据库系统

实时数据库系统既可以嵌入到大型的数据库系统当中,也可以作为一个独立的数据库系统。最近几年,实时数据库已经成为了建设现代数据库过程中的主要方向。实时数据库与其它数据库最大的不同点就是它的时间特性较为明显,实时数据库当中的活动、事件、数据都有与之相关的时间限制。因此,在对数据库进行设计时,必须要对其时间特性进行充分的考虑,此外,采入实时数据库的数据除了事务逻辑和数据逻辑具有一致性以外,它的数据时态以及事务时态也存在一致性[5]。

2.2 主动数据库的技术与实时应用

在数据库系统中加入主动规则,不仅改变了数据库以往的响应执行方式,而且还使得数据库的推理能力与知识的表示方法在某种程度上得到了提升。在数据库系统中主动规则对实时事务的重要应用有以下几种:预分析处理、应急措施、接纳控制、资源管理。主动数据库可以对系统效率、知识模型、条件检测、执行模型、体系结构、事务调度等方面的问题进行解决,其中,条件检测是实现系统主动执行事务的关键技术[6]。

实时数据库和主动数据库紧密第结合在一起给实时应用的执行提供了强大的支持。在较为复杂的实时数据库的应用过程中,不仅有事务事件、对象事件,同时还有外环境的时间事件、关系重大的实时事件、数据库的状态变迁、条件监视以及对不同事务的执行等方面的数据。

3 实时数据库的结构设计

3.1 在实时数据库当中的数据的特点

非实时数据与实时数据是实时数据库中最常见的数据类型,实时数据就是指在控制系统中采集到的实时数据、给控制系统发送的实时控制数据、在进行实时数据的实时计算过程中得出的中间数据。由于实时数据有较强的时间性,因此,时间的推移可能导致数据失效。

3.2 实时数据库系统中事务的特征

事务的构成是数据库操作过程中的最小单元,它主要有以下几种性质:

(1)事务的性质

①原子性。在传统的数据库当中,对事务的操作过程必须全面,当事务的执行过程被终止时,它在执行过程中的中间结果也会随之消失。

②一致性。在对事务进行处理的过程中,事务逻辑和数据逻辑都必须具有一致性。

③持久性。实时数据库当中,事务在处理完毕后的数据具有持续性。

(2)事务的分类

①从数据被采入系统时间的角度,可分为零星事务、非周期事务、周期事务。

②从事务的关键性的角度,可分为固定实时事务、软实时事务、硬实时事务。

③从数据使用方式的角度,可分为读写事务、只写事务、只读事务。

④从系统功能的角度,可分为控制事务、数据处理事务、数据接收事务。

4 实时数据库设计的关键技术以及设计原则

4.1 实时数据库设计的关键技术

(1)数据的模型和语言

数据的模型和语言是建立数据库系统的关键,一般情况下,关系、网状、层次模型都不具备时间语义。“近似关系”以及“片段网络”是修改关系模型最常用的两种方法。

(2)事务处理

实时数据库的事物处理具有顺序性。

(3)数据的储存管理

在实时数据库中,硬盘在存取过程中的延缓时间不能超过30毫秒,因此,在事物的处理过程中,必须要以内存数据库做为底层的硬支撑。

(4)恢复问题

系统中的恢复问题相对复杂,主要是因为:实时应用中的数据是暂时的;系统中必须有正确的数据来保证其具有时间性;恢复的过程会推迟事务的处理,使其超过截止期。

4.2 实时数据库的设计原则

根据实时数据库的应用环境及其自身特点,在对实时数据库进行设计的过程中必须遵守下列原则:

(1)功能目标。即共享与管理实施数据的软构件。

①它可以适用于不同环境下的软硬件平台的开发,并把各种应用设备有效的集结在一起,形成一个统一的数据管理平台,并使其为实时数据库的应用系统提供方便[7]。

②为实时数据的管理、存储、查询等目标的实现提供条件,而且还可以提供应用服务所需的有效数据。

③可以对控制逻辑以及业务逻辑的规则进行预定义,利用类似事件触发器当中的机制控制来对逻辑规则进行激活,让主动实时规则的推理得以实现。在某些条件下,实时数据库还必须具备在不同设备之间进行分布式的逻辑应用。

(2)应用目标

可以根据不同的性能需求、事务特征、数据特征对实时数据库系统的核心策略进行选择或配置,使其达到在不同环境下数据的处理与管理需求。

4.3 实时数据库的系统结构

RTDBS应用架的核心就是实时数据库,它是完成实时数据库系统设计的关键所在,从组成系统的功能模块来看,主要的模块有以下几类:

(1)实时应用。它是产生实时事务的源头,并可以对数据库的任务进行定时限制。

(2)实时事务的管理。对实时事务的整个生存期(即产生—执行—结束)进行管理。

(3)识时并发控制。完成识时的并发控制的算法。

(4)识时调度。完成识时优化级的调度计算。

(5)实时资源管理。它包含了对实时数据、缓冲区、CPU进行实时管理,同时它还包含了恢复管理机制、储存数据管理以及对各种数据的操作。

(6)实时进出调度。主要考虑用定时限制的方法来对磁盘的调度进行计算。

从实时数据的特性和能力来看,RTDBS具有以下几个方面的功能:

(1)数据库的状态更新。必须让实时数据库中所提供的数据是最新的,同时也要提供以前的数据。

(2)数据的时间一致。在事物的处理过程中它所读取的数据必须在时间上具有一致性。

(3)及时处理事务。实时数据库系统必须保证所有的事务都得到及时的处理。

4.4 实时数据库设计的关键技术

(1)实现微内核的策略

实现微内核的策略主要包含了缓冲区的管理、并发控制、实时事务的调度。实时数据库是处理具有时间限制的事物的系统,它的主要目的就是为事务的完成提供截止时间。

(2)实时数据的模型以及编程应用的接口

数据模型的确立是建立数据库的关键所在,它决定着数据的操作以及被访问的方式,它还在很大程度上决定了应用程序的可行性以及性能[8]。

(3)数据库的资源管理和储存模型

传统数据库的储存管理是利用磁盘来进行储存的,因此,在进行事务的处理过程中,进出调度的操作较为频繁,在时间以及储存空间的利用以及维护方面的代价过大。

5 结束语

本文分析了实时数据库的特点以及在设计中面临的难点,对实现实时数据库所需要的关键技术进行了详细的阐述并给出解决方案。总之实时数据库设计的关键技术逐渐得到了广泛应用,应给予其重视与关注。

参考文献

[1]李瑞峰.实时数据库设计的关键技术[J].中国科技信息,2008(7):98-99.

[2]陈熙,孙研,李才会,等.实时水环境监测数据中心网站的设计[J].实验室研究与探索,2009:28(8):66-68.

[3]纳永良.大型实时数据库关键技术及应用研究[D].北京化工大学,2010.

[4]杨惠仁.实时数据库系统关键技术在红枫湖大桥健康监测系统中的应用研究[D].贵州大学,2007.

[5]丁伟.新型DCS组态软件实时数据库研究与开发[D].山东大学,2009.

[6]毛文娟.基于Web Services的SCADA系统实时数据访问平台研究[D].西南交通大学,2007.

[7]李修忠.EMS系统中实时数据库关键技术研究及实现[D].南京航空航天大学,2009.