移动数据库设计

移动数据库设计（共11篇）

移动数据库设计 篇1

一、移动学习平台开发的意义

据调研大多数计算机相关专业开设至少一门数据库课程。该课程包括了数据库理论和它实际应用的所有主题,例如:不同类型的数据库管理系统、关系代数和关系演算、查询语言、数据库设计等。实际教学中部分内容缺少直观显示,而且学生无法随时进行学习。 这些问题主要原因是缺乏整合移动设备的网络平台。通过该平台学生和教师可以随时进行交流,学生可以及时直观地温故知新。

随着技术的发展,计算机相关专业也在不断地更新自己的课程,使用最新的工具和技术,从而让学生可以更好地适应行业的发展。 Mahmoud Q.H.认为虽然数据库系统理论性比较强,但是学习该课程最有效的方法是实践[1]。 例如,让学生在开发系统过程中使用数据库[2,3,4,5],这样学生不仅更好地理解了在课堂上所需学习的课程内容,而且获得了实际工作中使用这些工具的经验。 另外在课堂教学中整合移动设备( 如平板或智能手机) 来提高学生参与课程学习的积极性[6,7,8,9],例如:在远程教学中使用移动设备提高师生之间互动。

大多数计算机实验室还是使用台式机连接到服务器,这与大多数学生天天使用的技术之间存在巨大的差距。 为了克服这个问题,在计算机相关课程中开发了移动平台, 该移动平台包含了学习数据库系统的所有知识,尤其是对关系代数学习做出了更直接的展示。

二、“ 数据库系统”教学的主要任务

“ 数据库系统”是计算机相关专业的核心课程。 1978年由ACM提出数据库系统独立开课之后,2001 年版本中数据库系统本科阶段的主要任务有:数据库设计、ER模型、SQL语言、关系代数、事务处理、查询优化、并发性控制、数据库系统开发等[10]。 这些任务主要分为三个模块:关系数据库理论、数据库管理系统和数据库设计与开发。 具体见表1。

由表1 可见,关系模型、关系代数表达式和关系代数优化理论性比较强,难以理解。 为了增强学生对这些知识的直观理解,国内外学者提出使用各种教学工具进行辅助教学。 如:Win RDBI[11,12]、Virtura[13,14]、Mc Master[15]、EDDI[16]、ACME[17]等工具都部分实现了关系代数表达式进行查询的功能。 王燕玲也开发了关系代数学习工具,在该工具中学生可以自由变更数据库[18]。 但是,这些工具未涉及移动学习平台的设计,以及不同学习平台在应用后的使用效果分析。

三、相关技术

移动设备( 例如智能手机和平板电脑) 在大学校园里广泛应用。 与桌面系统相类似, 移动设备平台包括Black Berry OS,Windows Phone Mobile,i OS和Android等。经过调研在高校校园Android系统的智能手机或平板电脑占有率较高,且嵌入式系统开发比较方便。 本节主要讨论Android系统中数据库管理系统SQLite、 显示控件List View,以及关系代数优化策略。

( 一) SQ Lite

SQLite是当今移动操作系统中最流行的数据库管理系统软件[19]。 它是本地数据库管理系统而不是远程的数据库管理系统,并且占用资源较少。 大多数情况下,符合SQL92 标准,确保学生将学习标准的数据库操作。

( 二) List View

对于移动学习平台而言,List View是必不可少的一个重要组成部分,在List View中显示各数据库的表项以及字段项,并通过点击事件,实现关系代数表达式的编辑。

List View的显示需要3 个要素:List View, 用来显示列表的View;适配器,用来把数据映射到List View上;数据,想要显示的各项内容。 完成初始化之后,系统首先使用get Count( ) 函数得到要绘制的这个列表的长度,然后通过调用get View( ) 函数开始绘制,但是,这种处理方式在列表项长度较短时可以使用,在列表项过长时或数据过多时,使用get View( ) 函数的方法就会导致浪费资源,浪费时间,浪费内存的问题。

因此,本系统使用convert View的方式处理List View的显示,不但保证了列表项的正常显示,同时也解决了使用get View( ) 方法会导致的内存泄露等问题。

( 三) 关系代数优化

查询优化技术的理论基础是关系代数,关系代数对查询优化具有指导意义。 不同运算符根据其特点,可以对查询语句做不同的优化,优化可以减少中间生成物的大小和数量,节约IO、内存等,从而提高执行速度。 但优化的前提是:优化前和优化后的语义必须等价。

关系代数表达式为基于选择( SELECT) 、 投影( PROJECT) 、 连接( JOIN) 3 种基本操作相结合的查询,可以利用查询重写规则,做以下3 种逻辑优化。

1.对选择操作查询重写,优化方式是选择操作下推。 目的是尽量减少连接操作前的元组数,使得中间临时关系尽量少( 元组减少,连接得到的元组数就少) ,这样减少IO和CPU的消耗,节约时间。

2.对投影操作,优化方式是投影操作下推,目的是尽量减少连接操作前的列数, 使得中间临时关系尽量小,这样虽然不能减少IO,但可以减少连接后中间关系的元组大小,节约内存空间。

3.等价谓词重写。 数据库执行引擎对一些谓词处理的效率高于其他谓词。 基于这点,把逻辑表达式重写成等价的且效率更高的形式,能有效的提高查询效率。 这就是等价谓词重写。

本移动学习平台实现了关系代数表达式标准化输入、关系代数表达式转换为标准SQL语言、关系代数表达式等价变换、SQL语言查询等功能。

四、移动学习平台的设计

本系统主要分为数据库连接、关系代数表达式的编辑、优化、关系代数翻译为SQL语句和SQL语句的查询输出五个功能模块。 系统流程图见图1。

( 一) 数据库连接模块

在图2 数据库连接界面中,用户可以通过点击链接按钮,完成对数据库的连接,完成之后,将会在下方的List View中显示相关数据库中的表项,见图3。

( 二) 关系代数编辑模块

用户在图3 中选择完所需要操作的数据表之后,系统将跳转至查询界面如图4,来进行关系代数表达式的编辑工作。

1.数据信息区域。 在查询界面( 图4) 的上半部分,是所要操作的数据库的相关信息, 包括正在操作的表名、该表中的字段名等信息。 当点击表中的某个字段时,相应字段名插入到下方关系代数表达式编辑框中。 2.关系符号区域。 关系代数表达式中的各种关系符号,若想要通过手机键盘输入是比较困难的。因此,在查询界面( 图4) 的下半部分添加了相应的按钮,用来方便用户编辑关系代数表达式。 单击“ 提交”,进入功能模块,见图5。

( 三) 功能模块

在功能界面( 图5) 中有着获取关系代数表达式、翻译为SQL语句、重新编辑、优化、执行SQL语句和退出按钮。 点击相应的按钮,即可实现翻译SQL语句、优化关系代数、执行SQL语句并显示结果。 通过多个结果框的对比学习,可以清晰地将关系代数整个处理过程展示出来, 对于比较复杂的关系代数操作( 比如左连接,除法,多表操作) ,本设计更有利于用户的学习。

1.关系代数表达式的优化与输出。 通过运用启发式优化规则实现关系代数运算表达式的优化。实现方法为利用JFlex和JCup生成词法和语法生成器。通过词法和语法分析,把优化的结果输出。 优化结果见图6。

2.关系代数到SQL语句。 编辑关系代数表达式之后,通过预先编写好的词法分析和语法分析程序进行分析,将结果返回程序。 转换结果见图6。 3.SQL语句的查询输出。 将翻译出来的SQL语句,传递给SQLite数据库进行查询,得出结果并在相对应的结果框中进行显示。结果见图6。

五、移动学习平台的应用

通过调查问卷和考试结果分析网络学习平台和移动学习平台对学生学习数据库系统的影响以及学生对移动学习平台的接受能力分析。

具体分组策略为在第二学年第一学期学习计算机相关专业的学生学习数据库系统课程中设置四个对照组,组内学生都会计算机和智能手机的应用。 第I组授课时采用传统的数据库理论教学方式; 第II组授课时采用数据库理论教学和网络关系代数学习平台辅助教学; 第III组授课时采用理论教授法和移动平台辅助教学法;第IV组采用数据库理论教学、网络关系代数学习平台和移动关系代数学习平台相结合的方式。学习期末考核为上机考核和笔试考核。上机考核内容为编辑关系代数表达式、编辑SQL语句、数据库实现。 笔试考核内容为编辑关系代数表达式、编辑SQL语句、关系代数表达式优化和数据库设计。

( 一) 学习效果

本节主要检验关系代数表达式编辑、关系代数表达式优化和SQL语句编辑三个部分的不同实验组学生学习成绩,每部分成绩换算为百分制。

由表2 可知,使用移动平台和网络平台对学生学习关系代数表达式编辑和SQL语句编辑这两个知识点的平均成绩增加较多而对关系代数表达式优化知识点的平均成绩增加较少。单纯使用移动平台或网络平台的学生成绩增加的没有两个平台都使用增加的多。

( 二) 学习态度

为了了解学生对知识掌握的熟练程度考核时记录学生操作时间,具体见表3。 表3 中编辑关系代数表达式为5 题,编辑SQL语句为5 题,记录学生交卷平均时间,单位为分钟。 由表2 和3 可见,只有理论讲授的I组关系代数表达式编写操作不熟练,花费时间较长,错误率多;对于采用了网络学习平台、移动学习平台的II组和III组的操作时间缩小,使用移动学习平台的操作时间比网络学习平台的操作时间少、错误率减少,而对于两个平台都使用的IV组操作时间更少。 对于四组学生来讲,编辑SQL语句操作时间只有微小变化。

( 三) 移动学习平台的应用效果

表4 是对调查学生对移动学习平台接受程度的调查结果。 表4 中1 号问题主要调查平台的易用性,2 号问题调查平台的技术便捷性,3 号问题调查平台的有用性。

由表4 可见,学生对移动学习平台和网络学习平台的应用都给予积极的评价,但是1 号问题还是有部分学生觉得移动学习平台操作较为困难需要对移动学习平台界面做出部分调整以促进更多的学生使用移动学习平台。

六、展望

本文提出使用数据库移动学习平台完成关系代数表达式转换为SQL语言的形式化, 以及关系代数表达式优化处理过程,有效地降低了学生学习数据库系统课程的难度。根据问卷调查分析可知授课过程中结合移动平台系统可以更有效地调动学生学习数据库系统的积极性。

不过本系统还需要进一步完善,为学生学习数据库系统提供更好帮助。

摘要：文章从移动学习平台开发的意义出发,结合“数据库系统”教学的主要任务,构建了“数据库系统”课程移动学习平台与网络教学平台,并对其应用效果进行了深入分析。

关键词：数据库系统课程,移动技术,学习平台

移动数据库设计 篇2

关键词：应用电子技术论文发表

近年来科技迅猛发展，与之而来的便是无线网络和移动通信的跨越式发展，不仅使得移动设备处理数据更加的灵活，而且其存储功能也变得十分强大，在无线网和数据库等领域中移动业务等技术变成为当下最时尚的话题，受到学术界与工业界的关注与大力支持；与此同时，移动技术在各个方面依然存在着问题，比如移动数据库的事务模型等。这就需要学术界在不断的探索中找到解决的方法。

1 移动数据库概述

J.Gray认为只要数据库不仅具有移动性、收敛性，同时还具有伸缩性、可串行性四大功能，那么该移动数据库系统就堪称完美。对于分布式数据库而言，其较移动数据库的最大优势便是能够进行长时间稳定连接。因此，缓存功能的强大与否是决定移动数据库的性能，无论是与网络连接还是不连接，其读写操作都不会受到影响。在网络连接的状态下，同步数据库不仅与中心数据库具有一致状态；同时，与副本数据库也要同步。

移动数据库设计 篇3

(上海海事大学信息工程学院，上海 201306)

0 引言

移动对象数据库是近年来备受关注的一个相对较新的研究领域，其总目标就是允许用户在数据库中表示移动实体［1］(汽车、船舶、飞机、手机用户等)，并执行有关移动的查询［2］.运动的空间对象需要将其状态信息(位置、速度等)传送给数据库，为数据库中的检索和查询提供最新的信息.

针对移动对象的位置更新问题，在现实应用中已提出很多解决方法.其中，固定时间和固定距离更新移动对象信息是两种常见方法.这两种方法实现简单，但是都较难选择一个合适的时间值平衡更新的频率，以便平衡更新中的通信复杂度和精确度.除此之外，基于向量的更新方法受到很大关注，文献［3］和［4］提出根据移动对象所在网络的拓扑结构和路线的几何形状实现状态更新，文献［5］和［6］在此基础上提出 IDTLU(ID－Triggered Location Update)，DTTLU(Distance－Threshold－Triggered Location Update)和 STTLU(Speed－Threshold－Triggered Location Update)方法.

船舶在航行过程中通过船载的黑匣子实时记录船舶的各项航行信息，目前的通信能力已经能够实现船舶与地面中心通信，以便地面中心能够实时监控船舶的状态.［7－8］利用移动对象数据库存储移动对象(船舶)的状态信息，能更方便地实现对船舶航行的历史、现在和未来的管理.基于这样的理念，本文利用基于运动矢量的位置更新机制(Motion－Vector－Based Location Update Mechanisms，MVBLUM)结合船舶航行中的多项信息，给出航行信息更新频率方案，并将船舶的实际航迹与通过更新数据形成的航迹进行比较来证实更新方案的有效性.

1 船舶航线的数据模型

船舶在港口间航行受多方面因素的影响［9］，一般会制定多条航线，航行过程中按照既定航线航行，但其实际航迹与预定航线是有差距的.

下面主要讨论如何以移动对象数据库的方式记录船舶航行信息.在航行中，船舶、港口、航线均以绝对的位置(经度、纬度)表示，同时对预定航线和实际历史航迹也以实际的绝对记录方式进行.［10－11］

定义1 定义航线

式中:ir为航线(或历史航迹)的标志;g为航线地理集合形状;l为航线长度;SAR为航线中的原子航段集合.

定义2 移动点是航线中的基本单位，原子航段其实由一个移动点构成，示意图见图1.

式中:im为移动点标志;(θlong，θlati)是移动点的起始位置，一对经纬度坐标;c为移动点在起始位置的航向;d是距离下一个移动点的距离.这样，一条预定航线可以由一个移动点集合表示(实际的历史航迹还包括很多其他信息).

图1 航线R以及其中的移动点、原子航段

图1中圆点表示航线中的移动点，以圆点为起始的线段表示航段.

定义3 定义移动对象(船舶)在t时刻的运动矢量

式中:t为采集该运动矢量的时间;(θlong，θlati)指采集信息时移动对象所在位置;vt为t时刻船舶航行的速度;ct为t时刻船舶的航向;e是指其他的额外信息(包括航首向、航行状态、吃水深度、目的地、预计达到时间等).

定义4 移动对象的时空轨迹是移动对象在行驶过程中通过位置更新操作提交的运动矢量序列，定义为

式中:vm，n是移动对象所提交的最后一个运动矢量，称为活动运动矢量，包含计算移动对象现在和将来位置的关键信息.多个移动对象的时空轨迹见图2。

图2中整个长方体的下表面是最初时刻移动对象记录，上表面为最后时刻移动对象记录.

近年来燃气轮机组、热电联产、电转气及电转热等元件推广应用，为多能互补、间歇性可再生能源的消纳提供了新的解决方案，同时逐步加深了多能源系统(电力系统、天然气系统、热力系统等)之间耦合。在此背景下，有必要打破传统多能源系统之间独立规划与运行的壁垒，构建协同统一的综合能源系统投资规划、运行调度及市场交易机制，以推动我国能源系统的改革与转型，为我国低碳可持续能源系统的构建及能源互联网战略提供技术参考。

图3为整个航线中的一个片段，根据该片段最后一次更新 vm，n可预测未来一段时间内船舶的航行.

2 船舶航线的位置更新机制

结合船舶的航行特点，采用运动矢量实现船舶在航行过程中的状态信息更新.根据更新规则，移动对象向服务器传输必要的信息，服务器记录船舶航行的整个历史轨迹以及当前状态.更新规则保证服务器记录的信息能够真实反映航行轨迹并且尽可能减少通信代价.

2.1 位置更新机制

移动对象(船舶)在海平面上航行时会不断将船舶当前的各项参数与最后一次更新的运动矢量进行比较.如果满足更新条件，那么当前运动矢量的信息会被传送到服务器.

考虑船舶航行信息的特点［4］，对那些不常变化并对船舶位置没有影响的信息采用相等对比的方式.对向量分量中与船舶航行轨迹关联较为紧密的位置坐标、速度、航向，定义以下更新规则作为更新触发条件:

移动对象在时刻 ti的运动矢量 vm，vi= (ti，(xti，yti)，vti，cti，hti，nti，dti，sti，Tti)，其中:位置(xti，yti)是经过坐标转换的位置;vti为速度;cti为运动方向;hti为航首向;nti为航行状态;dti为航行中的吃水深度;sti为航行目的地;Tti为航行到达时间.

ti时刻的加速度为ati，对于下一个时刻ti+1，通过上次的更新记录预测在时刻ti+1的位置(xm，ym)和速度vm.

更新规则1 xti+1根据ti+1时刻的(xti+1，yti+1)位置，知道预测位置和船舶实际所在位置距离s为两点(xm，ym)与(xti+1，yti+1)的欧几里德距离.定义距离超过一定阈值则触发更新.

更新规则3 对于船舶方向在规则1和规则2中虽已有体现，但是精确记录船舶转弯，同样对船舶航行的航向角设置差值的阈值，以控制航向的陡变.

更新规则4 对船舶的其他动态信息(航首向、航行状态、吃水深度、目的地、预计到达时间)直接利用等量对比方式触发更新.

更新规则中的阈值可以根据船舶的航行特点和所需监测数据的精度确定，因为与常见交通路网中的汽车相比，船舶的航行状态更稳定.

除了上述更新规则之外，为避免出现数据通信过程中的碰撞，两次更新的时间差应大于3 s.在移动对象更新过程中，确定更新规则1，2和3之后，另外的操作就是进行字符对比.通过这些规则形成完整的船舶航行的整个信息更新机制如下:

算法1.航行信息更新算法

3 实验结果和分析

3.1 实验结果

为了验证整个更新机制可节省的通信量和能够达到的精确度，做一系列实验并对其结果数据进行分析.为真实反映船舶航行的实际状况，从以往船舶实际航行的历史数据中选取4条船的状态记录作为当前活动的移动对象每次获得航行信息的基础数据，利用上述更新策略进行处理得到结果数据，见表1。表中:MMSI_Number为船舶的标号;原始数据是移动对象(船舶)通过所载设备获取的航行信息次数;更新后数据是更新到移动对象数据库中的数据，即数据库中记录的船舶航行轨迹;节省通信量为与船舶当前通信频率相比可减少的通信量.这4条船中:110603267为正常航行;123456778基本静止，受风力等非人为影响的晃动;200804300时而静止时而航行;209075000为正常航行情况下往返于两个目的地.

表1 更新前后船舶通信代价对比

为展示更新后所记录船舶航行轨迹的精确性，对比船舶的航行轨迹和数据库记录轨迹.图4为船110603267的轨迹.从图4中可以看出，更新过程中只是过滤掉不必要的数据，更新后的数据可真实反映船舶的实际航行轨迹.结合算法1可以得出结论:查询精度取决于其中的距离阈值、速度阈值和航向阈值，实验中的这些值根据船舶实际航行的特点不难适当确定.根据算法1的更新条件可以断定，在对历史轨迹进行查询的过程中，其位置误差不会超过距离阈值.

图4 移动对象更新前后轨迹对比

4 结束语

国内外移动对象数据库方面的研究已经趋于成熟，但对移动对象数据库在航海领域的应用缺乏探索.船舶的航行更具有规律性特点，针对这一移动对象的特性，更深一步地利用其航行的历史数据，可能会达到更好的效果.进一步的研究将针对船舶的航行特点，在移动对象的数据更新、存储和查询优化方面让移动对象数据库对航海领域的移动对象数据管理发挥更大作用.

［1］GÜTING R H，SCHNEIDER M.Moving objects databases［M］.Morgan Kaufmann，2005:48－52.

［2］DING Zhiming，GÜTING R H.Managing moving objects on dynamic transportation networks［C］//Proc 16th Int Conf on Sci＆ Stat Database Manage，SSDBM 2004.

［3］WOLFSON O，YIN Huabei.Accuracy and resource consumption in tracking and location prediction［C］//HADZILACOS T.Advances in Spatial and Temporal Databases:Refereed Proc 8th Int Symposium on Spatial and Temporal Databases SSTD 2003，Santorini Island，Greece，2003(8):325－343.

［4］DING Zhiming，GUO Limin，MENG Xiaofeng.Adaptive location update mechanism for network－constrained moving objects in changeful traffic conditions［C］//2009 10th Int Conf on Mobile Data Management:Systems，Services and Middleware，2009:417－423.

［5］DÜNTGEN C，BEHR T，GÜTING R H.Berlin MOD:a benchmark for moving object database［J］VLDB J，2009，18(6):1335－1368.

［6］TRAJCEVSKI G，WOLFSON O，ZHANG Fengli，et al.The geometry of uncertainty in moving objects databases［C］//Proc 8th Int Conf on Extending Database Technol:Advances in Datebase Technology(EDBT 2002)，Prague，Czech Republic:233－250.

［7］申慧超，胡勤友，杨春.基于AIS数据的预抵船舶联系信息查询系统［J］.上海海事大学学报，2010，31(4):13－16.

［8］王艳军，王晓峰.AIS和北斗终端组合在船舶动态监控中的应用［J］.上海海事大学学报，2011，32(4):17－21.

［9］张浩，俞斌，肖英杰，等.船舶定线制设计方案评价［J］.上海海事大学学报，2010，31(3):5－9.

［10］丁治明，李肖南，余波.网络受限移动对象过去、现在及将来位置的索引［J］.软件学报，2009，20(12):3193－3204.

移动数据库设计 篇4

1 存在的问题

一个地级市一般有上千座无线基站,每个基站从选址勘测、设计、施工、扩容、维护等阶段要产生大量的数据。目前国内的移动基站工程实施过程中,大量的数据仅仅使用Excel表格存储;大量的CAD图纸、Excel表格和word文档等数据都是由普通的文件管理系统管理。这样必然会导致数据组织混乱、不共享、不准确、不一致、不安全、查询费力等问题,从而导致工程效率低下和成本高。

1.1 数据低共享

由于没有统一的数据库,这就必然导致数据共享程度低,从而导致大量的数据冗余。例如,移动通信设计院将一座新建基站的图纸设计完成后,要分别发送给运营商,运营商对图纸进行审核,审核通过后交给通信施工队,通信施工队按照图纸进行施工,若未通过审核,则要通信设计院修改。在一套工程图纸设计、修改和完成的过程中,通信设计院、运营商和施工队之间数据不共享;通信设计院的工程师之间、运营商各部门之间数据不共享。

1.2 数据不准确、不一致

例如,由于一个基站要不断地更换和添加设备,这样就导致这个基站的设备平面图经常变化。由于没有运用工程数据库,通信设计院在设计的过程中可能参照的是陈旧的工程图纸,其设计的设备安放位置很可能被其他设备占用,这样就导致设计失败。等到发现了这个错误,设计院就要重新查勘和设计,从而耗费了大量的人力物力,也影响了工程进度。再如,代维在每月的例行维护中,发现了有载频损坏。由于没有运用工程数据库,这一情况很难被及时反应到通信设计院一方。在这种情况下,设计院参照的数据就不准确。

1.3 查询费力

由于没有运用统一的数据库,而且数据量很大,这就导致查询费力。例如,很多情况下,在一项基站扩容工程中,通信工程师必须在一千多个基站里手动查询相关数据。而且由于基站名称的不一致,导致很多数据查不到。

2 无线基站设计与管理数据分析

运用工程数据库的方法,通过建立面向移动基站工程的移动基站工程数据库,将移动基站工程各项活动联系在一起,建立数据流动的良好渠道,是解决集成化移动基站工程系统的良好途径。图1显示了移动基站工程各活动之间数据流动状况。

在移动基站选址阶段,首先是通信设计院协同运营商的工程建设和维护部根据用户的投诉情况、现有的网络覆盖、网络测试结果和未来规划等条件(这些都可从工程数据库中导入和导出)确定初步的选址范围。然后,运营商、土建设计院和通信设计院三方实地选址。其中基站周围的地理条件(地形、水文、道路等)、话务量状况(现有的话务量和未来的预计的话务量增长),土建状况(城市租赁机房的承重状况),配套资源状况(传输、供电、接地),站址物业的状况等大量数据都要录入到数据库中。

在移动基站设计阶段,建筑设计院和通信设计院根据基站选址勘测结果、技术标准和运营商的其他要求提出完整的设计方案,供运营商审核。这个阶段建筑图纸、机房图纸、网络规划结果等都是至关重要的数据,对于之后施工、扩容和运营必不可少。

在移动基站施工阶段,土建施工队和通信施工队分别根据建筑设计方案和通信设计方案完成施工,分别完成施工报告和相关数据并录入数据库中。运营商在工程完工验收后,将验收报告录入数据库中;监理方也按要求将监理报告录入到数据库中。

在移动基站运营阶段,代维将例行的维护报告录入到数据库中,根据每次的检查结果更新数据库中相关数据,例如正常运行的载频数目、可使用的地排孔数、可用的2M线对数。若是遇到新增和更新设备、基站扩容或基站搬迁,运营商、设计院和施工队分别运用工程数据库完成各自的工作。

无线基站工程数据库涵盖了无线基站工程活动中的各种数据,包括基本信息库,设计文件库,施工文件库,维护记录库,设备库,材料库,工程财务库等。每个库中又可分为多个子库,如基本信息库可分为地理状况库,物业状况库,配套资源库等。从中可以看出,工程数据库的组织并不依赖于移动基站工程活动中的不同过程,而是直接针对研究对象建立数据库,数据的流通因此更加通畅,数据的冗余因此更加减少[1]。

3 移动基站工程数据库的设计

3.1 数据模型

从移动基站工程设计过程中所需数据以及工程数据库系统的基本需求上看,如果对关系数据模型进行扩展,将关系模型与面向对象核心概念综合,构造对象—关系模型作为工程数据库的数据模型,将是一种适合移动基站工程数据库的数据模型。

对象-关系数据模型就是将关系模型和面向对象数据模型进行数据建模,真正数据处理的完成仍然在关系数据库中进行。对象-关系数据模型是对关系数据模型进行扩充,从而提供更为丰富的面向对象的类型系统并在关系查询语言中增加处理新增数据类型的成分,这样的扩充既要保留关系基础,同时又要提高建模能力。

3.2 数据标准化

存入工程数据库的数据必须进行标准化[5]。标准化一方面要尽量采用已有的行业或国家标准,尽量有利于系统的扩展。另一方面,在没有国家或行业标准的情况下,要结合实际情况进行分析,如基站的名称,可分为农村基站和城市基站两种类型,农村基站采取“乡镇名+村名+序号”的形式,城市基站采取“街道名+周围重要机构或建筑名称”的形式。

3.3 版本控制

移动基站工程设计是一个反复试探的过程,在设计过程中往往需要对多个方案进行对比和选择。因此要求工程数据库能够存储和处理多个方案的数据。在移动基站设计的过程中,设计方案存在一个产生和修改的过程,因此不同设计阶段的版本也有不同的状态。根据设计的需求大致将版本的状态划分为工作版本和有效版本[2]。

版本的管理模型通常有线性版本管理模型、树型版本管理模型以及有向无环图版本管理模型[6]。从无线基站设计的过程及特点来看,树型版本管理模型比较适合。

3.4 与GIS结合

地理信息系统是以地理空间数据库为基础,采用地理模型分析方法,实时提供多种空间的和动态的地理信息,为地理研究和地理决策服务的计算机技术系统[3]。在无线基站建设中,所必须考虑的地形条件、道路交通状况、居民地分布情况等信息正是地理信息系统存储、管理和分析的对象,GIS可以大大使基站选址工作简化和优化;对于无线基站的传输设计来说,GIS系统就更为重要;GIS系统还是网络优化中必不可少的工具。

目前国内通信设计行业中常用的地理信息系统软件是MapInfo,其对网络选址、传输设计和网络优化很有用。可将MapInfo之类的GIS与移动基站工程数据相结合。

4 结束语

本文分析了移动基站选址勘测、建筑和通信设计、施工以及维护管理过程中出现的一系列数据处理的问题,提出用工程数据库方法来解决这些问题的思路和方法。目前国内还无无线基站工程数据库的研究,而公路、铁路等工程数据库已经相对成熟,无线基站工程数据库即可利用这些已成熟的技术并根据自身特点来实现。

参考文献

[1]胡霞光,王秉纲.工程数据库在公路设计与管理中的应用[J].交通工程运输学报,2001.

[2]陈矗.工程数据库版本管理与并发控制研究[D].山东:山东科技大学,2004.

[3]张立立,王康弘,潘朝裕.基于地理信息技术的山区农村无线通信基站选址研究[J].电信工程技术与标准化,2004.

[4]Schaft T,Doherr F,Urbas L.A conceptional design to employ engineering databases in mobile maintenance support systems.IEEE International Workshop on Factory Communication Systems[C].2008.

[5]刘延亮.移动基站机房建设的标准化应用[J].电信工程技术与标准化,2008(7).

移动营销：数据平台+创意效果 篇5

在互联网初期，展示类的品牌广告是主流，那时被称为互联网营销的1.0时代。而随着互联网发展，搜索广告成为新的广告形式，广告营销从被动展示到主动搜索。“而今我们已经进入了3.0时代，这个时代追求的是效果。”腾讯效果广告平台部副总经理马轶群在2014腾讯全球合作伙伴大会上说。

互联网营销一直在追求高性价比的广告投放模式，而在移动时代庞大的流量和数据是最好的原料。“效果广告利用大数据定位用户需求，将广告智能推送到目标人群，大幅提升了广告主的投入产出比。” 马轶群表示，效果广告因“自动化+大数据”、“效率+效果”的双提升优势，是广告的未来。

这方面腾讯广点通正在亲身实践。广点通聚合了QQ、QQ空间、微信、腾讯新闻客户端、QQ音乐等数十个社交平台，拥有流量广、用户广、数据广三大特点。同时，广点通还拥有专业的智能推荐算法，从用户基础属性、短期行为属性、长期兴趣爱好等维度对用户进行分析，并通过17个大类的商业兴趣对用户进行定向，来支持广告主更精细的投放用户群，实现智能、准确的广告推送，帮助广告主找到潜在用户。数据显示，广点通触达用户总数超8亿，日均广告曝光量过百亿。

去年6月，广点通推出移动联盟，意在让移动应用开发者获得收益。经过一年多的发展，广点通外部合作App流量从1亿迅速增长到6亿，构建出一个形态多样、场景丰富、跨终端的大数据广告平台。

休闲游戏《猜歌王》是参与广点通移动联盟的App之一。《猜歌王》产品总监张威称，“接入广点通后，保守估计单日下载量已突破10万以上。”同样，近日接入广点通的App糗事百科创出上架日下载量峰值近4万、安装转化率90%的佳绩。

今年5月，微信广告还处在内测期时，广点通联合利华、宝洁、intel、雅诗兰黛、Coach、周大生等大品牌商们率先试水微信广告。以联合利华为例，世界杯热播期间，联合利华策划了“巴西大竞猜”活动，推广落地页为该活动的HTML5移动页面，投放目标为推广旗下日化用品清扬的品牌，促使其获得足够的曝光，投放一周时间清扬品牌曝光超过了3000万， 活动页面的点击超过34万，活动参与人数超过25万。

对比来看，《猜歌王》的玩法相对保守稳定，但不影响效果。而微信广告挑战性已经超出数据平台资源的范畴，形式感要求更高。广点通经过多种实践得出目前微信广告的四种广告形式：文字链广告、图片广告、图文广告和卡片广告。

美丽说主导女性购物市场，其用户群是以18～35岁的一线城市时尚女性为主，而这部分人群也恰好是微信用户中最活跃的群体。美丽说在微信所投放的广告取得了平均点击率为2.5%，加上运用创新的HTML5页面，给网站直接带来大量流量和用户消费。

移动数据库设计 篇6

长庆油田公司覆盖的区域十分广阔，很多钻井队由于地处偏远，信息化建设水平较低，无法保证所有井队用户都能顺利接入互联网，并及时上报钻井队的工作情况，而且钻井工人长期工作在条件艰苦的一线，很难安排时间进行信息系统的操作培训。常用的手段是钻井队长或信息员通过短信的方式向主管领导汇报井队工作、遇到的困难或突发状况，领导再通过短信或电话方式对井队遇到的问题进行具体批示。这种方法只需要钻井队所处地区有手机信号就可以实现及时汇报，实用性较强，但是面临的一个主要问题是短信内容属于非结构化数据，短信内容发送后就只能保存在发送者和接收者的手机中，不利于信息共享，也不利于日后的检索和查证。

当前信息化发展进入大数据时代，大量的企业知识和成功案例就蕴含在这些井队用户的汇报和领导批示的交流短信中，因此很有必要将这些短信内容收集起来，整理入库，实现规范化管理，便于信息共享、信息检索、数据溯源，更进一步可以进行数据深度挖掘，总结和发现数据中蕴含的知识，固化已有的工作经验，为以后的工作提供参考和指导，从而真正形成有效的企业数据资产。

针对这种现状，设计并实现了《钻井生产现场移动数据交互平台》，目的是仅通过手机发送短信和彩信操作就能把现场的工况信息或突发事件的信息及时准确，图文并茂地发送给相关领导，从而防患于未然，避免不必要的损失。

1 系统需求

井队需要将作业过程中遇到的问题提交给相关负责人，同时还需要将问题自动收录到问题资料数据库中，并对问题进行分类整理，系统通过访问角色的不同，对问题的访问设置权限管理，不同角色的用户可以浏览自己权限内的问题。

信息的来源是井队信息员或队长的手机短信，发送到指定的手机号码上，短信接收手机SIM卡插在短信接收设备上，短信接收设备通过USB口连接到服务器上，服务器上运行短信监控系统，一旦短信接收设备接到短信，运行的监控服务就会将短信信息转入到信息预处理数据库中。

信息预处理系统将数据从信息预处理数据库中取出，根据系统管理人员提供的领域内关键词建立分类系统将信息进行分类，并将处理的信息生成结构化信息导入标准信息数据库中，同时以系统消息的方式通知相关人员去查看信息。对于无法处理或其他信息将转入到人工分析库，待信息管理人员对信息进行审核分类。

本平台建有短信入库白名单策略，对白名单的手机号进行免检入库，对白名单以外的手机号码发送的短信一律送待审信息库，由人工审核处理。平台还建立黑名单策略，对于恶意手机号码进行排他处理，一律过滤到垃圾信息库中。

对于已经进入标准数据库中的信息，将采取静态化处理，将信息发布成两种静态信息页面，不管使用电脑还是手机都能快速访问。同时提供向智能移动终端推送最新消息的功能。

信息搜索系统是为了满足用户根据自身搜索需求，根据关键词对信息进行快速索引，结合前端创建的分类系统，实现快速准确的匹配，并将检索信息返回结果。

2 系统设计与实现

系统流程如图1所示。根据用户需求，系统主要包括：短信接收模块、短信预处理模块、智能信息分类模块、人工审核模块、用户管理模块、访问角色权限管理模块、信息发布推送模块、信息检索模块。

2.1 短信接收模块

当短信通过电信运营商网络发送到短信接收设备后，由短信设备监控软件通过对USB口的监控并启动处理逻辑，对信息进行读取，并将信息导入到预处理数据库中，同时删除设备中的数据，及时清理设备的短信存储空间。该模块包括：新短信监控功能、短信设备内存清除功能。

新短信监控功能：短信监测进程对指定的USB口进行监测，当有新短信接收到短信设备中后，短信监测进程激发短信接收入库进程。

短信设备内存清除功能：从短信接收设备的内存中读取新信息，由短信读取入库进程将设备内存中的新短信读取到短信监测服务器中，并将数据导入到短信预处理库中，将短信中的附件（图片等）保存到服务器的文件存储路径里，并将附件存储路径同步到短信预处理库中，以便短信息入库模块的后续处理。入库成功后，调用短信设备内存清除进程清除已入库的短信息，释放内存。

2.2 信息预处理模块

当信息进入到预处理库中就需要调用预处理功能对其进行分类处理。该模块主要包含的功能有：黑白名单功能、自动垃圾短信识别功能、短信息关键词提取功能、智能短信息分类功能。

黑白名单功能：系统根据预设值的白名单和黑名单对信息进行第一层数据分类，白名单的数据进入信息关键词提取模块中，黑名单来源进入黑名单信息系统中，同时删除该短信及其附件，其他无法确定的信息进入到自动垃圾短信识别子模块中。

自动垃圾短信识别功能：根据当前短信发送方的长度、内容，短信中包含的电话号码，超链接等信息自动判定是否为垃圾短信。是则删除该短信，并将其号码列入黑名单，如果是难以判定的短信则交由人工识别模块判定。

信息关键词提取功能：主要实现对短信文本中关键词的提取，根据每个词在短信中出现的频次、位置和短信文本长度形成短信的描述向量，为短信的智能分类提供支持。

智能信息分类功能：根据关键词提取模块的处理结果，比对当前短信的描述向量查找用户提供的领域关键词库，并计算与其他各个分类中心的欧氏距离，采用的智能分类算法是非监督的KNN算法，确定当前短信的分类。判定结果交由人工判定模块进行审核，并将人工分类结果反馈给分类器，更新分类中心坐标。

2.3 人工审核信息处理模块

对于难以判定是否为垃圾短信、骚扰短信和难以确定分类的短信则进行人工审核，对其进行相应处理。该模块提供一个友好的界面，向管理员展示当前难以判定分类的短信，由管理员手工处理，并对处理结果进行反馈，将被判定为垃圾短信的号码列入黑名单；将分类结果传递给分类器，分类器根据分类结果重新计算并更新分类中心，同时将分类好的短信递交给信息推送模块，在人工审核信息处理模块执行完毕后，该短信将存入到最终的短信息标准库中，作为合法的、已分类的数据存放下来，为后期的信息发布、推送、检索和溯源提供支持。

2.4 信息发布与推送处理模块

进入标准库的信息，在发布时将信息静态化处理，这样可以提高用户浏览时的用户体验，也能减少系统数据库访问压力。当对应的信息发生变更时，静态化系统将信息重新发布成静态页面。在信息推送时主要根据信息的来源、部门和分类作为搜索条件寻找相应的管理人员，并向该管理人员的智能终端和桌面进行推送，定向准确地通知管理人员尽快做出回应。

2.5 信息搜索模块

除了智能推送，本系统还提供了一个信息搜索模块，该模块的搜索功能除了具有以往常规的数据库搜索方式，还可以根据短信的关键词和用户定义的专业词典进行智能的语义搜索，系统根据用户输入的关键词进行拆词分类索引，通过IDTree模型和拆词分类技术的实现更好地为用户提供信息的定位展示。

2.6 用户管理模块

将使用本系统的用户信息导入或输入到用户管理系统中，其中包括：人员基本系统管理，人员状态设置，人员角色权限分配等。

2.7 访问角色权限管理模块

访问权限使用角色进行管理，根据角色的不同配置不同的访问权限，再将角色赋予用户，当用户登录后根据用户的角色获得可以访问信息的权限，提供信息的查看和处理的操作权限。用户的角色同时也是信息推送的主要依据。

3 结语

短信是手机的重要功能之一，只要在手机信号可以覆盖的地方，不受场地和带宽的约束，相对自由的发送和接收，该手段是基层井队与管理层进行沟通的重要渠道之一。在管理层和基层的来往短信中往往蕴含着丰富的知识，具有很高的重用性和借鉴性，因此收集和利用这些短信数据对于完善企业的知识工程是大有裨益的。随着大数据时代的到临，越来越多的智能算法不断涌现，这就为收集短信数据和用好短信数据提供了技术条件。本系统大量采用了当前先进的智能分类、垃圾数据屏蔽、智能推送、语义搜索等技术，实现了井队与管理层短信来往数据的收集和分类，为抽取和凝练企业的专业知识、数据溯源、辅助决策等提供了坚实的技术基础。

摘要：长庆油田公司覆盖的区域十分辽阔,很多井队的信息化程度不高,单纯依靠卫星网络传递井队信息尤其是突发状况,会受到场地、带宽和天气的影响,使用条件受到一定程度的限制。短信传递信息是网络通信的重要补充手段。通过系统设计实现了基层井队和管理人员短信数据的收集和智能处理,为企业进一步建设知识工程,积累专业知识奠定了坚实的基础。

关键词：移动数据,数据溯源,信息查询,钻井

参考文献

[1]刘胜娃,陈思锦,李卫,等.企业私有云平台安全技术研究[J].现代电子技术,2014,37(2):88-90.

[2]刘胜娃,高翔,王敏.基于贝叶斯网络的攻击图方法在网络安全评估中的应用[J].现代电子技术,2013,36(9):84-87.

[3]刘胜娃,陈思锦,李卫,等.面向企业私有云计算平台的安全构架研究[J].现代电子技术,2014,37(4):34-36.

[4]陈宁,刘岚.数据仓库在移动通信企业经营分析系统中的应用[J].现代电子技术,2008,31(14):117-120.

[5]王超.一种增强型的移动数据交换系统架构模型[J].现代电子技术,2012,35(24):43-46.

[6]马晓昊.基于云计算的安全数据存储服务的研究与实现[D].上海:同济大学,2008.

[7]张凯.基于移动数据城域网的建设规划[J].现代电子技术,2014,37(21):27-30.

移动数据库设计 篇7

关键词：移动多媒体广播,数据广播,推送业务

0引言

随着CMMB覆盖优化和运营开展的深入, 单纯的电视、广播业务已远远满足不了用户需要, 用户希望获得更多丰富的增值业务。由于CMMB主要面向手机等小型移动接收终端, 如何在终端上接收展现各种增值业务变得尤为关键。以传统客户端形式来解决点对面的增值业务问题已越来越不可行, 需要建立新的广播增值业务模式, 构建新型广播增值平台, 解决终端的普适性问题, 降低终端集成使用增值业务的复杂性。

CMMB数据推送业务是指以点对面的广播方式推送传输文本、图像、音频、视频等多媒体信息数据到用户终端的一种技术方式, 可把海量信息传送给用户, 属于CMMB数据广播业务, 具有以下特点:

1.前端主动推送, 无需用户发出请求;

2.对于推送到终端的内容, 用户可有选择地进行接收或过滤;

3.传送及保存过程自动完成, 无需用户参与;

4.业务使用与传输过程分离, 用户可离线、反复使用;

5.对于已推送并存储到终端的内容, 用户可立即使用;

6.前端在推送内容时, 结合预约下载, 有效调度推送时间, 有效利用带宽。

目前CMMB数据广播推送式业务已实现音频富媒体广播在中央人民广播电台与国际广播电台北京地区的试商用, 其业务产业链的成熟化进程将逐步加速。

1业务形态

1.推送式图文业务:推送式图文业务是以图片与文字组合为主的推送式业务, 向用户提供资讯服务, 包括政务信息、紧急广播、新闻体育、娱乐文化等内容。

2.推送式音频业务:推送式音频业务以音频内容为主, 包括音乐推送、铃声下载、有声小说等。

3.推送式视频业务:推送式视频业务以视频内容为主, 包括视频新闻、影视媒体、专项视频应用等。

4.其它类推送业务:其他类推送式业务可根据业务发展需要推送其它形式的文件, 包括地图更新推送、软件推送、游戏推送等。

2业务框架设计

2.1总体结构

推送业务系统总体结构如图1所示。

推送业务前端平台完成对以推送业务为中心的相关信息的管理、业务的播放控制、数据文件的加扰、封装以及与运营支撑系统的交互。主要包括内容管理系统、数据广播系统、DRM系统。推送业务终端平台完成对CMMB推送业务的接收、处理及展现, 用户通过此终端系统获取CMMB数据广播提供的各种增值服务。主要包括订阅/取消订阅、下载管理器、解扰模块、文件系统。

2.2推送业务前端平台

2.2.1内容管理系统

内容管理系统 (CMS) 用于管理向终端推送的内容, 为前端的CMMB数据广播系统提供支持, 主要包括内容存储、编排, 播出监控及用户和日志管理。

1.产品库:包括内容存储服务器、内容存储管理工作站和内容审查管理工作站。

2.编排管理:包括播出编辑工作站、日志/用户管理、播出控制服务器、播出监控

2.2.2数据广播系统

数据广播系统对CMS编排审核通过的内容或其它应用上层内容进行播控管理, 包括数据广播文件发生器的开启与关闭管理, XPE封装机的开启和关闭管理等。

1.文件发生器:文件发生器实现对数据文件的切片与分发的管理。数据文件从CMS的产品库输入到文件发生器, 由文件发生器按定义格式切片及打包后分发给XPE打包机或加扰器。

2.XPE封装机:XPE封装机把输入数据封装成复用器可识别的数据包, 由复用器再把数据包复用到广播通道的各个业务中。其输入数据为文件发生器发送的数据片/FAT片信息、即时数据流或加扰器加扰后的数据信息, 其输出数据为统一的XPE数据包或XPE-FEC数据包。

3.双向传输容错系统:双向传输容错系统负责缓存正在广播的产品数据 (加扰后数据) , 用于终端在大文件下载时、在缺失较少数据 (95~100%) 的情况下通过双向网络下载缺失数据, 有效减少下一次轮播的等待时间, 改善用户体验。

4.播控管理:对业务内容播发参数的配置包括数据广播文件发生器的开启与关闭管理和XPE封装机的开启和关闭管理。

2.3推送业务终端平台

推送业务终端平台是CMMB数据业务终端系统的一部分, 由若干支持推送业务的核心模块组成, 提供订阅/取消订阅、定时自动下载、内容安全存储及定时开关机等基础服务和管理。

2.3.1订阅/取消订阅模块

对用户已购买的业务进行细化的订阅控制。订阅/取消订阅模块从“推送业务指南”文件获取业务基本信息并显示给用户, 根据媒体类型对订阅列表进行过滤, 仅向用户显示该终端支持的媒体类型;根据文件容量大小信息计算终端剩余的存储空间是否满足要求, 提示用户确定是否订阅该内容。

默认情况下, 用户订阅的基本单位是内容, 对于在“推送业务指南”文件中提供了详细描述信息的文件, 用户也可对其进行订阅设置。“下载计划表”指示下载管理器在某一时刻下载某个内容。

2.3.2下载管理器模块

按“订阅/取消订阅”模块形成的下载计划表完成内容文件自动下载, 无需用户的干预, 会根据下载计划表形成一系列定时下载任务, 定时调用下载器 (图2) 模块来为每个定时下载任务执行一次下载操作。

定时开关机控制模块根据将要执行的下一次定时下载任务的起始时间向系统时钟RTC单元注册自动开机时间。该时刻到达时, 如终端处于关机状态, RTC单元将控制终端设备自动启动, 并激活下载任务管理模块, 启动定时下载任务。当下载任务完成后, 如果下次下载任务间隔时间较长, 自动开关机控制模块控制终端自动关机。为保证定时下载任务能准时启动, 时钟同步模块将定期与TS0中的系统时间信息同步, 校准本机时钟。

解复用模块将从CMMB信道接收到的数据还原为XPE/XPE-FEC数据, XPE文件接收模块调用解扰模块解扰, 并将XPE包解析成文件片及文件块, 文件拼接模块将文件块拼接成完整的文件, 并在文件存储管理模块的控制下存储到终端的文件系统中。

下载过程中大文件可能出现某些文件片或文件块缺失或出错的情况, 下载管理器可在下一次轮播时仅下载缺失的部分;如果缺失数据小于5%, 可调用传输容错模块通过双向网络直接向前端请求缺失的文件片或文件块, 以避免等待下一次轮播。

3推送业务指南数据

3.1业务指南信息的描述

业务指南信息通过ESG系统将CMMB数据推送业务的产品编排等信息推送给终端用户, 终端可根据指南信息订阅产品, 定时或后台下载。ESG主要包括2部分:

1.基本编排信息:根据数据业务编排信息等产生数据广播业务指南数据。

2.内容扩展信息:在ESG中实现数据业务的扩展部分, 在订阅产品时能提前预知和判断其合理性并提供校验参考。表1列出语法描述语义, 表中的定义为数据广播专用信息, 内容扩展信息定义为ContenAux.xml, 通过ESG系统发送到终端。

3.2终端接收具备条件

终端应支持以下条件判断:是否已订购该业务或产品;磁盘剩余容量是否足够;媒体类型是否支持。

3.3业务指南信息的展现

终端以ESG业务形式展现推送业务指南信息, 可根据需要订阅符合条件的产品。

4大文件的容错推送下载

4.1容错下载

根据FAT表中FAI对文件大小的描述, 为该文件在磁盘上开辟出一块与文件大小相同的临时空间来存放临时文件, 并在同级目录下为该文件生成索引辅助文件。临时文件和索引文件辅助的命名规则按照FAI定义的文件名来确定, 临时文件名是在该文件名后加上后缀.ltmp, 索引辅助文件是在该文件名后加上后缀.lfbi。

索引辅助文件用于标识同名临时文件中索引位置对应的块/片是否下载, 具体格式见图3。

资源标识

16位字段, 文件的资源标识。

更新标识

4位字段, 文件的更新标识。

块/片标志

1位字段, 片或块指示, 如果为0, 指示后面的“块/片接收标识”字段指示的为块标志。

块/片总数

24位字段, 表示块/片总数, 其中块的范围0~2047, 片的范围0~16777215。

块/片接收标志

1位字段, 0表示临时文件中该块或片的数据未接收, 否则表示接收。

序号为0, 1, ..., N-1, 共N个, N取值范围由“块/片总数”字段决定。如果N不是8的整数倍, 则填充0, 补齐字节。

4.2预下载

在接收完整FAT表之前, 可对已经接收的文件片/纠删校验片进行缓存 (预接收) 处理。每个文件片/纠删校验片被存储在临时文件夹下的相应临时文件中, 相同文件同一个块的文件片/纠删校验片存储在同一文件中。当收到一个文件片/纠删校验片时只需要在对应ptmp文件末尾追加存储该文件片/纠删校验片, 不需顺序存储。

终端为每个ptmp文件在同级目录下建立一个索引辅助文件, 文件名相同, 扩展名为.pfsi (Pre-receive File Slice Index) , 即资源标识_块序号.pfsi。

索引辅助文件用于标示同名临时文件中索引位置对应的片是否下载, 具体格式见图4。

资源标识

16位字段, 文件的资源标识。

块序号

10位字段, 文件的块标识。

片预接收总数N

14位字段, 标识当前文件的文件块中的文件片最大预接收数量, 由终端配置。

更新序号

4位字段, 文件的更新标识。

片接收标志

1位字段, 0表示临时文件中该块或片的数据未接收, 否则表示接收。

序号为0, 1, ..., N-1, 共N个。N取值范围由“片预接收总数”字段决定, 如果N不是8的整数倍, 则填充0补齐字节。

5终端存储空间管理

对存储空间管理的考虑包括:

1.推送类业务在下载过程中, 既要尽量避免用户参与, 又要保证下载内容安全可靠地保存于终端。

2.在保证效率的前提下, 用户界面尽量做到友好, 以培养用户使用习惯, 促进业务推广。

为此我们把存储空间的管理分为两类:默认存储空间和存储空间溢出管理。

5.1默认存储空间管理

1.默认存储位置的显示:根据终端能力, 在用户订阅内容时, 提示下载文件的默认存放位置。

2.默认存储位置的修改:根据终端能力, 可根据实际情况和喜好, 修改默认存储位置, 也可为每个订阅的内容指定存储位置。文件下载后可自动将文件保存到用户指定的目录。

3.默认存储空间大小的配置:默认存放空间是整个终端可用的存储空间, 当终端上没有可用存储空间时, 溢出发生, 并进入存储空间溢出管理。为了避免与终端其他功能冲突, 可为推送类业务指定存储空间大小, 当下载的文件达到存储空间上限时, 溢出发生, 并进入存储空间溢出管理。

5.2存储空间溢出管理

用户指定好默认存放位置之后, 可通过选择不同的存储溢出管理策略, 来应对下载文件过多导致空间溢出的情况, 避免将自己喜好的已下载内容在不知情的情况下自动删除。

1.溢出时停止下载:当下载器发现存储空间不足时自动停止下载, 并提示用户手动删除或移动文件。

2.溢出时自动删除旧文件:当下载器发现存储空间不足时自动删除用户指定的目录下保存最久的文件, 保证最新内容及时下载。

3.溢出时自动删除大文件:当下载器发现存储空间不足时自动删除用户指定目录下最大的文件, 以下载更多内容。

4.定时提醒用户整理存储空间:定时向用户报告存储空间状况, 提示用户对存储空间进行整理。

5.定时自动删除旧文件:定时整理存储空间, 自动删除用户指定目录下保存最久的文件。

6.定时自动删除大文件:定时整理存储空间, 自动删除用户指定目录下保存最大的文件。

6业务流程

6.1推送流程

1.通过审核的业务内容进入CMS内容资源库。

2.定义具体业务的推送规则, 产生推送业务编排表。

3.CMS根据编排信息生成业务指南数据, 并发送给ESG和BOSS。

4.ESG把业务指南信息下发给终端, 指导用户订阅。

5.数据广播平台按照业务编排时间表对具体的产品进行文件分发。

6.文件分发器把分片文件传递给加扰器进行加扰。

7.加扰器把CW传递给CA进行加密。

8.CA把ECM返还给加扰器。

9.加扰器把加扰后的数据及ECM传递给XPE打包机及双向传输容错系统。

10.XPE打包机把打包文件传递给复用器。

11.通过数据广播网络下发到终端。

6.2订阅/取消订阅流程

1.订阅流程

1) 前端平台推送业务指南数据给终端, 终端接收业务指南数据并展现;

2) 用户根据业务指南发起对产品或者文件的订阅请求, 终端进行订阅请求处理, 进行属性匹配, 异常情况下提示用户;

3) 用户确认订阅后, 订阅模块生成下载计划表送下载器模块, 并返回处理结果 (图6) 。

2.取消订阅流程

1) 用户请求浏览下载计划表, 终端展现未完成的订阅下载列表;

2) 用户发起取消订阅请求, 订阅模块更新下载列表, 送下载器模块, 返回处理结果 (图7) 。

6.3产品下载流程

1.下载器模块根据订阅时间接收指定产品数据。

2.收到数据后判断类型, 如果是FAT信息, 直接生成文件;如果是数据信息, 则提取加扰净荷信息给解扰模块。

3.解扰模块进行文件解扰。

4.按接收规则生成具体的产品数据文件。

5.校验后如文件仍不完整 (95%~100%) , 可选择双向网络容错系统获取剩余文件 (图8) 。

7结束语

随着CMMB数据推送业务的深入运营, 还有一些方面需不断完善。如内置天线问题, 目前CMMB信号接收都需用户在使用过程中主动拉出天线才能有效进行业务消费。但对于数据推送业务, 强调的是“前端主动推送、终端自动存储、无须用户参与”的理念, 所以内置天线的问题越来越突出。现阶段内置天线存在接收灵敏度、成本等问题, 但随着接收灵敏度的改善, 内置天线会逐渐普及。又如数字版权保护, 数据推送业务包含了图片、音频和视频等大量数字文件数据, 其中一大部分由专业的内容提供商提供, 针对数字文件的版权保护是必不可少的, 必须对媒体内容封装格式、版权对象格式等技术进行深入研究。

数据推送业务是CMMB产业链中的重要增值业务, 也是数据广播数据传输的重要环节, 具有传统IP网络不可比拟的点到面迅速传递的优势。同时, 由于推送业务依托的是单向广播通路, 可使用移动网络、固定网络或互联网络实现业务上行, 因此将为广播电视互动业务的开展探索新的途径, 为三网融合提供产业拓展思路。

参考文献

[1]GY/T220.1-2006.移动多媒体广播第1部分:广播信道帧结构、信道编码和调制[S].

[2]GY/T220.2-2006.移动多媒体广播第2部分:复用[S].

[3]GY/T220.3-2007.移动多媒体广播第3部分:电子业务指南[S].

[4]GY/Z220.4-2007.移动多媒体广播第4部分:紧急广播[S].

[5]GY/Z220.5-2008.移动多媒体广播第5部分:数据广播[S].

[6]GY/Z220.6-2008.移动多媒体广播第6部分:条件接收[S].

移动数据库设计 篇8

伴随着互联网从PC端向移动端的迅速延伸,使移动端成为互联网最重要的入口,而这些移动端的设备每天产生以十亿计的海量信息,这些海量信息已经渗透当今每一个行业和业务智能领域,成为重要的生产因素。传统的处理数据方法是把静止数据库中的数据带进程序进行分析。而移动互联平台时刻产生数据没有办法停止,最佳处理方法是把程序带进活动的数据进行分析,因此基于移动互联平台下如何采集、存储、整理分析和挖掘海量信息,成为亟待解决的问题。本文采用Lambda架构作为系统的通用大数据处理框架,整个系统划分为Batch Layer、Speed Layer和Serving Layer 3层,在这3层中集成Hadoop、Kafka、Storm、Spark、Hbase等各类大数据组件,解决移动互联平台读写分离和复杂性隔离等问题,为构建移动互联平台解决方案提供宝贵经验。

1 Lambda简介

数据是与时间有关的,数据一定是在某个时间点上产生的,因此数据的本身是不可变的。移动互联平台分布式系统中的数据产生于不同的系统中,时间决定了数据发生的全局先后顺序,移动互联平台必须实时存储和处理数据。

Lambda架构是由Nathan Marz提出的一个实时大数据处理框架,其核心思想是既能兼顾低延迟的计算需求,同时也具有处理全量数据的能力,最后通过将2个部分的视图聚合起来提供外部服务。

Lambda架构(如图1所示)是集成Hadoop、Kafka、Storm、Spark、Hbase等各类大数据组件,设计出一个能满足实时大数据系统关键特性的架构,包括高容错、低延时和可扩展等。Lambda架构整合离线计算和实时计算,融合不可变性、读写分离和复杂性隔离等一系列架构原则。

2 移动互联大数据平台架构的设计

移动互联大数据平台(如图2所示)是基于Lambda架构,由数据采集层、数据接入层、数据计算层、数据服务层和数据存储层构成。

数据采集层面临高并发、数据量大和扩展性等亟待解决的问题。本文在数据采集层引用Finagle Server开源异步服务器框架,该服务器框架契合移动互联网访问特点:高并发,小数据量,单台服务器的处理能力得到了极大地提升,同时支持横向扩展收集日志服务。对于移动终端如手机、平板和盒子等设备,数据采集层提供通过APP集成SDK,移动互联平台通过SDK将移动终端设备的日志返回到移动互联平台,移动互联平台在nginx负载均衡下,通过唯一标识、数据标准化和数据格式对数据进行清洗,最后把数据送入基于Finagle框架的日志接收器,最后传入数据接入层。

数据接入层使用2个Kafka集群来承担数据接入功能,最上面Kafka集群被实时计算消费,下面kafka用于离线数据消费,2个集群之间通过Kafka的Mirror功能进行同步。

数据计算层为了实现IO负载分离,通过业务解耦,把计算分为实时计算、离线计算、准实时计算3个部分。时效性是实时计算首先要面对的问题,从实时方面考虑,就不能放一些太复杂的计算,计算结果会存储到MongoDB。离线计算数据倾斜是贯穿离线计算始终的问题,通过改造Hadoop的公平调度算法来保证大任务能得到充分的计算资源在可接受的范围内计算完毕,同时使用Hive建立数据仓库,使用pig进行数据挖掘,离线分析的结果存储在H Base。准实时计算主要处理如下载服务、消息推送中的圈人服务等。最后通过统一的REST Service来对外提供数据服务。

3 移动平台数据存储和增值

本文利用云存储技术构建移动互联系统平台的存储系统,该存储系统不仅是一个并行的硬件,而且是由网络设备、存储设备、服务器、软件、接入网络、用户访问接口及客户端程序等多个部分构成的。为了方便维护,把该存储系统分为存储层、基础管理层、应用接口层及访问层。存储层是云存储系统的基础,由存储设备(满足FC协议、iSCSI协议、NAS协议等)构成。基础管理层是云存储系统的核心,其担负着存储设备间协同工作、数据加密、分发及容灾备份等工作。应用接口层是系统中根据用户需求来开发的部分,根据不同的业务类型,可以开发出不同的应用服务接口。访问层指授权用户通过应用接口登录和享受云服务,其主要优势在于硬件冗余、节能环保、系统升级不会影响存储服务、海量并行扩容、强大的负载均衡功能、统一管理、统一向外提供服务及管理效率高。云存储系统从系统架构、文件结构、高速缓存等方面入手,针对监控应用进行了优化设计。数据传输可采用流方式,底层采用突破传统文件系统限制的流媒体数据结构,大幅提高了系统的性能。

移动互联大数据平台存储系统的数据如何实现增值?数据是从统计到挖掘到大数据的阶段,只有通过这种数据的相互分享,才能够得到数据的红利和反馈。

第一,它们从顾客需要的数据(能够创造商业价值)开始,而不是聚焦在它们已有的数据及这些已有数据能告诉他们什么。主要工作是在幕后找出什么是顾客需要的(通过数据、工具、信息),然后得到答案。

第二,不是把你的见解分享给一小撮商业领袖,而是直接把它融入、应用到商业应用或者工作流程中,让尽量多的人来利用这些大数据的结论。

第三,拥有绝对的数据使用权。在这个基于云的大数据世界,第三方数据的获取、管理、使用都必须是合法的。

本文认为主要通过数据统计及APP的推送,为移动开发者提供支持。“友盟”的“一站式”解决方案整合了应用统计分析、游戏统计分析、社会化组件、微社区、消息推送、友盟指数等产品和服务,并基于数据将产品之间横向打通,以求充分发挥和运用数据的价值:其一,内部数据打通,“友盟”不光是做统计分析,还有即时通信、社会化分享、工具推荐等业务。把这些业务的数据尽可能地进行横向打通,这样一来,就可以利用用户自身的自定义事件,进行一些有针对性的推送。其二,用户画像。“友盟”还与其他的数据方合作,给用户进行画像,这样就可以进行更加精准的推送。用户画像可以根据现有的数据更精准地确定自己用户的属性和兴趣、行为等。其三,设备评级。对于APP开发者来说,了解渠道的推广效果,如哪些渠道的推广价值用户大,哪些渠道推广的用户价值小,哪些渠道有作弊行为,推广的全是一些虚假的用户。其四,APP健康度评估。通过APP健康度估价能使开发者了解自己这一款APP当前是处于生命周期的哪个阶段,是属于快速增长阶段、平稳发展阶段,还是属于衰减阶段。这样就能更好地了解自己的产品目前的健康状况,同时也能了解自身产品,如用户群体中有多少是垃圾设备,有多少是有价值的设备。

4 总结

本文介绍了Lambda架构的基本概念。Lambda架构通过对数据和查询的本质认识,融合了不可变性、读写分离和复杂性隔离等一系列架构原则,将大数据处理系统划分为Batch Layer、Speed Layer和Serving Layer 3层,从而设计出一个能满足实时大数据系统关键特性(如高容错、低延时和可扩展等）的架构。Lambda架构作为一个通用的大数据处理框架,可以很方便地集成Hadoop、Kafka、Storm、Spark、Hbase等各类大数据组件。

参考文献

[1]孙广中,肖锋,熊曦.MapReduce模型的调度及容错机制研究[J].微电子学与计算机,2007,24(9).

[2]刘鹏.实战Hadoop——开启通向云计算的捷径[M].北京:电子工业出版社,2013.

移动数据库设计 篇9

本文以省级移动通信网管为研究对象, 移动通信网管功能为出发点, 以电信管理网 (Telecommunication Management Network, TMN) 体系结构为基础, 设计了移动通信网络管理系统数据处理层总体软件结构, 并给出了基于XML的详细设计。

1 TMN网络管理功能模型

网络管理涉及网络资源和活动的规划、组织、监视、计费和控制, 国际标准化组织一直致力于网络管理的标准化工作, 它定义了故障、配置、性能、账务和安全五大管理功能区域, 是网络管理系统最基本的管理功能。TMN网络管理功能模型如图1。

1.1 性能管理

性能管理是一组评价管理对象行为和通信活动有效性的设施, 提供对通信设备的性能、网络、或网络单元的有效性进行评价和给出报告的能力。性能管理的基本功能是收集统计数据, 对网络和网络设备的性能进行监视, 以便发现和校正网络或网络设备的性能和有效性偏离或下降, 并对网络的规划和设计提供支持。性能管理通常通过采用一定的性能指标来评价网络是否满足吞吐量的要求、是否有充裕的响应时间、是否过载或网络是否得到有效的使用。性能管理必须实现以下功能:性能监测功能、业务管理和网络控制功能、服务质量监视功能。

1.2 配置管理

网络的配置是网络上各种工作设备、备份设备、设备之间关系的状态, 为了保证网络经济、可靠、安全和高效的运行, 需要对网络上的配置进行调整。配置管理就是网络管理系统根据需要对网络中的网络单元 (NE) 进行控制和标识, 并从网络单元收集数据和给网络单元提供数据。从网络运行的角度看, 配置管理可以分为两个阶段:网络 (或设备) 初次运行的初始配置管理 (通常称为网络指配, 也称为网络预配置) 和网络 (或设备) 正常运行时的工作配置 (通常称为配置控制) 。从管理对象的角度看, 配置管理的对象分为两类:被管理网络本身和网络管理质量控制模式。

1.3 故障管理

故障管理是检测和确定网络环境中异常操作所需的一组设施。无论故障是短暂的还是持久的, 都可能是导致网络系统不能达到预期的运营指标。故障管理设施通过检测异常事件来发现故障, 通过日志来记录故障情况, 根据故障现象采取相应的跟踪、诊断和测试措施。故障管理有关的管理参数主要包括故障类型、故障原因、故障级别和故障时间等。

2 TMN的框架结构

为了适应现代电信网的发展, 1985年国际电报电话咨询委员会 (CCITT) 提出了TMN的构想, 用于实现对异构型互连网络、设备与业务进行有效的管理, 定义了TMN的框架结构、功能模型、信息模型与物理模型。TMN作为对电信网进行集中统一管理的解决方案, 目前已成为现代电信网络管理的发展方向, 没有TMN技术, 跨过多个电信子网提供业务将是非常困难的。TMN以灵活而有效的方式管理电信网。它将为电信网提供各种管理功能, 并且为TMN与电信网之间的通信提供各种通信机制。为此, 应提供一套有组织的网管体系结构, 以便把各种类型的操作支撑系统与电信设备相互连接。这可由采用统一的、带标准协议与标准接口的TMN网管体系结构来实现。下面主要介绍TMN与电信网的关系。

图2给出了TMN的原理框架结构。TMN建立在基础网之上, TMN按功能划分可以分成五层, 而管理功能 (如配置管理、故障管理等) 可根据需要安排在相应的管理层中。各管理层的任务如下:

网元层:由庞大的网元 (NE) 构成, 负责网元本身的基本管理功能。

网元管理层:监控网中某个区域的网元, 包括收集有关的统计数据、记录数据及与网元有关的其他数据。并允许网络管理层通过它与网元层进行会话。

网络管理层:监控网中的所有网元。它允许对网络进行重构, 并允许与业务管理层进行网络性能、利用率和可用性方面的交互式会话。

业务管理层:处理契约性业务, 如顾客与网络操作员接口, 与业务提供者进行交互式对话, 某一顾客将要访问的统计数据以及与商务管理层进行交互式会话。

商务管理层:处理网络操作员所有对顾客的提交, 如网络操作员之间的约定。

目前, 网元层、网元管理层与网络管理层已经制定了最终的国际标准, 而业务管理层与商务管理层正在进行国际标准化。

3 移动通信网管数据处理层总体结构设计 (见图3)

原始数据通过数据采集层进入系统后, 数据处理层对这些原始数据进行归纳整理, 实现数据结构规范化, 形成网管系统核心数据库, 为数据应用层实现具体功能提供支持, 便于系统的二次开发和新应用功能的提供。网管核心数据内的数据分为两部分:其一为各厂家原始数据库, 存放不同厂家各自的原始数据;系统数据库, 存放经过归一化处理的数据、汇总数据、系统设置数据、数据库日志资料等数据。数据处理层包括信息归一化、配置数据的存储、刷新和备份。还需要经过数据处理层进一步的处理。数据处理层的主要任务就是将各厂家不同的数据内容转化为统一的格式, 并将其保存在归一化数据库中。因为每次设备版本升级时, 数据内容都会有较大的变动, 所以要求数据处理层能够动态地容纳这种变化。数据处理层的数据处理工作可以分为两个部分:文本解析部分和数据汇总及归一化处理部分。文本解析又称为数据预处理, 它根据厂家提供的数据格式说明采用统一的文本解析模块对数据格式进行解析, 把文本格式的数据转换为数据库格式的数据, 从而把采集过来的数据文件的信息方便地存入数据库中。通过数据库复制的方式采集的数据不需要数据解析的过程, 因为它是把数据库格式的数据从一个数据库复制到另一个数据库的过程。经过文本解析后得到的数据仅仅是厂家提供的一种原始数据格式, 它与中国移动要求的TMN数据格式并不一致, 必须经过数据汇总和归一化处理后才能形成标准的TMN格式的数据。数据汇总和归一化处理是根据中国移动集团公司的要求, 将原始数据库中的内容经过一定的运算和处理, 转换成统一的数据格式, 从而形成可供查看和分析的各种指标, 并将其保存在归一化数据库中。

数据处理层包括配置数据、告警数据和性能数据处理三方面。以配置数据处理为例:

3.1 配置数据归一化

配置数据采集到网管系统之后, 必须进行归一化、数据结构规范化, 使应用层能够方便地使用这些数据。配置数据按交换子系统、基站子系统、中继路由设备、操作维护中心 (OMC) 、GPRS相关设备和移动智能网相关设备六个方面进行归一化处理。

3.2 配置数据的存储

省网管系统应能够将不同种配置数据转换成以上描述的归一化标准数据格式并存储到数据库中, 为性能、告警等应用提供数据支持, 为二次开发或其他的后处理提供标准的存储接口。

3.3 配置数据的刷新

省级网管系统发现新的配置数据采集结果与网管数据库中的配置数据不同时, 如网元的增加、删除、网元属性改变 (何种属性) , 需要用户确认, 并生成变更记录, 作为采集日志的一部分, 供用户后期查询, 同时更新网络拓扑图等相关的上层应用程序的配置数据, 使上层应用能够呈现网络的最新配置信息。可根据用户配置按网元进行自动或手动数据刷新, 配置数据变更日志在线存储不少于6个月, 时间可根据用户需要设定。超过存储期归档后用磁带或光盘转存。系统提供归档数据的查询处理工具。

3.4 配置数据的备份

省级网管应提供对配置数据的快照功能 (即备份功能) , 用户通过此功能可将当前网络的配置信息存储下来, 供其他应用所调用。快照可以由网管系统按照时间表的设置自动进行或由用户手动启动。快照功能可以按网元进行, 可以用磁带或光盘进行数据备份。快照后的配置信息可用于:网络配置信息的历史对比;配合性能, 告警数据做网络多维分析。

4 基于XML移动通信网管数据处理层详细设计 (见图4)

数据处理是一个繁琐的过程, 其难点在于程序应能动态地容纳设备版本升级等造成的数据内容的变化。采用数据字典可以很好地解决这个问题, 把厂家提供的数据格式和中国移动要求的数据格式及其数据之间的运算关系均以数据字典的形式保存, 程序依赖于数据字典对数据进行处理。每当数据格式和内容发生变化时, 可以改变数据字典的内容即可方便地实现升级, 从而做到程序与业务的真正无关性。可扩展性标识语言XML是另一种可以用来解决该问题的技术, 它通过XML文件来保存数据, 并通过DTD (数据类型定义) 文档对XML文件进行规范, 通过修改DTD文档可以达到数据格式和内容升级的目的, 因为XML允许用户定义自己的元素标记与属性, 所以它必须有一个式样表, 指定如何显示自己的元素。用户需要一种机制, 将自己的文档与式样表联系起来, 还需要一种机制, 防止自己的标注与网上其他人的标注发生冲突。所有这些都有相应的规范。XML样式的表现技术是由数据驱动的。XML的样式化是通过一个被称为样式单的文档来实现的。用XML文档存储数据, 并且XML中的数据也可以导入到高性能的关系型数据库中。每个主要的数据库厂家都提供了 (或准备提供) 在关系型数据库与XML之间的传输数据的方法, 而且还有很多第三方软件。数据可以从任何数据库中方便地读取, 转换到XML中。这样如果我们编写的程序是使用XML数据的, 那么就可以把程序到处移植而不需要修改代码。这就是将应用程序编写成使用XML数据的最大的优势。但是, 通过目前应用来看, XML技术还不成熟, 还有一些“瓶颈”没有突破。比如, 要把一个3 M的性能数据文件以XML文件形式保存, 其需要的存储容量近30 M;而相同的数据若要以数据库形式保存, 其占用的容量不到3 M。从目前情况来看, 在网管系统中, 大量的数据要用XML文件形式保存有很大的困难, 还需要进一步的探索。

参考文献

[1]孙青卉, 王钧铭.移动通信技术[M].北京:机械工业出版社, 2001:7-38.

[2]孟洛明, 亓峰.现代网络管理技术[M].北京:北京邮电大学出版社, 1999:2-29.

[3]陈建亚.现代通信网监控与管理[M].北京:北京邮电大学出版社, 2000:2-48.

[4]陈德荣, 林家儒.数字移动通信系统[M].北京:北京邮电大学出版社, 1996:62-75.

[5]孟洛明.通信网网管系统建设中的基本问题、现状和发展[J].通信世界, 2000 (7) :2-4.

移动大数据的机遇与挑战 篇10

在这个快节奏的年代，互联网上的一分钟我们可以干什么呢？可以发出2亿封邮件，苹果的应用下载量可高达4.7万次，亚马逊销售额超过8万美元，Twitter上载10万条新微博，Google可发生200万次搜索查询……全球互联网上一天的信息量可以刻满1.68亿张DVD，80万个硬盘，约为800EB。

于此同时，全球联网主机数的增长速度依旧呈现扶摇直上之势，特别是在移动通信领域，当移动终端嵌入多种传感器，移动业务的物联网化应用使得各种数据量突飞猛进。

专家直言，谁赢得了大数据的支配权，谁就赢得移动通信发展的未来。

首先，全球移动数据流量超过移动话音。据统计，2011年我国移动互联网数据单月流量超50EB，年增长37%，忙时数据流量占全网宽带一半以上。而在2012年上半年，移动数据业务收入占移动业务收入三成以上，其中中国电信的占比最高，其移动数据收入占了整个移动收入的45%，中国联通次之，中国移动居第三，仍是以话音收入为主。

从全球范围看，移动数据流量的增长率也非常快。市场预计，2016年全球移动数据流量将达到10.8EB/月，年增78%，其中手机占50%，平板电脑占10%；其中超过10%的移动数据量将由中国产生。而全球移动数据业务量中三分之二为视频，是2011年的25倍。

目前，全球移动互联网的流量占整个互联网流量现已超过10%。亚太地区的占比最高，约为18%。以印度为例，印度的移动互联网流量已超过桌面互联网，占该国整体互联网的一半以上。

大数据的价值

据维基百科定义，大数据是指无法在容许的时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合，大数据规模的标准是持续变化的，当前泛指单一数据集的大小在几十TB和数PB之间。

互联网人均流量的暴涨，以及云计算、物联网等技术的加盟，正向世人告知——大数据时代已经到来。全球新产生的数据年增40%，全球信息总量每两年就可以翻番。据统计数据显示，2011年全球产生了1.8ZB数据，已大大超过了2011年以前的人类信息量的总和。而今，无论是安全监控，还是环保监视、交通流量监控、远程医疗、医院病历等领域，都达到了大数据的规模。

大数据的重要性正在不断显现，大数据将在一段时间内成为各个产业发展的重点。即便如此，人们不得不面临一个难题，人们如何去挖掘有用的数据，怎么将数据运用到未来的应用中。目前，市场对新增数据的利用率增长不足5%。

中国工程院院士邬贺铨认为，“大数据”已经渗入到人们生活的每个角落，中国各方已经认识到数据所带来的财富，并在积极着手挖掘这个巨大的产业。大数据、智能化生产以及无线网络三种技术将引起新世纪的技术变革，直接催生第三次工业革命。他同时就大数据在各个领域的应用做具体分析。

制造业：通过大数据的交流分析，优化工厂的生产流程，可将工厂的运转性能提高40%至60%，并进一步挖掘企业的战略形式。

农业：通过对手机上农产品“移动支付”数据、“采购投入”数据和“补贴”数据分析，可预测农产品的生产趋势，政府可依次制定出激励措施和确定合适的作物存储量，还可以为农民提供进入服务。

金融业：华尔街德温特资本市场公司分析全球3.4亿微博账户留言，判断民众情绪，人们高兴的时候会买股票，而焦虑的时候会抛售股票，依此决定公司股票的买入或卖出，该公司2012年一季度获得7%的收益率。阿里公司则根据淘宝上中小企业的交易状况，筛选出财务健康和诚信的企业，从而无需担保来放贷，目前已放贷300多亿元，坏账率仅0.3%，大大低于商业银行。

社会管理：运营商拥有大量的手机数据，通过对手机数据的挖掘，不针对个人而是着眼于群体行为，可从中分析出实时动态的流动人口的来源及分布情况；出行和实时交通客流信息及拥塞情况；利用手机用户身份和位置的检测可了解突发性事件的聚集情况。以及利用短信、微博、微信和搜索引擎收集热点事件与舆论挖掘，了解疾病流行情况等。

电信运营商管理：运营商可以建立网络管理平台，通过挖掘用户数据，更好服务用户，优化资源配置和网络规划。

信息智能化服务：在Web 1.0年代，网络内容由网站专业人员产生；而今，内容主要由网民及物件产生；若发展到Web 4.0，内容将具备自组织、感知、自配置等特点，即搜索的结果如博士生写论述一样。此外，还能进行语音搜索和个性化搜索，将移动互联网的小屏幕终端解放出来，网络也可识别客户的移动手机屏幕分辨率及页面属性，形成适合终端播放的文件和视频流，终端显示时能对图像进行拼接及屏幕播放等。

政治领域：奥巴马竞争团队有数干名志愿者，他们通过社交网络和微博等收集选民的爱好和关注，利用软件分析并建立选民档案，例如某个选民在Facebook或者Twitter上的大部分帖子都是关于环保和医疗成本，就可通过电子邮件或短信、微博发一条源自奥巴马专门谈论环境问题的信息让该选民有理由支持总统连任，同时还可从选民那里得到新的反馈。

医疗保健：谷歌公司与美国疾病控制和预防中心等机构合作，依据网民搜索内容分析全球范围内流感等病疫传播情况。例如美国某地方发生流感，人们可通过微博询问最佳的看病场所。社交网络还能为许多慢性病患者提供临床症状交流和诊治经验分享平台。医院借此可获得足够多的临床效果统计。

总而言之，大数据的经济价值就是使各个领域减少成本支出，获得更大收益。大数据能够使制造业设备装配成本降低五成，零售商利用大数据可增加六成的运营利润，服务提供者利用全球个人位置数据可获得6000亿美元的潜在消费者年度盈余……正如麦肯锡所言，大数据是下一个创新、竞争、生产力提高的前沿，数据就是一种生产资料。

移动大数据的挑战

移动通信从第一代的模拟、电路交换，到现在的3G、LTE，通过各种各样的应用技术，每一代都有新的突破，移动通信峰值速率平均每年也加倍递增。

即便如此，移动通信的前进步伐仍然受制于大数据的发展，大数据加速移动通信升级换代，同时加大对提升移动通信峰值速率的压力。如今，我们的移动通信基站越来越多，系统容量越来越大。

未来移动通信业务能否进一步提高，首先需要突破网络容量的瓶颈。在LTE以及LTEA阶段，将以WLAN分流移动数据。现在，国内的三大运营商都在加速建设WiFi业务。据统计，目前全球移动数据流量33%分流到WiFi，2010年WiFi占全网lP流量为36%，预计2015年将达到46%。

与此同时，如何利用认知无线电应解决频谱不足与利用率低难题，也迫在眉睫。

所谓认知无线电指通过检测空闲频段资源，分析干扰以决定可否多系统共存，对通信系统参数进行动态调整，实现对空闲频谱的自适应利用。在现有频段已被划分殆尽的今天，ITU评估报告提出，全球移动通信到2020年将需要新增0.5-1GHz。发达国家通过将700MHz数字电视红利频段拍卖来支持移动通信。中国遇到的主要困难，是已经分配的频率没有真正实现其价值，因此如何降低频率的虚耗，对传统通信技术也提出了更高的要求。

此外，数据量不断膨胀和变化，对传统的路由器有了操作系统的需求，为了适应大数据灵活变化的形式，就需实现软件定义网，用软件定义网支持分片化和可编程，实现转发与控制分离。因此通过逻辑上的控制，可以将整个网络做得更灵活，组织得更好。

当然，随着传统网民向移动网民过渡，并进入全网lP化时代，为了使得整个移动数据传递得更好，可以减少网络的层次，降低时延，增加吞吐量。

大数据时代也促使了网络体系的演变。数据存储在大量几何分布的各类服务器中，用户的一个搜索或查询涉及到多个服务器，服务期间的信息交换远多于客户与服务期间的信息交换，网络体系需要从客户/服务器的垂直架构向服务器间的水平架构优化。在近5年，我国接入网宽带流量增长了6倍，而城域网流量则增长了22倍，如果视频从标清转为高清，则城域网流量将增加84倍。

2012年2月，《华尔街日报》网站刊登名为《科技引领的繁荣即将到来》一文，文中指出，正如上世纪的技术革命为世界带来了曙光，目前人类又迎来了新一轮的技术革命。此次由大规模数据、智能化生产以及无线网络所引领的技术革命将推动经济增长，带来社会巨变。而后无论是Gartner公司发布的2013年十大战略技术，还是美国GCN公司建议奥巴马政府新一届任期应注重以下五大IT技术重点中：大数据、移动通讯、物联网、云计算都成为了关键词。

可以预测，当大数据、移动互联网、下一代互联网、物联网、云计算、社交网络结合在一起，将会掀起网络业务发展的新浪潮。

移动数据库设计 篇11

4G网络具有传输速度快、网络频谱宽、信号兼容性好、通信质量高等优势,这使得4G网络的应用范围不断拓展和延伸。另外,随着我国信息化进程的不断推进,各行各业都在向信息化发展,从之前的单纯走数字化道路,转向走数字化、网络化和无线化三位一体的立体化道路,4G网络在其中充当了举足轻重的地位。

建筑业在我国属于劳动密集型产业,还处于依赖大量低成本工人施工的状况,整个建筑施工过程自动化、信息化水平都很低。随着现在建筑工程的日益庞大,建筑环境的日益复杂,新的工艺、新的材料和新的设备不断涌现,对建筑工程现场的数据采集显得越来越重要,数据是优化管理和实现自动化、信息化的基础。在建筑施工现场采集数据,需要考虑的问题很多,由于建筑业生产活动所固有的分散、地点频繁变动等特点,特别是在施工现场通常没有网络基础设施,使得施工现场的各种数据不能及时、有效地传入现有的各种管理信息系统,因此如果充分利用4G网络,开发多终端的移动数据采集系统,将会大大提高建筑施工的信息化水平,也将极大地提高建筑工地施工的管理水平。

1 4G移动通信网络

1.1 4G网络结构

4G即第四代移动通信技术,是把3G宽带数字系统与WLAN集合于一体,能够快速地传输数据以及高质量的音频、视频、图片等。

4G移动系统的网络结构可以分为物理网络层、中间环境层和应用网络层等三层,其中,物理网络层由无线网和核心网结合,主要提供应用网络的外部接入和不同路由的选择;中间环境层主要提供Qo S映射、地址变换和完全性管理等功能。物理网络层与中间环境层之间的接口是开放的,它使发展和提供新的应用及服务变得更为容易,提供无缝高数据率的无线服务,并运行多个频带。

1.2 4G优势对系统开发的益处

4G网络的主要优势可以用“更快、更便捷、更智能、更兼容”来概括。

(1)更快。根据专业测评公司公布的数据,4G网络传输数据的最大传输速度可以高达100 Mb/s,在日常使用情况下,4G网络的传输速度也可以达到10~20 Mb/s,这个传输速度远远高出2G和3G网络的数据传输速度。4G网络在数据传输方面之所以有这么好的表现,主要是因为4G网络在接入无线网时的速度非常快。基于这一点,在建筑工程现场进行现场数据采集,然后上传数据时,速度就会大大提高。因为在进行移动数据采集时,常常要利用网络进行数据的收集、传输,这个时候工作人员就特别在意网络的速度,如果网络传输的速度快,那么现场数据采集人员在进行数据的收集和传输的速度就会加快,进而节省了工作时间,4G网络能够高速传输数据很好的满足了这一工作需求。

(2)更便捷。4G网络可以像计算机一样传输、共享视频资料或图片资料等,甚至它还可以满足一部分人进行网络的需求,可以帮助用户实现游戏对打。在进行建筑工程现场的数据采集时,随着新材料、新工艺、新设备的引进,好多数据不再是单纯的数字或文本,图片、视频数据也随之增加,这样,利用4G网络同样可以很好地完成传输任务。

(3)更智能。4G网络的智能化体现在两个方面:一方面是4G网络满足了人们现场观看的需求;另一方面是4G网络能够提醒4G网络用户身边的环境,如时间、天气等。在建筑施工现场,多终端间的交互可以利用4G网络的智能化进行观看,对于数据采集人员也可以提醒其工作的现场环境。

(4)更兼容。4G网络具有特别好的兼容性,首先,4G网络能够支持种类多变的终端设备,现在经常使用的计算机、笔记本、手机或Pad等终端设备都可以使用4G网络;其次,4G网络还可以与其他多种网络进行连接;再者,与2G和3G的网络接口相比,4G网络要更加开放,开放性的网络接口可以支持多种接口的接入。这样的兼容性,让开发多终端的建筑施工现场移动数据采集系统成为可能,“多终端”必须有4G兼容性的支持,只有实现“多终端”才能体现建筑施工现场移动数据采集的便捷和可靠,多网络的连接使得采集的数据可以更加有效地被利用,可以大大提高数据的传输性和有效性。

2 多终端移动数据采集系统

如今,我国建筑工程的规模日益扩大,建筑施工环境也变得日益复杂,为了应对新工艺、新材料和新设备不断涌现,加强建筑工程现场的数据采集显得越来越重要。然而,由于建筑施工现场十分分散,而且施工地点也存在频繁变动的情况,特别是在施工现场通常没有网络基础设施,使得施工现场各种数据的及时、有效地采集、传输存在极大困难,在建筑施工现场采集数据,如果能充分利用4G网络,开发多终端的移动数据采集系统,以上问题将迎刃而解。因此,研究、设计、开发4G网络下的多终端建筑工程现场移动数据采集系统就显得十分迫切。

2.1 需求分析

通过调查,对于多终端建筑工程现场移动数据采集系统需要解决八个主要问题:施工现场分散、经常变动,采集人员需要在施工现场内不断移动,如何在较低的经济和时间成本下快速搭建系统是首先需要解决的问题;多个不同数据采集点同时进行数据采集任务的需求问题;计算机、笔记本、手机或Pad等不同终端设备平台之间的兼容问题;保证图片数据、视频数据的实时性问题;网络带宽对实时影像信息传输的限制与影响问题;为现场数据采集人员提供远程技术支持问题;满足建筑工程多方提出的对施工现场数据信息共享的问题;所有数据的保存和检索问题。

通过对比和分析目前建筑工程施工现场数据采集的方式和系统的不足和主要需求,可以将上述八个问题归纳分为4类:系统的便捷式移动;系统的多终端实时采集、传输;影像数据的二次处理;工程数据的共享。

2.2 系统层次结构

整个建筑工程现场移动数据采集系统是由移动终端设备、JMF API、数据库及应用程序组成;数据分析处理子系统由Web服务器、Struts架构、数据库组成。在系统的底层,影响传输接口采用的是JMF API,影响数据采集设备可以采用Pad、计算机、智能手机以及无线摄像头等多种无线设备,实现整个系统的运行。图1对系统的层次结构作了比较详细的介绍。

2.3 系统总体设计

为了实现上述功能,多终端建筑工程现场移动数据采集系统的用户除了常见的个人计算机用户外,重要的用户对象是智能手机、Pad等智能移动终端设备,所以整个系统的Web应用以及流媒体技术必须支持不同平台之间的使用,而系统资源的管理采用Windows系统平台。系统在4G网络技术的基础上,应用Android,IOS等终端平台都支持的协议,这样就可以保证不同的移动终端可以完美对接。在数据上传管理方面,采用高效符合4G网络的软件分发系统,使每一个终端用户在不同的建筑施工现场都能快速高效地完成数据的采集和传输。在基础数据的储存和管理方面,系统又由专门的储存设备和管理设备组成,储存设备是整个移动数据采集系统的硬件基础,而数据管理设备系统是实现数据存储辑化、冗余化的必要前提。另外,该系统的核心部分是根据实际多个现场采集的不同数据,开发不同的应用服务接口,提供不同的应用服务,使得整个系统可以远程对采集过程进行指导和管理,对采集人员的数量和采集资源进行分配,并且对数据实时进行分析、存储,更重要的是保持数据和系统的安全性。4G网络下多终端建筑工程现场移动数据采集系统架构示意图如图2所示。

3 实验验证

根据本课题的目标,设计了4G网络下多终端建筑工程现场移动数据采集系统,根据系统框架搭建了试验测试系统,试验了多终端移动数据采集情况,并且实时检测和控制了系统通信的全过程,在整个实验过程中,计算机、智能手机、Pad等不同的移动终端设备与系统之间建立了明确、透明的数据传输通信链。

在实施多现场、多终端远程移动数据采集和控制时,数据上传成功后,通过特定的程序将数据缓存区中欲发进的数据进行发送,这些数据格式是多样的,包括文本、图片和视频等。发送数据的原理与建立连接时的基本相同,均是通过4G网络实现连接,但数据的接收是通过申口中断接收完成的,同时将接收到的数据必须先放人接收缓存区以便做校验。通过示波器对传输数据电路的输入端口以及系统输出端口进行监视,可以判断数据发送的快速和有效性。

通过实验证明本文设计的4G网络下多终端建筑工程现场移动数据采集系统是可行有效的,可以在施工现场没有网络基础设施的情况下,使得施工现场的各种数据及时、有效地采集、传输,使采集的数据可以更加有效地被利用,提高了数据的传输性和有效性。

4 结语

随着4G网络在全国范围内实现全覆盖,4G网络的优势也越发凸显,其“更快、更便捷、更智能、更兼容”的特点对开发多终端建筑工程现场移动数据采集起到了举足轻重的作用。利用4G网络开发多终端的移动数据采集系统,可以有效加强建筑工程现场的数据采集,可以在施工现场没有网络基础设施的情况下,使得施工现场的各种数据及时、有效地采集、传输,使采集的数据可以更加有效地被利用,大大提高数据的传输性和有效性,这也将大大提高我国建筑施工的信息化水平和建筑工地施工的管理水平。本文设计的4G网络下多终端建筑工程现场移动数据采集系统具有很强的现实指导意义,值得相关领域借鉴。

摘要：随着我国建筑工程规模的日益扩大,建筑施工环境日益复杂,为了应对新工艺、新材料和新设备的不断涌现,利用4G网络开发多终端的移动数据采集系统可以有效加强建筑工程现场的数据采集,可以在施工现场没有网络基础设施的情况下,使得施工现场的各种数据及时、有效地采集、传输,使采集的数据可以更加有效的被利用,可以大大提高数据的传输性和有效性,也将提高我国建筑施工的信息化水平和建筑工地施工的管理水平。

关键词：4G网络,建筑工程,移动数据采集,测试系统

参考文献

[1]陈海龙.4G网络技术及应用研究[J].计算机光盘软件与应用,2014(9):283-285.

[2]赵凯丽.4G通信技术的网络安全问题及对策探讨[J].数字技术与应用,2015(5):41.

[3]崔盛文.4G网络技术及应用分析[J].电脑编程技巧与维护,2015(21):42-43.

[4]李孟庭.4G环境下移动大学外语学习平台构建的探究[J].电子测试,2014(9):77-79.

[5]昌雪.基于网络多媒体的流媒体技术[J].武汉理工大学学报,2005,27(12):121-122.

[6]谭宝成,曹国浩.4G网络在无人驾驶智能车远程监控系统上的应用[J].电子设计工程,2015(15):30-32.

[7]邓远宁.基于无线传感网络的独立电网远程监控系统的设计[D].长沙:湖南大学,2013.

[8]陈梅.基于GPRS的工业企业移动商务的应用研究[J].科技广场,2004(8):12-13.

[9]付强松.基于无线移动网络的远程数据采集系统的设计[J].信息与电子工程,2007(5):352-355.