环境架构（精选9篇）
环境架构 篇1
一业务的“软件化”趋势
在所有的行业中, 广播电视行业是受技术变革影响最大的行业之一。事实上, 电视业的诞生正是技术进步以及技术进步被运用于大众传播业的结果。有了这一认识, 我们就不会对电视广播在过去60年多中的无与伦比的相对稳定和发展演变而感到惊讶;同时, 当催生了电视业诞生的技术进步之火在新时期再次引发电视业的变革时, 我们同样能够泰然处之。
客观地说, 技术进步常常会带来收入的机会。同样, 我们可以说在服务从概念化、创作和真正面世之前是不会有人对其产生需求的——还未面世和为人所知, 怎么会有人需要它呢?举例来说, 互联网协议 (IP) 向传媒行业的渗透带来了人们对移动媒体业务的需求, 而这在以前人们认为它只存在于科幻电影中。IP以及其他技术进步如高速CPU (中央处理器) 和GPU (图形处理器) 、高级媒体压缩技术、价格超低廉的大型平板显示设备等等, 它们的协同作用正在推动传统上以硬件为中心的业务模式向基于软件的业务模式过渡。
就单个广播电视制播机构 (或广电服务运营商) 的内部运营而言, 这种变化显然是与外部世界的变化相一致的。有了先进、功能强大的网络化计算机系统, 我们当然能够十分轻松地管理我们的内容资产、创建和改变我们的工作流程、开展我们的播出运营, 并将我们的运营效率提升到前所未闻的水平。而且, 软件本身、通过通用网络的通讯、软件处理以及媒体文件的创建与管理正在推动我们的业务从以硬件为中心的模式向以软件为中心的模式过渡, 从而导致业务越来越“软件化”。
二硬件与基带 (SDI) 已消亡?
可以确定的是:除了现场直播环境外, 今天的电视系统对传统基带系统的需求正变得越来越小。但如果我们看一下图2就会很清楚地发现, IP的渗透在许多领域都并不成功, 在其他一些对时间要求不高的领域也是如此。造成这一现象的原因是众所周知的:在需要同时处理多路信号的场合, 存在着对同步信号的需要以及由此产生的对精确时钟同步的需要。我们知道, 通用处理器和基于包的网络常常会伴随一些难以预测的情况, 从而导致它们的可靠性和稳定性不甚理想。而广播电视系统对于视、音频同步的要求极高 (请读者向技术部门咨询唇音同步问题) , 多数情况下40ms的延迟是绝对不可接受的、需要尽一切可能避免的。尽管如此, 也并不意味着实时信号处理的“最后堡垒”永远不会被突破。我们看到监测领域的巨大变化已经给制作环境造成了许多实际问题。此外, 如果我们考察一下实况制作中的传输要素就会发现, 在实况制作环境中正不断地融入经过编码压缩处理的信号, 这些压缩信号通常通过IP网络传输。就实况制作环境中的监看而言, 为了降低监看成本, 正在越来越广泛地使用多画面分割器这些多画面监看器本身就能够监看IP传输流。
在播出环节, 我们发现今天绝大多数的线性电视内容分发处理 (非线性电视内容分发在许多方面也是一样) 在传递至前端进行进一步压缩和处理的前一环节又重新恢复到了过去的基带SDI或HD-SDI传输模式。在这种传输环境中, 如果频道要求人工干预, SDI模式是正确的选择。对于一个以直播为主的频道而言, 与普通频道数周前即已确定好播出表的做法不同, 常常需要随时对播出表进行修改。这种情况下, 在基带层面对播出表进行人工干预往往是一种最快速、最容易、最可靠的手段和方式。在固定播出表的情况下, 我们可以对绝大多数或全部要求的处理——图文、合成、特效、切换、辅助数据管理等进行自动化处理;但即使是在这种情况下一些输入输出 (IO) 也常常是基带格式的。
总而言之, 传统的基带格式并不会很快退出历史舞台, 只要人类存在着对实况直播节目的需求以及想快速改变电视播出风格, 基带格式就会有存在的空间与理由。有人预测说基带格式将会被新技术所取代, 但笔者想说的是, 除非同步问题获得了满意的解决, 否则这种情况就不会发生。
三广播电视制播机构的收入来自何处?
在广播电视环境中需要对发展做出谨慎的界定, 因为这取决于你如何定义市场和采用什么样的方式作为定义的尺度。那种“许多事是清楚的, 只有一件事不清楚”的说法是不能令人满意的, 是需要做出澄清的。
我们清楚的一个事实是, 不同类型显示屏吸引的观众或眼球的数量正在发生改变, 而且这种变化正在加速。这一趋势导致了未来/当前的媒介消费格局是多屏共存的。图3显示了各种电子设备在2005～2014年间的售出数量变化趋势图以及基于互联网的网络视频消费增长趋势图。有大量的证据表明:大多数的平板设备拥有者是使用膝上型平板设备看电视的。图4给出了花在不同大众传播媒介上的广告费分布状况, 从中我们可以清楚地看出线性媒体 (电视) 在可预见的将来仍会是重要的广告载体。因此, 线性和非线性媒体、付费内容和免费内容、IP/非线性和“普通”服务将长期共存。
因此, 需要澄清的一点是:增长在变化, 增长并不表现在线性电视和未联网式电视领域。增长表现在多屏消费领域, 借助的是广播电视的品牌和高水平的客户服务——提供各种内容消费选择以满足用户需求。
毋庸置疑, 这样的变化水平对于任何行业而言都是可怕的——我们赖以立足的基础已经变得不稳固!作为一个行业, 广播电视业需要尽快适应环境生态的这种变化并与时俱进;正如亚历山大大帝 (Alexander the Great) 的那句名言所言的那样:“That which doesn’t kill us, normally makes us stronger” (置之死地而后生-译者) , 这或许才是广播电视行业的“数字化生存”之道。同样自明的是, 每天与恐惧搏斗会使我们变得强大和自信起来, 这同样适用于广播电视媒体。因此, 以下提供几条有助于广播机构发展的简单的原则, 以供参考:
取得成功的关键是要针对各种不同的内容分发渠道制作不同版本的内容:高分辨率、低分辨率、适合Pad播放的版本、适合其他移动显示屏分辨率的版本, 所有这些版本的内容的制作都有着不同的语言要求和剪辑要求。随着技术和市场的演变, 情况只会变得更加复杂;
相关联的工作流程和资产管理也很重要:购买大型处理系统似乎必要的, 因为事情只会变得越来越复杂;
版权管理十分重要, 而且需要覆盖所有的环节;
搜索功能对于广播电视制播机构很重要;
搜索功能对于视频点播 (VOD) 和家庭环境也很重要:在家庭中支持片段和章节演示将成为基本要求;制播与管理系统中的MAM (媒资管理) 系统将需要支持搜索功能;同样需要考虑版权问题;必须针对线性和非线性内容消费将数字版权管理 (非线性) 和条件接收 (线性) 整合起来;版权管理元数据须能自由地在节目编排调度系统和基于家庭的非线性的、基于章节的内容消费以及其他各种中间环境中自由流动, 以实现无处不在的版权管理。
四广电业务流程改造 (BPT) 系统的应用
毫无疑问, 所有那些在将来需要运行这些流程中的大部分或全部的广播电视制播机构现在就要在某些方面向这些流程过渡。这可能需要使用Excel表格进行节目编排, 分配更多的人去制作收费发票, 负责广告销售, 等等。一种更为可能出现的情况是, 单一频道或多频道运营商可能会拥有来自不同供货商 (制造商) 提供的不同的功能块, 因为这些供应商是针对各个部门的特定要求定制功能块的。不过, 这并非一种必然的演变路径, 因为这种路径会导致整个工作流程范围的复杂度增加。处理流程之间的内部联系才是改进整个业务运营效率的重中之重, 而且, 这一领域是播出机构和运营商提高利润率和工作效率的核心环节。
现在让我们来考察一下媒体消费问题并追溯至媒体的采购与创作以及销售环节, 考察在一个前瞻性设计的播出系统中为了使得这些过程能够高效地进行都有着怎样的要求。首先是版权与版权管理。在全过程实现好线性与非线性控制权是解决好其它问题的前提。假如消费者希望通过OTT电视服务下载一个节目, 且他愿意为此付费, 那我们为什么不满足他的这一消费欲望呢?如果这种欲望得不到满足就有可能导致盗版问题的出现, 更糟糕的是:消费者可能会转而寻求其他的娱乐服务。考虑到这一问题, 媒体管理和最初的节目制作环节就需要引入并在节目中嵌入要求的版权元数据, 以确保能支持与不同的内容分发平台间的正确通信。当消费者想要从一个电视播出节目中搜索章节时 (这一现象已经发生且导致了非法使用, 用户将自己喜欢的片段挂到了网络上) , 那我们为什么不在节目制作和管理环节就嵌入元数据以支持消费者搜索和下载电视节目、电影或纪录片中的章节片段呢?
这对于广播机构而言是一个严峻的挑战, 但却说明了两个问题。首先, 它说明或可以说是突出了一个众所周知的消费习惯:即消费者希望搜索媒体资产, 并希望他们的服务商的资料库能够提供更多的搜索结果。我们为什么不向消费者提供他们寻找的内容而去鼓励他们转向替代性的、非我们自己的服务或应用呢?当然, 保护好品牌身份——在变革期很可能是广播电视机构最宝贵的资产, 对于确保公司的生存和发展是非常重要的。其次, 它说明广播机构在制作或分发流程中创建和管理的所有元数据在消费环节将发挥重要作用。不过, 这可能还只是个子集。但是, 为这一目的而重写, 或更糟糕地去维护一个单独、不相关的工作流, 则是一种典型的资源浪费, 其效率低下也是很明显的。
由是观之, 如果说投资于一个总体上缺乏互联互通功能的分散式系统对于一个具前瞻性思维的广播电视制播机构而言是不明智的话, 那么我们可以说, 就更广泛层面的考察结果必然会为我们提供一个更符合长远目标的投资选择。要想做到这一点, 重要的是要确证投资的系统具备互操作性。这就要求选定的供应商具有技术远见和与之匹配的技术能力, 这种技术能力必须被证实是能够实现与各种不同的子系统之间实现互操作的。此外, 供应商还须具备相关的、无可辩驳的工程实施经验。当麻烦出现而你的业务已经上线销售, 你绝对希望规模足够大的供应商能投入所需资源帮你解决问题, 而不是双方相互指责或扯皮。
基于上述分析, 以下笔者将考察一个具前瞻性思维的广播机构在做出投资选择时通常会重点关注哪些关键部件, 有哪些重要考虑。
1. 让业务驱动业务
确保在业务运营中一些规则如广告选择、播出规则、重播规则, 以及VOD控制等都是有效的, 能够正常发挥功能的。原则上是不允许在最后一分钟或是工作流程的末端再进行任何修改的, 因为这样往往会给业务运营造成重大影响或是对广告插播造成更坏的影响。
2. 最大化灵活性
工作流程引擎和处理的设计应当灵活而不能给人以操作起来费力之感觉, 且应当置于广播机构的直接控制之下。有人认为使用RFP、RFI等设计的工作流程能够一劳永逸, 可以满足广播机构未来的需求, 这其实是不适当的。随着需求、期待和市场的发展和演变, 修改和重新设计自动化工作流程的能力将会变得越来越重要。
3. 实现销售的最大化
在任何域中 (无论是线性的还是非线性的) , 工作流程、播出、节目编排和销售都应能支持快速和较晚的改动。这要比听起来困难得多, 因为它意味着所有这些子系统之间都得到很好的协调和同步。对信息交换协议和分发系统 (线性和非线性) 设计的一条很重要的要求是:必须确保在任何域内, 无论是如何临近播出, 广告销售机会出现时也不能错过。
为了实现上述三条, 这里给出适用于线性和非线性播出分发系统的一些基本要求。
处理过程之间的通讯机制:这意味着软件处理过程之间的数据交换, 元数据则采用另外的称谓;
SOA:面向服务的体系结构 (SOA) 是有效设计高度复杂、高度交互的软件系统的唯一方式;
针对文件的软件系统:软件资产的管理与跟踪;
基带集成:实现大带宽同步信号 (基带、SDI) 与低带宽异步信号 (基于IP的文件和流) 之间的智能集成;
管理与维护软件:全面的网络和设备管理系统, 实现工程费用的有效利用;
根据频道类型合理使用技术:直播频道和普通频道有着不同的运营模式, 因此也有着不同的设备架构要求;
收录权:更正后收录组通常效能低下, 应极力避免;
用于非线性的工作流程引擎:用来管理软件资产的软件处理在信息技术领域并不新鲜, 但针对传媒行业它仍在进行修改。强大、企业级的工作流程和资产管理器对于具前瞻性视野的广播机构而言是必须的;
权利的结转:一旦被授权或从别处借得权限, 这种权限就应该在从收录环节直至消费者的全过程中有效且不中断;
数字版权管理 (DRM) 与条件接收 (CA) 的智能式集成:无论是线性还是非线性的电视节目最终分发机制都要求验证用户的观看权。这一验证程序与内容保护机制之间的紧密集成对于运营效率是十分重要的。
五一个未来成功的广播机构是?
未来成功的广播机构应该不仅仅是节目版权的拥有者, 就人员及与客户之间的直接交流而言它可以是一个较小的、精干的、高效率的公司。就目前的情况来看, B2B业务只占广播电视业务的很小部分, 因此它不应该被看作是广播机构的工作重点, 尽管广播机构自身确实拥有和控制着节目版权。类似的, 基于同样的原因, 广播机构不应只是一个节目制作者。
不过, 一些内容拥有者已经开始通过OTT服务建立直接的观众关系, 并因此模糊了B2B服务提供商与B2C服务提供商身份之间的界限。那些在它们的业务中有着消费者因素, 并有着成熟的品牌的广播机构当然处在了利用这一“想法”的有利位置。但在实际操作中应始终清楚:创建一种有吸引力的大众传播机制不是件容易的事。在一个特定的时间段内, 任何OTT服务提供商要想获得一定数量的用户和人口分布, 都需要很长的一段路要走。只有观众习惯、关系、数量之类的优势才是未来数年内广播机构的持久的竞争优势。没有任何东西是永恒的, 因此, 应建立起防御机制以确保这些特定的竞争优势持续有效。为此我们提供以下一些建议供广播电视机构参考:
专注于各个平台中的终端用户服务;
使用IP系统建立紧密的消费者关系;
利用品牌建立关系;
像“乐高砖” (Lego Bricks) 那样建设系统, 逐渐完善内部效能。
六现在就着手建设创收型内容分发系统
面对所有这些冲突性的压力, 处于快速变化的环境, 广播电视机构或广播电视公司该如何开展投资保护或投资增长?如何在保持业务运营的同时重构自身的能力?在周围或不远处存在着如此之多或明或暗的威胁时如何平衡增加当前利润和确保可持续发展之间的关系?回答这些问题的关键就在于“眼界”和良好规划。
例如:
安装的软件模块应该针对全台范围信息的高效传输需要进行精心的设计, 如这样的软件模块应足够强大, 以便支持将来面向全台范围的系统扩展。那种在全台范围部署“点模块” (point modules) , 随后又发现这样的模块难以接口或扩展, 这种做法是讲不通的;
确保业务能够驱动业务。如果节目编排影响到了销售, 不应推翻运营和分发系统来解决问题。在过程中尽早恢复媒体管理和处理至正常状态将有助于减少运行过程中的人工干预;
广播机构并非必然会建立起运行上有效的工作流程模式, 因为这样的模式会随着时间的推移而发生变化。为了永立变化的潮头, 选择能够实现简单易行的工作流程深度修改 (无须制造商召回) 的引擎就显得十分关键;
集成式信号管理硬件也很关键, 因而也是必须的。尽管现在的电视行业正变得越来越“柔性化”, 但仍然存在着大量的实时信号。这些实时信号往往与通过网络、为了各种目的而传来的实时传输流相组合。实现这两种不同类型的信号的协调管理对于确保工作效率十分关键。这涉及到包括监控 (在这里对混合信号类型的监控由制作团队执行) 在内的一些深层领域;
假如针对正在播出的频道选择了合适的成本模式, 线性分发是目前有效的运营方式。频繁的较晚改动或直播节目并不适于那些适合“静态”频道的基础架构, 因为“静态”频道 (指与直播频道相对的那些普通频道, 如央视的电视剧频道CCTV-8) 的播出表可以提前数周确定。对于线性频道一定要审慎地选择一个合适的运用模式;
对制作平台的一条首要的要求就是灵活。这意味着媒体文件的格式选择不可以由供货商限定;任何时候, 只要可能, 都应该支持软件的运用。为了避免空头投资, 在硬件与软件之间做出合适的选择是重要的, 而这样的选择在今天的环境下——处理器运算能力不断增长、存储设备的价格持续下降, 正变得越来越可行;
对运营起辅助作用的智能式基础结构管理系统很关键, 因为它的运用可使较少的人操控越来越复杂的系统。
七广播电视行业拥有未来吗?
绝对拥有!事实上, 广播电视行业正面临着一个巨大的发展机遇。曾经的一个被人认为是古怪的、口语化的、相对较小的行业, “活动媒体” (本文指电视媒体-译者注) 正被融入各种传播形式和传媒工业之中。这便为电视广播行业赋予了一个遭人嫉妒的“知识领袖”的角色。在这一角色的光环之下, 许多人想当然地认为电视广播是一种传播知识的工具。这显然是不正确的, 它是对电视广播本质的偏离。
只要发挥好作为大众传播媒介的功能, 利用好在节目选择、制作和销售领域的专长, 电视广播的强势媒体地位在未来几十年内就不会动摇。那种认为OTT分发将是电视广播的“终结者”或“掘墓人”的看法也是错误的。事实上, OTT引发的消费者媒介接触与内容消费方式的变革, 对于电视广播而言是绝佳的机会——建立更为紧密的客户关系和稳固收入的机会!
综上, 电视广播业并非像《爱丽丝梦游仙境》中的主人公爱丽丝那样“跌入兔子洞”而不能自拔。但为了避免成为“爱丽丝”, 那些电视业富有远见的领袖们应该抓住机遇, 锐意进取, 大胆行动, 努力开创电视行业更加辉煌、美好的明天!
环境架构 篇2
关键词：校本研修；多元路径；多样形式；在线教研
“乡村中小学教师是乡村教育的砥柱，其能力素质决定着乡村教育的水平”[1]，而校本研修显然是提升乡村教师能力素质的重要机制之一。问题是，相对于研修资源丰富、研修条件便利的城区学校而言，地处偏远的乡村中学在开展校本研修时，一直来受诸多“无奈”的客观因素制约。乡村中学的师资力量相对比较薄弱，教研组的校本研修，往往处于一种“关起门来‘萝卜炒萝卜，端出来还是一盘萝卜’”的低层次重复现象。即使有机会外出参加课堂观摩或研讨活动，也往往由于一方面要“折腾”课务安排，另一方面也由于往返行程远而每次都得多耽误时间。所以结果往往是，疲于奔路，耗时耗力却收效甚微。
相对于其他学科而言，英语学科开展校本研修有一定的学科特点。比如，在文化上，英语教师应该“具有深厚的文化知识沉淀”，除了英语学科知识、相关的学科知识外，还特别需要多元文化知识，既要了解国外文化，又要提高自身本国文化的修养，并把两种文化做对比分析。又如，在专业能力上，英语教师必须具备较高的听、说、读、写能力，用流利的英语组织课堂教学的能力，培养学生用英语交流和跨文化交际的能力。因而，在一定意义上说，中学英语教师专业发展理应贯穿整个职业生涯，研修的时空更需要走向广阔性。因此，笔者认为，从英语学科的特点出发，可以尝试“无时间边界，无地域边界”的校本研修，即借助互联网的优势，突破乡村中学由于“路途远、资金缺、师资弱”等客观因素制约开展校本研修的局限，重构一种“灵活、便捷、自主”的乡村中学英语校本研修新机制。
一、乡村中学英语校本研修新机制
在立足校情、师情等本土特点的基础上，设计与推进“互联网+”背景下乡村中学英语校本研修新机制，重构一种“互联网+”大数据环境下的“跨越时空，优质研修资源共享，互动便捷”的全新模式。
（一）多元路径
随着信息技术的普及，乡村中学英语学科教研组可充分利用网络的优势与便捷，开辟多种路径的“在线式”研修平台，而且可不断实现技术更新：QQ群、校讯通、博客群、微信群，如此，确保网络在线研修技术及沟通路径也与时俱进。如图1为某乡村中学英语教研组构建的由不同相关微信群、微信朋友圈组成的微信圈。
上述这个微信圈，是以本校英语教研组长微信群为轴心，由不同相关微信群、微信朋友圈组成，微信圈里的各个群或朋友圈既相对独立，也相互交叉，其特点在于，可借助教研组长微信群这个核心轴，形成一个即便不走出校门，也可随时、随地便能实现教研动态或信息的及时交流与分享。
这样的“在线教研”突破了地域限制，定时间、定人员、不定地点，以实时交互（语音和文字）的方式形成了专家和基层教师之间以及校际之间交流的多向性，打破传统教研单向交流的方式。
此外，学校网站还可增设英语教师博客、个人网站，英语教师之间也可组建QQ群，方便本校英语教师能够便捷地交流读书感悟、教学经验及教学疑惑，等等。教师们在博客中可以记录教学经历、工作思考以及生活感悟等。不仅如此，还可利用这个平台与众多志同道合的人进行互动交流，共同成长。
（二）多样形式
设计多样化形式的在线校本研修，其目的是解决研修活动形式单一的问题，提高教师的综合能力。为此，我们可以在充分考虑学科特点、区域教研动态、校本资源等因素的基础上，开展以下多样形式的在线教研（见图2）。
“‘微视频’是近年来随着教育信息技术发展而形成的课堂教学改革的一个热点”[2]，乡村中学英语校本研修开展的“微视频研讨”，主要基于教材或教学中的难点、重点，教研组全体成员一起参与微课的“脚本”设计及微视频制作。或发动教研组团队力量，探寻、筛选已有的他人成功微课资源，然后上传到QQ群里，以达到资源共享的目的。
磨课、研课：组内同行若参与或承担各级各类公开课、示范课、赛课等任务时，英语教研组团队参与全程的教学设计、修改及现场的磨课活动。
观点分享：立足当前英语教学的发展态势，立足乡村中学的实际，组内同行开展一些观点交流和分享，“观点越辨越明朗”，借“观点分享”以求进一步明晰乡村中学英语的课改方向。
名师工作室：委派优秀的英语骨干教师参加不同层次的名师、特级教师工作室活动，以此培育乡村中学英语的领头雁。
电子备课：乡村中学英语教研组可以开展灵活多样的备课改革，努力让一线英语教师从繁重、机械的传统备课模式中解放出来，以此获得更有意义的学习和研究。电子备课基本操作思路是：一年以内教龄的教师必须是纸质备课，一年及以上教龄的英语教师日常备课采用电子备课，次年可以按生情的变化，在电子课件上做修正。同时，对年轻教师每学期必须按执教区（县）级公开课的标准，要求设计3节左右的经典教学方案。
由上足见，多样化形式的校本研修，在根本上突破了传统的乡村中学英语研修由于形式单调所造成的沉闷气息，替而代之的是，乡村中学英语校本研修活动越来越焕发出活力和创新力。
二、乡村中学英语校本“在线式”校本研修实例
下面，以某乡村中学英语教研组某次在线式校本研修活动为例，介绍如何开展在线校本研修。
（一）主题：“优化衔接，提升学力”
该中学是一所完全中学，既有初中，也有高中，如何优化初中、高中的学科教学衔接，一直是该中学校本研修探讨的重点。为此，英语教研组开展了一次主题为“优化衔接，提升学力”的在线式校本研修活动。
（二）途径：QQ群、微信群、博客
（三）形式：微视频研讨
（四）活动准备
1. 制作由初三、高一英语教师执教的完整示范课各一节。2. 截取这两堂课中聚焦于衔接的“教材内容”“教学方法”“学力提升”等微视频若干。3. 约请县、市、省三级英语教研员在线参与互动。
（五）时间：从启动到结束约两周左右
（六）研修过程
第一阶段：校本交流——相约QQ群。以该校英语教师为主，约定一个时间，在QQ群里展开评课活动。先由执教教师阐述教学设计的框架与构想。随后，群内教师各抒己见，围绕“优化衔接，提升学力”畅谈这两堂课的闪光点与不足之处。最后由教研组长梳理各教师的跟帖，整理重点问题，供下一步深入讨论。
第二阶段：专家互动——相约微信群。以该校英语组为核心在微信上发布讨论的话题，同时邀请县英语教研大组成员，县、市、省三级英语教研员作为“特邀在线嘉宾”参与微信群的主题评课。该校英语教师利用课余时间，随时与教研员进行跟帖交流观点或看法，与专家或名师进行在线深入研讨。
第三阶段：观点共享——相约博客群。英语教研组长汇总教师的跟帖和专家的意见，整理若干条改进建议并发布在博客群，实现观点共享。
实践证明，在“互联网+”环境下，重建乡村中学英语的校本研修新机制，无论从深度还是广度，都足以使教师们的教学理念、专业技术获得显著的提升。
乡村中学英语校本研修在探索及实践“在线式”教研后，不仅盘活了整体的教研格局，一改之前乏味、沉闷的景象；而且也激活了乡村中学英语教师自主、高效参与校本研修的内在需求与活力，使得整个英语教研组团队开创了前所未有的全新气象，也焕发出了教研的蓬勃朝气。主要突出了三大具体成效：一是突破时空限制，变局部交流为广泛研讨；二是共享教研智慧，变独学无友为合作研讨；三是促进自我反思，变被动接受为自觉研讨。
乡村中学英语校本研修“因时，因地，因人”的设计与开展在线式教研，开创了一个“开放、灵活、便捷”的充满活力的全新教研格局。但这并不否认从此可以摒弃传统的“现场教研”，恰恰相反的是，“在线教研”与“现场教研”两者之间应该努力寻求“优势互补”，旨在为乡村中学英语教师的专业成长以及提升职业幸福感共同创建一个最为优质的研修环境。
参考文献：
[1] 孙兴华，马云鹏.乡村教师能力素质提升的检视与思考[J].教育研究，2015（5）：105.
环境架构 篇3
关键词：物流信息,ebXML,区域物流
随着物流业信息化建设的推进,我国相当数量的地区已着手建立物流信息交换平台,少部分地区已经实施了区域物流信息交换,区域如何进一步完善物流信息交换平台,降低物流运作成本、实现资源、信息共享,提高物流行业效益,已经成为区域物流业信息化发展的当务之急。
1 构建区域物流信息系统的意义
1.1 从消费者的角度看。
区域物流信息系统能为物流企业提供区域物流信息资源的共享、查询和交换等。当客户需要物流企业的服务时,物流系统可以为客户快捷、方便的匹配信息服务。区域协作和服务的基础是企业信息的异地共享,区域物流信息系统,为异地企业信息共享和传递提供了有力支持;区域物流信息的交换也使异地虚拟服务成为可能。
1.2 从物流企业的角度看。
区域物流信息系统能促进物流企业自身发展。目前迫于物流业竞争的压力,各物流企业都把降低物流成本、提高物流效益作为追求的目标,这就要求各区域物流企业之间必须要有一个与之相应的以客户为中心的物流信息系统,物流企业能够从客户的需求中获得直接、丰富、准确的信息,这些信息不仅为本企业所用,也能为其它企业及社会所用。
1.3 从主管部门来看。
区域物流信息的共享有利于实行物流行业的宏观管理。只有物流信息得以有效的共享,才能为我国物流宏观管理提供丰富的原始资料,管理部门可以从中提取分析,辅助管理政策的制定。如重大灾难发生时物资资源调控,物流发生量和物流成本的统计等。
1.4 从社会整体情况看。
突发公共事件不断出现,如1998年我国的特大洪水,2001年“911”恐怖袭击事件,2005年印度洋海啸,2008年的我国四川大地震以及今年八月台湾的“莫拉克”台风。越来越多国家和地区认识到及时的抢救和物资的补给是降低灾难损失的关键。重大事件发生后,区域物流企业又是物资运输和调度的承担者,如果没有物流信息资源共享就没有物资调控及时准确的进行,通过区域物流信息系统进行信息资源交流具有特殊的安全性和快捷性。
2 区域物流信息系统采用联合国电子商务架构标准的可行性
eb XML(电子商务可扩展标记语言,Electronic Business using e Xtensible Markup Language)是由联合国贸易促进与电子商务中心(UN/CEFACT)与美国结构化信息标准推动组织(OASIS)共同开发的一项电子商务基础架构标准。它向全球各贸易参与方提供一种可互操作的、安全稳定的电子商务信息交换模式。eb XML是一系列构成电子商务模型框架的技术规范的统称,通过这些技术规范来构建一个全球电子化市场,在这个市场内不分地域和规模的各类企业能够彼此交换业务信息。eb XML的基本构件包括注册中心(Registry)、合作协议概要(CPP)、合作协议契约(CPA)和信息结构(IAS)。
eb XML的出现主要是为了解决B2B电子商务中电子合同传递的技术障碍和成本问题。将eb XML方案的设计思想移植到物流信息交换过程中,在理论上和实践上都具有可行性:
2.1 参与文件交换的主体具有相似性。
eb XML主要是解决企业之间商务文件的交换问题,不同的企业是文件交换活动的主体;而参与物流信息平台活动的主体是不同的物流企业,这种信息的交换模式类似于B2B的模式。
2.2 交换的文件都具有一定的格式要求,易于标准化。
合同都是格式化的文件,由于eb XML是一种电子商务可扩展结构化标记语言,因而同样可以作为是一种定义描述物流信息结构的元语言。eb XML文档的自含结构,使得系统间交换的物流信息可以互相“理解”。因此,以eb XML作为物流企业间文件交换的基础是可行的选择。
2.3 文件交换的载体相同。
传统合同和信息文件的都是以纸张为载体,只是所记载的具体内容有所不同。同样,电子文件和电子合同是以数据电文作为载体。
2.4 交换的过程相似。
无论是电子合同的交换,还是电子信息文件的交换,都需要首先到信息中心查找相关文件,然后发送请求,对方回应后,再进行磋商,最后达成协议,二者在过程上基本相似,所采取的安全措施也有很多相似之处。
3 采用联合国电子商务架构标准的区域物流信息系统的优势
基于联合国电子商务架构标准的区域物流信息系统具有下列优势:
3.1 投入成本低。
在过去几十年的B2B电子商务中,商业组织之间主要通过电子资料交换(EDI)交换商务文件。但实施EDI的费用高,覆盖面小。eb XML正是针对企业实施电子商务成本过高的问题而提出的,区域物流系统采用eb XML可以有效地降低物流信息的交换成本。
3.2 具有被广泛认可的技术前提。
首先eb XML是以XML技术为基础的。由于XML本身具有不受操作系统限制、良好的可扩展性、传输内容与传输方式相隔离的优异特性,这使得基于eb XML的电子信息文件交换具有被广泛认可的技术前提。其次eb XML也得到了微软、IBM、SUN、Sybase、思科等许多IT巨头的支持,他们将eb XML应用到各个行业之中,许多公司已经开始研究如何将eb XML标准推向物流行业,Sun就是其中一员。
3.3 有利于形成统一的物流标准。
区域物流信息文件交换的技术规范不仅仅是涉及到eb XML技术本身的问题,更重要的是要把物流运作的流程和管理方法结合到其中,从而为加盟企业创造一个公共的系统,形成一个共同的区域物流行业标准。这也是各区域物流企业开展物流信息共享的前提。
3.4 有利于整合物流资源。
eb XML为区域物流企业电子文本信息交换提供开放式交换标准,可被更多的物流企业采用和接入,使区域物流资源得到更有效的配置和共享,提高物流企业的效益。
3.5 安全可靠。
eb XML的信息服务采用了简单对象访问协议(SOAP),它是一种发送eb XML消息的方式(如图1),以一种前所未有的方式相互通信。eb XML发送消息的规范可以保证文件传递的可靠性、安全性、持久性和可扩展性。
4 联合国电子商务架构标准下区域物流信息系统架构模式
尽管eb XML的电子商务标准是近几年才出现的,但是支持这个标准的基础技术已经成熟,将eb XML的理念应用于区域物流企业之间信息交换在基础技术上已经不存在问题,关键在于如何构建区域物流信息系统架构模式。
4.1 区域两个物流企业间的物流信息系统架构模式。
借鉴eb XML的商务文件交换模式,提出区域物流企业间物流信息系统架构的方案。首先假设区域物流信息的交换在两物流企业之间进行。参与物流信息交换的主体有4个:(1)物流信息注册和交换中心;(2)甲企业;(3)乙企业;(4)客户。
图2说明了区域电子物流信息文件在两个物流企业之间共享的物流信息系统架构的基本方式。电子物流信息在两个物流企业之间的共享包括以下几个步骤:
(1)建立物流企业的应用服务界面。甲、乙两个企业根据规范要求建立适应自己情况的应用服务接口,该接口能够将不同的物流文本信息转换成标准的eb XML文档格式,以满足通信的要求。
(2)注册应用的详细情况。企业根据规范要求向区域物流信息注册和交换中心提交基于eb XML的规范性文件,该中心检验提交的文件是否满足行业的标准,如果满足,则存储企业提供的信息;否则,反馈提示修改的信息。
(3)甲企业接收客户提供服务的请求。
(4)甲企业查找该客户所在区域的有关资料,下载注册和资料交换中心的标准化文档,提交希望获得的有关物流信息资料CPP。
(5)审查文件。乙企业在注册中心发现甲企业发出的CPP,下载文件,审查有关文件。
(6)谈判和协议。在物流信息交换之前,乙企业直接给甲企业应用服务界面寄送一个合作协议建议,甲企业审查后再反馈给乙企业表示同意或修改的信息。
(7)经过几轮谈判,形成最终的合作协议(CPA)。CPA概括了物流信息文件设想的协议、信息传输的要求、可能的计划和安全要求。
(8)处理物流信息文件交换事务。两企业根据最终形成的CPA,完成现实的区域物流信息共享、交换等。
4.2 三个或多个区域物流企业之间的物流信息系统构架模式。
当客户的有关信息存放在两个以上的企业时,就会出现三个或多个企业之间电子信息文件交换的情况,这种情况同两个企业之间电子信息文件的交换并无本质上的区别,多个企业之间的通信可以根据实际情况按顺序依次在两个企业之间进行,三个企业间的电子物流文件交换模式如图3所示。
参考文献
[1]UN/CEFACT and OASIS.ebXML Technical Architecture Project Team,ebXML Technical Architecture Specification v1.04[EB/OL].2001[2009-08-01].http://www.ebxml.org/specs/ebTA.pdf.
[2]UN/CEFACT and OASIS.ebXML Business Process Project Team,Business Process Specification Schema v1.01(XML schemaand DTD examples available separately)[EB/OL].2001[2009-08-01].http://www.ebxml.org/specs/ebBPSS.pdf.
环境架构 篇4
图4-5
这是一个典型的分层架构，分为应用层、Framework层、Native层、内核层。这似乎与我们今天要说的微服务架构没有任何关系！大家需要注意的是这是一个更为宏观的架构，在这个分层架构之下还有其他的架构模式，微服务架构就是其中最为明显的一个。Android系统按照职责分为不同的层次，但是在Java层( Java应用程序和应用程序框架)与系统服务层( Android运行环境 )这两个层之间则是通过本地C/S模式进行通信，也就是我们的微服务架构。<?www.2cto.com/kf/ware/vc/“ target=”_blank“ class=”keylink“>vcD4NCjxwPs7Sw8fWqrXA1NpBbmRyb2lkz7XNs8b0tq/KsaOstPPWwrvh1rTQ0Mjnz8LLxLK9OjwvcD4NCmluaXS9+LPMxvS2r6O7o7sgU3lzdGVtIFNlcnZlcsb0tq+juyBBbmRyb2lkz7XNs7f+zvHG9Lavo6y9q7f+zvHXorLhtb1TZXJ2aWNlTWFuYWdlctbQo7sgQW5kcm9pZNTL0NC7t76zvajBoqOssqLH0sb0tq9MYXVuY2hlcrPM0PKhow0KPHA+1Nppbml0vfizzMb0tq+686Osu+G199PDaW5pdF9wYXJzZV9jb25maWdfZmlsZbe9t6i94s72aW5pdC5yY87EvP6jrMi7uvO9q2luaXQucmPW0Na4tqi1xMP8we6horf+zvG1yMb0tq/G8MC0oaM8L3A+DQo8cHJlIGNsYXNzPQ==”brush:java;“>int main(int argc, char **argv){ // 代码省略 // 创建系统文件夹 mkdir(”/dev“, 0755); mkdir(”/proc“, 0755); mkdir(”/sys“, 0755); // 代码省略 // 初始化内核 open_devnull_stdio; klog_init(); property_init(); process_kernel_cmdline(); // 代码省略 // 解析init.rc文件 init_parse_config_file(”/init.rc“); // 代码省略 return 0;}
init.rc是由一种被称为“Android初始化语言”的脚本写成的文件。在该文件中描述了一些动作、命令、服务、选项等，我们这里只关心服务这一项。init.rc中的一个服务描述大致是这样的。
service zygote /system/bin/app_process -Xzygote /system/bin --zygote --start-system-server class main socket zygote stream 660 root system onrestart write /sys/android_power/request_state wake onrestart write /sys/power/state on onrestart restart media onrestart restart netd
在上述代码中指定了一个zygote服务，这个服务会启动一个叫做zygote的进程，zygote是Android世界的万物之源，所以的进程都有它孵化。在启动zygote时又会启动System Server进程，System Server是所有系统服务的栖息地，也是应用与Zygote进程通信的中枢，例如需要启动某个应用时会通过System Server通知zygote fork一个新的进程。在System Server启动之后会调用com_ android_ server_ SystemServer. cpp类中的android_server_SystemServer_nativeInit函数，在该函数中会获取ServiceManager实例以及启动一些Native服务。最后会调用SystemServer内部类ServerThread的initAndLoop函数将WindowManagerService、ActivityManagerService等系统服务注册到ServiceManager中，这些服务为系统提供各种各样的功能，最后启动系统消息循环，此时Android的运行环境基本构建起来了。
public class SystemServer {// 主函数public static void main(String[] args) { // 代码省略 // Initialize native services. nativeInit(); // This used to be its own separate thread, but now it is // just the loop we run on the main thread. ServerThread thr = new ServerThread(); thr.initAndLoop(); }}// 内部类class ServerThread { public void initAndLoop() { // 1、启动主线程消息循环 Looper.prepareMainLooper(); // 代码省略 try {// 2、将各个系统服务注册到ServiceManager中// 添加PackageManagerServicepm = PackageManagerService.main(context, installer,wm = WindowManagerService.main(context, power, display, inputManager, wmHandler, factoryTest != SystemServer.FACTORY_TEST_LOW_LEVEL, !firstBoot, onlyCore);// 添加 WindowManagerServiceServiceManager.addService(Context.WINDOW_SERVICE, wm);// 数十种服务的注册，代码省略 } catch (RuntimeException e) { } // 3、启动消息循环 Looper.loop(); }} // end of ServiceThread} // end of SystemServer
Framework层（客户端）与Native系统服务（服务端）之间并不是直接调用的，而是通过Binder机制，客户端代码通过Java端的服务代理与Bidner机制向Native服务发起请求，具体的工作交给Native系统服务来实现。因此Framework和Native层的架构是如图 4-6 所示。
环境架构 篇5
关键词：BOSS,NGB,两级,架构,分析
1 引言
多年来, 广电行业一直在推进下一代广播电视网络 (NGB) 的研发与建设, 提出一些标准, 并在地方也做了一些应用示范。与此同时, 广电行业的BOSS规范目前正在研究制定中, 对NGB BOSS的规划设计也在进行之中。NGB BOSS系统必然要考虑国家干线网与地方网络在运营管理方面的区别和关系, 而电信行业经过十多年的发展, 目前普遍采用总部—省分两级架构。全网集中一套BOSS, 或中央—省分的两级系统架构, 均可能是未来NGB BOSS关于中央—省两级关系的方案。
BOSS两级架构在具体的系统设计和实施时会有一些不同做法, 例如中央系统与省分系统如何分工合作, 如何安排系统规划与建设的主体。纵观目前国内三大运营商的系统情况, 两级架构中涉及到的诸多可变因素, 这些主要是由运营商的发展历程、管理体系、系统演进、特定业务需求等方面决定的。NGB BOSS虽然有它自身的实际情况和业务特点, 但还是可以借鉴一些电信运营商BOSS的系统设计和建设经验的。
2 国内电信运营商BOSS的层级架构
国内电信运营商虽然一直在制定和推进其BOSS系统规范, 且都在推进按照两级部署、三级应用的目标原则, 但各地系统均存在不同程度的差异, 系统两级化建设程度也不同, 甚至许多地方仍存在地市一级的BOSS系统。由于三者组织变革的历史及管理模式的不同, 三大电信运营商集团总部系统与地方系统的分工与关系也有所区别, 但在重组之后的全业务运营格局中, 这种两级体系逐步趋同。
2.1 中国电信
中国电信在2005年编制了集团统一的CTG-MBOSS信息化规范体系。该规范体系用于实际指导中国电信各省公司核心支撑系统 MBOSS 的建设, 各省公司按照规范要求开展系统改造和建设。在经过CTG-MBOSS 1.0建设后, CTG-MBOSS由集团、省公司、本地网三个层面的部署和应用, 转向两级部署、三级应用, 本地网应用接入省中心系统, 本地网数据一般都是存储在省中心, 仅个别大中城市会在本地建有适合各类专题应用的数据集市[1]。
CTG-MBOSS分为四个域, 即企业管理支撑功能域 (MSS) 、业务支撑功能域 (BSS) 、运营支撑功能域 (OSS) 和企业数据应用功能域 (EDA) 。集团公司系统与省公司系统在功能上几乎一样, 主要区别在管理和支撑的对象不同, 集团公司系统负责集团公司的管理, 全国性业务的运营支撑, 跨省协调调度。两级系统间的交互主要体现在这四个功能域之间的交互:MSS之间主要是各类公文的下达和上传、报表的传递等;BSS之间是CRM中的大客户服务、一站式服务、产品目录信息, 计费中跨省、全国性业务数据, 结算系统中网间和漫游业务数据;OSS之间是网络资源数据, 网管告警、性能和相关信息, 跨省业务相关信息;EDA之间是各类业务、运营数据和分析数据的上传下发。
CTG-MBOSS的总体实施方法是, 集团公司组织主要厂家制定整体规划和相关的产品规范;要求各个厂家开发原型产品, 通过测试后才发放牌照;各省公司按照 CTG-MBOSS 规范的要求, 以试点、交流、规范、推广的模式, 以省为单位统一规划、统一供应商、统一软硬件选型、统一版本、统一组织实施。
2.2 中国移动
中国移动2000年正式成立, 从中国电信分离出来, 经营移动通信业务, 而当时是移动通信业务飞速发展的前夕。中国移动公司以全新的组织架构和明确的业务界定出现, 在BOSS建设方面没有大的组织机构和遗留系统方面的问题, 因此它很快便发布了中国移动BOSS规范, 确立了集团—省两级架构, 地方系统向各省集中, 由此开始了全国范围内的BOSS重建工程[2]。
在早期, 集团公司没有直接面对的客户, 所以集团系统中有没有客服系统和帐务系统, 主要承担信息枢纽功能, 它与省BOSS配合, 实现跨省异地的客户服务和业务支撑工作。[3]通过一级BOSS实现实时的信息交互, 形成省公司之间客户资料、账务等信息的交互, 从而支撑客户资料异地调度、针对漫游客户的服务、异地缴费等业务。在业务发展过程中, 集团公司开始直接运营管理全国性业务, 因此总部系统的实体能力得到建设和提升, 集团客户业务支撑能力得到增强, 实现了跨省集团客户业务的全面支撑。最终, 总部系统功能包括管理、实体和枢纽三个方面, 为集团公司进行全网业务管理和业务运营提供支撑和保障, 实现全网信息的交换和管理。而省公司BOSS系统具有管理和实体功能, 为省公司进行省内业务管理和业务运营提供支撑和保障。省BOSS系统与总部BOSS系统通过接口相联, 实现数据交换, 二者相互协作与配合, 共同支撑移动业务的运营与管理。
集团公司负责建设一级业务支撑中心, 即集团系统, 省公司负责建设省集中系统。集团总部组织制定系统规划和规范, 统一圈定厂商范围, 分省独自实施, 总部管理控制实施进程, 管控力度较强。
2.3 中国联通
中国联通于2002年提出UNI-IT的概念, 即中国联通企业信息化系统。经过几番修订, 中国联通IT系统架构从BSS、OSS、MSS三个方面对应用系统进行了划分, 各系统功能域也是分为总部系统和省分系统。
联通总部的IT系统主要支撑完整的管理功能, 跨省生产流程的枢纽、指导、协调功能以及部分全国性业务的生产功能, 总部一般不直接面向客户进行销售和服务。总部BSS面向全国性的大客户/集团客户, 侧重于总部和各省业务开通的协调;面向省分的业务支撑, 提供跨省业务流程的枢纽支持;提供全国范围的经营分析;提供国际业务及跨省业务的结算处理;全国性业务的计费帐务功能逐步下放到省分。总部OSS侧重于对一干长途线路提供管理、对跨省业务提供支持、对全国的网络提供宏观的监管。总部MSS面向总部的决策层领导, 提供企业决策的管理支撑;面向企业的内部人员, 提供协同办公支持;对中国联通全国的人力资源进行统一管理;对全国的财务、资产管理进行统一管理[2]。
联通省分的IT系统主要面向省分业务运营提供完整的生产支撑功能以及管理支撑功能。省分BSS面向本省最终客户和全国性集团客户/大客户, 提供市场营销与销售、业务受理、客户服务以及计费处理等功能;面向异地的客户提供异地业务的受理;面向市场营销, 提供有力的客户洞察以及相关的经营分析等功能;实现与其他运营商的网间结算处理;面向所有的合作伙伴提供管理和结算支持。省分OSS管理省分的传输、交换等资源, 为省分的综合业务提供服务开通和服务保障。省分MSS面向省分的高层领导, 提供企业决策的管理支撑;面向省分的内部人员, 提供协同办公支持;对省分的财务、资产等进行统一管理[2]。
两级系统的主要区别有:客户接触类系统的分布不同, 网上营业厅由总部系统统一建设, 省分系统建有渠道人员工作平台;总部支持省际/国际跨域集团客户的生产与管理, CRM系统功能定位不同;总部计费需求相对较少, 在结算系统中统一考虑;总部服务开通需求较少, 在定单管理系统中统一考虑;总部无号线资源管理功能。
中国联通集团总部组织协调内外机构共同进行系统规范制定, 总部及各省分公司按照规范进行系统规划、建设、运行和管理。系统建设采取“统一需求管理、统一规范管理、统一版本管理、统一实施管理”的四统一建设管控模式, 集中管控力度强。
3 NGB BOSS两级架构
国内有线电视网络的运营实体过于分散, 且没有国家级网络运营商, 在这种情况下各地网络公司的BOSS建设缺乏统一的规划和规范。首先, 没有全国性的中央级BOSS;其次, 地方网BOSS的模式不一, 有的是全省集中式, 有的则是省市两级式, 系统功能和数据模型也不一样。NGB BOSS的中央—省分两级部署只能伴随着NGB建设和广电网络公司的重组而逐步进行, 两级架构和建设方案可借鉴当前电信运营商的做法, 同时又要结合考虑广电行业的现状和特性。
3.1 模式分析
早期, 电信运营商把固网业务与移动业务分开进行运营支撑, 很多地方电信运营商BOSS都存在双系统支撑, 直至近两年依旧没完全融合, 部分原因是组织发展变革, 同时这两者业务的区别对BOSS系统要求有些不同。固网业务的业务模式和销售策略比较简单, 服务开通过程中经常会涉及施工和工单处理, 资源管理也会涉及地理区域信息、多种网络设备和网络层级。而移动业务 (特别是3G业务) 在业务模式和销售策略比较复杂多样, 业务受理、服务开通和计费有很高的实时性要求, 增值业务多样, 资源管理方面相对简单些。因此, 总部地方两层架构中移动业务的集中化程度更高。
NGB业务与电信业务区别在于:NGB没有移动语音通信业务 (至少目前看是这样) , 而3G业务是电信运营商BOSS最重要、最复杂的支撑业务;视频业务和电视端业务, 是NGB BOSS的主要支撑对象, 而对电信IPTV相关业务的支撑在电信BOSS中还没有特别的体现。对有线电视或IPTV业务的支撑总体上类似电信固网业务, 包括网络、施工、开通等方面, 但是终端策略和增值业务运营又与3G业务有些类似。这类业务有一定区域特性, 用户一般都是家庭用户, 业务策略相对而言会更不确定些, 跟多数个人业务一样, 它倾向于用省分系统来运营。然而, 3G则有些不同, 业务区域性差异小, 业务在线受理和开通迅速, 电信运营商对3G加强了总部管控, 如中国联通3G业务运营支撑中要求达到产品统一。
总体上集中化程度由低到高为固网通信业务, 电视业务, 移动通信业务 (3G) 。固网业务与移动业务融合已进行了多年, 三大电信运营商也重组成全业务 (通信) 运营商, 再加上三网融合下的IPTV业务, 三大电信运营商的BOSS建设目标是支撑全业务、综合所有相关功能、尽可能集中化的BOSS系统。NGB BOSS也是如此, 即使它很可能不会去支撑移动业务。
电信BOSS经历了十多年复杂的演进过程, 两级架构按演进路线可归结为三种模式 (如下) , 三者间没有清晰的界限, 集中化程度逐步加强。
(1) 联盟式:
独自规划、建设的地方BOSS之间进行数据对接, 以共同开展跨地区业务, 由最开始的多个地方系统彼此对接, 到所有地方系统通过一个共同的系统 (即总部系统) 实现对接。
(2) 集约式:
集团总部组织内外部人员共同制定统一的规划和规范, 省公司根据规范进行系统改造和建设, 逐步形成总部—省两级架构, 客户、产品和渠道等实行一定程度的统一集中化管理。
(3) 集中式:
所有的系统高度统一规范化, 客户、产品、渠道、资费、门户、客服、营销等方面可以由总部系统统一集中管理, 实现企业和业务的全国统筹管理。
NGB BOSS本身是个新的东西, 没有复杂的历史负担, 我们可以直奔目标架构, 但由于广电网络分散的局面, NGB BOSS在同一个时间节点可能同时存在这三种模式。NGB BOSS中央系统可以与省网现有BOSS对接, 也可以是NGB BOSS省分系统与当地省网已有BOSS系统共存并根据业务需求进行某些对接, 类似电信省分公司会有固网业务支撑与移动业务支撑两套BOSS系统。
3.2 功能总体架构
目前NGB BOSS总体架构规范草案将BOSS可分为业务支撑系统域 (BSS) 、运营支撑系统域 (OSS) 、管理支撑系统域 (MSS) 及决策支持系统域 (DSS) 等四个部分, 也是中央—地方两级架构, 如图1所示[4]。
NGB BOSS两级架构的几个重要点:
(1) 中央系统要有统一集中化管理的能力, 除了地方网络资源管理外, 中央系统应具有所有功能模块, 可能会由于支撑和管理的对象不同, 会跟省分系统有些细节化差异或配置差异;
(2) 所有系统 (包括中央系统和各省分系统) 要根据统一的规范来建设, 在系统功能架构、数据架构、软件架构、集成架构等方面保持一致, 特别是相关概念、功能定义和划分、数据模型、业务流程、内外接口规范等方面保持一致;
(3) 中央与省分系统在这四个系统域上都存在不同程度的数据交互和功能调用, 具体视运营商的组织架构和管理模式的不同而有所区别;
(4) 中央系统的定位是省网间网络和业务枢纽、中央实体运营及企业管理与决策, 省级BOSS为省内业务管理和业务运营提供支撑和保障, 对省级实体的管理和决策分析提供系统支撑;
(5) 可以根据业务特点和实际运营环境, 对NGB业务实行不同程度的集中化管理, 例如将当前普遍的业务与未来或正在酝酿中的新业务区别对待。
中央系统的枢纽功能是, 连接全国各省级NGB-CBOSS以及其他系统, 使之相互连通, 实现数据互换, 以达到为客户全网服务的目的。其主要功能包括实现省级NGB-CBOSS跨省业务的实时转接, 支持跨域结算等省间结算功能, 为跨省订单及资源调度作转发处理等。
中央系统的实体运营功能, 是指在某些业务的运营由中央代表进行统一对外开展。例如拓展全网性的集团客户, 为全国范围的企业提供整体解决方案, 这种业务模式也需要由总部的业务支撑系统提供全方位的整体服务, 这时总部的实体功能相当于省分系统。
中央系统的企业管理和决策功能指, 一是对中央组织的各类事务和管理提供信息化支撑, 二是在综合分析中央级和省级运营数据的基础上, 进行决策分析, 为企业战略、业务策略、产品设计等提供决策支持。
3.3 物理部署总体架构
由于两级架构的三种模式并存, NGB BOSS的实际部署会相应地有四种情况并存, 总体部署架构如图2所示。
(1) 如果省公司用的是NGB BOSS的省分系统, 则两系统分别部署在中央和省, 通过专网进行对接;
(2) 如果是高度集中化, 省公司直接使用中央系统, 则中央系统会有分布式部署, 在当地有部署一个应用服务器群;
(3) 如果省公司用的是自己已有的BOSS, 而NGB BOSS在本地没有NGB BOSS省分系统, 那么省公司BOSS与NGB BOSS中央系统对接;
(4) 如果省公司用的是自己已有的BOSS, 而NGB BOSS在当地有NGB BOSS省分系统, 那么省公司BOSS与NGB BOSS省分系统对接。
全网所有数据中心可分为中央和省级数据中心两类。数据中心以省为单位进行建设, 部分省也可以联合起来用一个中心。中央系统将至少部署两个节点, 实行主备运行。另外, 对于直接使用中央BOSS的省, 则采用分布式部署, 实体应用服务部署在本地节点服务器, 应用节点与数据库通过冗余 BOSS专网进行连接。
3.4 实施总体思路
集中化和标准化是当前BOSS建设的两大趋势。中央系统和省分系统必须遵循统一制定的集成架构规范, 以保证系统间接口的规范性, 实现跨域、跨系统、跨层级流程的顺畅衔接。中央机构组织制定NGB BOSS总体规划和具体规范, 并提供给地方机构作为指导或强制要求。分省实施, 各省系统各自招标, 中央机构负责中央系统建设。
4 结束语
随着NGB建设的继续深入以及NGB业务的开展, 建设相应的支撑全程全网、全业务的综合运营支撑系统显得日趋重要和紧迫, 但是如何规划设计仍需要讨论和深入, 其中如何设计和安排中央与地方的两级架构是个复杂且很不确定的问题。本文在分析电信BOSS两级体系和NGB自身情况的基础上, 建议NGB BOSS两级架构应该走统一集中化路线, 同时应结合广电网络当前的实际情况, 架构也应支持过渡模式, 具备多样性和灵活性;中央系统应具备三个定位:省网间网络和业务枢纽, 中央实体运营, 及企业管理与决策;在实施方面, 应统一规划, 规范先行。由于BOSS规划和建设涵盖面非常广, 电信运营商及其BOSS的发展演进比较复杂, BOSS地区差异性比较大, 以及NGB BOSS的诸多不确定, 本文的分析未必准确, 所提供思路和建议仅供参考研讨, 希望能抛砖引玉, 对NGB BOSS的规划和设计有所贡献。
参考文献
[1]张方月.CTGD_MBOSS集中系统架构部署的研究与实现[D].广州:华南理工大学, 2011.
[2]阮前.电信重组环境下全业务运营支撑系统研究[D].厦门:厦门大学, 2009.
[3]同欢.中国移动NGBOSS的建设与研究[D].大连:东北财经大学, 2010.
环境架构 篇6
分布式计算系统的研究一直是计算机技术领域的一个研究热点, 随着云计算、虚拟化、物联网等应用的推广普及, 分布式计算的理论研究也越来越受到研究者的重视。研究分布式计算的数学基础和理论, 揭示与分析分布式系统的底层问题 (资源调度、分配、通信、协调、同步及不确定等) , 研究基本的算法概念与实现技术变得非常重要。
随着淘宝、京东等电子商务平台的网络购物应用的快速发展, 使得传统的网络服务模式从CS架构向着分布式平台架构演进。本文针对具有电商类业务应用特点的分布式架构平台进行分析, 提出一种面向电商应用的分布式环境系统架构, 以适应快速发展的电子商务应用。
2 电商应用的平台技术分析
淘宝、京东等电子商务平台, 以及12306铁路订票系统等网站, 其本质上是一种分布式请求应用, 其应用的特点不同于网络搜索类应用。这类请求通常情况下是数据的实时检索, 而相对应的网络搜索引擎的检索结果通常是通过蜘蛛程序预前爬取到的静态搜索结果。这类电子商务类应用, 往往需要与电子商务的支付平台相连接, 其连接需要通过加密的、经过安全认证的网络连接保证可靠性, 可以把该类应用统称为“电商应用”。这类应用的数据库系统并不像搜索类业务复杂, 但是其数据并发及数据间的协同互锁问题更重要, 安全性、容错性和并行读写的问题更突出。在电子商务平台有类似优惠促销活动时, 或网络购票系统定时开放票源的时候, 表现出来的大数据量并发访问, 会对系统架构造成较大的冲击。
本文针对具有电商类业务应用特点的分布式架构开展研究, 对其分布式系统的体系架构、资源的分配调度、云端资源的虚拟化调度与配置等问题展开分析。
2.1 技术对比
在现有的分布式技术的理论研究和分析中, 对底层资源的分配和调度处理多采用不同的技术手段。并行计算技术的实现通常是一台计算机, 配备有多处理机, 多处理机之间进行合作协同计算, 最终结果由一台计算机来处理。分布式计算技术是多台联网的计算机, 有各自的主机和处理器, 通过网络分配共享计算任务和计算信息。云计算则是计算机通过网络发送计算命令给服务器, 让服务器执行计算任务并将结果返还给发送命令的计算机。从处理对象的关系来看, 并行计算是由单个计算机用户完成的, 分布式计算是由多个计算机用户合作完成的, 云计算是没有用户直接参与, 而是交给网络另一端的服务器来完成资源的分配与调度。
2.2 平台分析
分布式环境的开放研究平台已有很多, 比较有代表性的平台包括Hadoop、BOINC (Berkeley Open Infrastructure for Network Computing) 、SETI@home等。其中有代表性的Hadoop架构是在借鉴Google的Map Reduce框架体系的基础上发展起来的。
Hadoop实现了一个分布式文件系统 (Hadoop Distributed File System) , 用户可以在不了解分布式底层细节的情况下, 开发分布式程序。HDFS有着高容错性的特点, 并且设计用来部署在低廉的硬件上, 适合那些有着超大数据集 (large data set) 的应用程序。但在中间处理过程中, 系统复杂度较高, map/reduce处理数据时对数据的并发性、互斥性及容错性考虑不足。本文提出一种新的架构, 对于分布式大数据量并行计算的解决方案不同于复杂的hadoop, 中间计算结果不依赖于hdfs, 使用不同于map/reduce的设计模式解决问题。
3 电商应用的系统平台设计
3.1 平台业务流程设计
电子商务解决方案通常分为直销方案和供应链集成方案。直销方案常用于商业零售, 一个商业组织通过虚拟商店来招揽客户, 客户通过浏览器获得想要的产品。供应链集成方案的目标是传送一个动态的数据流, 以实时数据联系各地的贸易伙伴。为了实现这一目标, 所有参与供应链解决方案的参加者必须采用统一的数据标准, 从而实现数据的流畅和无缝传输。
电子商务应用系统提供网上交易和资金转帐等服务。根据商务规则进行用户数据处理, 定单处理, 信息交流, 促销和广告发布;对商务数据存储及检索, 提供目录管理, 安全性管理和通信服务, 提供开发组件、企业数据库等必需的工具。
普通的分布式处理应用一般是显示事先编写好的静态数据, 数据变化较小, 网页内容更新速度慢。如搜索引擎业务应用, 其搜索结果通常是根据之前其他用户曾经提交的搜索关键词, 由系统预先在后台通过蜘蛛程序的抓取, 在整个互联网中获取到有用的页面数据, 该数据经分类处理后保存在google的数据库系统中, 新用户的搜索过程只是在系统数据库中将已建立起来的数据关系重新在web页面呈现。再比如gmail的邮箱服务, 由google公司开发的gmail邮箱服务将用户的邮件保存在不同的分布式存储系统, 用户的邮件内容更新较慢, 数据量较小, 这些特点决定了, 普通的分布式处理在数据库的设计过程中并不需要过多的考虑数据的并发性、互斥性及容错性等特点。
而电子商务类网站不同于普通的分布式应用, 其以商务数据处理为主, 数据类型复杂, 数据流入量大、数据交换频繁, 因此数据库的运行效率直接影响整个电子商务系统的效率, 数据的安全性也直接影响着系统的正常安全运行。
基于以上的分析, 可以看到, 分布式应用从早期的分布式计算任务分配、发展到分布式数据爬取、再到分布式数据的大规模并行处理, 其核心体系架构针对不同的应用, 表现出不同的特征。
3.2 平台架构实现
分布式系统架构设计在性能上要求:
(1) 数据分布式存储。
(2) 请求分布式调度。
(3) 多结点分布式部署。
(4) 双重备份、热切换等。
系统设计中最重要的是网络架构、分布式资源分配及模块间资源调度通信等问题。本文提出的分布式框架, 提供并行计算模式, 用于利用多机多核处理器的计算能力;提供分布式缓存用于使用多机内存能力;提供远程文件操作用于利用远程多机硬盘存储能力;提出完整的分布式协同和锁, 用于实现多机的协作和通讯。框架提出简单易用的API接口, 实现对多台计算机处理器、内存、硬盘的统一利用, 从而获取较大的计算能力解决复杂问题。
设计的架构在系统设置“代理商”, “生产者”, “仓库”的几个核心概念。“生产者”为一个计算节点, 可以部署在多个机器, 它由开发者实现, 计算时, “生产者”到“仓库”获取输入资源, 再将计算结果放回“仓库”返回给“代理商”。“代理商”负责承包一个复杂项目的一部分, 可以理解为一个分配任务和调度程序, 它由开发者自己实现, 开发者可以自由控制调度过程, 比如按照“生产者”的数量将源数据切分成多少份, 然后远程分配给“生产者”节点进行计算处理, 它处理完的中间结果数据不限制保存在hdfs里, 而可以自由控制保存在分布式缓存、数据库、分布式文件里。如果需要结果数据的合并, 可以新建立一个“生产者”的任务分配进行完成。多个“生产者”之间进行责任链式处理。总的来说, 是将大数据的复杂分布式计算, 设计为一个链式的多“代理商”环节去处理, 每个环节包括利用多台“生产者”机器进行并行计算, 无论是拆分计算任务还是合并结果, 都可以设计为一个单独的“生产者”环节。这样做的好处是, 开发者有更大能力去深入控制并行计算的过程, 去保持使用并行计算实现业务逻辑的完整性, 而且对各种不同类型的并行计算场景也能灵活处理, 不会因为某些特殊场景被map/reduce的框架限制, 并且链式的每个环节也方便进行监控过程。
对分布式协同方面, 简化树型结构, 用两层结构取代;简化回调多线程等待编程模型, 用更直观的容易保证业务逻辑完整性的内容变化事件以及状态轮循取代;简化临时节点和序列节点等类型, 取代为在创建节点时是否指定保持心跳, 心跳断掉时节点会自动删除。系统提出没有单点问题, 可以有任意多个复本, 它的复制不是定时而是基于内容变更复制。实现领导者选举算法, 在领导者服务器当机情况下, 会自动将请求切换到备份服务器上, 选举出新的领导者。基于该框架可实现分布式配置信息、集群管理、故障节点检测、分布式锁、等协同功能。
对文件的处理方面, 提供对集群文件的操作支持, 包括:
(1) 元数据访问, 添加删除, 按块拆分, 高性能并行读写等。
(2) 对集群文件的解析支持。
(3) 对整形数据的高性能读写支持。
(4) 两阶段提交和事务补偿处理。
4 结束语
本文针对具有电商类业务应用特点的分布式架构平台进行分析, 所设计的系统平台实现了分布式协同, 用两层结构取代树型结构, 用直观的保证业务逻辑完整性的内容变化事件以及状态轮循取代回调多线程等待编程模型。
摘要：随着电子商务平台的不断发展与进步, 基于分布式环境实现面向电商应用的系统平台设计变得更加重要。本文针对具有电商类业务应用特点的分布式架构平台进行分析, 对其系统体系架构、资源分配调度、云端资源的虚拟化与配置等设计规划问题进行了研究。
关键词：电商应用,分布式,系统架构,虚拟化,规划设计
参考文献
[1]张丽, 刘彦良, 季峰.面向大数据的分布式系统设计关键技术研究[J].电子技术与软件工程, 2014 (17) :210.
[2]田文洪, 赵勇.云计算资源调度管理[M].北京:国防工业出版社, 2011.
环境架构 篇7
关键词：大数据,数据接入,数据挖掘,内存计算
0 引言
当前,在国家电网公司建设坚强智能电网和SGERP工程的新形势下,在建设“一强三优”现代公司的大方向下,充分运用当前先进的大数据技术,能够有效助力企业运营的集约化转变。三集五大体系建设构建了纵向贯通、横向集成的一体化信息平台,覆盖总部、省、市、县的业务信息系统,产生了大量多样化的数据,营销系统和生产管理系统都已达到几百TB级数据规模,随着公司业务发展,对大数据技术的应用要求也在不断提升,大数据技术的应用已成为推进公司一体化、集约化、扁平化管理,增强公司核心竞争力的必要手段。
1 国内外研究概况
目前,各类企业、学术组织、研究机构纷纷助推大数据的发展,相关技术层出不穷,部分技术已在互联网、通信、交通、金融、医药、零售等行业得到实际应用。通过大数据技术的应用,在金融业可实现金融欺诈的实时预警,在零售业可实现零售市场细分和实时精准营销,在生物医药行业能够开展流行病早期预警和疾病病理的研究,在交通运输业可进行运输路线的规划和商品的实时追踪定位。大数据已成为IT行业全新的制高点。
各大技术厂商及开源社区对大数据技术进行了探索和研究,已形成的大数据主流技术路线主要包括2 种:一种是结合原有云计算基础体系架构,在数据效能计算和数据管理方面做了提升,形成现有大数据技术架构体系;另一种是在原有数据仓库基础上对大数据的价值进行挖掘提升,形成自有的大数据体系。这些厂商通过自研或收购等方式积攒大数据技术实力,并推出相关的产品和解决方案。如IBM提出了基于Info Sphere平台的大数据解决方案,EMC提出Greenplum分析平台,结合Greenplum DB和Greenplum Hadoop,实现了结构化、半结构化、非结构化数据的统一、高效处理。
2 大数据中心整体架构
大数据是对具备数据体量大、数据类型多、处理速度快、价值密度低的数据集合进行分析、处理、管理的科学体系,涉及方法论、基础理论、关键技术等多个层面,保证数据的效能得到最大化体现,并实现对公司业务的辅助决策和趋势预测。电力大数据是在大数据时代背景下,以公司业务的提升和增值服务为目标,利用数据存储、实时计算、离线计算、计算分析与挖掘、数据管理与服务和数据展示等方面的核心关键技术,构建实时处理、交互式分析、辅助决策、趋势预测、价值挖掘的大数据体系,电力大数据的应用将推动公司业务发展和管理水平提升。
公司大数据中心在建设时应选用适用的Hadoop版本作为核心,通过有机集成方式融合内存计算、流计算、分析挖掘、可视化等第三方开源软件,在较高的起点上建设大数据平台。大数据平台以数据整合及分布式存储为基础支撑,包括数据采集、存储、数据处理、数据应用4 个主要功能层面[1]和安全、运维辅助功能。平台的部署视图如图1 所示。
大数据中心以Hadoop技术体系中分布式存储(分布式文件系统(Hadoop Distributed File System,HDFS)、HBase、Hive)、分布式计算框架(MR)为基础,使用Spark、R等开源产品或技术与之形成互补[2],新增安全管理机制和配置管理功能,提升改造现有可重用的SG-ERP组件,从而完成整个技术架构的组建。参考业界大数据平台的实践经验,公司大数据中心的部署可分为2 个阶段开展。
1)两级部署:现有的数据中心以两级部署模式建设,大部分业务在网省层次部署,少量业务在市县部署。因此,为了更好地以现有数据中心为数据源,充分利用前期的建设成果,大数据中心第一阶段采用分布式两级部署模式,总部作为核心数据汇集点,网省公司作为区域数据汇集点进行建设,两级部署具体方案如图2 所示。
2)一级部署:随着数据中心与大数据平台的逐渐融合,平台应向一级部署模式[3]演化(见图3)。一级部署、全网数据集中存储更加有助于公司大数据价值挖掘和业务创新。
大数据中心物理上由多个集群组成:数据接入集群、服务接口集群和数据存储计算集群[4]。数据接入集群部署包括分布式消息队列、流计算节点以及其他数据交换节点等服务,服务接口集群包括R语言服务、开放数据库互连(Open Database Connectivity,ODBC)/Java数据库连接(Java Database Connectivity,JDBC)服务、Web HTTP/ 表述性状态转移(Representational State Transfer,REST)服务、文件传输协议(File Transfer Protocol,FTP)服务、网络文件系统(Network File System,NFS)服务等,数据存储计算集群包括数据存储、计算、分析集群,物理部署集群如图4 所示。
3 大数据中心关键技术
3.1 数据接入与预处理
数据接入是将各类数据从外部数据源导入(清洗、转换)大数据存储系统,以备计算、分析的过程。数据集成从时效角度可分成实时、非实时,从数据量角度分成批量、增量,从数据类可分成结构化数据、半结构化数据、非结构化数据。针对不同类型、不同时效要求的数据,需采用多种不同的采集、集成技术。
数据采集的数据源可以是业务系统数据库、数据中心、网络、应用系统、终端、传感器等,数据接入与预处理框架如图5 所示。
大数据平台的数据来源除了传统的数据中心、数据仓库之外,更多的数据是来自之前无法有效处理的各类文件,如系统日志、数据交换文件、现场检修照片、远程监视的视频等。通过大数据平台的分布式存储可以低成本存储文件,也可以将其中的数据解析成结构化或半结构化的数据存储在大数据平台中。
传统的文件采集主要通过各种定制化脚本或syslog等采集、处理,存在单点问题,并且不易统一管理。因此需要应用文件采集与处理技术解决文件传输到HDFS的实时性及可靠性,并且保证应用系统正常运行。
在文件采集与处理技术中,目前一些技术工具比较成熟,具有较好的扩展性、可靠性、可管理性,具有容错故障恢复模式。如Flume是Hadoop组件之一,可以实时地将分布在不同节点、机器上的日志收集到HDFS中,并进行一些简单处理。
实时数据的接入可采取不同的技术方式:方式1 是从现有海量实时数据中心准实时导入数据;方式2 是传感器实时数据直接导入大数据平台。这2 种方式都存在实时数据量大、无法有效地直接存储到大数据平台的问题,必须对实时数据进行预处理、分析,只保存有价值的数据。一般采用消息队列Kafka(Apache开源)接收来自不同实时源的数据,后端采用流处理(Spark Streaming)技术对实时数据进行分析,只保存实时分析结果。
3.2 数据存储与检索
数据存储主要面向全类型数据(结构化、半结构化、实时、非结构化)的存储、查询,以海量规模存储、快速查询读取为特征。在低成本硬件(x86)、磁盘的基础上,采用分布式文件系统、分布式关系型数据库、No SQL数据库、实时数据库、内存数据库等业界典型功能系统,支撑数据处理高级应用。
存储涉及的关键技术如下。
1)面向电力大数据的存储系统自配置自优化技术。Hadoop分布式文件系统配置灵活,系统性能随参数设置的变化有较大变化,而电力信息系统数据结果复杂、形态丰富,需结合以上2 点深入分析,通过自适应动态采样算法以及分布式存储跨层配置降维机制,优化多节点协同配置,进一步提高存储系统性能。
2)数据副本动态调节技术。电力行业信息系统如营销应用、用电信息采集、运营监测等系统数据采集频率高、数据量可达到数十TB,同时要求数据的长期持久化存储。使用数据副本动态调节算法,可实现新增数据节点的快速部署和自动存储均衡。
3)命名数据网络(Named Data Networking,NDN)存储及路由机制。命名数据网络路由器模型(NDN Node)用来管理网络的路由与数据的存储,采用基于NDN网络存储平台的数据命名机制,可用有限的状态路由无限的命名空间;采用基于网络路由算法的命名部署机制及多路径转发策略[5];采用NDN的路由器数据缓存策略和存储管理,提升数据分发获取效率;针对NDN网络文件系统配置灵活多样,采用路由与元数据的统一映射机制;采用安全的网络路由算法,保证数据传输及存储的安全性。
4)基于NDN存储网络的数据可靠性及扩展性技术。针对电力系统非结构化数据的快速增长,原有文件系统在可容纳的文件、目录以及对象数量、可扩展性及可靠性方面受到限制,基于名字的网络代替现有的IP网络能更好地支持网络数据移动性。采用基于NDN的网络存储平台中块数据存储的动态可扩展功能,减小大数据的迁移范围,提高大数据的可恢复性。采用文件、块数据及内容的集成管理技术,使网络存储平台具备弹性功能,减少大数据重建的单点故障。采用基于命名机制的网络存储系统的数据冗余存储配置策略,实现突发情况下的数据快速恢复。
3.3 基于内存计算的在线数据处理
大数据中心的数据计算通过流计算和内存计算技术相结合,用以满足具有时效性的数据计算需求。流计算面向实时处理需求,用于在线统计分析、过滤、预警等应用,如电表数据实时处理、预警。内存计算面向交互性分析需求,用于在线数据查询和分析,便于人机交互,如全省用电数据在线统计。
在数据计算方面,主要采用内存计算以及流计算技术:传统数据库技术在处理海量数据时,无法实现良好的水平扩展性且现有技术难以有效解决因磁盘I/O引起的性能瓶颈问题,采用内存计算技术,CPU可直接读取内存中储存的数据,消除磁盘I/O性能瓶颈,结合并行计算技术,可实现高实时高响应计算,提高系统并发访问能力。
公司每天的生产经营活动中都会产生海量的视频、音频、日志等流式数据,流式数据具有实时性、易失性、突发性、无序性、无限性等特征,采用流计算技术可解决从流式数据中快速的获取有价值信息的问题。流计算技术指在一定时间窗口内应用系统产生的流动数据到达后不进行存储[2],直接导入内存进行实时计算,从流动的、无序的数据中获取有价值的信息输出。流计算具备分布式、低时延、高性能、可扩展、高容错、高可靠、消息严格有序、定制开发等特点,适用于对动态产生的数据进行实时计算并及时反馈结果的应用场景。
3.4 数据交互式统计与数据挖掘
梳理现有典型系统中电力大数据的数据特点,完善分析建模、模型运行、模型发布等能力,增加对大数据分布式计算的支持,满足实时、离线应用的分析挖掘需求,为公司数据资源价值深度挖掘应用的构建提供基础平台支撑。
电力数据类型多样,其中包含了大量冗余属性,对数据挖掘算法的效率和质量造成不利影响。采用高效大数据特征选择算法能够删除冗余的属性,获取有效数据特征,以高效地完成数据挖掘的数据预处理过程。一般来说,属性选择算法由4 个基本步骤组成:产生用于评估的属性子集;使用定义好的评估准则对子集进行评估,并与当前最优子集进行比较;停止准则的迭代评估;使用实际的数据集对评估所得的属性集进行有效性验证。
结合电力大数据的特征,采用运行于内存计算框架之上的数据分析技术。主要内容包括:根据业内主流的内存计算框架,结合电力高性能分析场景需求,选取适合于电力行业应用的内存计算框架;基于内存计算框架实时交互查询实现框架,提供海量数据的快速查询、多维度统计汇总等能力,支撑复杂数据分析挖掘;基于内存计算框架的数据挖掘实现框架,包括运行于内存计算框架之上的数据预处理方法、数据挖掘算法以及相应的挖掘过程建模工具、模型解析运行引擎,提供高效快速的分析挖掘模式。
3.5 数据安全治理
面对日渐突显的大数据安全风险和日新月异的网络入侵及攻击手段,大数据安全技术通过采用改进数据销毁、透明加解密、分布式访问控制、数据审计等手段,突破隐私保护和推理控制、数据真伪识别和取证、数据持有完整性验证等技术瓶颈,完成大数据采集到应用的全过程监控[6]。
1)权限管理:原始数据及分析结果在使用时必须有用户权限控制,采用国家电网统一权限平台对用户进行统一的认证、授权管理。
2)隐私保护:采用隐私保护的数据挖掘(Privacy-Preserving Data Mining,PPDM)技术,使用K- 匿名隐私保护模型对原始数据进行匿名处理,避免原始数据来源被识别。
3)存储安全:在存储层面采用同态加密方法,并采用Hadoop的文件读、写、执行的访问控制列表(Access Control List,ACL)控制结合自定义的用户组策略实现文件权限控制。
4)接入安全:在传统的安全接入方案基础上,对于数据采集终端、数据源系统、业务应用系统接入时需通过网络安全、主机安全、访问认证等技术手段保证接入方合法访问。
4 大数据中心应用实例
国网山东省电力公司依托大数据引擎的数据分析与模型预测能力,基于用户用电信息、电网负荷信息实时采集同步,结合国民经济增长速度、产业结构调整、消费水平、工业与居民电气化程度、电价政策、气候/ 气温变化等外部因素,实现用电负荷大数据分析模型的构建,通过对各周期用电负荷曲线、负荷时间和空间分布等的预测,为电网规划、电能调配等提供决策支持。电力负荷预测系统界面如图6 所示。
依托大数据引擎的数据分析预测能力和历史数据,可以实现未来1 h以内、1 日内、1 周、1 月内、1 年乃至3~5 年的负荷预测,从而为电网预防控制、紧急状态处理、机组启停、水火电协调、设备检修/ 大修等提供依据。
大数据平台能够以日、周、月、年为粒度收集用电负荷的内外部数据,采用支持向量机方法进行样本分类,具有高精度、高效率、高可用等优势。以月平均负荷为例,月度负荷预测如图7 所示。
国网山东省电力公司基于用户用电负荷、用户档案、电网设备台账等业务数据,利用分布式计算、数据挖掘分析等技术,结合气象信息、GDP、各产业值等外部因素,构建用户月平均负荷聚类模型及日负荷聚类模型,以及区域最大负荷、最小负荷及平均负荷长短期预测模型,实现了下一阶段的用电负荷情况预测。通过预测未来电力需求量、未来用电量、用电负荷曲线、负荷时间和空间分布等,使电网公司提前了解到用户未来的用电需求量,为保障正常供电提前做好准备,有利于电网削峰填谷、平稳运行。同时,通过数据分析,为公司电网规划、设备检修、电能调配等提供决策支持,切实促进了从 “以电力生产为中心”向“以客户为中心”的转变,提升了供电服务满意度以及企业的社会形象。
5 结语
本文设计的基于电力大数据环境的大数据中心架构,实现数据收集、管理、使用的全过程管理,采用集中方式将数据从获取到使用的全过程进行封装,通过多种数据接入方式的实现,提高了数据的获取能力,有效拓宽数据利用范围。通过内存计算提高数据处理速度,实现了海量数据的实时处理,为实时分析提供了技术基础,有效提高了数据的可用性和数据利用的高效性。通过分布式存储,实现了重要数据的异地备份,使系统的可靠性显著提高。
基于数据实时获取和内外部环境综合分析的大数据平台,实现了数据收集的自动化和数据分析的智能化,有效降低了企业数据与外部环境数据的收集和分析成本。同时,随着大数据分析模型的不断成熟与完善,可以更加充分地利用企业资源,减少重复投资,准确定位瓶颈,预先发现问题,有助于节约建设和运维成本。
数据是公司的重要资产,实现电力大数据的合理应用,对数据中的价值进行有效挖掘,是提升公司业务和管理水平,推动公司实现“一强三优”宏伟目标的重要手段。电力大数据的开发和应用是个长期的建设过程,应对电力大数据有较为科学而清晰的认识,坚定信念、持续投入,切记“欲速则不达”。
参考文献
[1]王德文.基于云计算的电力数据中心基础架构及其关键技术[J].电力系统自动化,2012,36(11):67-71.WANG De-wen.Basic framework and key technology for a new generation of data center in electric power corporation based on cloud computation[J].Automation of Electric Power Systems,2012,36(11):67-71.
[2]孙大为,张广艳,郑纬民.大数据流式计算:关键技术及系统实例[J].软件学报,2014,25(4):839-862.SUN Da-wei,ZHANG Guang-yan,ZHENG Wei-min.Big data stream computing:technologies and instances[J].Journal of Software,2014,25(4):839-862.
[3]国家电网公司.大数据技术现状与发展趋势调研分析报告[R].2014.
[4]国家电网公司.大数据应用建设总体工作方案(征求意见稿)[R].2014.
[5]雷凯,袁杰.命名数据网络内容分发机制研究与探讨[J].电信科学,2014(9):27-30.LEI Kai,YUAN Jie.Content distribution mechanisms of named data networking[J].Telecommunications Science,2014(9):27-30.
环境架构 篇8
关键词：云计算,GAE,Flex,J2EE
云计算是当前流行的计算机技术, 它能够降低用户前期的硬件投入成本, 有效的节约系统运行和维护费用, 是目前研究的热点。
云计算的定义有很多种, 这里我们引用百度百科中的定义:云计算由一系列可以动态升级和被虚拟化的资源组成, 这些资源被所有云计算的用户共享并且可以方便地通过网络访问, 用户无需掌握云计算的技术, 只需要按照个人或者团体的需要租赁云计算的资源。利用云计算企业可以节约成本, 不用投资购买昂贵的硬件设备, 无需负担频繁地维护与升级费用, 也不需要建立自己的数据中心、大型机房、服务器中心等, 并相应减少软硬件的运行维护费用和IT人员的实施费。运算分为Iaa S (基础设施即服务) 、Paa S (平台即服务) 和Saa S (软件即服务) 3个层次。
1 系统整体设计
本次研究以自主学习平台的设计为例, 给出在GAE中使用Flex和Java技术开发系统的整合方案。在云计算环境下基于Flex和J2EE多层模式与传统的B/S模式的网络应用相比, 提高了系统的可扩展性、可维护性、可重用型和用户体验。它将业务逻辑、数据展示和数据持久操作相分离, 使用系统的维护更加简便, 同时通过使用框架技术, 降低了开发人员学习的难点使开发人员可以更注重于系统的业务逻辑。另外, 云计算环境的使用即降低的了系统运行维护的成本, 又可以很好的解决自主学习系统波段性访问的需求, 为系统提供良好的扩展性。云计算环境下基于Flex和J2EE多层架构的自主学习平台体系结构如图1所示。
1.1 富客户层
学生、管理员均处于富客户层, 该层运行在Web浏览器的Flash Player插件中, 为用户提供了用户界面和游戏界面, 作为用户与自主学习平台之间的交互接口, 将用户的交互请求发送到部署在Google App Engine上的中间层组件上。用户通过Flash Player和WEB浏览器访问部署在Google App Engine上的中间层Web Server, 中间层Web Server接受了用户提交的请求后, 调用相关的业务逻辑组件, 执行业务逻辑, 调用数据持久层中的数据持久组件向数据库或者文件系统发出数据操作请求, 并将处理的结果用过Web Server反馈给用户。
Flex是Adobe公司的提供富客户端解决方案, 它兼具传统桌面应用程序和网络应用程序优点, 为用户提供了丰富的交互手段、良好用户体验和无刷新页面响应。Flex还具有用户友好性、跨平台兼容性、一次加载多次使用、客户端数据缓存、高效的网络数据信息传输等特点, 故系统采用Flex实现富客户层用户界面和RPG游戏客户端。Flex技术有很强的数据处理、人机交互和异步数据传输能力, 富客户层采用MVC设计模式, 包括UI用户界面、逻辑组件和数据模型。UI用户界面的功能是为接收用户交互信息、显示信息处理结果、显示游戏界面、接收用户的游戏操作指令、显示游戏运行结果。逻辑组件处理游戏中对安全性要求较低的业务逻辑如寻路操作。数据模型的功能是存储数量处理模型。远程过程调用组件RPC的功能是与Google App Engine上的代理服务器Blaze DS通信。
1.2 Google App Engine
自主学习平台运行的云计算环境是Google App Engine。Google App Engine简称GAE是Google公司提供的Paa S产品, GAE平台可以为系统提供开发和运行环境、服务器平台、硬件资源给用户, 已经提供应用软件开发、云存储、托管以及Web应用服务。用户不必再需要维护服务器, 用户可以基于Google的基础设施上传和运行应用程序。实践上GAE为用户提供了一个托管平台, 用户可以将他们开发和音响的发布到Paa S云平台上。
1.3 中间层
中间层利用Flex Blaze DS组件、Spring和JDO等技术构建自主学习系统的各部分功能, 它位于应用程序服务器上, 主要由三部分组成:
1.3.1 代理服务器层
该层使用Blaze DS组件设计, 负责实现富客户端层与Web Service的通信。Blaze DS是一个免费的Adobe Flex远程对象调用技术的应用框架, 为Flex提供了多种与服务端通信的技术手段, 可以使用Remote Object、Web Service、Http Servcie等组件来提供访问服务器端的数据, 其中Remote Object是以AMF协议来交换数据的, 而Web Service和Http Servcie则采用的是比较传统的Http的访问协议, 可以用来访问非Blaze DS服务器 (如JSP、PHP、ASP等) 。Remote Object技术允许Flex客户端使用RPC组件直接访问中间层的Jave业务对象的公开方法。
1.3.2 业务逻辑层
该层的功能是: (1) 处理系统的业务逻辑; (2) 管理系统的事务; (3) 充当表示层和数据持久层的接口。从富客户端获得运程对象调用请求, 创建业务服务对象的实例, 管理事务和异常, 执行程序的业务逻辑, 调用持久层获取数据并将进行处理后发送回富客户端。系统的大部分对信息性要求较高的事物逻辑都在该层实现。
本层全部业务组件都部署在Spring框架中, 通过Spring的依赖注入和控制反转机制, 可以在系统运行期为组件动态的分配资源, 降低了系统的耦合性, 简化了代码使开发人员将更多的精力集中到业务逻辑开发上, 同时为系统提供良好的扩展性, 系统对于应用服务器和数据库都具有良好的可移植性, 在需要的时候进行升级非常方便。
1.3.3 数据持久层
由于Google App Engine的数据模型是非关系模型不支持目前比较流行的数据持久化框架Hibernate该层采用JDO设计。JDO服务对象接受业务逻辑层传送的请求, 完成与数据层的数据交互。这一层的主要工作是完成数据的“增删改查”操作, 实现对象的持久化操作。
1.4 数据层
数据层是数据库管理系统 (DBMS) 和文件系统, 负责数据的存储管理、安全管理、完整性管理和一致性管理, 系统使用的是Google App Engine提供Data Store数据库。Data Store是一个采用层次模型的No Sql数据库。该层存储的信息主要有:软件开发资料信息、学生信息、管理信息、游戏的账户信息、游戏状态、学习资源信息以及站内消息等数据。
3 结语
本文给出了在Google App Engine环境下使用Flex技术和J2EE框架设计系统的整体解决方案, 但由于本人水平有限, 有很多地方还不够完善, 希望能给大家一些有益的启示。
参考文献
[1]尹金发.基于Flex和J2EE技术的RIA系统的设计与实现[J].西南交通大学硕士研究生学位论文, 2008.
[2]张文军著.基于Flex与SSH的富互联网企业级技术及其云架构的研究[M].北京:科学出版社, 2013.
[3]张为民, 唐剑峰, 罗治国, 钱岭编著.云计算深刻改变未来[M].北京:科学出版社, 2009.
[4]郎为民编著.大话云计算[M].北京:人民邮电出版社, 2012.
环境架构 篇9
ASP.NET是微软公司为满足网络化需求而推出的.NET开发平台,是一种Web环境中的应用程序开发技术,应用十分广泛。由于在ASP.NET技术中采用了更加合理的开发设计模型,使得Web环境中的应用程序解决方案的结构更合理,更便于维护。这里在对ASP.NET技术和相关特点进行介绍后,对面向Web用户程序开发的三层设计模型进行重点分析,并以工程实例的方式对此类设计模型的实现过程进行说明。
2 ASP.NET技术优点分析
ASP技术,即Active Server Page,是ASP.NET技术广泛应用之前,在Web应用程序开发领域中的一种主流开发技术。利用ASP技术,能够非常容易地将VB-Script语言所编写的网络服务器脚本嵌入到Web页面中,然后在服务器端对相应的页面内容进行动态生成;此外,还能够通过多种类型的COM组件实现与数据库的连接,进而为用户提供更加强大的事务处理功能。正是由于这些特性,才使得ASP技术在Web程序开发中得到广泛应用。
SP.NET技术是一种基于微软.NET平台的Web环境应用程序开发技术。该技术主要以CLR为基础,能够对.NET Framework环境中所提供的所有功能进行调用。基于ASP.NET所开发的Web程序,能够为异常控制、类型安全、功能继承与动态编译等提供全面支持。同时,在ASP.NET程序中,还能够为多种不同面向对象编程的强类型语言提供支持,实现对网络中各种复杂控制逻辑的编写,如Visual C#、Visual Basic.NET等。主流ASP.NET技术主要为Web Form编程模型,可以实现从底层系统自动向客户、服务器层之间的交互;同时,还为用户提供了完善的系统状态管理功能,使得系统能够在不同的页面请求之间,对页面数据进行维护。开发人员大基于页面的应用程序开发中,还能够使用多种服务器控件。
3 基于分层理念的Web应用程序设计
3.1 分层的概念
分层模型已经成为工程开发领域中的优秀的设计思路。在Internet中广泛采用的TCP/IP协议,就是一种典型的分层设计模型。在互联网发展过程中,TCP/IP协议所起到的作用至关重要。TCP/IP协议体系能够在互联网领域中获得成功,主要利益于其中所采用的分层模型,这也就决定了现有的网络协议中都普遍采用这种分层理念的设计思路。
3.2 应于用Web环境的应用程序三层模型
作为一种分布式的应用程序,Web程序中功能的实现主要由服务器端的Web服务器与客户端的浏览器互相配合才能实现。这种程序的实现结构又可以称为B/S结构。B/S结构中的大部分功能与逻辑主要在服务器端来实现。
参考前面所介绍的Web应用程序与Asp.NET技术中的优点,人们在实际的工作中逐渐找到一种基于ASP.NET技术体系的三层Web应用程序开发设计模型。在这种三层设计模型中,可以将Web应用程序划分为三个功能完善的基本层次,即:用户界面层、业务逻辑层以及数据访问层。具体如下:
1)用户界面层
用户界面层即User Interface Tier,主要用于对客户浏览器中的用户界面显示进行实现。在用户界面中,可以选择和采用适当的形式对业务逻辑层所传送的数据信息进行可视化显示。在此过程中,主要通过HTML标记与CSS模式来实现。同时,用户界面层还负责获取用户通过界面所输入的数据,在对相关数据进行有效性校验的基础上,将用户录入的数据传送给业务逻辑层。
2)业务逻辑层
业务逻辑层即Business Logic Tier,该层在整个模型中主要作为中间层来使用,是整个分层模型中的最重要层。该层的主要作用就是为用户界面层提供功能调用支持,同时,还能够利用数据访问层所提供的功能,对系统数据库进行访问。在具体的应用中,该层需要根据整个系统的功能和性能设计,对工程实现中的关键对象进行构造,实现工程中的大部分逻辑控制与功能。
3)数据访问层
数据访问层即Data Access Tier,通常作为整个分层体系的最底层来使用。该层的主要功能和作用是实现与系统数据库的交互,也就是对数据库中的数据和信息进行查询、插入、删除操作。通过数据访问层,能够为整个体系中的业务逻辑层提供服务,并根据业务逻辑层的具体需求,从相应的数据库中提取数据信息,或者对数据库中的数据进行修改。相关数据表明数据访问层优化,可以有效提高整个系统的性能与可靠性。
4 工程实例分析
本节中所介绍的工程实例,是一个企业的信息集成管理系统,所包含的功能相对简单,主要有:公文传送、文件审批、物品管理以及电子论坛等。该信息管理系统作为企业所投资研发的Web应用程序,可以为所有的授权企业员工提供网络接入功能,并根据各自的权限来完成相应的工作内容。该系统所软件设计结构就是上述的三层模型。接下来,主要针对该系统在实现与开发过程中的电子论坛进行介绍。
众所周知,电子论坛主要是为企业员工提供一个信息化平台,利用该平台可以发表观点、咨询问题与讨论热点,并能够为用户提供文章发表、观点回复等功能。在该工程的开发与实现过程中,所采用的开发工具为微软公司所推出的Visual Studio.net,利用Visual C#为系统提供逻辑编码。在Visual Studio.net平台中,整个工程主要作为一个Solution来处理;相应地,在分层模型中每个层,则与项目所对应;所有的项目都包含在方案中。所有的项目,都有开发平台为其提供的命名空间,这样做的目的不仅能够为不同代码之间的调用提供便利,还能够有效避免重复命名与冲突。具体而言,在本工程中,所包含的项目主要有四个,其中,Web项目、Bussiness Facade项目和Data Access项目分别与设计模式中的层次相对应。此外,则还包含Common项目,主要用于对不同层之间的数据接口进行定义。下面对这四个不同的项目进行介绍。
4.1 Web项目
Web项目与用户界面层是对应关系,可以将项目类型设定为“ASP.net Web Application”。在该层中还包括了二十多个Web Form页面,所有的Web Form页面的显示部分都能够存入到aspx文件中,而对应的控制代码则被存放到aspx.cs文件中。对于每个Web Form页面而言,都能够与页面中的类相对应,所有的对应类则由System.Web.UI.Page派生出来,这样,在这些类中,就能够对每个页面中所使用的Server Controls及其对应的逻辑控制进行准确定义。同时,在该层中,还能够使用Business Facade项目中所提供的多种功能,只要在每个页面中将Business Facade项目所对应的名称空间引入进来即可。
4.2 BusinessFacade项目
对于Business Facade项目,主要与三层结构中的“业务逻辑层”相对应,可以将该项目类型选择为“Class Library”。在该层中,所定义的类数量较多,这些类与系统中的四大功能相对应。对于这些定义的类,其中的成员函数能够根据用户界面层的具体需要来进行定义。需要补充的是,在该中可以通过引入Data Access项目的名称空间,并利用其中所提供的功能对系统数据库进行访问。
4.3 Data Access项目
对于Data Access项目,主要与三层结构中的“数据访问层”相对应,在实现的过程中可以将项目类型定义为“Class Library”。同样,在该层中,也包含了四个不同的类,每个类中的成员函数都能够响应业务逻辑层的需求,对SQL Server中所提供的“存储过程”进行访问。对于所定义的四个类,都包括了System.Data.Sql Client.Sql Data Adapter类型所定义的私有成员变量。这是,Sql Data Adapter主要由.NET平台所提供,可以实现在SQL Server数据库与Data Set类所创建对象之间的数据交互。其中,作为ADO.NET构架中的关键类,Data Set类中包含了多种Data Table,这些Data Table能够用于存储和数据库进行交互时的相关数据。
4.4 Common项目
在不同的层结构之间,为了能够实现数据的交互与传递,就必须在各层之间建立起统一的数据接口。所以,在软件开发过程上,为了能够实现该功能,在三个层次所对应的项目以外,还设计和开发了Common项目,可以将该项目的类型设置为“Class Library”。对于上述项目Web、Business Facade与Data Access等项目中所定义的类,其成员函数所采用的参数与返回值类型,则能够采用Common项目中所定义的类,这些类能够为不同层之间的数据传送提供更加标准的接口。
5 结论
从软件工程的角度来看,采用基于三层结构的设计模型,能够在软件工程的设计、开发、测试与维护的不同阶段起到重要的作用,同时,ASP.NET技术体系所具有的优秀特点,也对于优化工程结构至关重要。所以,ASP.NET平台中的Web应用程序三层设计模型,也就成为整个软件能够成功研发的基础。
参考文献
[1]高扬.基于.NET平台的三层架构软件框架的设计与实现[J].计算机技术与发展,2011,21(2):77-80.
[2]张军伟.基于三层框架的C#ASP.NET程序设计[J].电脑编程技巧与维护,2010(9):28-30.
[3]包芳.C#项目开发使用教程[M].北京:清华大学出版社,2013:119-121.