数据模块

2024-09-11

数据模块（精选11篇）

数据模块篇1

1 引言

随着“互联网+”理念的提出, 大数据、云计算、移动互联网、物联网的应用成“核裂变”的形式爆发, 其中数据流量至少以每2年翻1番的速度在增长, 预计2050年人均将达到1 000YB;云计算服务市场每年增长26%, 2017年将达到2442亿美元;移动互联网用户达百亿级;物联网2020年将接入50亿设备。如此的数据大爆炸带来了数据中心的快速发展, 2011年~2014年间, 中国数据中心基础设施市场规模每年平均增长率为9%。随之而来, 数据中心基础设施建设进入一个新的时代。

2 传统数据中心的缺点

作为IT系统的核心支撑, 数据中心基础设施建设十分重要;但目前传统模式的数据中心基础设施建设已经跟不上时代的脚步, 具体体现为以下几点。

1) 机房容量浪费

传统数据中心在规划建设时考虑到后期的应用及扩建的困难, 在规划建设时就需要考虑到远期相关设备设施, 而在初期, 实际使用率往往不到50%甚至更低, 从而造成了机房容量的严重浪费。

2) 高耗能

目前, 国内大多数传统数据中心PUE值都在2.5左右, 1个138k W、PUE值为2.5的传统数据中心, 1年的电费就需要300万元左右, 成为1个不折不扣电老虎。

3) 建设交付周期长

传统数据中心因为子系统多, 施工界面交叉复杂, 从规划、设计、实施到最终交付至少需要6个月时间, 周期过长, 往往会延误新应用和新产品上市的时间, 失去了许多宝贵的商机。

4) 初始投资大

传统数据中心因为无法按需实施, 导致在规划设计时就需要考虑建设面积、设备投入等长远需求, 从而造成初始投资过大。

5) 生命周期成本高

传统数据中心整个生命周期内, 装修成本、设备成本、能耗成本、场地成本、运营成本都因为其众多缺点导致快速投产效益低下, 从而生命周期成本偏高。

3 模块化数据中心的优势

早期的模块化数据中心, 主要是应对传统数据中心中单柜IT设备过于集中, 制冷系统无法起到作用, 导致局部热量增多, 最终造成系统宕机, 以致对传统数据中心的冷/热通道进行封闭, 以解决局部过热问题。但随着技术的进步, 模块化数据中心将传统数据中心所需的各个系统集成一体, 从而形成了真正意义上的模块化数据中心。具体优势如下。

1) 机房容量按需实施, 不浪费

模块化数据中心可以根据具体IT设备的使用情况, 对电力容量、制冷容量、空间容量及基础设施容量进行按需配置, 使得机房容量利用率至少比传统数据中心提升20%。

2) 节能

模块化数据中心其供配电系统使用率、制冷系统能效比相对于传统数据中心有显著的提高, PUE值至少可以下降到1.7, 电费至少可以下降50%, 从而达到节能目的。

3) 建设交付周期短

模块化数据中心核心部件预制、施工界面简单, 对机房装修要求不高, 从规划、设计、实施到最终交付只需要1个月时间, 大大缩短建设交付周期。

4) 初始投资小

模块化数据中心可根据具体IT设备使用情况进行投资建设, 从而降低数据中心的初始投资。

5) 生命周期成本高

模块化数据中心只有在设备成本的相关投入较传统数据中心略高外, 其他的装修成本、能耗成本、场地成本、运营成本都远低于传统数据中心, 具有很高的快速投产效益。

4 模块化数据中心的核心价值

鉴于全球能源日趋紧张、成本不断上升, 数据中心正面临着降低能耗、提高资源利用率、节约成本等严峻挑战, 构建节能型的数据中心越来越受到社会的关注, 已成为未来发展的必然趋势。具体体现在以下方面。

1) 可用性

(1) 数据中心产品化, 工程产品化, 可用性超过99.999%;

(2) 整体设计, 整体交付, 避免系统设计问题。

2) 经济性

(1) 节省占地面积高达40%;

(2) 系统节电高达27%;

(3) 节能运营成本, 降低碳排放量。

3) 协同性

(1) 独立产品, 整体生产, 降低实施难度;

(2) 快速部署, 缩短交付时间。

4) 智能性

(1) 模块化设计, 从容面对扩容和改造;

(2) 缩短管理需求响应时间。

5 结束语

模块化数据中心各子系统模块可随业务增长柔性扩容, 以最低能耗满足业务所需;从子系统到整体架构的模块化, 多种节能技术联合应用, 可有效降低PUE, 实现真正绿色节能。模块化数据中心是未来数据中心基础设施建设的首选。

数据模块篇2

----PDMS数据导出模块开发过程小结

开发部副经理郑旭

PDMS数据导出模块已经基本完成了，能够顺利地导出元件库、等级库。对于设计库、属性库等其它库的导出，只要按照已有的框架编写代码就可以很容易的完成了。这个模块能够顺利完成，还依赖大家的相互协作，在此，我感谢在开发过程中给予过我帮助的所有的人。

因为已经完成，这篇应该算是回忆录了，但将思绪转到从前，却又无从整理出一个头绪，很难用一些合适的文字来表述这段时间我所学到的东西。

还记得刚下达任务的时候，我已经将底层熟悉了，并且对底层做了应用的维护和拓展，正打算进一步熟悉等级库和元件库持久层访问模式，以求与设计库达到统一。对于突然到来的任务，我有点措手不及。对于PDMS的数据库，我几乎是什么都不懂，不知道它是以什么形式来存储，也不知道它到底是一种怎样的结构？难道就仅仅是我们目前所看到的那种层次数据库吗？很茫然，根本找不到任何突破口，摆在我面前的就是那些不知名格式的文件，一大堆，尽管想用办法显示它的内容，一切都是徒劳。

突然听同事说PDMS有它自己的DARs（Data Access Routines），并且前辈们已经用这些接口读到过某些元件的属性，我喜出望外，有救了！于是在同事的指导下找到了这些动态库以及接口声明，结合相关文档的阅读，很快有了结论：PDMS有它自己的数据库存储文件，它对外部提供了一些接口，用以读取数据表中某个字段的值，这些函数是FORTRAN语言实现的，但它提供了 C/C++接口，接下来的工作就好安排了。

测试接口是一件很麻烦的事，也是具有挑战性的。本来以为可以很顺利地试验成功，但现实却给我们制造了不小的麻烦。首先是并没有环境配置这种概念，直接拷贝了库中的一个例程进行测试，并抱着必胜的信心，结果事与愿违，使用那些访问接口根本就无法启动PDMS软件，那么就无法用这些访问接口访问PDMS的数据库了。还好，有同事一眼就认出PDMS平台需要配置自己的环境。还是很纳闷，对环境这个概念好像是一无所知。也并不知道应该配置些什么。还好，偶然中发现了安装目录下PDMS的环境配置文件，继而了解了启动时所需的环境配置，在同事的帮助下，写了个启动时的批处理文件，这样，PDMS的启动问题得到了解决。

接下来就是对接口的无数次测试。虽然能够访问PDMS了，经过试验能够打开PDMS了，可是当想要定位到具体的某个数据库时却又出现了问题，尽管输入了正确的数据库名，尽管对打开时的批处理文件做了相应的修改，错误提示始终是找不到数据库。相关的英文文档我也看了，可就是找不出个所以然。可我一想，既然能提供出这种接口，那么肯定不会有错的，难道我对英文的理解有误？我再仔细阅读，然而始终就是那几个例子。“DESI/GN”、“CAT/ALOGUE”，“CAT/PIPE”,„„，而我的写法就是数据库名，忽然想起PDMS中有这样一种约定，名字前必须要用“/”，于是随便试了下，果然，这招成功了。有点欣喜若狂，前面那些例子似乎也逐渐明朗起来，前面部分应该是表示模块，后面部分就是数据库组的名字了。在此之后，测试工作有了很大的进展。（其实到后来才发现，参考文献的后半部分有说明，只是为了争取时间，所以没有阅读参考文献的后面部分，但在后续接口功能及参数的查询中起到了至关重要的作用。）

测试了所有的接口，对其含义和命名规则都熟悉了，接下来的事便是要合理的设计这个模块的架构，希望它能成为一个独立的功能添加到我们的软件当中。还好，在接受这个任务以前是做底层分析与维护的，因此对我们整个软件的架构还是比较熟悉，再加上对重用代码有浓厚的兴趣，因而这边没有太多的难点。经过考虑，觉得写数据库部分可以重用我们软件的逻辑，而在模块的域领域中不能涉及我们软件的域逻辑。而对于数据库模式，决定用广度优先遍历的方式对数据库进行访问。一切进展得很顺利，在几个工作日后，PDMS的ANSI标准元件库终于展现在我们眼前，看到成果了，心情当然激动。

在设计架构以前考虑过由于数据库与等级库、元件库访问数据库的方式有所不同，由于设计库的特殊性，在数据库中维护了领域中的逻辑（这可能是数据库设计的一个瑕疵），从而导致潜在的风险，架构对设计库不起作用，而事实证明，确实存在这样的问题。当时的想法就是有两种解决方案：一：数据库仍然维护领域层中的逻辑，但是维护方式改变，使得这种关系是由节点自己维护，而无须通过其他域对象；二：改变数据导出模块中的领域层，是之对设计库逻辑和元件库等其他库的逻辑都使用。虽然有了方案，但各有利弊，不好取舍。在综合了多方面考虑之后，最终还是采取了第二种实现方式，使得各个库的导出逻辑得到了统一。

在整个设计过程中，虽然遇到了不小的挑战，但我总是以一种乐观的心态去面对这些，虽然有时候也曾低落过，而心中那种必胜的信念从没有减弱。我相信，既然能发现问题，那么就肯定有一种合理的方法来解决它，那只是时间的问题。

完成了，重担似乎卸下了，便有更轻松的心情去迎接新的挑战！

IBM可移动的模块化数据中心篇3

数据中心需要变革

IT的发展和变革给全球带来了无数挑战，首当其冲的是数据的高速增长使IT的需求不断增加。据统计，近10年来，服务器增长了6倍，存储更是增长了69倍，而每年数据中心的能耗费用则增加了18%。这些都使得企业的IT承受了沉重的成本压力。

因此，在日前举办的“2011 IBM智慧数据中心高峰论坛”上，IBM全球信息科技服务部(GTS)数据中心服务大中华区总经理袁东坡表示，数据中心的变革已是当务之急，他指出，在已建成的数据中心中，有78%的数据中心是在IT热潮前建设的，服役超过7年。他以IBM为例说，IBM自己的数据中心每年的电费近20亿元，而他们的目标是在IT业务成倍成长的同时，电费保持零增长。面对这样的挑战，袁东坡说，只有一条路，那就是变革，使IT资源更优化，使数据中心架构更合理。

去年，IDC曾在亚太区做过一个“哪些IT服务或战略能帮助企业度过危机并取得更好的发展”的调研，受访企业中包括300多家中国企业，最终在调查结果里排在首位的是“数据中心的变革”。由此可见，作为承载企业核心应用的数据中心已经充分引起了企业的重视，只有数据中心的变革才能带来企业业务模式的变革，并使企业业务更加灵活，更具弹性。

如何实现数据中心的变革？如何更加灵活且经济高效地设计和管理基础架构？如何使数据中心能够支持企业业务的快速发展？面对企业CIO的种种困惑与需求，IBM提出“构建智慧的数据中心”，用“智慧”解决数据中心面临的问题与挑战，使企业的数据中心成为“智慧”的数据中心。

四大特征

诠释智慧数据中心

IBM GTS数据中心服务副总裁Jeanine Cotter指出，智慧的数据中心应具备实现云计算的能力，并拥有高度灵活性、高效运营能力、主动管控能力以及端对端的服务能力四大特点。

Jeanine Cotter解释说，具有高灵活性，就是能够满足当前企业业务发展的需求，同时具备足够的灵活性以响应未来未知的业务需求、技术和计算模型，使数据中心的寿命能长达10〜20年。在这么长的生命周期中，任何公司都难以准确预测未来的发展需求，因此，满足不可预测的业务、技术和计算模式需求则变得非常重要，由此而导致灵活性成为主要指标。

对于高效运营能力，Jeanine Cotter认为，这是指充分实现高效的运营方式，优化资产，提升包括硬件、软件、其他支持设备和员工与流程在内的整体数据中心的运营效率。数据中心基础架构需要具有自适应能力，以便提高经济高效性，同时降低前期购置和后期运营成本。企业需要提高资产利用率并且尽量推迟额外容量的购买时间。

Jeanine Cotter认为，智慧数据中心具有主动管控能力是指可以实现主动式监测和管理能力，提供针对数据中心运营的深刻洞察，以满足对数据中心可用性、容量及能源效率的需求。企业需要使用更多的软件管理工具将自动化和智能融入到日常运营中，以便积极监控和管理环境，专注于满足业务增长提出的可用性、容量规划和能源效率需求。

最后，对于端到端的服务能力，Jeanine Cotter表示，智慧数据中心应该能为企业提供端到端的数据服务，全面支持业务发展的需求，推动企业业务的高速发展。

与各种新的数据中心概念相比，Jeanine Cotter认为，IBM智慧数据中心更关注的是对于未来的预测和规划，并且为了增强灵活性而注重一些非常基本的要素，这些基本要素使数据中心能应对新的计算模式、应对未来未知的一些新技术的出现，而客户就不需要为此再改造他们的数据中心的基础设施。所以，相比之下，智慧的数据中心具有更强的灵活性和前瞻性。

在预测未来方面，Jeanine Cotter说，首先，IBM深刻了解未来5年技术的发展方向，同时，为了建立更加智慧的数据中心，IBM还重点关注两点：一是在设计上，要对未来的能力和未来的容量进行设计；二是把自动化和智能化加入到资产管理中，使管理更加有效和高效，从而随着新技术的出现而不断升级现有的数据中心。这也是IBM智慧数据中心的优势所在。

不过，也许会有用户担心，在最初建造数据中心时如果要为5年甚至10年后的业务发展考虑，是否会使数据中心前期的投入过大而造成浪费？Jeanine Cotter的解释一定会打消这些疑虑，她说，IBM目前倡导和采用的是以模块化的方法构建数据中心，它能使用户在前期投资和运维上，延缓成本投入40%〜50%，像制冷、供电、设施建设和IT设备等都能按照当时的需求进行模块化建设，既减少前期的投入，又能使数据中心的规模随着业务的增长而扩大。

四大服务助“智慧”落地

在国内，改造和新建数据中心正在进入一个高峰期。据IDC统计，目前中国数据中心的数量已经超过50万个，绝大多数数据中心为中小规模。同时，IDC预测，未来3年，中国数据中心的发展将呈现两头大的趋势，也就是大型数据中心和小型数据中心的增长率较高，特别是超大型数据中心在数量上增长较多，其驱动力来自于未来几年数据将呈现出向大型数据中心集中的趋势。

IBM针对中国企业在数据中心方面的不同需求，提出通过提供四大类服务，帮助企业推进智慧数据中心的建设和发展。IBM所提供服务的核心来自于IBM一系列的评估、分析、预测工具。去年12月，IBM宣布推出了18个数据中心规划分析工具。

在IBM提供的四大类服务中，首先就是延长数据中心的生命周期。IBM使用有效的虚拟化分析工具对工作负载进行全面评估分类，并最终归纳到6大负载类别中，然后利用专用的资源实施虚拟化，从而将虚拟化比率提高到60%〜70%，大大提升了运行效率。IBM Lexington数据中心就是一个典型的案例。

IBM中国区数据中心咨询设计服务部经理陈亮说：“此次智慧数据中心的提出，重点聚焦在分析数据，把数据中心定义在更好的分析数据和利用数据上，这和以前有很大的不同，是用更智慧的决策、更智慧的分析，延长数据中心的生命周期。”

第二类服务是数据中心的合理化。有效地整合IT和数据中心设施的规划和执行，可实现数据中心持续的容量增长，有望使IT容量加倍，或者使运营费用降低高达50%。

目前，中国企业的数据中心建设存在过大或过小两个极端——数据中心一开始规划就盲目砸钱，什么都要求建设最好的，结果数据中心利用率不足，造成了极大的资源浪费；另一方面，数据中心规划不足，对利用率没有充分的认识，结果数据中心建设不到两三年就跟不上海量数据的增长，最终不得不迁移和改造。

因此，对于中国企业的数据中心建设来说，规划应该是放在第一重要的位置。这种规划，应该根据企业的历史数据、发展速度并结合企业未来发展要求来认真考量，规划不是银行、电信这些大型数据中心的“特权”，中小型企业的数据中心建设尤其需要规划。“从某种程度上说，规划更是一门艺术。”陈亮实施过很多行业的数据中心，她对此体会颇深。

IBM GTS信息技术架构首席顾问希拉里•李在国外工作多年，对于国内企业对规划的认识有着更深的感触，“国外企业在做任何一件事情之前，都一定会想好自己的目标是什么，以及如何达到这种目标；国内企业对规划的概念却比较淡薄，往往是一开始就动手实施。”

陈亮还以电信运营商数据中心的建设存在的问题举例，指出中国主要行业大型数据中心建设的“通病”。她说，电信运营商的数据中心存在几个共性问题：一是个性化差异，数据中心建设时间比较早，有些甚至是由原来的交换机房改造过来的，与传统数据中心的机房标准有所差异；二是管理机制，投资和建设往往“两张皮”，各自从自己利益出发的规划使其对客户的需求很难响应。这些现象反映了中国企业大型数据中心建设的“通病”，即缺乏规划。“现在，很多数据中心已经意识到这种问题，开始注重规划，我认为，规划要注意两个问题，一是把业务定位、客户定位和需求联系起来；第二把企业整体运营体制考虑进来。”陈亮说。

第三类服务是实现数据中心的灵活设计。调查显示，数据中心的资本成本中60%来自于机械与电气系统，而后期的运营成本更是高达前期成本的3〜5倍。模块化设计的数据中心可以有效降低企业的前期成本，延迟40%〜50%的数据中心生命周期成本，从而提供资本的灵活性。

第四类服务是统一的综合管控。企业需要以政策为主导实现数据中心管理的整合与统一。建设总控中心成为很多企业提升管理能力、提升数据中心服务水平的有效方法。

“目前，IBM拥有并管理着全球超过480个数据中心及位于55个国家中的138个灾难恢复中心”，IBM大中华区GTS整合科技事业部总经理鞠立说，在过去的3年中，IBM在数据中心建设方面的收入增长了1倍多，IBM数据中心在中国的业务已经超过IBM北美和IBM日本，而成为IBM全球第一。

模块化:数据中心新方向篇4

传统数据中心弊端凸显

面对今后愈加激烈的市场竞争, 传统数据中心显然难以满足业务快速上线和高效运转的技术需求。

社会进入信息化高速运转阶段, 各行各业的信息资源整合不断加速, 数据集中成为国内电子政务、企业信息化建设的主流趋势, 由此引发数据中心需求的不断增长。自从2008年金融、电信、政府、企业等行业带头进行数据集中化管理以来, 中国数据中心建设加快进程, 很快进入快速发展阶段。

据ICT research咨询公司最新的一份关于2014年中国模块化数据中心市场的调查报告显示, 金融、电信、政府、制造等四大行业市场份额共计67.4%, 其中电信和金融这两大行业的数据中心建设投入就占据了50%以上的份额。从中国数据中心行业结构上看, 电信、金融行业的数据中心建设早、投入大, 应用也相对成熟。

然而, 投入越早意味着设备更老旧, 隐患更大, 特别是金融行业。当前, 国内金融行业的传统数据中心在建设部署和运行维护上普遍存在危机四伏的状况, 包括网点分布广泛导致设备间建设效率低, 空间受限导致设备间持续扩容困难, 设备间复杂难于运维, L1层不能按需输出造成巨大能源浪费等。面对今后愈加激烈的市场竞争, 传统数据中心显然难以满足业务快速上线和高效运转的技术需求。

电力能耗大

谈到传统数据中心的弊端, 首当其冲的是其巨大的电力损耗, 这也是数据中心建设以来一直无法突破的最大瓶颈。众所周知, 数据中心的运行需要庞大的电力做源源不断的输送, 但由于早期的数据中心建设在用电上考虑不周全, 电力能源损耗和IT负载使用的能源比都比较高。

据相关统计, 从2000年到2006年, 数据中心计算性能提高了25倍, 但能效却只提高了8倍。直到目前, 国内传统数据中心的电力能耗仍然高达数据中心成本的50%以上, 这意味着数据中心所使用的能源约有一半消耗在包括电源设备、冷却设备和照明设施在内的网络关键物理基础设施上, 一半消耗在IT负载上。

以一个200千瓦的数据中心为例:每年的电力成本消耗约300万元, 而真正花费在IT负载上的只有150万元, 另外150万元全部浪费在核心负载之外;再以数据中心10年的生命周期来算, 花费在IT负载之外的电力能耗高达1 500万元。这对于任何机构或企业而言, 不仅是一笔巨大的开支, 更是一笔利用率只有一半的开支。

腾讯数据中心首席架构师王海峰同样指出, 中国数据中心消耗的电量占全社会总电力消耗的2%, 或全国建筑总能耗的10%, 相当于三峡大坝全年的产能。在中国, 一个典型的托管性数据中心平均4年的电费将超过数据中心基础设施的全部投资。

灵活扩展难

数据中心由IT和机房设施两个层面组成, 机房设施的扩展性需求, 是IT层面的扩展性对运行环境的灵活性诉求。机房设施的可扩展性与IT层面的扩展性之间就好比房间和家具的关系, 家具越多, 所占用的空间越大, 因此机房设施的可扩展性实现起来更困难一些。

早期传统数据中心在部署上基本上采用“一项目一部署”和“一机一应用”方式, 不仅部署速度慢, 而且服务器与供电、制冷等辅助模块严格绑定, 牵一发而动全身, 扩展难度大。

这种“一步到位”的扩展方式明显不适用于业务发展迅速的企业, 因为随着业务的发展和应用的增加, 业务对数据中心的服务需求也越来越高。加入更多管理软件的数据中心系统将渐渐变得不堪重负, 这时不得不对整体系统重新进行设计, 增加机房设施的扩展性, 以具备较高的灵活性充分满足业务需求变化。

建设周期长

建设一个大型数据中心通常需要很长时间, 以IT功率135 k W的机房为例, 从前期的规划设计到验收, 再到交付运营, 总耗时短则半年, 长则一两年。而两年时间太长, 当下的市场竞争分秒必争, 业务在快速地增长, IT设备也在不断更新换代, 时间的流失意味着业务量的流失, 甚至可能出现这种情况:等到数据中心建设完毕, 原先的设计已经完全不能承载现有的业务需求。人们对传统数据中心建设周期的容忍度已到达临界点。

正如我们所看到的, 随着信息化社会的发展, 数据中心已经成为机构信息系统的物理载体和核心资源。云计算、虚拟化的不断发展, 使数据中心的建设呈现出大型化、集约化的趋势, 在这种趋势下所形成的模块化数据中心被赋予了更多可能性, 包括高程度的智能化与自动化, 同时兼具绿色节能等优点, 并且在建设周期、电力能耗上均有明显收益。

模块化将成新一轮增长点

模块化已成为数据中心行业公认的主流趋势。

模块化的概念包括两个核心——拆解和组合 (也称为解耦与融合) , 指的是将复杂的软硬件系统功能解耦, 让独立的功能单元简单化, 再通过标准的架构设计, 实现独立单元的简易组合, 从而降低系统的复杂度。

早在几年前, 业界便已对模块化数据中心展开探讨, 并开始在金融、互联网等领域进行应用实践。最先开始的是美国各大银行以及华尔街的公司, 而真正对模块化起到推动作用的是谷歌和微软基于云计算的模块化数据中心设计, 随后HP, DELL, Blade Room, Nx Gen等公司才相继提出模块化数据中心的概念。与此同时, 国内对模块化设计也展开了积极探讨, 并逐渐应用于实践当中。

模块化设计遵循“按需供应、灵活扩展”的需求, 实现制冷、供电及管理系统的区域化、模块化, 在目前移动性需求和临时性容量需求逐渐增加的情形下, 模块化作为新一代数据中心的基石, 具备了一系列传统数据中心所没有的优势。

模块化改造数据中心

无论是在部署方式上, 还是在能耗上, 模块化数据中心较传统数据中心均有大幅提升。

在部署方式上, 模块化数据中心以“快速部署”为准则, 在数据中心建设过程中, 一方面将主机房区域设备的部分安装工作剥离出来, 由工厂预制完成;另一方面, 在工厂预制期间同步其他基础设施建设, 一旦设备进场, 只需简单组装便能完成部署, 从前期的规划设计到建设、交付所需时间大概为1~3个月。而按照传统数据中心“一步到位”的部署方式, 数据中心平均建设周期需长达600天, 比模块化数据中心耗时6倍以上。部署方式上, 模块化数据中心完胜传统数据中心。

在能耗上, 模块化数据中心采用行级空调和密闭冷/热通道技术。其行级制冷的高效模式则通过点对点精确制冷, 一方面有效解决机房局部热点问题, 并有效确保了对高密数据中心制冷能力的支持, 减少能耗;另一方面有效隔离冷热空气, 避免无效热交换, 从而将PUE降到国家最新规定的PUE 1.5以下, 降低运营成本。与传统数据中心由于无效热所造成的巨大电力能耗相比, 模块化数据中心的能效利用率平均提高40%以上。

除此之外, 模块化的概念也意味着模块化数据中心的架构具备弹性扩容。以微模块为单位, 每个模块都是一个独立的小型数据中心, 不同模块间的功率设计可以不同, 以精细匹配不同的IT业务需求, 减少资源浪费和能源消耗。这种弹性扩容是对传统数据中心系统逐年冗余的终结, 只要IT设备需要更新换代了, 只需对模块内部进行扩容, 如简单调整相应的供配电及制冷模块数量, 便可满足IT业务新需求及新IT设备的运载。

市场快速增长

由于具备快速部署、绿色节能、柔性扩展、智能管理等特点, 模块化数据中心在应对云计算、虚拟化、集中化、高密化等服务器的变化时, 对提高数据中心的运营效率、降低能耗、有效控制成本、实现快速扩容等起到了出色的解决作用, 由此迎来了其市场利好时期。

根据ICT research调查研究显示, 2014年中国模块化数据中心市场规模达到33.31亿元, 同比增长8.2%, 高于数据中心市场的增长率。模块化已成为数据中心行业公认的主流趋势。

这种趋势的形成, 背后起码有3种力量在推动。

一是政策支持。2013年, 工信部联合国家发改委、国土资源部、电监会、能源局等国家五部委联合发布《关于数据中心建设布局的指导意见》。该意见从数据中心选址、规模规划、能效指标、新技术应用等方面对数据中心的建设提出了指导性意见。随后, 工信部发布《关于进一步加强通信业节能减排工作的指导意见》, 同时《国务院关于加快发展节能环保产业的意见》中重点提出对数据中心建设中能效指标、新技术应用方面的重视。

可以说, 模块化数据中心在节能减排、占地面积小、新技术支撑新业务上的显著优势, 无一不是顺应了政府的政策导向。反观传统数据中心, 由于其高能耗、高运营成本、建设周期长、能耗大等弊端, 现已有多省市开始禁止或限制传统数据中心的建设。

二是行业倡导。受国内数据中心建设的政策环境导向影响, 数据中心基础设施厂商和UPS厂商纷纷投入到模块化数据中心市场竞争中, 几乎全行业都在倡导模块化数据中心的理念, 并陆续发布相关产品, 如华为、浪潮等。

三是用户选择。一边是要保证数据中心的使用率维持稳定, 一边是要严格控制成本, 因此在能源成本不断增加的情况下, 模块化数据中心以其高效节能、灵活扩容、快速部署等优势吸引了众多用户。

可见, 随着国家对数据中心节能减排的政策驱动, 以及对云计算、物联网、大数据产业的扶持, 模块化数据中心市场也将随着这些新兴产业的发展而得到快速增长。

模块化数据中心还将不断探索

统一的安全标准才是数据中心发展方向的唯一指引, 而后才是在这一标准范围内安全实施的各项技术创新。

追随云计算、虚拟化、大数据等技术不断发展的步伐, 国内外通信行业协会组织对数据中心的发展方向也在不断探讨中, 焦点均指向统一建设标准和提升整体建设效率。

美国通信工业协会 (T I A) 发布的《Te l e c o m m u n i c a t i o n s Infrastructure Standard for Data Centers》, 国内《银行集中式数据中心规范》《中国人民银行计算机机房规范化工作指引》等标准规范, 都有类似的指向性信息;在中国建设部发布的GB 50174-2008《电子信息系统机房设计规范》中, 也增加智能建筑引入条款, 并提出高密度机柜的概念, 明确冷热通道的设计理念。与此同时, 国内各大银行也陆续发布自己的标准, 要求总行统一规划分行设备间基础设施。

不难看出, 模块化数据中心的快速部署、灵活扩容、绿色节能、智能运维等特点非常符合以上所述标准, 在金融行业的应用趋势更加明了, 其中以2014年华为携手中国建设银行梅州分行打造新型模块化设备间为最佳典范之一。

然而, 这还远远不够。模块化数据中心探索到现阶段, 技术上能实现的标准大多以条文形式确定下来, 而关于数据中心安全建设更为具体的标准仍未见任何正式的条文发布。据了解, 最新的工程建设国家标准《数据中心设计规范》已经成文, 目前正处于报批稿阶段, 暂无这一文件的具体内容披露, 希望数据中心安全建设的具体标准能在其中有所体现。

数据模块篇5

成都大数据技术培训学校哪家好？学数据分析的各个学习模块有哪些

内容

成都国信安大数据技术培训由副教学总监，优秀讲师带队并亲自授课，秉承成都国信安一贯的专业品质态度，在课程质量，学生素质，就业服务上相当严格要求，并以学业满意就业为目标，打造国内优秀大数据技术培训班，感兴趣的同学不妨关注国信安教育基地了解一下吧。

互联网5大抢手职业

定义一个职业的抢手程度=平均月薪*发布职位数/已招到职位数，根据这个公式统计出排名前五的互联网抢手职业，可以看到，技术岗位职业占据了四席，架构师由于对于其高要求的技术能力需求成为了非常抢手的职业，产品经理也属于5大抢手职业之一，这对于那些不需要特别精通技术，又想在互联网行业发展的朋友无疑是一个很好的消息。互联网5大过剩职业

与抢手职业计算公式相同，我统计出得分低的5个职业，可以看到，这些职业均属于职能类别，由于很多互联网公司属于初创期，对于财务这块的业务往往不重视，要么外包给财务公司，要么某个人员兼任，所以出纳这个职业成为了互联网行业过剩的职业。

四川是旅游的天堂，无法拒绝她火辣辣的美食，无法拒绝她惊艳的自然风光，更无法拒绝她的古蜀文化。有的同学因高考落榜而黯然神伤，不知道出路在哪里？首先需要说明，高考落榜是个普遍问题，读大学不是人生的唯一出路，条条大道通罗马，不上普通大学人生更很精彩。君不见，大学生就业形势严峻，大学生毕业即失业。一边是大学生求职难，一方面是企业技能人才用人荒，此现象可谓冰火两重天。许多人观念正在悄然转变，读大学不如学技术。学习的目的是就业，有个美好未来。作为高薪行业，IT行业一直是年轻人求职的首选。互联网行业以其超过百万的人才缺口和长效的职业发展期而倍受青睐。未来人们对互联网的运用需求仍将持续不断上升。因而，对于那些对互联网新兴事物感兴趣的学生而言，选择IT行业，是绝佳的选择。

市面上大大小小的IT培训企业比较多，到底哪个是比较适合我们的呢？在这里小编给你推荐的是：四川国信安职业培训学校。其适用范围大，实用性强，是大多数人的理想选择。说了这么多，是不是觉得了解一下IT培训还是很有必要的呢~那接下来让我来看看相关信息吧~ 国信安教育基地

想通过大数据培训机构进入大数据圈子，需要主要哪些问题？

现在网上已经有很多关于怎么选择靠谱的大数据培训机构这样的文章，这里科多大数据除了总结，还会给大家谈谈关于学习心态的问题。关于怎么选择培训机构，应该注意以下几点：

1、课程设置是否合理，是否存在挂羊头卖狗肉的情况。有的培训机构表面上说是大数据课程，其实大部分是java，并没有大数据的课程。如果你分不清的话，你至少要知道这些是关于大数据的：hadoop、HDFS、hive、Hbase、spark、scala等。

2、课程是否包含了项目实战。不管是关乎面试，还是关乎你的薪资，有项目经验都会给你加分，企业招聘面试是非常重视这块的。

3、课程老师是否专业。考察下师资情况，授课老师是否是全职，经验是否丰富。因为大数据方面的授课老师难招，有的机构是兼职老师，兼职老师存在的问题就是不稳定，不能全身心的投入教学。

4、上门所述是选择的重中之重，其他可以参考的就是：教学环境、教学体系是否完善、是否推荐就业等。

接下来，我们来谈谈学习的心态。首先是在没有培训之前，也就是那段最犹豫的阶段。在犹豫学不学的时候大部分朋友会有这样的心理：大数据真的薪资高国信安教育基地

吗？我应该选择哪家培训机构？我要不要自学？我经济压力太大万一没学好怎么办？

在正是学习之前这些问题确实需要好好的思考。大数据薪资是多少，人家说没有用，直观的就是去招聘网上了解，上面都是真真实实的薪资，如果你的犹豫点是这个，那么如果前程无忧上门的大数据薪资你还满意，那么请学习！我应该选择哪家培训机构？上面已经说明，这里还要补充一点，一定要记住课程、师资、项目是最重要的，包就业这种说法只是给你一种心理安慰，但是不是说你可以不努力学习，到最后却怪人没教好。学得好是自己的，也是你应该在学习过程中需要努力做到的。

我要不要自学？这个问题很简单，就是看你的自学能力和自控能力强不强。如果你自学能力好，又非常自觉，自学当然没问题。

经济压力大？这点确实挺着急的，但是现在很多培训机构都有分期政策，甚至有人才投资（企业投资人才，不花钱学习）等政策，如果你真的觉得大数据前景好，真的喜欢，因为没钱而放弃，希望你可以不后悔。

如果对大数据学习感兴趣的朋友，可以成都国信安教育培训基地的官网：http:///进行了解

数据模块篇6

中国北京，8月12日——施耐德电气一直提供完整的模块化数据中心解决方案，无论在全球或中国都占据市场领先位置，其产品设计范围从简单的集装箱数据中心的预连接布线系统，到客户要求的完整IT数据中心解决方案。2014年收购模块化设计AST公司后，施耐德电气在拉丁美洲、欧洲、中东和非洲的模块化业务能力得到巩固，也进一步加强了在数据中心市场的地位。近两年，施耐德电气先后帮助BAT公司、深圳市盘古数据有限公司、云南彩立方数据科技有限公司等，共同打造了包括预制化模块数据中心、微模块数据中心等服务于不同行业客户的模块化数据中心。

如今的模块化数据中心主要是由预制部件组成。不仅设备可以预先安装并布线，机柜也可以在没有IT设备的情况下预先安装。在工程现场只需完成设备连接和模块化布线和管道的交叉连接。

就像上述所说那么简单，当设备专业人员在建设模块化数据中心时，只需牢记以下五点：设计标准：布局的时候考虑到效率和灵活性，让良好的结构感在一开始就发挥积极作用。不管是在建造还是运营过程中，IT设备必须保持密封且防水的状态。其他考虑因素还包括美观，本地加密要求以及客户的设计期望。计算机机房规模：模块化装置的大小应该具有灵活性和可扩展性，在满足所有者需求的同时，也能够支持机架、存储单元和大型计算机设备。模块化装置还应该在上方留出足够的配电空间。能源效率：互联网行业的"十二五"发展规划和通信业的"十二五"发展规划，对数据中心的节能改造提出了要求，数据中心PUE值已经成为国家及数据中心行业越来越重视的性能指标。今年3月份，工业和信息化部、国家机关事务管理局、国家能源局近日联合印发《关于国家绿色数据中心试点工作方案》（以下简称工作方案），提出到2017年，围绕重点领域创建百个绿色数据中心试点，试点数据中心能效平均提高8%以上。配电：模块化系统需要有灵活的配电能力，包括多种千瓦设备负载量，不同类型的负载连接、安培容量和伏特数，应该实现IT设备所需的80/277V， 400/230V或者208/120V的功率。温度控制：安装同时具备可维护性和容错性的冷却系统，并保证其符合最新的能源法规，以及拥有冷却一系列安装设备的灵活性。可以考虑用冷/热通道封闭系统来进行高效冷却。

地质空间数据系统功能模块分析篇7

关键词：地质,空间,数据,系统,功能,模块

地质空间数据系统主要由空间数据处理、三维实体建模、可视化设计、空间数据分析和专业模型接口5个字模块建成。

1 空间数据处理

数据输入包括空间数据和属性数据两方面, 空间矢量数据输入包括扫描矢量化、数字化仪输入、鼠标输入及数据导入等, 属性数据信息通过键盘录入和属性数据导入完成。

数据预处理主要包括数据错误检查、误差校正、比例变换和坐标变换等功能模块。错误检查是根据数据建库的各种要求对数据进行自动检查, 将检查结果报告出来。误差校正是根据图形的变形情况, 计算出其校正系数, 然后根据校正系数, 校正变形图形。比例变换包括对处于编辑状态的点、线、面图形的平移、比例和旋转3种变换。

基于钻孔数据、物探信息、地质图、地质构造图以及相关地质资料集成, 系统提供了地质剖面制图CAD, 由于单一地质数据难以准确描述复杂地质现象, 采取了综合一体化、可视化的技术手段, 建立二维地质剖面图, 力图获取精确的地质信息, 为三维空间信息系统的建立提供更加有效的地质依据。剖面设计包括参数设置、剖面定义、剖面建立、剖面扩展、断层推演及钻孔数据关联等操作, 能够在三维空间通过交互式实现复杂剖面模型的建立。拓扑模型主要包括建立点-线、点-面、线-线、线-面以及面-面等各种同构或异构空间对象之间的拓扑关系。编辑工具提供了在三维空间进行点、线、多边形以及面的增加、删除、修改、维护等操作, 采用三维可视化交互式手段, 对空间中的点、线、面进行选择、拾取, 真正实现三维空间的剖面制作功能。

系统提供表格输出、三维显示、统计图、文本输出及打印输出等功能, 原始数据、中间计算生成数据以及最终结果可以图文方式输出。

数据耦合分为两个子模块, 即多源数据耦合模块和面向对象耦合模块。多源数据耦合模块提供目前常用的数据格式间的转换接口, 如Arc View数据转换接口工具, DTM、DEM接口工具, ACCESS数据库接口工具及其他构网软件数据转换模块, 并且通过耦合研究区域多源数据, 完善空间信息处理的方法、提供统一的三维显示通道, 以支持在同一个坐标系中勘探数据的全方位、一体化显示。面向对象耦合包括点类对象、线类对象、多边形类对象、面类对象、体类对象同构或异构数据间的耦合, 为实体模型的建立提供基础。

2 实体建模设计

2.1 面重构

面重构子系统包括空间插值、细化处理、集合运算、区域分割、断层模型和岩层模型功能模块。

目前适合于三维地质建模的插值方法主要有:样条插值、反向距离插值和插值等, 这些方法都有各自的理论模型和特点, 但也有各自的局限性, 因此, 系统需提供多种插值方法以适应不同的应用范围和要求, 并根据研究对象的差异, 经过反复地选择、分析、比较, 最终确定一个最合适的插值方法。系统设计了基于网格的插值自适应细化处理技术, 在数据量较少的情况下, 对由多边形网格拟合的曲面进行光滑处理。

集合运算主要包括实体间的Boslean运算及SSI运算。区域分割包括交互式和区域递归分割两种方式, 以适应不同复杂程度的地质区域分割。

地质构造如褶皱、断层等形成了地质体的空间复杂形态, 使空间模型的建立十分困难, 系统设计了超体元实体模型、断层数学模型、褶皱几何模型等, 使建立三维复杂地质体模型成为可能。

2.2 体重构

体重构子系统包括钻孔模型、线框模型、几何模型、拓扑模型和属性模型。钻孔模型主要完成钻孔岩数据的分析、建立与三维显示。

线框模型是利用约束线建立一系列解释图形, 以表达地质体边界的轮廓, 允许刻画任意空间复杂形状。通常模型采用矢量数据结构, 其表达方式非常自然而灵活, 可以简化建模过程中的许多烦琐细节。

几何模型是关于实体对象空间几何形状的表达, 应依据数据的空间分布及变化特征建立空间几何模型, 系统提供B-reps模型, TIN模型, GRID模型, 六面体、三棱柱体模型以及TIN-TEN集成模型。

拓扑模型是关于实体对象空间几何关系的描述, 反映地质对象之间内在的连接关系, 包括地层间、构造间、地层与构造间的各种关系。建立三维拓扑关系需要依据几何信息和相关的几何规则, 实现基于属性关系的宏观拓扑结构和基于同构或异构几何模型关系的微观拓扑结构, 并利用包含多向指针的R-Tree来管理、访问和存取这种复杂的网状结构。

属性模型主要反映地质体的属性特征, 如矿床内品位分布, 储油构造中油、气、水及压力分布, 富水性和质量级别等, 通常应该在几何模型建立的基础上来构建属性模型。属性建模主要包括:建立属性数据库与几何模型间的对应关系;设置对应机理, 确保属性数据库与几何模型中数据一致性;通过使用地质统计学方法或随机模拟方法来预测或估计模型中未知点的属性值等。

3 可视化设计

可视化设计主要实现图形变换、图像处理、光照模型、交互式体系结构设计、空间对象编辑工具、三维模型重构反馈机制、自适应多分辨率模型、纹理映射、虚拟漫游、三维空间信息立体透视显示及动态模拟等。系统采用了 (Open GL Graphics Library) 所提供的强有力的图形函数, 赋予人们一种仿真的、三维的并且具有实时交互的能力, 可以在三维虚拟世界中用以前不可想象的手段来获取信息或发挥自己创造性的思维。

4 空间数据分析

空间数据分析与统计子模块主要包括趋势面分析、立体剖面及栅状图的计算与表示、开挖分析、等值线及其填充分析方法、空间统计分析和储量计算等。空间数据查询子模块包括面向数据库查询和面向图形库查询, 主要完成几何参数查询、空间定位查询和空间关系查询等功能。

5 专业模型接口

专业模型接口提供各专业模型子系统的入口, 包括地下水资源评价, 地下水仿真模拟, 地面沉降、塌陷模拟, 山体滑坡和泥石流模拟等。

针对研究区域的地质特征以及目标设计的要求, 建模系统研究的关键技术是:设计耦合多源地质数据的技术方法, 使所有有效数据成为地质空间模型建立的可利用的、可靠的信息;实现能够准确反映地质数据空间分布特征及内在关系的三维空间地质模型, 作为应用研究的一个基础平台;进行数据库、图形库、知识库与三维动态模拟的系统集成, 是实现三维重构、空间分析等功能的有效方法和途径。

参考文献

[1]陈嶷瑛.基于知识的地质体智能识别及剖面图自动绘制方法研究[D].北京:中国矿业大学, 2008.[1]陈嶷瑛.基于知识的地质体智能识别及剖面图自动绘制方法研究[D].北京:中国矿业大学, 2008.

[2]程平, 程耕国.坡度变化对地下水流影响的数值解析[J].系统仿真学报, 2007:19 (1) 187-189.[2]程平, 程耕国.坡度变化对地下水流影响的数值解析[J].系统仿真学报, 2007:19 (1) 187-189.

[3]龚健雅.地理信息系统基础[M].北京:科学出版社, 2001.[3]龚健雅.地理信息系统基础[M].北京:科学出版社, 2001.

数据模块篇8

本文基于HDMI 1.4b版本,根据HDMI不同周期下数据编码的特点,以及串行输出数据的要求,研究了数据串并转换时数据流的连续性,采用可综合的Verilog语言完成HDMI接收端的数据同步模块设计,并集成到HDMI系统中。

1 HDMI接口简介

HDMI系统由HDMI发射端和HDMI接收端两部分组成,两者之间主要由4条TMDS通路连接,1条TMDS时钟通路和3条TMDS数据通路,如图1所示。3条数据通路主要用来传输编码之后的视频数据、音频数据以及辅助信息和控制信息[3]。

HDMI有3种不同的传输周期,分别是视频周期、数据岛周期和控制周期,每种传输周期的数据都有其独特的编码方式。视频周期数据采用TMDS编码方式,将8 bit的数据编码成10 bit的数据;数据岛周期传输音频数据和辅助信息,采用TERC4编码方式将4 bit数据编码成10 bit数据[4];控制周期传输控制信号,用来指示下一周期是视频周期还是音频周期。3个通路的控制信号如表1所示,每个通路的2 bit数据的编码方式如表2所示。

在一个TMDS时钟周期内,3个TMDS数据通路会各自串行输出10 bit数据。在数据的传输过程中,最低位将被最先传输,最高位将被最后输出[5]。

2 并串、串并转换数据的连续性分析

HDMI发送端把编码之后的数据以串行的形式输出,在经过串并转换作为接收端的输入。以HDMI编码之后的10 bit数据为例来分析并串、串并转换后对数据连续性的影响。

数据的串行输出不外乎两种情况,高位先出和低位先出。在理想的情况下,高位先出和低位先出的串行数据经过串并转换之后得到的数据是相同的,都是串行转换之前的HDMI编码数据。在实际的HDMI系统中,由于时序原因,从数据输入HDMI发送端到串行输出需要一定数量的时钟周期。在编码数据到来之前,并串转换模块已经开始工作,产生一系列的“无效数据”,这些“无效数据”在串并转换时就会对数据的连续性有一定的影响。

高位先出的情况:由于在串行的编码数据之前会有不确定数量的“无效数据”,这里用“0”表示,假定有2个“0”,那么在串并转换的时候这2个“0”也会参与其中,并占据并行数据的高位,如图2所示。这就会导致还原回来的每组10 bit数据不再是串行之前的HDMI编码数据。但从总体上看,在数据边界定位时,并没有破坏数据的连续性,相对于理想情况,变化的只有数据的相对位置。

低位先出的情况:与高位先出的情况相同,在串行的编码数据之前也同样会有不确定数量的“0”,同样也假定“0”的数量为2,那么在串并转换的时候,这2个“0”就会占据并行数据的低位,后面的数据依次排列,如图3所示。这同样会导致还原回来的每组10 bit数据不再是原有的HDMI编码数据。与高位先出情况不同,在数据边界定位时,数据的连续性被破坏。

3 HDMI数据同步模块设计

数据同步需要特定的可识别序列,在HDMI的编码数据中,视频周期的数据不具备这一特点,数据岛周期的编码数据虽然有一定的特征,但是一共有16种情况,数量较多,如表3所示。控制周期的编码数据在前面已经提到过,其编码方式简单,序列特征明显,并且只有4种编码,因此用于各通道的数据同步。

3.1 数据连续性处理

HDMI的编码数据在串行输出的过程中最低位将被最先传输,最高位将被最后输出。由上面对并串转换中低位先出情况的分析可知,HDMI接收端接收到的并行数据已经失去了原有数据的连续性,如图3所示。但是要进行数据同步必须保持数据整体的连续性。数据的连续性是由于低位先出而被破坏的,此时如果对图3中的数据进行低位先出的串行变化,那么数据还是连续的。为了保证数据整体的连续性,要对输入的并行10 bit数据进行翻转,即原本的A7~0,B7~A8变为0~A7,A8~B7,如图4所示,这样就保持了数据的连续性。

3.2 检测序列长度分析

HDMI接收端的输入数据为并行的10 bit数据,经过翻转的处理之后保持了数据整体的连续性。数据这样处理之后,控制周期原有的编码方式将不再适用。为了能使数据同步,控制周期的编码方式也要有所变化,只需将原控制周期编码之后的数据进行翻转即可,新的编码方式如表4所示,可以与表2进行对比。

由于在数据串行传输的过程中真正的数据前有不确定数量的“0”,因此经过倒置的10 bit数据的每一位都有可能是控制周期新编码序列的首位。最理想的情况下,当前10 bit数据的首位即为新编码序列的首位,那么这10 bit数据就为新的编码序列;另一种情况下,当前10 bit数据的末尾是新编码序列的首位,那就需要接下来的9 bit数据;最坏的情况下,当前10 bit数据不含新编码序列的首位,那么就需要接下来的10 bit数据。由以上可知,想要准确地鉴别出控制周期序列需要20 bit的数据,因此检测序列的最短长度为20 bit。

3.3 数据同步与通路对齐

数据同步只需要找到特定的同步字符,在上面已经确定基本的方案。HDMI发送端和HDMI接收端之间有3条TMDS通路,但是由于不可能保证PCB的布线长度完全一致,噪声等对3条通路的影响完全相同,因此3条数据通路会有不同程度上的相对延时。通路对齐就是为了在HDMI接收端的内部消除3条数据通路的相对延时,对齐之后的数据用于HDMI数据解码。将数据的同步与通路数据对齐在同一模块中完成,电路的结构如图5所示。

控制周期新编码方式如表4所示,编码之后的数据有这样的特点:第9位和第8位是相同的;从第8位到第1位每相邻的任意两位都不同。根据这个特点可以更为简便地判断特征序列,不用再去与表4中的序列直接比较,只需按照上述序列特点进行相邻数位的比较,就可以识别出来特征序列。特征序列识别出来之后,就要进行不同通路的数据对齐。

由上述可知,每条通路的同步序列中的特征序列的位置不同,即特征序列的首位可能出现的位置是不确定的,这是3条通路相对延时的表现,如图6所示。为了能够在20 bit的同步序列中定位特征序列,同步序列的每一组连续的10 bit序列都要进行相邻数位的比较。为了实现上面的描述,采用for循环结构,有限次数的for循环是可以综合的。用“n”来指示同步序列的每组连续10 bit序列的首位,其余位依次为n+1,n+2,n+3,…,n+8,n+9,n值的不同决定了特征序列的位置。在图6中,由上到下分别为3条通路的同步序列。每条通路的10 bit特征序列在同步序列中的位置是不同的,在图6中依次为2 bit,7 bit和3 bit,因此每条通路的n值分别为2,7,3。当n值确定之后,要对n值进行锁定,然后20 bit的同步序列根据n值向右移位,得到移位数据,如图7所示,将移位之后数据的高10位输出。这样既完成了对数据的同步,同时也完成了对不同通路的数据对齐,消除了后续模块中不同通路的相对延时。

4 电路仿真及结果分析

为了对数据同步模块进行验证,采用了如图8所示的仿真平台,仿真工具采用Cadence NC-Verilog。仿真平台由HDMI_Tx,HDMI_Rx,Serializer,Recovery,prbs_gen和prbs_checker组成。HDMI_Tx,HDMI_Rx为测试平台的核心部分,数据同步模块包含在HDMI_Rx中,为主要的验证对象。Prbs_gen和prbs_checker用来验证主体数据的正确性。Serializer和Recovery模块用来实现数据的并串转换和串并转换。由于仿真平台为数字系统,为了模拟真实情况,在这两个模块之间的每条通路都做了不同的延时处理,在图8中没有体现。

3条通路的视频数据都是由prbs_gen产生,完全相同。这样便对不同通路的数据进行分析验证。数据经过并串、串并转换之后,在经过数据同步模块,3条通路应得到完全相同的10 bit视频数据。图9为数据同步模块相关数据的仿真结果,图中的shift值为同步序列移位的n值。由图可知,不同通路的移位是不同的,分别为8位、3位和6位;data_out是移位之后的10 bit输出。仿真结果显示,数据同步模块的3条通路输出的视频数据是完全相同的,这与用同一个prbs_gen产生数据相吻合。因此说明该模块实现了预期的功能。

完整的数据流验证是由prbs_checker完成的。Prbs_gen产生12 bit的视频数据,在HDMI_Tx中经过色深编码、数据编码;在HDMI_Rx中经过数据解码、深色解码,输出12 bit的数据。3条数据通路的视频数据是完全相同的,因此只对一条通路进行检测。prbs_checker的检测结果如图10所示,图中same信号用来指示数据是否匹配,same信号呈现周期性的变化。视频数据是由prbs_gen产生的,因此在视频周期same的值为高电平,表示数据正确。在非视频周期,传输相对固定的数据,不是prbs序列,因此same信号为低电平。same信号的周期性变化是合理的,验证了数据通路的正确性,说明数据同步模块完全适用于HDMI系统。

5 结论

依据HDMI协议不同周期的编码特点以及数据传输连续性的特点,采用可综合的Verilog语言完成了数据同步模块的设计。采用NC-Verilog仿真工具,在同步模块和HDMI系统两个层次上进行验证。验证结果表明,设计的数据同步模块实现了预期功能,同时也适用于HDMI系统,能有效地提高HDMI接收端数据处理的能力。

参考文献

[1]郭名坤.基于FPGA光纤与1_4标准HDMI接口转换方法[D].沈阳:沈阳工业大学,2014.

[2]冯传岗.HDMI_4K时代的高性价比视音频信号接口[J].数码影像时代,2014(3):100-107.

[3]High-definition multimedia interface specification version1.4b[S].2011.

[4]刘文杰.HDMI接口编解码传输模块ASIC设计[J].微电子学,2014(12):763-766.

基于GPRS的远程数据采集模块篇9

数据采集与工业生产和国民生活息息相关,大到电力部门各变电站的远程监控、矿业生产单位的安全生产,小到社区居民的电表、水表抄表系统,因此数据采集与通信系统直接关系到人们生活质量的提高。传统的电表、水表的数据采集多采取人工抄表的方式,不仅浪费了大量的人力物力,抄表精度也不高;当前的卡式预付费表由于要将付费额与消费量存入IC卡中,作为电表、水表与监控中心的通信媒介,安全性有待提高[1];工业生产中多采用Internet网络通信或是RS 485总线来实现各监测点与监控中心的数据通信,对于采集点分布集中时尚可实现,但是像电力系统变电站等多分布在郊区且节点多的系统来说不仅通信线路的铺设是一笔巨大的费用,受自然环境的影响也特别大,可靠性得不到保障。

GPRS无线上网技术的快速发展给数据采集技术的发展带来了新的活力。GPRS(General Packet Radio Service)是当前GSM网络通信向3G标准的过渡阶段,即2.5G标准。GPRS在现有的GSM网络的基础上引入分组交换的功能,支持TCP/IP协议,可以与Internet直接相通,因此已在消费电子中得到了广泛的应用。GPRS理论最高通信速率可达到171.2 Kb/s,且国内外各大通信公司均推出了各自的GPRS通信模块,稳定性好,完全能够满足各种数据采集系统的需要,因此,GPRS无线通信技术的应用必将给数据采集系统的发展带来巨大的变化[2]。

1 GPRS通信原理及数据采集模块的整体结构

1.1 GPRS无线通信原理

基于GPRS的无线网络通信系统结构如图1所示,主要由三部分构成:位于数据采集现场的GPRS数据采集模块、网络运营商提供GPRS网络与远程服务器。

数据采集模块位于各个数据采集现场,由于移动公司的通信范围已覆盖我国的绝大部分地区,各数据采集模块可分散地安装在各种复杂的地理环境中而不必考虑线路铺设等复杂的问题。GPRS网络是现场数据采集系统与远程监控中心数据交换的桥梁。数据采集模块与测量仪表进行数据通信,将测量仪表产生的检测数据通过移动基站实时发送到GPRS网络服务商所提供的GGSN(Gateway GPRS Support Node)服务器,GGSN分配给GPRS数据采集终端相应的IP地址,从而实现了数据采集终端与Internet的连接,再通过Internet网络将采集的数据发送到位于监控中心的数据采集服务器。GPRS模块可以是始终在线的,因此位于监控中心的工作人员可以实时了解到终端设备的工作情况并做出相应的工作指示。

1.2 数据采集模块的结构

数据采集模块负责检测仪器与远程监测终端的无线数据传输,如图2所示,模块以Winbond的高性能单片机W77E58为控制核心,通过将串口采集到的数据经初步处理后传送给GPRS模块实现无线网络通信。

W77E58是Winbond公司推出的一款快速8051兼容微控制器,它的内核经过重新设计,整体运行速度要比标准的8051快2.5倍。W77E58具有1 KB的片上外部数据存储器和32 KB的FLASH EPROM,省去了外扩SRAM所需的I/O引脚,从而用来扩展键盘与液晶显示屏。

W77E58较为突出的特性是它具有两个增强型全双工串行口,在数据采集模块中可将一个串口采用RS 232协议与GPRS模块进行数据通信,另外一个串口则采用RS 485协议接收检测仪器发送的数据。RS 485是在工业检测现场应用非常广泛的现场总线,总线上一台主机可以与多达32台从机进行通信。在实际应用中可将一台GPRS数据采集模块与多台检测设备通过RS 485总线相连,提高通信模块的利用率,这在电表、水表等低成本的检测仪表无线通信应用中十分重要。

GPRS无线通信模块负责整个系统的数据收发,GPRS无线网络通信需要TCP/IP/PPP协议支持,当前常见的GPRS模块可分为自带TCP/IP协议栈与不带协议栈的两大类,自带协议栈的模块有Simcom的SIM100,使用方便,用户只需通过AT指令来控制数据传输就能实现无线通信,当然价格相对较高;而不带协议栈的模块还需用户自己在单片机中实现嵌入式TCP/IP/PPP协议栈来实现数据传输。考虑到模块的成本与W77E58高性能,这里选用了西门子的MC35i通信模块。MC35i稳定性及性价比都比较高,接口简单,AT指令完善,支持GPRS CLASS 10[3]。使用时只需自行设计外围电路,包括电源供电、RS 232通信、SIM卡接口电路以及通信天线。该模块不带TCP/IP/PPP协议,需要自己编写,在单片机中实现。

2 TCP/IP/PPP协议的实现

通常的Internet网络通信只需实现TCP/IP协议簇,但是对于无线网络的接入还需实现PPP协议。TCP/IP/PPP协议其实是一系列网络通信协议的集合,为了能在资源有限的单片机中实现网络数据传输,只能根据特定的功能来实现相应的协议,这包括PPP,IP,ICMP,UDP,TCP等协议,并在此基础上构建应用程序的API接口。

网络协议采用分层结构,在GPRS无线通信模块中采用了5层结构。如图3所示,位于最底层的是网络硬件驱动程序,也就是GPRS模块的驱动,MC35i与GPRS网络的连接、断开以及数据通信都是通过一系列的AT指令来实现。

接下来是数据链路层,数据链路层控制互联网上主机之间数据链路的建立,该层实现了精简的PPP(Point-to-Point Protocol)点到点协议。GPRS模块在拨号后首先要与GPRS网关进行通信链路的协商,即协商点到点的各种链路参数配置。协商过程遵守LCP(Link Control Protocol),PAP(Password Authentication Protocol)和IPCP(Internet Protocol Control Protocol)等协议。其中LCP协议用于建立、构造、测试链路连接;PAP协议用于处理密码验证部分;IPCP协议用于设置网络协议环境,并分配IP地址。一旦协商完成,链路已经创建,IP地址已经分配就可以按照协商的标准进行IP报文的传输了。数据传输完成之后,单片机会向GGSN发送LCP的断开连接报文,以终止网络连接。

GPRS模块与网络服务器连接成功后便可以进行数据通信。网际层实现了ICMP协议与IP协议。ICMP协议是网际控制报文协议,负责传递网络状况信息。IP协议为TCP/IP协议中最为核心的协议,它负责数据报路由的选择,以及将上层协议传输的数据包加上IP报头后传送给下层协议,并将下层协议接收到的IP数据包剥离包头检验信息后接收或是丢弃。

传输层实现了TCP和UDP协议。UDP是面向数据报的传输协议,不能保证可靠的数据交付,但开销较小发送数据的时延也相对少。如果对可靠性要求高,可以选择TCP协议,TCP为不可靠的IP连接提供可靠的、具有流量控制的、端到端的数据传输,但对系统资源的要求相应增加。实际应用时可根据传输数据的内容来选取传输协议。

为了方便上层程序调用相关的协议进行通信,可以建立一个数据结构,将本地和远程的IP地址、端口号以及通信状态封装起来构成一个Socket,并提供相应的API函数供应用程序调用,这就是应用层接口[4]。

3 MC35i驱动及AT指令的编写

3.1 MC35i的开关机及初始化

MC35i的开关机需要在模块的ON/OFF引脚上加上脉宽1 s以上的低电平。当模块处于关机状态检测到ON/OFF引脚的下降沿并持续1 s以上的低电平时启动整个模块,同理,当模块启动后检测到持续1 s以上的低电平,则延时8 s关机。所有的AT指令操作都必须在开机状态下才能执行。

开机后还要对MC35i进行初始化来实现单片机对模块的控制:首先要测试模块串口的连接状况,通过发送AT指令,等待模块的回复,返回OK则连接成功,没有响应则表示模块连接存在问题;接着还要向模块发送ATEO指令来关闭回显。回显功能主要用于串口调试,具体应用时应关闭该功能,防止回显字符和返回参数混合。

3.2 MC35i的AT控制指令

MC35i模块是采用AT指令集进行控制的,采用AT指令集可以实现模块参数的设置,数据的发送与接收。AT指令集是调制解调器通信接口的工业标准,指令由ASCII字符组成,除“A/”、“+++”指令外,所有指令都是以”AT”开头,以<回车><换行>结束,绝大多数指令被执行后都有返回参数。

常见的AT指令有:

设置通信波特率:使用AT+IPR=19200命令,把波特率设为19 200 b/s;

设置接入网关:通过AT+CGD CONT=1,“IP”,“CMNET”命令设置GPRS接入网关为移动梦网;

设置移动终端的类别:通过AT+CGCLASS=“B”设置移动终端的类别为B类,即同时监控多种业务,但只能运行一种业务,即在同一时间只能使用GPRS上网,或者使用GSM的语音通信;

测试GPRS服务是否开通:使用AT+CGACT=1,1命令激活GPRS功能。如果返回OK,则GPRS连接成功;如果返回ERROR,则意味着GPRS失败。

中国移动在GPRS与Internet网中间建立了许多的网关支持节点(GGSN),以连接GPRS网与外部的Internet网络。GPRS模块可以通过拨“*99***1#”登录到GGSN上,并通过PPP协议获取动态分配到Internet网的IP地址[5]。

4 使用需注意的问题

由于GPRS网络通信是以GSM网络为基础,GSM网络的语音通信优先级较高,当GPRS长时间在线但不产生流量时,数据业务的优先级会自动降低,GGSN服务器则会为了节省线路带宽断开其网络连接,此时对于GPRS模块来说,虽说IP地址还在,但已无法进行数据传输。为了防止这种情况导致网络的中断,可在系统中设定“心跳”功能,通过单片机的定时器来实现,每隔一段时间向服务器发送一个TCP数据包,以保证系统的网络连接不断线。“心跳”频率应根据实际情况来设定,频率不宜过高,以免产生过高的额外流量。

由于GPRS无线网络受天气环境影响较大,当出现雷雨等恶劣天气或是信息拥塞时可能会发生数据包丢失、掉线等现象。为了防止丢包的现象发生,可以根据数据的重要性与否采取TCP或是UDP协议,TCP协议具有延时重发功能,对于UDP方式,则必须自行设计校验和纠错规则。对于受干扰掉线的问题则可定时测试网络连通状况,向远程数据终端发送ICMP回显请求(即ping命令),根据终端的应答情况来判断网络状况。当多次请求未回应时即启动GPRS模块重新连接[6]。

当数据采集模块处于电磁干扰特别强烈的电力变压器、电力整流器、电力开关产生的火花等环境中时,GPRS模块和SIM卡运行时间长了偶尔会出现死机的现象,因此要对GPRS模块和SIM卡实时监测。

对GPRS模块的监测:每隔一定的时间对模块进行AT指令测试,如果模块有返回数据则说明模块运行正常,没有死机;如果没有返回,则模块出现问题,此时用单片机控制关闭模块电源,几秒钟后再打开电源,重新启动模块。

对SIM卡的监测:在模块测试完毕后接着发送关于SIM卡的AT指令,如果返回OK则SIM卡工作正常,如果返回ERROR则SIM卡复位或者死机,此时可用AT指令重新启动模块。

5 结语

本套数据采集模块采用GPRS方式接入Internet网络,不受地点与空间的限制,克服了传统的电力系统设备监控布线困难或是抄表系统效率低,可靠性差的缺点,可广泛应用于电力工矿等生产行业设备运行监控,居民生活区远程抄表系统,甚至于各种远程家居电器控制系统等小流量高实时性的通信系统中。随着3G网络通信技术的成熟与应用,无线网络通信的速度与可靠性将有变革性的提高,相信随着新一代通信技术的发展,基于无线网络的数据采集系统将有着更为广阔的应用前景。

参考文献

[1]杨瑞霞.基于GPRS电力无线抄表系统的设计与实现[J].电测与仪表,2007,44(12):30-32.

[2]黄承安,张跃,云怀中.基于GPRS的远程仪表监控系统[J].电测与仪表,2003,40(8):42-45.

[3]杨永立,张保平.嵌入式系统中GPRS模块的应用方法[J].计算机技术与自动化,2006,25(4):193-196.

[4]秦大兴,刘建,郑喜凤.基于GPRS模块MC35i的监测系统设计[J].仪表技术与传感器,2007(2):20-22.

[5]杜垚,李波.内置TCP/IP协议的GPRS模块的应用[J].单片机与嵌入式系统,2006(10):41-43.

[6]鲁涵,齐文新,孙庆虎.GPRS模块设计和应用中的若干问题[J].计算机与数字工程,2006(8):26-28.

便携式USB接口数据采集模块篇10

USB-2401数据采集模块具有24位四通道同步的高分辨率, 每通道采样率最高可达1.6 k S/s, 该系列内建多种信号处理电路, 相比目前仅能量测电压信号的插卡式数据采集卡而言, USB数据采集模块可直接对应量测应用中常见的传感器, 包含热电偶 (TC) 、热敏电阻 (RTD) 、荷重元、应变规, 进行温度、应力或应变等量测, 而无需额外的信号处理电路, 节省外接信号调理器的装置成本。

USB-1900系列包含USB-1901/1902/1903模块, 具有16位高分辨率, 最高可达250 k S/s模拟输入采样频率, 提供高性能的A/D和D/A转换, 且更新频率达1 MS/s模拟输出, 其中USB-1903模块内建高精密转换电阻, 可直接量测0至20m A的电流信号。

数据模块篇11

数据采集和控制系统是对生产过程或科学实验中各种物理量进行实时采集、测试和反馈控制的闭环控制,它在工业控制、军事电子设备、医学监护等许多领域发挥着重要作用[1]。其中,数据采集部分尤为重要,而传统的数据采集系统,通常采用单片机或DSP作为控制器,用以控制ADC、存储器和其他外围电路的工作,使得采集速度和效率降低。近年来,微电子技术,如:大规模集成电路和超大规模集成电路技术的发展,为数据采集系统的发展提供了良好的物质基础。从而使器件向模块化和单片化发展,使所用软件均向实时高级语言和软件模块化发展,接口向标准化发展。由于 FPGA时钟频率高,内部延时小,全部控制逻辑均由硬件完成,速度快,效率高[2],同时它有非常强大的硬件描述语言和仿真工具,方便检验结果的正确性。基于以上考虑,在设计中采用FPGA作为控制处理器。而VGA接口的设计,更突出了该模块的兼容性,更易于采集数据的直观表现。

1 系统总体设计方案

完整的数据采集过程通常由数据的通道选择、采样、存储、显示构成,有时也要对数据进行适当的处理。其中,控制模块起到了核心作用,他作为控制信号产生和处理的中枢对这些外围电路进行着实时的监控和管理。设计过程中采用FPGA作为控制器,完成对A/D转换器的控制,并将采集到的数据存储到一定的存储单元,通过VGA接口协议,最后在显示器上显示。具体涉及的外围电路中,数据采集部分主要应用ADC0809 作为数据采集芯片,对输入的模拟量进行A/D转换;数据缓存部分应用6116作为存储芯片,用来缓存0809采集的数据;按键控制部分利用8个按键来控制0809的转换通道选择;图形显示部分输出标准的VGA信号,使用CRT显示器,以显示实时波形。由于在设计中对外部器件进行控制的控制器都是由FPGA完成的,FPGA的工作量很大,因此所采用的FPGA芯片为FLEX系列中30万门的EPF10K30。

2 基于FPGA的主控模块的实现[3,4]

主控制器的工作原理如图1所示。

通过一个A/D转换控制器产生对ADC0809的控制信号。启动ADC0809之后,随即就会按照一定频率进行A/D转换。同时通过一个数据锁存信号将数据锁存到A/D转换控制模块中。这个锁存信号将作为RAM控制器写输入控制信号。当RAM读写控制器的写控制信号有效之后,将开启RAM的写使能有效信号,将采集到的数据写入RAM的第600个地址单元中,然后RAM控制器将RAM中的数据向上移动一位,移动完之后,产生一个数据更新完毕信号,之后才通过内部的一个控制信号,允许从RAM读出数据。

若RAM中读数据使能,每当VGA显示控制器发出一个读数据命令时,RAM读写控制器便开启RAM的读有效信号,读出RAM 中的数据,并且通过VGA控制器的时序控制和输出信号进行显示[5]。外部的按键部分共有8个,这8个按键控制ADC0809的8路通道的选择。键盘控制器的功能就是扫描所按下按键的行和列值,并且合成键值,转换成按键数值0~7,最终控制8个模拟输入通道的选择。

2.1 VGA显示控制器的设计

常见的彩色显示器一般由阴极射线管(CRT)构成,彩色是由红、黄、蓝(R,G,B)三基色组成的,用逐行扫描的方式解决图像显示,其引出线共含5个信号:R,G,B三基色信号;HS;行同步信号;VS;场同步信号。

对于VGA显示器的这五个信号的时序驱动要严格遵循“VGA工业标准”,即640×480×60模式,否则会损害VGA显示器[6]。在此,控制器共有2个输入信号,6个输出信号。CLK连接到外部的晶振上,其晶振频率是50 MHz。由于VGA工业标准所要求的晶振频率是25 MHz,因此,在此控制器中首先要将时钟进行二分频。RD是一个8位的数据量,它接收从RAM读出的数据。输出信号READ用于控制RAM控制模块开启RAM的读有效信号,只要READ有变化,那么将进入读数据状态,由RD接收读出来的数据。HS和VS分别是行同步信号和场同步信号,R,G,B为三条输出的信号线。显示波形是通过改变R,G,B这三条输出信号的值来实现的[4]。

每读出一个数据,其实是对应着一个像素点。由于这里所采集的电压值范围是0~5 V,对应ADC0809转换成的数据量是0x00~0xFF,所以在设计时只要将RD接收的具体数值与显示器中的某一行相对应即可,具体实现用比较语句就可以实现行定位,同时列辅助寄存器LLV加1即可,这样即可实现连续波形。这些点连接起来就是一个完整的波形,而其中行同步和场同步信号的产生则分别由内部信号CC,LL根据已知的输入时钟,通过计数器计数的方式,达到工业标准要求的频率。

2.2 A/D转换控制器的设计[7,8]

在此设计中,是利用状态机对A/D转换进行控制的。控制ADC0809采样状态图,如图2所示。

在状态ST0中,对0809进行初始化,之后进入到状态ST1;在状态ST1中,ALE和START信号有效,这时EOC信号变为低电平,进入转换状态ST2。此时,需要对0809工作状态信号EOC进行测试,如果为低电平,表示转换没结束,仍需要停留在ST2状态中等待,直到变成高电平后才说明转换结束,在下一时钟脉冲到来时转向状态ST3。在状态ST3,由状态机向0809发出转换好的8位数据输出允许命令,这一状态周期同时可作为数据输出稳定周期,以便能在下一状态中向锁存器中锁入可靠的数据。在状态ST4,由状态机向FPGA中的锁存器发出锁存信号,将0809输出的数据进行锁存。

2.3 RAM读写控制器的设计

在该模块设计中,RAM读写控制模块又分为读控制模块、写控制模块和读写状态转换模块。写控制模块中两个输入信号分别与A/D转换控制模块的数据锁存和转换输出相连。当锁存信号使能,即发出写信号,将数据存储到外部RAM的第600个地址空间之后,再对之前的数据进行前移,以达到数据的及时更新。读控制模块的控制信号分别与写更新完毕信号和读信号相连,当写更新完毕信号使能时,只要接到读信号,则依次读完外部RAM前600个地址空间(一场)的数据。

2.4 键盘扫描控制器的设计

键盘控制模块由四个模块组成,包括:时钟分频模块、行键值输出模块、键值锁存模块和键值合成模块[9]。键值锁存模块将按下按键的行、列信息锁存,并交由键值合成模块,该模块配合行键输出模块输出的结果进行查表,最终确定键值。

3 仿真结果

Max+PlusⅡ仿真平台的图形输入方式直观,符合传统数字系统设计人员的习惯,便于进行接口的设计,容易实现仿真,便于信号的观察[10]。基于以上考虑,利用此平台,用硬件描述语言VHDL来实现各个功能模块,A/D转换控制器和VGA显示控制器模块的时序仿真结果如图3、图4所示。

4 结语

这里的数据采集控制模块主要以FPGA为基础,本着软件硬件化的思路,着重研究主控制模块的实现。由于采用FPGA作为控制处理器,其速度快,效率高,且标准的VGA接口使得系统的使用更加便捷,键盘控制的多通道间切换,也为实现多路采集奠定了基础。

参考文献

[1]马明建.数据采集与处理技术[M].西安:西安交通大学出版社,2005.

[2]叶卫东,曹照连.基于FPGA的数据采集系统设计[J].现代电子技术,2005,28(24):112-114.

[3]赵明富,李立军.EDA技术基础[M].北京:北京大学出版社,2007.

[4]潘松,黄继业.EDA技术与VHDL[M].北京:清华大学出版社,2007.

[5]曾喜芳,屈能伸.用FPGA实现终端中的显示RAM控制[J].计算机工程与科学,2001,23(4):41-42.