数据处理技术发展

数据处理技术发展（精选12篇）

数据处理技术发展 篇1

摘要：随着社会信息化的加速, 数据和数据库应用的快速增长, 数据处理的基础作用、数据处理的效率越来越受到人们的关注。针对不同应用阶段的发展, 本文就数据处理技术进行了分析比较, 对相关的新技术进行了研究, 着重总结了网络环境下数据处理的特点, 并对数据处理技术的应用与发展提出自己的观点。

关键词：信息化,数据处理,网络环境,DBMS,XML

0.数据处理的重要作用

人们将原始信息表示成数据, 称为源数据, 然后对这些源数据进行处理, 从这些原始的、无序的、难以理解的数据中抽取或推导出新的数据, 这些新的数据称为结果数据。结果数据对特定的人群来说是有价值的、有意义的, 它表示了新的信息, 可以作为某种决策的依据或用于新的推导, 这一过程通常称为数据处理或信息处理。

计算机技术的飞速发展与应用的广泛普及, 信息化浪潮的层次推进, 无论个人或组织都对信息资源的价值给予了越来越多的关注。数据管理技术及其应用作为信息资源有效开发与利用过程中的重要一环, 更是受到业内的关注。来自作为中国信息产业界的权威研究机构赛迪顾问的权威专家指出, 中国数据管理技术市场目前处于高速成长期, 尤其是BI、内容管理、企业搜索等领域受到普遍关注, 目前在我国政府、金融、电信、电子制造等重点领域和行业获得了较好的应用推广。中国数据管理技术应用软件市场高速增长, 2006年市场整体规模达到28.49亿元人民币, 比上一年增长42.1%, 已经成为软件产业发展中的热点领域;[1]

为了提高数据处理的效率, 保证信息的及时性、准确性、完整性和可靠性, 就需要科学的方法对信息和数据进行管理。随着计算机的软硬件技术的发展, 信息和数据管理的实用技术也由低级到高级、由简单到逐步完善的发展起来。

1. 数据处理技术发展的不同阶段

1.1 人工管理阶段

在此, 我们将其定义在广泛地应用计算机处理数据之前。与现在数据处理的环境相比, 人工的管理数据的局限是显而易见的, 象手工的档案管理、大工程的项目和图纸管理, 无论是对数据的修改还是查询, 其工作量是巨大的, 且存在着安全性差、占空间大、资源浪费严重等特征。

此阶段的数据管理主要体现在对业务操作流程规范的熟悉上, 对数据的处理上虽然也定义相关的数据表格, 但都是人工的操作, 其数据的准确性、规范性、共享性都得不到有效的保证。

1.2 科学计算

这一阶段, 计算机主要用于科学计算。外部存储器只有磁带、卡片和纸带等还没有磁盘等直接存取存储设备。软件只有汇编语言, 尚无数据管理方面的软件。数据处理方式基本是批处理。这个阶段的特点主要是:计算机系统不提供对用户数据的管理功能, 用户编制程序时, 必须全面考虑好相关的数据, 包括数据的定义、存储结构以及输入输出格式、存取方法等。程序和数据是一个不可分割的整体, 数据只有与相应的程序一起保存才有价值, 否则就毫无用处。所以, 所有程序的数据均不单独保存。另外, 数据不能共享, 即使不同的程序使用了相同的一组数据, 这些数据也不能共享, 程序中仍然需要各自加人这组数据, 基于这种数据的不可共享性, 必然导致程序与程序之间存在大量的重复数据, 浪费存储空间。

在此阶段, 计算机功能有限, 多用于单项数据处理, 对单位决策和组织结构的影响还是潜在的, 数据处理的工作还往往局限在个别的领域, 也只有少数人能接触到跟数据处理有关的过程, 如, 数据定义、输入、输出及汇编处理等, 数据格式因为使用汇编且要与计算机的硬件相匹配, 所以不经过专业的培训一般人很难应付。

1.3 文件系统

在这一阶段, 计算机不仅用于科学计算, 还利用在信息管理方面。随着数据量的增加, 数据的存储、检索和维护问题成为紧迫的需要, 数据结构和数据管理技术迅速发展起来。此时, 外部存储器已有磁盘、磁鼓等直接存取的存储设备。软件领域出现了操作系统和高级软件。操作系统中的文件系统是专门管理外存的数据管理软件, 文件是操作系统管理的重要资源之一。数据处理方式有批处理, 也有联机实时处理。

这个阶段的主要特点是:数据以"文件"形式可长期保存在外部存储器的磁盘上, 由于计算机的应用转向信息管理, 因此对文件要进行大量的查询、修改和插人等操作;数据的逻辑结构与物理结构有了区别, 但比较简单。程序与数据之间具有"设备独立性", 即程序只需用文件名就可与数据打交道, 不必关心数据的物理位置, 由操作系统的文件系统提供存取方法[2];文件组织已多样化, 有索引文件、链接文件和直接存取文件等。但文件之间相互独立、缺乏联系。数据之间的联系要通过程序去构造;数据不再属于某个特定的程序, 可以重复使用, 即数据面向应用。但是文件结构的设计仍然是基于特定的用途, 程序基于特定的物理结构和存取方法, 因此程序与数据结构之间的依赖关系并未根本改变。而且由于文件中只存储数据, 不存储文件记录的结构描述信息, 文件的建立、存取、查询、插人、删除、修改等所有操作, 都要用程序来实现。随着数据管理规模的扩大, 数据量急剧增加, 文件系统显露出一些不足, 由于文件之间缺乏联系, 造成每个应用程序都有对应的文件, 有可能同样的数据在多个文件中重复存储, 从而产生数据的不一致性。

但文件系统阶段是数据管理技术发展中的一个重要阶段。在这一阶段中, 特别是"数据结构"和"算法"的充分发展丰富了计算机科学, 为数据管理技术的进一步发展打下了基础。

1.4 数据库管理系统

数据管理技术进入数据库系统阶段, 系统克服了文件系统的主要缺陷, 这个阶段通过数据库管理系统 (DBMS) 来实现对数据更有效的管理。如下图所示。

概括起来, 数据库系统阶段的数据管理具有以下特点:

(1) 采用数据模型表示复杂的数据结构。数据模型不仅描述数据本身的特征, 还要描述数据之间的联系, 这种联系通过存取路径实现。通过所有存取路径表示自然的数据联系是数据库与传统文件的根本区别。这样, 数据不再面向特定的某个或多个应用, 而是面向整个应用系统。数据冗余明显减少, 实现了数据共享。

(2) 有较高的数据独立性。数据的逻辑结构与物理结构相互独立, 用户以简单的逻辑结构操作数据而无需考虑数据的物理结构。数据库的结构分成用户的局部逻辑结构 (外模式) 、数据库的整体逻辑结构 (模式) 和物理结构 (内模式) 三级[2], 由整个数据库管理系统实现数据间的映射关系。

(3) 数据库系统为用户提供了方便的用户接口。用户可以使用查询语言或终端命令操作数据库, 也可以用程序方式 (如使用高级语言和数据库语言联合编制的程序) 操作数据库。

同时, 数据库管理系统提供了数据控制功能, 数据完整性、数据库的恢复、并发控制及数据安全性等都得到了充分的保证。

数据库技术及其应用系统经历了从层次数据库、网状数据库到关系数据库以及面向对象数据库的发展, 其应用领域主要是针对商业与事务处理, 成为计算机信息系统中的重要基础和支柱[3]。而关系模型的数据库管理系统因为其简单高效的数据结构和成熟的操作算法, 在广泛的应用中占了主流, 其中, SQL Server、Oracle、Sybase、DB2等都是当前比较流行的数据库管理系统 (RDMS) 。随着各RDMS的不断完善与发展, 它们为用户的程序设计提供了良好的数据处理与开发环境。

但随着Internet的发展, 信息共享和数据交换的范围不断扩大, 社会的信息量以指数膨胀, 从而对数据处理的需求更是进了一步, 数据库技术面临着巨大的考验:

(1) 各数据库管理系统之间的异构性及其所依赖操作系统的异构性, 严重限制了信息共享和数据交换范围;

(2) 数据库技术的语义描述能力差, 大多通过技术文档表示, 很难实现数据语义的持久性和传递性, 而数据交换和信息共享都是基于语义进行的, 在异构应用数据交换时, 不利于计算机基于语义自动进行正确数据的检索与应用;

(3) 数据库属于高端应用, 需要昂贵的价格和运行环境。

所以随着Web技术的不断发展, 传统的数据库技术必须面对的重要问题就是:如何有效地存储和管理Web上的数据, 使其既能被高效地操作和维护, 同时又能在Internet不同的平台上方便地表示和交换。

1.5 XML技术

传统数据库管理技术在如何表示网络数据及传输问题上存在着一定的局限性, 人们在积极地寻找对策, 解决办法会是什么呢?XML技术的应用改善了这一局面。

XML (Extensible Mark-up Language可扩展标记语言) , 与早期大名鼎鼎的HTML出自同一个国际标准SGML (Standard Generalized Markup Language标准通用标记语言。注:SGML被完善成国际标准于1986年[4]) , SGML是一种通用的结构描述语言, 独立于任何系统、设备、语言或应用程序, 适用于电子文档交换、文档管理和文档发布, 利用它可以定义各种各样的标记语言。

使用当前的HTML (hypertext mark-up language超文本标记语言) , 在最初的Internet应用表达信息方面的确取得了成功。HTML简单易学、灵活通用的特性, 使人们发布、检索、交流信息都变得非常简单, 从而使Web成了最大的环球信息资源库。但HTML仅仅描述了Web浏览器应该如何在页面上布置文字、图形等, 并没有对Internet上最重要的东西--信息内容本身的含义进行描述, 缺少对页面数据的灵活的处理。而且HTML的标记集合是固定的, 用户不能根据自己的需要来增加有意义的标记, 同时, 由于浏览器不检查错误的HTML代码, 因此会导致Internet上包含错误的HTML语法, 另外, 开发者还必须要面对显示与处理的兼容性问题等。面对当前越来越复杂的网络数据的表示与应用, HTML中对数据的处理能力变的愈加力不从心。

HTML被称为"第一代Web语言", XML被称为"第二代Web语言", 它保留了SGML的扩展性、文件自我描述特性以及强大的文件结构化功能, 但却摒除了SGML过于庞大复杂以及不易普及化的缺点, 降低了使用复杂程度, 其卓越的性能表现在:优良的数据存储格式、可扩展性、高度结构化以及方便的网络传输。XML突破了固定的标记集合的约束, 可以根据要表现的文档, 自由地定义标记来表现具有实际意义的文档内容, 与HTML最大区别在于:HTML是一个定型的标记语言, 它用固有的标记来描述、显示网页内容, 而XML则没有固定的标记, 它不能描述网页具体的外观、内容, 这是一个本质的区别:HTML网页将数据和显示混在一起, 而XML则将数据和显示分开来。

称XML为"第二代Web语言"并不是屏弃了HTML, 实际上XML可以视作对HTML的补充, 它们的目标不同, HTML的注意力集中于数据显示外观, 而XML的设计目标是描述数据的内容。更多的注意力放在了对数据内容与结构的定义上。

那XML在数据处理技术上的优势在哪呢?

我们看到, Web上的数据与传统的数据库数据不同, 传统的数据库都有一定的数据模型, 可以根据模型来具体描述特定的数据, 而Web上的数据非常复杂, 没有特定的模型描述, 每一站点的数据都各自独立设计, 并且数据本身具有自述性和动态可变性。因而, Web上的数据具有一定的结构性, 但因自述层次的存在, 从而是一种非完全结构化的数据, 这也被称之为半结构化数据。半结构化是Web上数据的最大特点。针对这种数据半结构化的特点, 寻找一个半结构化的数据模型是解决问题的关键所在。

一般来说, 一篇数据文档包括三个要素:数据、结构以及显示方式, 传统的关系数据库处理技术将数据的结构与操作定义在模式结构中, 不同的应用系统有不同的结构, 在进行数据处理或交换时变得复杂起来。对于HTML来说, 显示方式内嵌在数据中, 这样在创建文本时, 要时时考虑输出格式, 如果因为需求不同而需要对同样的内容进行不同风格的显示时, 要从头创建一个全新的文档, 重复工作量很大。XML把文档的三要素独立开来, 数据保存在XML文档中, 通过使用DTD (Document Type Definition文档类型定义) 来描述数据, 不同的应用就能够使用共同的DTD来交换数据, 应用程序也可以使用标准的DTD来验证数据的有效性;用XSL (e Xtensible Stylesheet Language) 来描述文档该如何显示, 从而把显示格式从中独立出来, 这样如果需要改变文档的显示方式, 只要修改样式单文件就行了, 同时, 文件的内容和外观设计是完全分开的, 外观变动时, XML文件本身不受影响, 而且对信息进行搜索时, 只要对XML文件进行搜索, 就可以高效地得到自己想要的有用信息。其次, XML的自我描述性质能够很好地表现许多复杂的数据关系, 使得基于XML的应用程序可以在XML文件中准确高效地搜索相关的数据内容, 忽略其他不相关部分, 这就尽可能避开有关结构的信息, 有利于不同系统之间的信息交流, 完全适合处理分布在Web世界里的半结构数据。

XML作为一种标记语言, 它的简单、灵活、开放、可扩充等特点使XML技术自出现以来, 在许多领域内得到广泛的支持, 例如电子数据交换、电子商务等把XML作为一种基础性、支柱性的技术来看待;此外, XML还广泛应用于网络出版、内容管理以及无线应用等领域;在万维网协会和许多大型公司的促进和推动下, XML正成为网络间数据表达和交换的标准。

虽然如此, XML并不能完全替代传统的数据库技术。XML缺少作为实用的数据库所应具备的特性:高效的存储、索引和数据操作机制、严格的数据安全控制、完整的事务和数据一致性控制、并发的多用户访问控制机制等等。因此, 如何实现XML与关系数据库更好地结合, 充分地利用关系数据库成熟的技术并实现对这两种数据的统一利用将是未来数据处理技术发展的研究方向。现在的几大数据库厂商如SQL Server, Oracle9i, DB2等都对XML有一定的支持。

2. 展望

XML技术的出现, 使数据处理技术出现了从文件方式到数据库系统再到文件方式的循环, 但新的文件方式已经与最初的文件系统有了本质的区别。XML和关系数据库在数据处理方面各有优势。一方面, 我们要研究数据库的新技术、探索数据库新的发展方向;另一方面--在笔者看来可能是较重要的一方面, 那就是在现有的、技术上已经很成熟的数据库基础上, 通过更新的技术手段, 实现数据处理的更有效的管理。[5]

数据管理技术及应用已进入数据结构多元化、存储异构化的时代, 这期间的每一次技术突破都推动了数据管理技术应用的发展和创新。2007 (第五届) 中国数据管理技术应用年会的报告也指出, 在中国各行业用户应用需求意识不断提高的内部因素驱动下, 市场全面开放面临激烈竞争的外部压力下, 数据管理技术及其应用将迎来新的发展阶段。赛迪顾问预计, 中国数据管理技术应用市场规模未来5年将保持平稳增长, 年复合增长率将达到30%左右。到2011年整体市场规模有望超过100亿元人民币[1]。

伴随着整个IT业的发展与网络应用的深入, 我们相信, 数据管理技术领域将迎来新的飞跃。

参考文献

[1].赛迪顾问.数据挖掘与信息整合[N/OL]2007.4 http://www.ccidcon-sulting.com/data/report01.asp

[2].王珊萨师煊.数据库系统概论[M].高等教育出版社.2006.5

[3].邵维忠, 杨芙清.面向对象方法[M].北京:清华大学出版社.1998

[4].夏帮贵刘凡新等.XML网页制作实作教程[M].清华大学出版社.2002.12

[5].刘荣华等.Oracle数据库管理与应用系统开发[M].人民邮电出版社北京2005.10

数据处理技术发展 篇2

污泥处理技术与发展趋势

摘要：概述污泥处理传统技术与现状,介绍卫生填埋处理、焚烧处理、土地利用处理、远洋倾倒或深海抛投处理等多种污泥处理技术,并对污泥处置的新技术和发展趋势作相关介绍.作 者：朱书景 薛改凤 张垒 ZHU Shu-jing XUE Gai-feng ZHANG Lei 作者单位：武钢研究院,湖北,武汉,430080期 刊：武钢技术 Journal：WUHAN IRON AND STEEL CORPORATION TECHNOLOGY年，卷(期)：2010,48(3)分类号：X511关键词：污泥 土地利用 焚烧 卫生填埋

生活饮用水处理技术的发展 篇3

关键词：生活饮用水；饮用水处理；深化处理

中图分类号：R123 文献标识码：A 文章编号：1009-2374（2013）23-0006-03

生活饮用水主要是指人们的生活用水和食用水，通过饮水和食物经口摄入体内，并可以通过洗漱、洗涤物品或沐浴等生活用水接触皮肤或呼吸摄入人体。生活饮用水的处理则是指采用一定的物理、化学及生物方法，除去水中的悬浮物、胶体物和病原微生物等，以满足生活饮用水质的标准。在20世纪初期，关于饮用水的处理就已经形成了基本的常规工艺，即混凝→沉淀或澄清→过滤→消毒，它组成了饮用水处理技术的主要系统构架。在20世纪60年代以前，人类的生存活动对于自然环境的影响还不太明显，水中的污染物主要是悬浮物、胶体杂质和细菌等。因此该工艺作为常规的处理方法，在各类案例中几乎都可以满足净化水质达到饮用水质的标准。但随着人类文明的进步以及工业化的不断发展，人类生活、生产过程中产生的污水其受污染程度越来越严重，以至于常规的处理方法远不能达到饮用水处理的效果。因此，从20世纪七八十年代开始，可以说是水污染的严重性和污染物的复杂性加速了饮用水处理技术的进步。人们为了获得干净、卫生的饮用水，针对污染水源中不同类型的污染物展开了深入的研究和技术探索。目前，关于饮用水的处理技术或者处理环节，可以归纳为三个方面，即：强化常规处理、原水预处理和深度处理技术。其中强化常规处理工艺是指在原有的常规处理工艺上予以加强，减轻后续深化处理步骤的负担。

1 饮用水常规及预处理技术介绍

目前国内常规的处理工艺有混凝、沉淀、过滤和消毒等。除此之外，针对特殊的污染物还有不同的强化处理技术。混凝原理主要是利用混凝剂的投加，使水中不容易沉淀的悬浮物和胶体颗粒相互聚集，形成絮体矾花。常用到的混凝剂有硫酸铝和聚合氯化铝，尤其是在矿井水质中，根据对多组矿井水质做的实验表明，这种无机高分子混凝剂对于矿井水的水温及pH变化适应性很强，其去除浊度的效果相比于硫酸铝有显著的优势。沉淀则是指将混凝过程中形成的大颗粒矾花通过重力沉降的作用从水中分离出去。过滤是指利用颗粒状的滤料如石英砂等，将沉淀后水中的残留颗粒物进行截留，从而进一步去除水中的杂质，降低水的浊度。最后一个环节是消毒，它通过向水中加入液氯等消毒剂，来消灭水中的病原微生物。针对具体的处理方法，生活饮用水处理又可以分为化学方法、物理方法、生物方法和气体膜分离法等。

1.1 物理方法

1.1.1 活性炭是一种多孔炭素材料，有着巨大的比表面积和很强的吸附能力。活性炭主要应用在饮用水的预处理环节中，通常使用粉状活性炭来吸附待处理水中的有机物和异臭、异味的物质，预处理环节可以减轻后续水处理的负担。活性炭吸附是去除水中溶解性有机物的有效方法之一。对于季节性严重污染的水源，还可以设立投加粉状炭的水源水质恶化应急处理系统。活性炭在饮用水处理中的应用流程可以表示为：

1.1.2 热力法。热力法可分为高温蒸馏和低温冷冻两类处理方式。蒸馏法以消耗热能为代价，通过对含盐水进行热力脱盐达到淡化处理的效果，适用于含盐量超过3000mg/L的矿井水处理。冷冻法则是利用了冷冻分离的固液相平衡原理，在冷环境中将溶液降温到水的凝固点以下，使得部分水冻结形成冰晶，利用溶液中溶质的凝固点远低于水的凝固点的物理特性，使水先于杂质而以固体形态析出，将杂质排除在外，分离固液相。然后再融化冰晶，就得到了比较纯净的水和浓缩液。在工业水污染处理中，用此方法得到的浓缩液可以提纯成为工业用品或者集中处理，冰中的冷量可以用来预冷污水以及提供空调、冷库的冷源，融化的水比较纯净，处理后可以再利用，从而降低排放甚至达到零排放。

1.2 化学方法——臭氧技术

1.2.1 臭氧是一种很强的氧化剂，它可以通过化学氧化作用来分解水中的有机污染物。臭氧可以分解多种有机物、除臭、除色等。但是臭氧在水处理时投加量有限，不能把有机物完全分解成为水和二氧化碳，反应中产生一些中间产物仍存在于水中。经臭氧处理过的有机物增加了羧基等，其生物降解性大大提高，如不进一步处理，则容易引起微生物的繁殖。另外，在对臭氧处理过的污水进行加氯消毒时，被臭氧作用的一些中间产物容易和氯进行化学反应，生产三卤甲烷类物质，使污水的突变活性增强。因此，在饮用水处理过程中，臭氧一般不会单独使用，可以在活性炭床前设置臭氧氧化与活性炭联合使用，也可以用臭氧代替原有的预氯化。

1.2.2 针对酸性污水处理，目前最常使用的方法是用石灰石、大理石、石灰等碱性物质作为中和剂，利用化学酸碱中和方法来进行污水处理，其中尤以石灰石中合法最为普遍。石灰石中合法的处理装置有三种形式，分别是中和滚筒法、升流膨胀过滤法及曝气流化床处理方法。滚筒法是指将酸性矿井水装在滚筒中，以石灰石做中和剂进行处理的方式，滚筒出水经沉淀后可排出。升流膨胀过滤则是以直径小于3mm细小的石灰石颗粒为滤料，酸性水自滤池底部进入，使滤料膨胀，从而使中和反应沿着流线方向连续不断地进行，经沉淀后排水。曝气流床法同样是以石灰石为填料，不同的是增加了空压机曝气，当酸性污水进入流化床，与填料石灰石反应时，生产的H2CO3在曝气的作用下分解成CO2和H2O，达到中和处理的效果。其出水经过沉淀后可以排放。曝气除了能溶氧和散除CO2以外，还可以避免中和反应时产生的CaSO4和Fe（OH）3包在石灰石颗粒表面。

1.3 生物法

在一些污水预处理阶段，通常使用生物预处理工艺，借助于微生物的新陈代谢活动，将水中的氨氮、有机污染物、亚硝酸盐、铁、锰等污染物进行初步的去除，以减轻后续深度处理的负担。

常用的饮用水生物预处理方法有生物接触氧化法和淹没式生物滤池法。生物接触氧化法采用弹性填料或纤维束填料，微生物依附在填料表面，池子设置穿孔曝气管以供生物处理所需的氧气。淹没式生物滤池法则是采用陶粒填料作为生物生长的载体，在滤料下增加穿孔曝气系统供氧。水的流向多采用升流式，滤池定期进行气水反冲洗，洗去截留的悬浮物和多余的生物膜。淹没式生物滤池的优势在于填料的比表面积大、生物量高，对氨氮和有机物有着较好的处理效果，同时有过滤作用和较好的除藻功能，可承受一定的进水悬浮物浓度等，其不足之处在于建设费用要高于生物接触氧化法。

2 饮用水深度净化处理技术

2.1 膜分离法

膜分离技术在水处理中的应用有电渗析和反渗透技术，尤其是电渗法在我国煤矿系统中有较多的应用案例。电渗法主要依靠外加直流电场，利用离子交换膜对溶液中离子的选择透过性，使溶质和溶剂分离的一种物理化学过程。针对于含盐量较高的污染水源，在通过电渗析分析器处理后，可得到浓缩液和淡化水。其淡化水的量通常为污染水进水总量的50%～70%之间，可见其回收率不是很高。当进水含盐量小于4000mg/L时用此法较为经济。

反渗透法则是借助于半透膜在压力作用下进行物质分离。该方法可以有效去除污水中的低分子有机物、无机盐、病毒以及细菌等。同电渗析法比较，反渗透法的优势在于产品水回收率高、脱盐率和水的纯度高、投资费用低、无污染等，缺点是操作压力高、能耗大、设备较复杂、对进水水质要求高等。此外，膜分离技术还可以与其他处理工艺联合使用，现行的许多水处理工艺都是通过膜技术发展起来的。因此，膜分离技术在21世纪的发展中被业界广为看好。

2.2 臭氧活性炭和生物活性炭

臭氧活性炭技术是将活性炭与臭氧结合在一起加以应用。活性炭主要是用于去除水中的小分子有机物，但受污染水源中通常是大分子有机物较多，这样就导致活性炭孔的表面积不能得到充分利用。所以在碳层中加入臭氧的氧化作用，主要作用就是将水中的大分子有机物转化为小分子，改变其分子的结构形态，从而为活性炭吸附小分子有机物提供可能性。通常在处理过程中，对来水先进行臭氧氧化，然后使用活性炭吸附，在吸附的过程中继续对其氧化，这样可以有效提高活性炭的吸附效果。相对于单独的活性炭吸附处理工艺，臭氧活性炭技术主要有以下优点：（1）增加水中溶解性有机物的去除效率，提高出水水质；（2）臭氧氧化使得大孔内与炭表面的有机物得到氧化分解，减轻了活性炭的负担，从而延迟活性炭的再生周期，节约成本；（3）污水中的氨氮可以被生物转化为硝酸盐。从而减少了后续氯化的投氯量，降低了三卤甲烷的生成量。目前，臭氧活性炭处理技术广泛应用于我国一些水厂和工业水处理工艺中。

2.3 超声技术

超声技术是指利用空化能量加快和控制化学反应，提高反应效率的一种水处理工艺。超声波能加快反应进场的作用原理主要有空化效应、机械剪切效应和自由基效应等。反应中，超声能够破坏颗粒双电层的球形对称，使颗粒之间更易于凝聚；超声技术的高频振动特性在溶液中空穴附近形成热点，使进入空化泡中的水蒸气发生了分裂及链式反应，形成H和-OH自由基。同时，强大的剪切力又可使大分子主链上的碳键断裂，从而起到降解高分子的作用，自由基进入溶液促使物质氧化分解。在实践中，超声技术与一些高级氧化技术通常一起应用，在降解污染水中有机物方面是一门新的应用技术。其特点在于反应时间短、去除效果好、提高废水的可生化性、工艺设施简单等。

3 水处理技术应用案例分析

据了解在山西省某化工企业经营的项目中，针对工业生产污水，企业在2007年建立了一套简单的污水处理系统，对企业生产中的工业废水进行处理，经有关部门对出水进行指标检测，合格之后出水排入了市政管网中。但从2010年开始，企业周围的村民反映，该地区地下水位不断下降，且水质较以前有明显的恶化现象。对此，该化工企业在聘请了专家检验之后，发现工厂的用水量过大，污水处理系统有漏水的地方，导致地下水位下降并且部分水源受到污染。后经企业领导决定，在原有的污水处理设备上进一步改造，对出水的矿化度和一些离子进行深化处理，以满足国家饮用水的标准，从而解决生活饮用水资源紧张的问题。

工厂中原有的水处理系统为典型的常规处理，即混

凝→沉淀→过滤→出水。经检测出水水质中CL-、SO42-以及溶解性总固体（TDS）、总污染指数（SDI）指标超出饮用水规定。后经专家学者研究决定，污水深化处理工艺采用反渗透处理技术。反渗透水处理技术主要是利用高于溶液渗透压的作用，根据其他物质不能透过半透膜的特点而将其分离出来。反渗透技术中的膜孔非常小，仅为10A左右，反渗透膜元件在选择透过淡水的同时，其浓水侧溶解固形物浓缩，出现因浓度积大于溶解度平衡常数而在膜表面结晶析出。反渗透技术主要依靠压力来作为处理的动力，系统中其外界压力来自两台并联着的高压离心泵。在反应进行前，为了确保反渗透工艺稳定进行，要在原水进入前增加多介质过滤器装置，并且采用过滤精度为5μm的精密过滤器进行保安过滤，以保证待处理的水质符合反渗透膜的进水要求。经试验得出，待深化处理的污水原SDI值在15左右，经过多介质过滤器以及精密过滤器的处理之后，出水水质可满足反渗透进水≤5的要求。同时设备运行期间，为了延缓污堵和延长膜元件的使用寿命，在反渗透装置前设置阻垢剂加药装。其整个工艺流程步骤如下：

在污水进行深化处理前，其水中各项指标浓度依

次为：

在经过反渗透深化处理之后，出水的各项指标浓度依次为：

该系统在试运行3个月之后开始正式运行，其处理效果不仅提高了企业的经济效益，企业不用像之前那样花取高成本抽地下水使用，而且更为有价值的是处理过的水满足国家饮用水标准，可以为周围居民提供生活饮用水，解决了地区用水紧张的问题，提高了水资源的利用效率，符合国家提倡的可持续发展战略。

4 结语

目前我国的生活饮用水处理已经得到了足够的重视。随着经济建设的发展，各城市也加大了生活饮用水处理工艺上的经济投资，重点是能够全面提高水质的集成化成套安全优质饮用水净化处理工艺技术。城市生活饮用水处理工艺在今后的发展中，应将重点放在低能耗、绿色环保、多功能净水作用以及可显著提高饮用水水质的除微污染成套工艺技术上，同时重点发展高效优质除污染技术，强调技术与设备的系列化、成套化、标准化。

参考文献

[1] 张红专.饮用水处理技术研究进展[J].工业用水及废水，2011，（2）.

[2] 赖日明，黄剑明，等.饮用水处理技术现状及研究进展[J].给水排水，2012，（12）.

[3] 张闯，王吉青，等.改良矿井水作为生活饮用水的研究与应用[J].中国矿山工程，2009，（4）.

数据处理技术发展 篇4

1 海量数据发展历史与现状

在当今的信息化时代, 信息量过大已成为我国各行各业所必须面对的问题。如何在庞大的信息中寻求对企业或者个人有用的信息来推动经济的发展, 已成为我国学者所共同关注的问题。要想让信息资源真正成为一个企业的经济推动因素, 只有通过将信息与该企业的业务发展和战略的运行相结合, 假如一味注重信息的筛选而抛开企业的实际情况来研究, 不但不能提高信息的使用效率, 还会对企业的绩效产生影响。在信息技术如此发达的今天, 企业只有通过完善信息系统的设计开发来制定项目的分析决策, 才能有效应对来自国内国外市场“数据信息量严重膨胀”的压力, 为此, 数据挖掘和知识发现技术在此背景下应运而生, 并且得以持续的发展, 在国家的经济发展中显示出重要的地位, 为企业带来了不可忽视的经济利益。由于篇幅问题, 笔者在此只介绍数据挖掘的相关内涵。

数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的数据中, 提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程, 就是从存放在数据库、数据仓库或其他信息库中的大量数据中挖掘有趣知识的过程。在学术界上, 与数据挖掘相关表达还有几个:如从数据库中发现知识、数据分析、数据融合以及决策支持等。人们将原始数据比作形成知识的源泉, 挖掘数据就好像是在矿石中进行采矿一样。原始数据主要有两种类型:一是结构化的, 就如关系型数据库中的数据;二是半结构化的, 就像我们计算机上常见的文本、图形和图像数据, 另外, 分布在网络上的异构型数据也属于半结构化的原始数据。常见发现知识的方法有四种:数学、非数学、演绎和归纳等。通过发现挖掘的知识可以运用于信息管理、查询优化、决策支持和过程控制等方方面面。可见, 数据挖掘是一门综合性的学科, 对于开发数据库和数理统计员等相关工作人员的要求都比较高。

2 海量数据储存与访问问题研究

采用较为先进的数据库管理技术和大容量存储管理技术, 在满足数据查询需求的前提下, 把所需的数据细分为近期、中期和远期三个不同的阶段来进行相应的管理, 常见的做法是, 把访问时间较近和较频繁的数据存储在磁盘阵列中, 并向这部分数据提供相对告诉的访问响应;同理, 把访问时间较远和访问的次数较少的数据存储在保存成本较低并且容量较大的扩展光盘库设备中, 在保证其运行速度不受影响的前提下使系统的运行成本降到最低。为了更好的实现数据储存管理的高效工作, 系统提供了对磁盘、光盘数据的一致性访问接口, 对系统中的数据提供统一、透明的访问机制:计算机系统同时为内部管理机制创造了数据迁移, 确保数据能够从磁盘以较高的透明性迁移到光盘。

目前, 我国对海量数据的访问, 采用比较原始的做法, 由相关的技术工作人员将已经存放至磁带上的数据倒回数据库, 根据数据使用者的意愿来查找所需要的记录, 这种查询方式一般是通过手工来完成也就意味着其运行效率比较低, 对人工成本的依赖比较大。此外, 由于查询范围和时间上都受到其他因素的限制, 历史数据的作用就不太明显。不少用户就希望通过在生产系统外建立起一个独立的历史数据归档和查询系统, 借此系统把历史数据进行自动归档, 并从主机上分离出来, 减轻主机的负担。当时, 这种分离工作要确保历史数据能够单独使用, 被用户直接访问。

3 海量数据的数据库处理研究

如今, 关系型数据库在众多类型的数据库使用得最为广泛, 成为了当今数据库的主流。关系型数据库最初的推出是为了满足基于主机/终端方式的大型机的使用, 因此其应用范围也是相当有限的, 但是随着计算机产业的发展, 客户机/服务器方式逐渐普及开来, 关系数据库便进入了客户机/服务器时代, 并且其发展空间得到极大的提升。随后, 在Internet的普及应用, Internet上信息资源所表现出来的冗杂性和欠规范性, 导致关系型数据库在进入网络市场时表现得较为滞后, 在面对网络上更加庞大的文档型和多媒体型数据资源, 其管理模式显然已无法跟上步伐。直到一段时间后, 关系数据库开始不断完善其自身的发展, 并满足过去的需求上作出了一定的调整, 比方说增加数据库的面向对象成分以增加处理多种复杂数据类型的能力, 增加各种中间件 (主要包括CGI、ISAPI、ODBC、JDBC、ASP等技术) 以扩展基于Internet应用能力, 同时可以利用应用服务器解释执行各种HTML中嵌入脚本的技术, 可以解决Internet应用过程中数据库在显示、维护和HTML格式转换等一系列问题。关系型数据库已经发展为基于Internet应用的模式, 常见的类型有一种三层或四层的多层结构。基于这种多层结构的体系, 关系数据库的发展得到了极大的进步, 解决了Internet应用方面的问题, 将关系数据库稳定地应用于网上各种资源的开发与利用。我国的信息化程度将会越来越高, 相信在不久的将来会有更加完善的数据库来取代当前的关系型数据库, 在迎接新的数据库诞生的同时, 做好信息技术的竞争准备。

4 结语

海量数据技术对于我国经济和社会的发展都起到了促进作用, 同时, 为我国的日常工作带来了极大的方便, 然而, 科技进步无止境, 我们要解决好当前海量数据处理技术上存在问题, 进一步来完善他的发展。

参考文献

[1]赵浩然.论数据分区对海量数据处理的必要性[J].科学之友, 2011 (22) .

[2]周开乐, 丁帅, 胡小建.面向海量数据应用的物联网信息服务系统研究综述[J].计算机应用研究, 2012 (1) .

[3]王桂强.海量数据分析处理方法的研究[D].上海:上海交通大学, 2010.

电厂化学水处理技术发展与应用 篇5

摘要：有效的水处理是维持电厂生产工作正常进行的基本条件，为了保证电厂锅炉等热力设备的生产效率得以提高，并在此基础上改善电力生产系统的运行工况，则应注意合理选用化学水处理技术。在选用化学水处理技术时不但需要考虑电厂的实际生产状况，同时还应考虑水处理过程是否符合节能及环保要求，以便能够降低水处理成本及提高电厂的运行效益。

关键词：电厂 化学水处理技术 工艺

水处理工作伴随着科学技术的进步和国家行业的要求，仍然需要在改革中进行创新，在继承中进行发展，需要我们用科学发展的眼光、用开拓进取的思维模式、用与时俱进的工作作风进行探索和思考，在电厂化学水处理工艺中，采用全膜分离技术替代传统的离子交换处理工艺，完全满足锅炉补给水要求，而且解决了传统工艺存在的一系列问题，并消除酸碱废液对环境的污染。我国电厂水的处理还是存在很大的问题的，与先进国家相比还是存在很大差距的，在我国社会迅速发展的今天水处理已是一个需要重视的关键性的问题了，引进国外的技术来发展是一个趋势，但是成本偏高则是影响推广的重要元素，我国电厂处理已发展几十年，在有些方面已经较完善，但是，还是存在不足需要改进的。水处理的发展是稳定的，是需要进一步结合我国国情研究发展的。

一、电厂化学水处理技术的发展

水处理质量及效率可对电厂的日常生产效率产生非常重要的影响，随着电力能源需求量的不断增加，对于化学水处理效率及质量也提出了更高的要求。电厂化学水处理技术的发展趋势具有以下三种特征：水处理设备的布置趋于集中化。传统的水处理步骤较多，所采用的设备种类及处理系统也较为繁杂，这就会给水处理工作带来生产分散及管理不便等问题。目前，多数电厂的水处理流程已经得到了优化，点状、松散及平面的设备布置形式也逐渐被集中、立体及紧凑的布置形式所代替。如此一来不但能够集中管理处理设备及相应的水处理工作，同时还可以提高水处理效率与质量。水处理方式趋于节能化与环保化。在采用化学方法进行水处理时，或多或少会添加一些化学药品，随着环保观念及意识的增强，尽量使用无污染的化学药品成为了水处理技术的发展趋势之一。水处理流程趋于自动化。传统水处理系统中主要使用模拟盘对生产流程进行控制，在机械化自动控制技术不断发展的情况下，PCL自动控制技术也逐渐取代了模拟盘控制技术。

二、电厂化学水处理技术

（一）循环水处理技术。在发电厂中对循环水进行有效处理可以提高水的利用率，降低生产成本，使电厂经济效益达到最大化。同时对水进行循环使用，可以减少废水排放量，这对环境也有一定好处。现在我国许多发电厂都在大力研发稳定水质技术和冷却水循环使用技术，该技术是提高水处理技术的重点内容。我国在循环水浓度研发方面同发达国家一直存在着差距，因此当前我国发电厂在水处理上的重点就是提高冷却水的循环使用率，减少二次污染，提高经济效益。

（二）废水处理技术。我国电厂在废水处理处理技术上缺乏创新，多数发电厂在废水处理模式上都是套用宝钢电厂的技术。即先将全部废水集中到一起，然后再将废水进行分步处理。一般对于污水处理时采用PH调整、曝气氧化以及混凝澄清等工艺。但由于污水的水质较为复杂，水成分变化较大，所以采用此种处理方法进行水处理难度较大，同时在一定程度上也会影响对水的回收及再次利用。随着技术的发展，两相流固液分离技术出现在人们的视线中，并逐渐被人们应用在电厂污水处理中。利用该技术对污水进行处理时，要注意的是加药混凝要一次性完成，并且要在一组设施内连续完成絮凝、澄清、污泥浓缩等一系列过程，这样就可以使水中的杂物可以在同一设施中分离开来。该处理方法不但可以改善水质，同时也增加了废水回用率，提高了经济效益。

（三）全膜分离技术。超滤（UF）超滤膜是一种利用压力除去水中胶体、颗粒和相对分子量大的活性膜。靠压力驱动，属于多孔膜上的机械截留，分离范围为大分子物质、病毒、胶体等。而采用全膜分离技术正好克服了传统水处理技术的缺陷，具有以下优点：膜分离设备的运动部件少，设备紧凑，结构简单，维修和操作简便，容易实现自动控制。产水品质高、性能稳定、能连续生产。膜分离过程可在常温下进行，工作环境安全，无酸碱排放，无污染。膜分离效率高，耗能低，设备体积小，占地少。

（四）锅炉炉水处理技术。在发电厂中对锅炉炉水的处理一直都是采用磷酸盐对其进行处理，该技术已经处于成熟期，在全球都已经得到广泛应用。该技术在之前之所以能够得到广泛应用，主要原因就是古老的锅炉设备内壁参数较低，长时间在存在钙镁离子的水中浸泡容易形成大量污垢，如果在锅炉炉水中加入一些磷酸盐含量较高的水，那么就可以除去锅炉炉水中的钙镁离子，这样就会降低锅炉炉水的硬度。因此，利用磷酸盐较高的水对锅炉炉水进行处理，不但具有除垢效果，同时也具有较强的防腐效果。但近年来随着锅炉参数的提高，酸性腐蚀逐渐成了腐蚀锅炉的主要“力量”。现在发电厂的一些高参数锅炉水处理都使用了二级除盐法，这样可以确保锅炉炉水中不存在硬度成分，磷酸盐在水处理中的作用也由处理硬度成分转变成了对PH进行调节以及防腐。所以，近几年人们又提出了平衡磷酸盐处理以及低磷酸盐处理法。采用低磷酸盐处理方法一般要将磷酸盐的密度控制在0.4mg/L左右，由于锅炉炉水中硬度不同可以适当地对磷酸盐密度进行调整，但不论锅炉炉水硬度多高，磷酸盐的浓度都不得高于3mg/L。平衡磷酸盐处理法原理是：在炉水能进行硬度反应的前提下，最大程度降低炉水中磷酸盐的浓度。在炉水中可以有低浓度的NaOH，其作用是对炉水的PH进行调节，确保PH值在9.2-9.5之间。

三、结束语

浅谈网络数据库技术及发展 篇6

关键词：网络；数据库技术；发展

中图分类号：TP392 文献标识码：A文章编号：1007-9599 (2011) 07-0000-01

Network Database Technology and Development

Zou Lingling

(Heilongjiang Institute of Technology,Harbin150025,China)

Abstract:Current database technology is data processing and storage of computer technology the most successful and effective technology,its development is inseparable from the network drive,network database the next few years will continue to show a good development prospects,conduct electronic information services as an important resource and infrastructure.Through the network database of the technical characteristics of its application and future prospects.

Keywords:Network;Database;Development

一、网络数据库的概念

数据和资源共享技术结合在一起即成为现阶段广泛应用的网络数据库。网络数据库是这样定义：是以后台（远程）数据库为基础的，配以一定的前台（本地计算机）应用程序，通过浏览器完成数据存储、查询等操作的系统。简而言之，一个网络数据库就是用户利用浏览器作为输入接口，输入所需要的数据和事物，浏览器将这些数据和事物传送给网站，而网站再对这些数据和事物进行处理，例如，将数据存入数据库，或者对数据库进行查询操作等。最后网站将操作结果传回给浏览器，通过浏览器将结果告知用户。

网络数据库也叫Web数据库，Web技术就是促进因特网发展的重要因素之一，Web现在已经不再是局限性的提供静态信息服务的网页，而改变成动态网页，可提供交互式的信息查询服务，使信息数据库服务成为了可能，Web数据库就是将数据库技术与Web技术融合在一起，使数据库系统成为Web的重要有机组成部分，从而实现数据库与网络技术的无缝结合。它不仅充分运用了大量数据库的信息资源，而且把Web与数据库的优势集合了在一起，网络数据库由数据服务器（Database Server）、Web服务器（Web Server）、浏览器（Browser）和中间件（Middle Ware）四部分组成的，它的工作过程可以简单的描述成：用户通过浏览器端的操作界面以交互的方式经由Web服务器来访问数据库。用户向数据库提交的信息以及数据库返回给用户的信息都是以网页的形式显示。

二、网络数据库的主要技术及其特点

（一）网络数据库的主要技术。CGI（Common Cateway Interface，公共网关接口）是一种连接服务器与客户端的主要桥梁，是最早的访问数据库的解决方案，主要由c语言或Perl语言编辑。CGI程序可以建立网页与数据库之间的连接，将用户的查询要求转换成数据库的查询命令，然后将查询结果通过网页返回给用户。

ASP（ActiveX Server Page）在Web服务器端提供Script环境，是解决客户端访问的脚本文件asp，ASP技术主要有几个特点：执行效率高、简单易学、功能强大。

（二）网络数据库的特点。网络数据库是重要的电子资源，与传统的数据库相比，网络版数据库有着独特的优势，广泛受图书馆和用户的关注。它具有以下特点：

1.数据量大、信息丰富、更新速度快。由于网络数据库存储载体是硬盘，硬盘容量逐渐升级，它的存储数据的能力也逐渐增强，大型的数据库不断更新，时效性比较强。

2.具有扩展整合功能。利用超文本技术通过互联网网络数据库系统在不同的信息资源之间链接和整合，成为一个互动的整体，用户可以透过一个数据库即可迅速查到全部的信息并加以利用。

3.不受时间和地域的限制，实现异地远程检索，且检索迅速便捷。由于它的各功能都基于Web服务，因此，只要用电脑连接至Internet即可进行迅速检索、查阅。它还具有多元化的服务，操作性强，突破了单一的检索功能。

三、网络数据库的发展前景

网络数据库作为数据管理的最新技术在我国各个行业中已得到广泛的普及和应用,并大大地推动了行业的技术进步。随着计算机、通信网络与信息技术的不断发展，未来几年网络数据库将继续呈现出良好的发展势头，它所涉及的更广，社会性更强，服务内容更加大众化。同时，学术电子期刊、电子图书迅速增长，单机版与网络版数据库的发展长期并存，数据库类型逐步个性化和多元化。随着数据库迅速发展文摘型、目录型数据库向全文数据库方向发展，多介质数据库、数值数据库等比重加大，数据库已经成为信息市场的重要商品，数据库的生产规模越来越大，用户逐渐增加，产值也随着增加，行业发展趋于产业化，开放集成的数据库系统可将多个资源与各种服务整合动态的体系结构。网络数据库将更具有开放性，扩展性、整合性和动态性，扩展方式将更为灵活多样，整合技术将更为先进，整合范围和资源将更为广泛。利用网络环境的便携时效，提供在线管理是网络数据库的又一显著特征，在线管理可通过实用统计报告、事项通知、在线服务热线等实现，因此，提供并不断强化数据库的在线服务功能是未来数据库产品与服务的发展趋势。集成商和数据库开发商日益重视数据库原始文件的提供，强化数据库原文取用的方便性和及时性使得文献全文取得快捷时效。数据库结构的优化和功能的增强将是信息检索的广度和深度进一步得到提高。随着互联网的扩展和升级，网络数据库有了迅猛的发展。及时了解、探讨国外网络数据库的特点与发展趋势有助于图书馆对电子资源的评估、引进及其开发利用；同时亦可为国内网络数据库开发商提供有益的启示。

四、结语

通过网络数据库技术的不断发展，网络系统性不断增强，网络数据库作为网络发展的核心，它已成为信息市场的重要的一部分，在未来的发展中不仅可以提供数据库的所有服务，还可以直接为网络服务，以便方便而且充分地利用宝贵的数据、信息资源。所以，建立网络数据库应用程序需要数据库管理系统的使用、数据库的设计和网络应用程序的设计及开发等方面的知识。才能使网络数据库技术迅速发展。

参考文献：

[1]周艳玲.网络数据库技术应用[M].北京:机械工业出版社,2008

[2]林志英.网络数据库应用教程[M].北京:人民邮电,2004

水处理技术及水处理装备发展分析 篇7

1 水处理技术的发展

当下, 就水资源来说, 我国已有大部分城市都处于缺水状态, 而我国七大水系中, 几乎一半的河段都被严重污染。而水污染日益加重, 直接对工业生产造成严重的影响, 比如, 工业产品的质量、工业设备不断被腐蚀, 造成了严重的经济损失。面对这种情况, 污水净化问题已成为社会大众关注的焦点问题, 各种水处理技术纷纷应用到其中。因此, 本文作者对此予以了分析。

(1) 常规处理、深度处理。在污水处理中, 常规处理仍然是经常采用的方法, 是以“混凝+沉淀+过滤+消毒”为主的处理方法, 属于传统型的水处理方法。随着时代不断演变, 常规处理方法已存在一些弊端, 需要对它进行优化。在优化的过程中, 要以不同水质要求为基点, 把对应的预处理技术、深度处理技术应用到其中, 完善常规水处理方法。对于深度处理来说, 在发达国家中, 臭氧—活性炭附吸等处理技术的应用范围不断扩大。而对于我国来说, 各种深度水处理技术还处于应用研究阶段。

(2) 药剂处理、膜处理。就水处理技术来说, 药剂处理已成为谈论的重点。但在药剂处理方面, 我国并不具备对应的技术条件、经济条件。很多水厂仍然在使用液氯来进行消毒。随着发大国家高效、低毒水处理药剂的研制, 在处理工业用水的过程中, 我国已经开始向“无毒、无公害”方面靠近, 不断朝着易生物降解药剂方面发展, 实现复合型多功能药剂处理。此外, 随着科技日益发展, 膜技术已逐渐应用到水处理中, 取代了传统型的水处理技术, 发挥着至关重要的作用。对于膜处理来说, 是以特定膜的透过性能为媒介, 以滤膜机械为基础, 对水中的离子、分子、杂质进行筛分。

(3) 高效利用技术。为了有效解决水资源短缺问题, 需要从水处理的实际情况出发, 不断优化水处理技术, 比如, 水资源循环利用技术、废水回收利用技术。以此, 来提高水资源的利用率, 缓解日益加重的水危机。同时, 能够在满足可持续发展要求的前提下, 保护生态环境, 实现对应的生态效益。

(4) 水质工程学科的创建。就水处理来说, 一系列相关因素严重制约着水处理技术水平的提高。针对这方面, 需要创建对应的水质工程学科, 融入水、水质处理的理论概念。并以该学科为基础, 进行一系列深入研究, 解决水质处理问题, 为完善水处理技术提供有力的支撑力量, 使我国的水工业发生质的转变。

2 水处理装备的发展

(1) 新型过滤器结构的推出。随着各种水处理技术应运而生, 水处理装备也得到更新。以水过滤器结构来说, 各种新型过滤器应用到其中。比如, 以GR系列高效能过滤器为例, 它是徐州电力勘察设计院研制的。该过滤器具有很多优点, 比如, 结构简单、易于操作。比如, 以LLY型高效过滤器为例, 和传统型过滤器相比, 滤速、载污容量都得到了极大地提高。同时, 还具有一些其它方面的功能, 比如, 具有很好的除污、除Fe等效果。更为重要的是, 对那些严重污染的水质也能起到很好的净化效果。

(2) 新型脱气装置、多功能设备的发展。对于脱气装置来说, 能够有效地脱除水中的有害气体。该装置也是水处理系统的核心部分, 远远优于常规类型的水处理装置, 比如, 二氧化碳器具。在新型脱气装置研制过程中, 出现了一系列的冷法除氧器、热力除氧器, 比如, 组合形式的过滤除氧器、水膜形式的除氧器。就强力脱二氧化碳装置来说, 它是在充分利用旋流器原理的基础上, 分离气液, 具有很好的净化效果。此外, 多功能设备也逐渐应用到水处理中, 能够简化水处理装备的系统结构、简化操作流程。以LD系列的多功能离子交换器为例, 它具有多样化的功能, 比如, 能够有效降低水中的含盐量。对于这种离子交换器来说, 它比较适合处理那些硬度、碱度较高的水源水质。同时, 它在工业锅炉水处理方面的应用较多, 能够有效改善锅炉的水气质量, 减少污垢的排放量。

(3) 需要不断推广反渗透水处理技术。简单来说, 反渗透技术属于膜法水处理技术, 主要是对压力差的充分应用。它能够有效去除水中的各种杂质。同时, 高效、零污染、节能是其显著特征。首先, 在水处理中, 反渗透技术的应用能够实现自动化、连续化操作, 减轻操作人员的复杂, 提高工作效率。分渗透技术可以减少化学药品的使用量, 降低对环境的污染程度。其次, 在技术可行性方面, 在60年代中期, 我国就已经开始研制反渗透技术。随后, 各个地区还建立了一些专门的水处理公司, 比如, 专门从事反渗透系统设计, 各种反渗透水处理装置不断出现。最后, 在价格方面, 分渗透技术的不断改进, 价格也不断下降, 具有一定的经济性。表1为二级化学除盐系统、反渗透离子交换系统成本。

3 结语

总而言之, 就水处理技术、水处理装备发展来说, 还需要进一步完善, 但终将会走上长远的发展道路。以反渗透水处理技术来说, 会逐渐向物理法水处理方面发展, 使化学处理法、物理处理法相融合, 比如, 连续除离子技术。随着水处理技术、水处理装备日益完善, 淡水资源危机也会有所缓解, 极大地提高水质, 不断提高工业生产的经济效益。

参考文献

[1]马本秀.水处理技术与水处理装备的发展探究[J].能源与节能, 2014 (03) :108-109.

[2]施明才.反渗透水处理技术及其应用趋势研究[J].地球, 2015 (07) :467-467.

[3]刘秋改.工业水处理技术的发展概况与技术进步[J].机械管理开发, 2002 (02) :50-51.

大数据关键技术及发展 篇8

随着互联网、物联网、云计算、三网融合等IT与通信新技术的迅速发展,人类社会的数据规模和种类正以史无前例的速度扩张,大数据时代正式来临。大数据规模大、类型多样、生成快速,且具有潜在价值,对科技进步和人类社会发展具有重大意义。

1 大数据概念

目前,虽然大数据的重要性已经得到各界的一致认同,但大数据是一个比较抽象的概念,关于大数据的定义尚未形成统一定论。一般意义上,大数据是指无法在有限时间内用传统IT技术和软硬件工具对其进行感知、获取、管理、处理和服务的数据集合[1]。具体定义有:1全球最大的电子商务公司亚马逊的大数据科学家John Rauser认为:大数据是任何超过了一台计算机处理能力的数据量[2];2Informatica中国区首席产品顾问但彬认为:“大数据”是“海量数据”+复杂类型的数据[3];3维基百科将大数据定义为:利用常用软件工具来获取、管理和处理数据所耗时间超过可容忍时间的数据集[4];4全球著名咨询机构麦肯锡公司在报告《Big data:The next frontier for innovation,competition,and productivity》中给出的大数据定义是:大数据是指其大小超出常规的数据库工具获取、存储、管理和分析能力的数据集[2]。但同时也指出,所谓的大数据,并不是说其数据集要一定超过特定TB值;5IDC(国际数据公司)在发布的报告中将大数据定义为:大数据技术描述了新一代的技术和架构体系,通过高速采集、发现或分析,提取各种各样的大量数据的经济价值[2]。

第5种定义中总结了大数据的4V特征:

(1)Volume(体量浩大)。在数据爆炸时代,数据单位已无法用传统的TB来衡量,而是用PB、EB或者ZB作为大数据的计量单位。导致数据激增的原因很多,主要是互联网络的广泛使用使人类快速进入信息时代,数据疯狂增长,必然使得数据处理量显著增多。

(2)Variety(类型繁多)。以往的数据尽管体量巨大,但一般都是比较容易处理的结构化数据。当前,随着互联网络与传感器的飞速发展,不仅包含传统的结构化数据,还包括音频、视频、网页、文本等半结构和非结构化数据。

(3)Velocity(生成快速)。数据量的疯狂增长,使得数据处理的速度加快,这也是大数据区别于以往海量数据处理的重要特征。面临各种信息,如何把握数据的时效性,快速地从各种数据类型中获取高价值的信息,是大数据时代处理的基本要求。

(4)Value(价值巨大但密度很低)。大数据为了获得事物的全部细节,会直接采用原始数据,导致存在大量的无用信息,使得人们获取有用信息的难度加大,就像沙子淘金。

目前,对于大数据的4V定义是目前较为统一的认识。其特有的4种特征使得大数据的概念与以往“海量数据”和“超大规模数据”有着本质区别,除了用来描述数据之“大”,还指出了大数据的意义和必要性,即如何从体量巨大、类型繁多、生成快速的数据集中挖掘价值。

2 大数据研究现状

尽管大数据的概念没有一个统一的定论,但并不影响各领域对大数据的研究。国际上,就学术界而言,《Nature》于2008年推出“big data”专刊,从互联网技术、超级计算、生物医学等方面对大数据进行了研究[5];《Science》于2011年推出专刊“Dealing with data”,讨论了大数据时代所面临的机遇与挑战及大数据研究的重要性[6];欧洲信息学与数学研究协会会刊ERCIM News于2012年4月推出专刊“Big Data”,讨论了大数据时代下关于数据管理、数据密集型研究的创新技术等问题[7]。就IT产业界而言,IBM、Google、亚马逊、Facebook等国际知名企业相继推出了各自的大数据产品,为企业赢得了巨大的经济效益,是大数据的主要推动者。就政府方面,美国于2012年3月公布了旨在提高和改进人们从海量信息数据中获取信息能力的“大数据研发计划”,并认为其是“未来发展的新石油”[8]。在此之后,英国、日本及欧盟等国家也积极研究和发展大数据并有了相应的战略举措。纵观国际形势,对大数据的研究与应用已成为各国政府和企业的研究重点及重要战略布局方向,在未来世界,竞争核心必将转为大数据的竞争。

客观来讲,国内大数据的研究水平与国外尚存在一定差距。在学术界,香山科学会议在2012年5月组织的主题为“大数据科学与工程———一门新兴的交叉学科”的会议中,通过对大数据关系网络的研究而全面地研究了大数据[9]。中国计算机学会青年计算机科技论坛(CCF YOC-SEF)在2012年6月举办了学术报告会“大数据时代,智谋未来”[8],会议中分别就大数据时代的数据挖掘、大数据体系架构理论、大数据基础、大数据安全、大数据平台开发和大数据现实案例应用,分层次展开了讨论。在IT产业界,国内企业百度、阿里巴巴、腾讯等已从不同角度进行数据挖掘,以此改善自身服务,创造更大的商业价值,成为国内大数据企业的代表。政府方面,我国于2012年批复了总投资额为几百亿的“十二·五国家政务信息化建设工程规划”,且同年国务院在广东、上海、北京等地启动了大数据研发进程,构建了大数据产业链,以此来推动商业企业加快信息基础设施演进升级。2014年下半年起,总理李克强也屡次提出了“大数据观”,提倡在疾病防治、灾害预防、社会保障、电子政务等领域开展大数据应用示范[10]。

目前,大数据已在通信、医疗、农业、金融、气象、交通等方面广泛应用,并带来了巨大的社会价值和产业空间。总体而言,大数据背后隐藏着巨大价值,使得大数据研究成为社会发展和技术进步的迫切需要。

3 大数据关键技术

为了高效实时地处理巨大的数据问题,大数据技术的发展应运而生。所谓大数据技术,即针对数据集合来进行一系列收集、存储、管理、处理、分析、共享和可视化等操作的技术[11]。目前,大数据技术涉及大数据采集、大数据存储与管理、大数据计算模式与系统、大数据分析与挖掘和大数据隐私与安全等方面[12,13,14]。

3.1 大数据采集

大数据具有规模大和数据源多样化等特点,为获取高质量数据,可将大数据采集过程分为数据清洗、数据转换和数据集成3个环节。数据清洗是指通过检测除去数据中的明显错误和不一致来达到减少人工干预和用户编程量的目的;数据转换是指按照已经设计好的规则对清洗后的数据进行转换来达到统一异构数据格式的目的;数据集成是指为后继流程提供统一且高质量的数据集合来达到解决“信息孤岛”现象的目的。目前常用的数据采集方法有传感器收取、手机电子渠道、传统搜索引擎如百度和谷歌等,以及条形码技术等。

3.2 大数据存储与管理

针对大数据的规模性,为了降低存储成本,并行地处理数据,提高数据处理能力,采用分布式数据存储管理技术,主要存储模式为冗余存储模式,即将文件块复制存储在几个不同的存储节点上。比较有名的分布式存储技术是Google的GFS[15](google File System)和Hadoop的HDFS[16](Hadoop Distributed File System),其中,HDFS是GFS的开源实现。为了达到方便管理数据的目的,大数据不再采用传统的单表数据存储结构,而是采用由多维表组成的按列存储的分布式实时数据管理系统来组织和管理数据,比较有代表性的是Google的Big Table和Hadoop的HBase,其中,Big Table基于GFS,HBase基于HDFS。

3.3 大数据计算模式与系统

大数据计算模式指根据大数据的不同数据特征和计算特征,从多样性的大数据计算问题和需求中提炼并建立的各种高层抽象或模型[17]。大数据计算模式多而复杂,比如流式计算、批处理计算、迭代计算和图计算等[13],其中,由于批处理计算的MapReduce技术具有扩展性和可用性,适合海量且多种类型数据的混合处理,因此,大数据计算通常采用此技术。MapReduce[18,19]采用“分而治之”的思想,首先将一个大而重的数据任务分解为一系列小而轻且相互独立的子任务,然后将这些子任务分发到平台的各节点并行执行,最后将各节点的执行结果汇总得到最终结果,完成对海量数据的并行计算。

3.4 大数据分析与挖掘

为了从体量巨大、类型繁多、生成快速的大数据集中寻找出更高的价值,需要大数据分析与挖掘技术帮助理解数据的语义,来提高数据的质量和可信度。由于大数据时代数据的复杂特征,传统的数据分析技术如数据挖掘、机器学习、统计分析已无法满足大数据分析需求,有待进一步研究改进。目前,关键的大数据分析和挖掘技术是云计算技术[20]和可视化技术[21]。云计算技术中的分布式文件系统为大数据底层存储架构提供支撑,基于分布式文件系统构建的分布式数据库通过快捷管理数据的方式来提高数据的访问速度,同时,通过各种并行分析技术在一个开源平台上处理复杂数据,最终通过采用各种可视化技术将数据处理结果直观清晰地呈现出来,帮助用户更简单方便地从复杂的数据中得到新的发现和收获。

3.5 大数据与隐私安全

大数据潜在的巨大价值,吸引着无数潜在的攻击者,同时在社交网络的快速发展下,人们的隐私安全更是受到威胁,甚至影响到国家安全。鉴于此,各界人士着手大数据安全与隐私保护技术研究并取得了一定成果。现有的大数据安全与隐私保护技术有能对数据所有者进行匿名化的数据发布匿名保护技术、能隐藏用户信息和用户间关系的社交网络匿名保护技术、能确定数据来源的数据溯源技术、能够实现用户授权和简化权限管理的角色挖掘技术和将标识信息嵌入数据载体内部的数据水印技术等[22,23]。

4 大数据面临的问题及应对策略

随着大数据研究的深入,其将面临各种问题,如何解决这些问题是大数据面临的进一步挑战和机遇。目前,大数据研究中面临的主要问题如下:

(1)数据采集问题。数据全部采用原始数据,存在大量无用或者直接错误的信息,使得在众多量大且种类繁多的数据中进行数据清洗,数据转换工作变得繁琐,数据采集效率低下。同时,在采集过程中可能会因为进行访问和操作的用户人数过多使得并发的访问量在峰值时达到上百万,进而使得采集端需要部署大量的数据库作为支撑。

(2)数据存储问题。数据量的不断增大以及数据类型的多样性,要求数据存储设备必须具备很强的扩展性和可用性。然而,目前针对类型复杂的数据如视频、音频等半结构化数据和非结构化数据还无法实现有效存储,其存储能力极差,远远不及数据增长能力。

(3)数据处理问题。数据规模的不断增大,使得数据分析处理的能力减弱,不满足大数据时代对信息处理的时效性。同时,数据格式的不同使得数据分析处理的方法不同,给大数据时代对信息的处理带来了一定挑战。

(4)数据安全问题。尽管已有相关安全技术来保护数据的安全性,但数据泄露问题仍然不可避免,存在很大安全隐患。同时,随着潜在攻击者的不断钻研探索,其技术水平的不断提高也将对数据安全造成很大威胁。

(5)人才匮乏问题。大数据知识涉及面广,对人才的要求高,基本包含各领域的高级专业人才。2014年12月,在我国大数据产业发展调查中有专家表示,我国大数据行业不但缺乏高端人才,而且缺乏从事基础性工作的人才。由此可见,在未来发展中,大数据人才紧缺问题会尤为突出。

解决大数据研究中的问题,需采取以下应对策略:1注重人才培养,为适应大数据时代提供创新型复合型优秀专业人员,进一步完善大数据人才体系;2注重大数据基础科学研究,建立科研平台,形成大数据共享联盟,吸引各界人才积极参与进来,共同为大数据研究提供理论支持和技术支持;3注重新技术研发,积极探索研究大数据领域中的新型技术从而保障信息安全,巩固国家安全保障体系;4注重健全法律体系,针对大数据领域设立特有法律,通过法律效力来保障大数据研究中遇到的相关问题。

5 结语

大数据时代的来临给人们的世界带来了巨大变化,大数据已经成为当今各领域研究的热点,大数据技术的发展也使得人们的生活更加便捷优质。但其同时也带来了诸多问题,尽管已经有相应措施,但不够完善,还待进一步深入研究解决。在对大数据的不断探索研究下,未来大数据必将带来更多价值。

摘要：在介绍大数据基本概念及特征的基础上,分析了大数据国内外研究现状及大数据技术,并针对大数据面临的相关问题提出了应对策略。最后,对大数据技术发展进行了总结与展望。

数据处理技术发展 篇9

智能电网是以特高压电网为骨干网架、各电压等级电网协调发展的电网为基础, 将现代先进的控制技术、通讯技术、传感测量技术、计算机技术、信息技术与物理电网高度集成而形成的新型电网。它具备能够监测电网所有设备的状态、控制电网所有设备的状态、完全自动可自适应并实现自愈和系统综合优化平衡 (发电、输配电和用电之间的优化平衡) 等优点, 从而使电力系统更加高效、清洁、安全。对电网发电、运行、传输和配电等各环节的实时监控和数据的反馈处理, 有效提高系统的可靠性和稳定性。

2 现代的大数据技术

2.1 大数据技术

大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。大数据技术是由多领域、多学科结合形成的一门综合性技术, 也是一种新型的思维方式。大数据技术的意义不在于掌握了庞大的数据信息, 而在于对这些意义重大的数据进行专业化处理, 使其在生产、生活中发挥作用。大数据需要特殊的技术来处理大量的容忍经过时间内的数据。大规模并行处理数据库、数据挖掘电网、分布式文件系统、云计算平台、分布式数据库、可扩展的存储系统都是适应于大数据处理的技术。

2.2 云计算技术

云计算中的“云”是网络、互联网的一种比喻说法, 云计算是基于互联网相关服务的增加、使用和交付模式, 通过互联网来提供动态易扩展且常是虚拟化的资源。大数据必须采用分布式架构, 其特点在于对海量数据进行分布式数据挖掘, 但这个过程必须依托云计算的分布式处理、分布式数据库、虚拟化技术。云计算在智能电网中作用巨大, 特别是在电力设备状态监测数据方面表现突出, 状态监测数据不但包括时序数据和视频还包括设备的实验数据、缺陷记录等多方面数据, 数据量巨大, 且实际运行中对其可靠性和实时性要求极高。而云计算借助分布式存储技术、虚拟化技术较好地解决了这一问题。

3 大数据在智能电网中运行和调度上发挥的作用

电网中的数据分为电力企业营销数据、电网运行和设备检测数据、电力企业管理数据三类, 这些数据按照内部机构可以细分为结构化数据和非结构化数据。在智能电网中, 非结构化数据占到了绝大部分, 这部分数据增长迅速且无法用数据库二维逻辑来表示出来, 它主要包括图像处理和视频监控产生的数据。分布式数据及服务总线可以将多个调度中心有机的结合起来, 并最终汇集到监控平台上, 进而对分布式海量数据进行动态分析计算。调度中心均由实时监控与预警、安全校核、调度管理和调集计划四个应用系统组成, 调度中心之间通过数据服务总线和访问接口进行数据实时交互分享。调度中心在调配资源的过程中, 可以利用集成计算机引擎对网络资源在大区域范围内进行搜索, 从分布式海量数据存储系统中提取实时数据库、关系数据库和文件系统等数据信息。整个大数据分析平台各部分功能组件的有机结合是通过分布式数据服务总线这一核心数据通信通道完成的, 从而形成一个虚拟数据资源, 能对平台不同的物理单元进行统一调配, 从而使电网能调度各功能单元数据的相互访问和实时共享, 使电网的调度工作更加高效、可靠, 运行。

3.1 智能电网中大数据的成因

(1) 为了达到实时准确获取设备运行信息的目的, 对采集点的要求越来越多, 通常自动化系统中便有几十万个采集点, 而数据中心数据将达到百万甚至千万级。这些数据通过设备传感器, 经由变电站的数据收集服务器上传到数据中心, 形成一个物联网。

(2) 为了满足上层应用系统的各种需求, 设备的采样频率学要不断提高, 以捕获各种状态下的不同信息, 通常一些信号的采样频率在100KHz以上, 这样的高频率需要电网设备的监控平台能存储庞大的监测和检测到的实时数据。

(3) 为了真实而完整的记录下电网生产、运行的各个细节流程, 需要实时变化采样, 因此大数据会产生于电力系统的每一个环节, 可能是发电侧、输变电侧、用电侧。

3.2 智能电网中大数据的特点

(1) 数据体量十分庞大。从TB级别跃升到PB级别。

(2) 数据类型杂乱繁多。电网数据分布广泛, 种类繁多, 它包括文本数据、多媒体数据、实时数据、时间序列数据、历史数据等各类数据。这些数据又细分为结构化数据和非结构化数据, 且各种数据的查找与处理的频度又都不相同。

(3) 处理速度要快。要在几毫秒内对不同的海量数据进行分析处理, 给出意见以指导决策的制定, 对于在线状态数据的处理要求远高于离线状态数据。

(4) 数据质量要高。对于智能电网中的数据处理, 数据质量要达到一定要求, 数据要真实可靠, 这对数据分析结果的正确性有着决定性作用。

4 对智能电网中大数据的研究

与传统的数据研究方法相比, 大数据的研究方法称得上革命性的改变, 它为数据处理和分析提供了新的方法和思路。大数据处理方法主要适用于处理数据量巨大、实时性高、非结构化数据、数据类型多样等数据。与电力系统传统的基于数据计算分析的研究方法相比, 智能电网大数据的研究方法有很大不同, 而且在研究的过程和解决问题的方法上也存在很大不同。传统的数据分析是基于抽样数据, 而大数据的分析方法则是尽可能采用更多的数据;传统的数据分析是基于一个部门或特定单位的数据, 而大数据的分析则是采用跨部门、跨专业等多维度的数据。智能电网的大数据研究过程是:

(1) 科学假设, 根据相关的知识经验, 参照分析数据的结果, 合理提出假设;

(2) 获取并整合数据资源, 提出数据获取与整合的方案, 建立数据模型;

(3) 分析数据, 香瓜领域专家、学者, 运用专业的算法和科学的分析方法深挖数据, 分析数据;

(4) 科学实验, 合理科学的运用实验分析数据结果的合理性;

(5) 分析结果, 对得出的数据结果进行合理的分析。

摘要：本文简单介绍了现代的大数据技术, 并从智能电网、智能电网中大数据的特点及应用、大数据在智能电网运行和调度上发挥的作用, 智能电网中大数据的发展研究等方面进行了研究和探讨。

关键词：智能电网,大数据,应用,云计算

参考文献

[1]刘振亚.智能电网[M].北京:中国电力出版社, 2010.

数据处理技术发展 篇10

1 数据驱动下对图像进行表达与分析

众所周知, 互联网中包含的图像数据和信息非常多, 并且大多信息没有顺序, 多数信息的质量也不高, 还夹杂着大量没有相关性的信息, 给用户寻找所需信息增加了难度。因此, 急需一种智能图像理解方法, 以便从繁杂的图像中提取和分析视觉内容, 从而对提取出的有效视觉内容进行处理。

1.1 图像内容的表达方法

一直以来, 对图像内容进行有效抽取和表达都是相关技术人员积极探索的问题。为了使提取出的内容有紧凑的效果, 且将图像描述和表达地更加精准, 相关技术人员都在针对鲁棒效应进行探索。针对提取图像这一方面, 相关技术人员先后探索出GIST特征描述方法、基于直方图对比度方法、基于区域对比度的显著性提取方法。其中, 第一种方法主要从图像的颜色和梯度分布等特征的角度对整个图像进行描述, 第二种方法主要利用视觉显著性区域对图像进行描述, 而第三种方法将视觉显著性与空间关系相结合, 主要用于提取出对象外形轮廓, 准确性更高, 且具有自动提取的功能。如今, 由于研究人员的不断主动探索, 研究人员Hu探索出一种新的图像结构表达方法, 即片网。这种结构表达方法可将某一区域用具有代表性的片进行标示, 进而将这些区域用某种方式联系起来, 形成层次结构, 最终实现对整个图像的描述。片网的结构如图1所示。

1.2 数据驱动的图像内容分析

以数据驱动方法为工具, 针对传统的图像内容分析问题, 取得了较大进展。其中, 成就最大的是算法性能。例如, 研究人员通过探索发现, 可利用三维模型库将二维图像做出并形成对比, 对比内容包括形状与结构, 从而达到对图像深度信息进行估算的效果。与此同时, 分析图像库中的物体形状和外观特征也非常必要。针对这一问题可采用科学的方法, 如在数据集中应用机器学习的方法。该种方法可提高对象的分析能力, 也可对同类物体所有外形特征的子空间进行学习, 从而将其内在视觉属性更精准地刻画出来, 且这种方法不受物体发生变形的影响。在这个互联网图像技术极其发达的年代, 相关技术人员逐渐将注意力转移到理解用户意图方面。因此, 手绘草图的方法应运而生。这不但可以很好地理解用户意图, 而且很大程度上提高了草图交互方法的智能性。

近几年, 图像内容的表达和分析方法已有很大进展, 打破了传统方法中的禁锢, 将重点转移至对图像语义内容的智能提取和对图像库中图像结构、关系的挖掘。然而, 这种方法仍受到目前科学技术水平的限制, 运行时分析效率不高。因此, 仍需要相关技术人员不断地挖掘和探索。

2 获取图像内容

2.1 对图像进行检索

对图像进行检索, 使用的方法大多与图片颜色、纹理和梯度有关。例如, 支持向量机的机器学习方法。从图像检索方法横空出世至今, 图像检索方法二十年的时间内取得了非常大的进展。例如, 1995年出现的多尺度图像检索方法, 后来改进的倒排索引结构, 2006年的视觉词汇树结构以及后来视觉等级方法等。如今, 随着互联网技术的发展, 有关研究人员提出交互图像搜索框架。该种方法操作起来非常简便, 用户只需将图片移动到检索范围内即可。搜索系统可根据不完整的局部信息提取物体整体轮廓, 从而根据物体轮廓在数据库中进行检索。

2.2 将图像对象进行匹配

一般而言, 互联网中的图像信息繁多, 其中不乏相似度非常高的图像。而从海量的图像中准确将图像进行匹配, 难度相当大, 这也是图形学与计算机视觉领域极其重视的问题。针对背景较简单且对象简易的图像, 匹配方法大多以对象的外形轮廓相似性为基础。运用频率最高的方法是上下文方法。这种方法运用采样和二分图匹配算法的方法, 首先需要在该对象的外形轮廓上采样, 并对其周围的采样点分布情况进行统计;而后采用二分图匹配算法, 将其中两个采样点进行最优匹配, 从而得出这两个点的相似度。而针对背景较复杂的图像, 通常运用层级过滤机制。该种机制综合考虑对象外形轮廓、内容以及视觉显著性, 考察其一致性, 从而对与输入对象的相似处进行提取。近几年, 有关技术人员提出非监督互联网图像物体联合提取方法。这种方法通过图像搜索引擎对用户输入的关键词进行搜索, 然后从图像库中对其稠密对应关系信息进行提取, 并根据输入关键词的语义提取前景物体。如今的匹配方法更加精确, 因为该种方法加入了一种新的手段, 可将物体对象的形状信息划分为不同小组, 并结合互联网对图像物体进行提取和匹配, 从而为数据驱动的图像编辑应用提供多样化的图像内容。

面对繁杂多样的数据图像信息, 内容检索和对象匹配均是非常重要的部分。一方面可为图像的合成提供更准确的素材, 另一方面大大降低用户交互的复杂性。其中, 内容检索主要依据输入关键词语义进行, 对象匹配主要在用户交互的基础上根据关键词语义进行。

3 数据驱动的图像智能编辑

3.1 与图像智能编辑相关的基础技术

数据驱动的图像智能处理用到的基本技术包括许多, 其中包括上文介绍过的图像内容自动提取技术和匹配技术, 还包括友好的人机交互方式。正是由于综合了这几种基本技术, 才能依据用户输入的关键词推测出用户意图, 并精准将图像中的对象提取出来。

3.2 数据驱动的图像合成

数据驱动图像处理的核心在于图像合成环节, 而图像合成环节大致可分为两大类。这两类的主要区别在于作为基础的对象不同。一类以物体对象为基础, 一类以区域一致性为基础。其中, 第一类合成方法主要从数据库中提取对象用于合成图像, 第二类合成方法主要从数据库中提取部分区域与用户输入的图像进行一致性合成。

4 结语

纵观图像处理技术的发展过程, 在相关技术人员的努力钻研下, 我国的图像处理技术不断得到提升。如今, 互联网技术更新速度非常快, 用户对数据驱动下的图像处理要求逐渐提高。在这个大数据时代, 应适应潮流的发展, 将图像技术与互联网技术结合, 将智能化灵活运用于图像处理技术中。

摘要：本文论述对数据驱动下的图像进行表达和分析, 简要分析图像内容获取的两个步骤, 分析数据驱动的图像智能编辑, 希望为我国图像智能处理技术的提升做出贡献。

关键词：数据驱动,图像处理,智能处理技术

参考文献

[1]汪淼, 张方略, 胡事民.数据驱动的图像智能分析和处理综述[J].计算机辅助设计与图形学学报, 2015, (11) :2015-2024.

浅谈电力土建地基处理技术的发展 篇11

广东天联电力设计有限公司 广东广州 510000

摘要：近些年来，随着我国电力事业的不断发展，很多的土建地基工程处理技术不断的发生着变化，同时我国在电力技术处理方面的运用已经达到了国际水平，因此做好电力土建技术成为我国建筑师们的追求。电力土建的发展方向是，合理化、科学化、节约化，同时可以将理论运用到实践中去，能够确保人工地基桩选择的正确运用，本文从这个角度出发，重点阐述了科学技术在我国电力建设方面的应用和发展。

关键词：电力土建；地基处理；发展趋势

在我国，电力土建地基处理技术是一项实践性非常强的技术，在我国的应用十分广泛，由于是近些年随着我国建筑行业的不断发展，我国的电力土建技术取得了一定的成果，产生了许多新兴的技术，比如高能量强夯处理技术，就是我国的一项重要的成果技术，比如采用大功率的碎石机进行大石之间的碎石技术，已经达到了国际的水平，而对于地基造价的提高，很多的国际技术已经不能适应当前建筑行业的发展，因此，采用国外的先进的技术，结合我国的现实情况，进行电力建设技术的发展是我国的必行之路，具有十分重要的作用。对于电力土建技术来说，这是一个重要的课题。本文从这个角度出发，重点阐述了我国的电力土建技术的重要指导作用以及未来的发展趋势。

1、电力土建地基处理桩基选择

从当前的技术条件来看，任何一种人工地基桩的作用都会有一定的限制。因此，应该对同一种地基做出多种处理方案，综合更多方面的情况进行对比和筛选，争取找到既体现技术含量，又能够做到节约环保的土建地基处理方案。

1.1人工地基处理深度的正确选择

变形、控制这一原则，是人工地基深度选择的设计思想。如果大型建筑的计算变形值的计算结果超过15cm，那么就必须结合人工地基处理方案加以严要求的设计及施工。因为深度与工程投资成正比，为了避免资产的低效，原料的浪费，处理的深度必须限制在一定的范围内，不应当太深，合理的范围是地基的變形值在5cm～7cm之间。这样有利于节约资金，也可以使得工程符合技术要求。

1.2人工地基和天然地基区别

采用天然地基的情况是：压缩层范围内的土层比较均匀并且计算变形值在14cm～19cm之间。当低压缩性下卧土层出现在基础底面上l0cm左右处的时候，就必须比较人工地基的实施效果同天然地基的比较。根据以往经验，在这样的情况下，相对于天然地基，采用人工地基短桩处理有节约、速度快、高质量等优势。

1.3选择正确的人工地基桩类型

在我国有丰富的材料和廉价的劳动力，我们可以根据实际选择桩型。①10cm以下的地基处理深度，地基下无地下水的情况下，水泥土夯实桩是首要选择，再用强夯处理法继续处理地基。②有地下水，深度在10cm～20cm之间的地基，必须避免地基的液化，然后用振冲碎石桩处理。水泥搅拌桩振冲桩，与此同时用压力混凝土灌注桩，可提高地基强度，减少地基发生变形。③深度在40cm～60cm之间的地基采用钢筋混凝土灌注桩的方法进行巩固处理。④深度在60cm以上的地基就必须用钢管桩或者H型的钢柱对地基进行巩固。这种方法使用较少，因为费用太大。

2、复合地基理论是重要指导

复合地基理虽然是近几年的新理论，但它的处理技术和设计思想已经排在世界的前列。桩间土的承载能力是首先考虑的因素，必须全面而充分地利用这一因素，必要时可用桩来分担那些不够的部分，具体做法是：把一层砂性土褥垫加在桩的顶部，这样可将其承载能力提升9O%，承载能力问题迎刃而解，还避免了资源的浪费。

2.1确保地基负荷可被桩与土共同承担

与桩之间的土相比，桩能产生的沉降量比较小。褥垫会使桩在压密的过程当中刺进垫层。这样建筑工程上部荷载量将桩的承载力发挥延后。这样桩得到了充分的保护。

2.2垫层褥的重要作用

垫层的厚度可以有效地分担和调整桩和土之间的水平方向承受的负载。如果垫层的厚度比较大时桩顶和桩间土表面上的作用力差别不大，桩只在总面积的一小部分上承受压力。因此桩顶承受的水平压力减少了。造成这种情况的原因是，桩间土承担主要水平的荷载力，褥垫和基础总面积之间的摩擦度会保持在0.2～0.4之间，在抵抗水平承载力的能力上要比天然地基强很多。事实上，当垫层的厚度大于l0cm时，桩间土可以发挥超前的承载效力从而达到更好的效果。垫层对于刚柔性桩复合有重要的意义，也能节省投资金额。

3 对地基承载力使用值的合理应用

由于一些岩土工程师对于地基的承载能力认识不够甚至是不够重视，往往不能对其进行合理的应用，由此出现了工程上较大的不必要浪费，甚至出现了一些原本可以避免的风险。基本值、标准值、设计值和使用值构成了地基的承载力，四者之间关系的密切性决定了地基承载力。基本值指的是现场的原位测试。比如说单个的荷载试验并且确定了其承载力值。如果要对某具体工程进行设计某一项基础的时侯，那么地基的承载力标准值应当是基础宽度与基础埋置深度进行修正以后得出的结论，进而可以确定了地基的承载力定为其设计值。如果设计值在完成变形计算以后，出现了变形值偏大或者是偏小的时候，这个时候就得降低或者是提高其设计值，也就是地基承载力的使用值。所以说，同一个地基的地基承载力在设计值上的体现是不同的，并且使用值也会出现不同，合理使用地基承载力对于电力土建地基处理有着重大的作用，它是一个相当重要的设计指导原则。

4、采用变形协调和变形控制方法对地基进行设计

变形计算和设计强度是地基设计的两个重要部分，在这里一个重要的原则是，可以降低也可提高使用设计强度，而建筑变形值不应该比地基变形的容许值大。地基的变形结果可以用来检验基础设计是否合理，这体现了变形控制理论的基本思想。与一般的工业与民用建筑不同，电力工程土建设计既满足结构对地基变形的要求，又要满足高压管道、设备、及高温对地基变形的要求。

阻挡地基设计按变形设计理论推广的重要原因是计算沉降误差太大，因此电力土建工程变形准确度的提高是非常有必要的。新“规范”通过经验修正系数调整了原来标准中沉降计算公式引起的误差。尽管这样，有些沉降计算中的问题依然被岩土工程师们忽视，从而产生新的误差。在实际工程的计算中要注意：变形计算中应力值采用附加应力值，因为自重应力随深度曾大不产生沉降量，是自然形成的；一定要注重对计算沉降点的地址资料的分析，还要注意分析由于土层分布不均匀性对地基差异沉降造成的影响；计算沉降的荷载只考虑准永久荷载和标准荷载，而不考虑地震、风等瞬间荷载。

5 人工地基桩型的选择

任何一种人工地基都不是万能的，因此同一种地基处理应做多方案的人工地基技术经济比较。

天然地基与人工地基的界限火电厂地基是否需要处理，主要取决于主厂房BC 列沉降计算结果，当计算变形值在（15～20）cm 以内，而且在压缩层范围内土层较均匀时应优先采用天然地基方案。在基础底面（10～15）m 以下有低压缩性的下卧土层时，应进行人工地基与天然地基的比较。实践证明，上述情况采用人工地基短桩处理比天然地基又快、又省、又好。

5.1 人工地基处理深度选定

总的设计思想是以变形控制为原则。当大型电厂主厂房计算变形值超过15cm 时应进行人工地基处理，而处理深度不要太深，使变形值减少到0 是没有必要的，投资也太大，是浪费的。合理的地基处理深度是经地基处理后的地基计算变形值仍留有（5～8）cm。这个设计指导原则的推广对减少桩基工程投资是有现实意义的。

5.2 桩型的选择

根据我国劳动力便宜、地方材料丰富的国情，桩型选择建议如下：

（1）当地基处理深度在10m 以内，无地下水时宜优先选用水泥土夯实桩和强夯法处理地基。

（2）当地基处理深度为（10～20）m，有地下水时，若以消除地基液化为主，应选用振冲碎石桩处理地基；若为减少变形、提高地基强度为目的时可选水泥搅拌桩、振冲桩、CFG 桩或压力混凝土灌注桩。

（3）当地基处理深度为（40～60）m 时宜采用预应力钢筋混凝土管桩、钢筋混凝土灌注桩。

（4）当地基处理深度大于60m时宜采用钢管桩或H 型钢桩。

6、总结

随着电力土建地基处理技术的发展与完善，电力土建工程建筑以高、大、重和深等特点最为显著，对于地基的承载力以及变形等要求也相对严格，处理地基的费用也相应地越来越高，所以在以后的发展当中应当向着电力土建地基的处理技术逐渐向合理化、科学化、节约化、环保化等方面发展。

参考文献：

[1] 刘山.主厂房人工地基方案必选[J].科技情报开发与经济，2004（5）.

[2] 邹广文.山西省变电站常见地基土处理方法探究[ J ].科技情报开发与经济，2007（3）.

[3] 邹广文.某电厂主厂房地基处理方案选型[J].科技情报开发与经济，2007（22）.

数据处理技术发展 篇12

1.1 常规处理

“混凝+沉淀+过滤+消毒”的处理方法在当前仍然可以继续使用并且延续, 这是一种常规的处理组合[1]。但在当前的使用过程中, 这种方法不能够拿来引用, 对于它的工艺组合要有一些相对的强化和优化, 最好还要根据不同的水质要求或水源条件, 加入一些预处理和深度处理的技术。

1.2 生物预处理技术

通过生物预处理技术, 能够把原水中的氨氮和可以部分降解的有机物完全去除。生物预处理技术相对于当前的水体污染状况和水体污染的趋势来说, 在很长一段时间内都可以作为去除氨氮的有效武器。但同时, 在它的实际应用方面我们也有必要进行广泛的研究, 尤其是处理含藻水时, 对于藻类爆发期的处理措施有必要进行更为深入的研究[2]。

1.3 深度处理

当前来说, 像臭氧氧化, 臭氧-活性炭吸附等运用于水净化的深度处理技术已经在很多发达国家得到了相当广泛的应用, 而中国还处在一个应用研究的阶段[3]。笔者相信, 随着技术的不断深入, 这项技术用不了多久也会在中国逐渐地被运用开来。

1.4 药剂处理

在水处理技术方面, THM3消毒杀菌已经在世界范围内引起了较为广泛的关注。但是就目前中国来说, 技术和经济条件都有所限制, 绝大多数的水厂还依然在用液氯消毒。在国外发达国家不断地开发出高效、低毒的杀毒药剂的同时, 中国也在逐渐向着这个大的方向靠拢, 随着时间的推进, 会逐渐限制、甚至淘汰掉对叶绿杀菌方式的运用[4]。在处理工业用水方面, 我们的药剂也将慢慢地从有毒、有公害向无毒、无公害的方向靠近, 而不易生物降解药剂也将向易生物降解药剂这边发展, 最终, 中国将从单一的水处理药剂发展到复合的多功能药剂处理。

1.5 膜处理

当前, 膜处理技术是代替传统水处理技术的最佳选择, 它被称之为21世纪水处理技术的关键技术。以压力梯度为驱动力, 通过特定膜的透过性能来使水中的离子、分子以及杂质进行滤膜机械的筛分, 这是膜处理技术的主要作用原理[4]。

1.6 高效利用技术

当前, 水资源已经出现了严重紧缺状况, 它要求水处理技术的水平必须有所提升。因此, 废水的回收利用技术, 水的循环利用技术都将得到迅速的发展。对于水的高度循环利用以及回用都会对水源起到非常大的节约作用。它可以缓解用水危机, 也可以满足可持续发展的要求和环境保护的要求, 还能够为水处理产业的发展和壮大起到一个推进的作用, 使水工业体系向着高度发达的地步迈进。

1.7 水质科学和水质工程学科

随着时代的不断进步, 我们最终还会创立水质科学以及水质工程学科等一系列的相关专业。现阶段所有的水处理技术水平和当前的经济条件制约了水处理的技术。所以在不久以后很可能会出现水资源短缺, 水污染恶化等状况。这对于中国的可持续发展将有一定的影响, 也会产生相应的水质危害作用。由此看来, 对于水质科学和水质工程学科的创建就显得尤为重要。该学科需要包含用水和水质处理等方面的概念和相关内容, 而且为满足水质要求, 对于所需要进行的各种水质处理问题的相关研究和相关解决都要有所涉及。这门学科的出现, 将标志着中国水工业进入一个新的高度, 为水工业奠定一个具有划时代意义的基础。

2 中国的水处理装备

2.1 中国水处理装备发展状况

在20世纪70年代中后期, 中国开始出现了水处理装备。由于当时的产品在标准化和系列化等方面的水平都很低, 所以定型的产品不多。20世纪90年代以后, 国家对水处理装备在技术方面进行了改造, 其制造水平和生产水平都有所提高。到如今, 水处理装备已经逐步实现了国产化[5]。

水处理是为了使水质满足特定环境及回用的用途, 通过物理、化学和生物手段, 对水质进行治理, 去除或增加水中某些对生产、生活及环境不需要或需要物质的全过程。

水处理设备是为了实现水处理工艺过程所必备的设备。水处理设备制造模式属于大规模定制生产模式, 类似行业包括造船、核电、电站、能源设施等各种定制装备制造业。目前大型跨国公司如GE、东芝、西门子、施耐德等均从事该业务, 而且全球高端产品市场基本被外资巨头垄断[6]。

2.2 中国水处理装备所存在的问题

中国的水处理装备与发达国家相比还存在着较大的差距[4], 主要表现在这几方面:

a) 生产与需求之间的矛盾比较尖锐, 国产的水处理设备远远还不能够满足中国的水处理需求;

b) 品种较少, 而且产品的结构相对来说比较落后, 开发能力不强;

c) 中国的水处理装备质量比较差, 技术水平不高, 并且产品创汇很不稳定;

d) 中国的水处理装备成套和工程承包的能力不强。

目前生产采用了每台设备项目制的管理模式。将每个生产订单作为一个项目, 为每个项目指派一组员工进行装配生产, 这组员工通常包括机长、焊工、电工、管道工、装配工、测试员等。但非标产品的生产停线和返工频繁, 人工工时超标严重, 平均超标35%以上;同时, 项目众多, 工程师人手有限, 工艺流程制定较粗糙, 指导性不强;由于缺乏标准化的指导文件和员工培训, 岗位分工不清, 管道工、焊工、电工经常因为项目赶工或停线而被调度为装配员, 人员生产效率不高, 只有60%左右, 品质难以保证。

2.3 中国水处理装备的更新

中国现有的污水装备有待更新。

a) 国家要鼓励用户使用国产品牌;

b) 要重点支持一些具有竞争实力的设备制造厂和工程承包公司;

c) 对于重点企业的改造力度要适当性地加大, 可以进行适当的贴息贷款;

d) 对于国产设备的技术开发和科技公关要给予大力的支持和鼓励;

e) 引进国外先进的技术, 加快中国水处理装备的发展速度。

3 结语

不断开发和掌握水处理技术及其相关的水处理装备对更好地解决水污染问题和水资源问题具有重要意义。水处理技术和水处理装备的发展和更新都经历了一个长远的阶段, 可以说水处理的装备在随着水处理的技术不断发展壮大着。希望从事水处理的相关工作人员都能够立足在自己的岗位上, 争取把工作做得更好, 为社会和人民创造出更大的价值。希望广大人民注意节约用水, 不要浪费。只有水处理工作人员和用水的大众相互配合, 才能保证我们的水源不出现严重的问题。

参考文献

[1]相波, 李倩倩, 李义久, 等.二硫代氨基甲酸改性淀粉对重金属吸附选择性的研究[J].水处理技术, 2006 (08) :18-19.

[2]郑红艾, 潘理黎.高级氧化技术在水处理中的研究进展[J].上海电力学院学报, 2006 (02) :07-09.

[3]周娟娟, 胡中华, 刘亚菲, 等.生物活性炭纤维的制备及其水处理[J].新型炭材料, 2006 (01) :12-13.

[4]邹勇, 宁甲昱, 杨正龙.新一代绿色高效杀菌消毒剂——高铁酸钾[J].中国水产, 2005 (12) :87-89.

[5]曹秀芹, 陈珺, 唐臣, 等.超声处理后剩余污泥性质变化及分析[J].环境工程, 2005 (05) :91-92.