融合云计算的物联网

融合云计算的物联网（精选6篇）

融合云计算的物联网 篇1

物联网是互联网的重要组成部分, 是继互联网滞后的第三次信息技术革命。物联网是计算机信息技术迅猛发展的必然产物。虽然我国对于云计算及物联网的研究起步较晚, 但依然取得了优异成绩, 物联网被列为我国五大新兴战略产业之一。物联网在中国受到了广泛关注, 近些年越来越多的学者投入到云计算和物联网融合的研究中。云计算的优势和特性给物联网发展带来了新的机遇, 云计算与物联网的融合是物联网快速发展的需要, 未来物联网发展中离不开对云计算的应用。

1 云计算概述

云计算诞生于二零零六年, 二零零八年云计算得到大面积推广, 云计算的诞生立即引起全球信息行业的广泛关注, 云计算的出现给IT行业发展带来了新的改革浪潮, 云计算的特征是:按需服务、共享资源、按需付费、网络面广。云计算作为二十一世纪新兴的技术, 彻底改变了传统软件工程。云计算现如今已经被应用到了各个领域。云计算的核心技术有海量数据存储与计算、虚拟化技术、分布式存储技术、并行编程模式技术。云计算实现了将庞大数据拆分成若干子程序进行分布处理, 处理后发送给服务器群计算, 最后将分析处理结果统一融合后回传给用户。狭义上来说云计算是通过计算机和各类用户终端实现信息交互和应用。广义上讲云计算是一种强大的网络服务模式。云计算的虚拟化技术将一台计算机虚拟化成多台计算机, 使资源利用率提高, 从而降低成本。云计算的分布式计算技术, 实现了根据使用需求情况分布资源。另外, 云计算相比传统硬件平台相比, 维护费用低廉, 管理方便易操作, 无需大量的资金支持。

2 物联网概念

物联网是互联网的重要组成部分, 物联网是物物相联的互联网, 物联网的基础仍然是互联网, 物联网是以互联网为基础发展和延伸出来的网络。物联网最早提出于一九九零年。一九九一年麻省理工学院开始对物联网进行研究, 一九九九年麻省理工学院对物联网做了实验。物联网底层数据的感知是物联网技术的基础, 在物联网感知层中, 呈现出的特点是数据量大、种类多。物联网感知采用了信息后, 通过传输层实现数据与传递。物联网按照功能分为三层:应用服务层、网络传输层、感知控制层。物联网应用十分广泛, 现如今几乎已经渗入到人类生活的各个方面。例如:智能交通、智能家居、资源管理、科研实验、医疗领域、军事领域。物联网的发展和推广受到了国家的重视。但就目前来看, 物联网技术不论是技术上, 还是理论上仍然处于发展阶段, 距离物联网普及和大面积应用仍然有着一定的距离。

3 基于云计算的物联网系统架构

从物联网技术的特征来看, 未来物联网技术更新和改革离不开对云计算的应用, 云计算的优势是物联网技术所需要的, 物联网的推广和应用必然不能缺少云计算, 物联网数据产生和收集过程具有实时性和不间断性, 处理时间的延迟必然会导致数据量的扩大。但由于数据量大、节点有限、存储点等技术限制, 必然影响物联网性能。云计算的分布式技术, 便可很好的解决这些问题, 使物联网实现有效的控制多源、多位置的不同数据处理。云计算和物联网的融合, 使物联网获得了强大的计算能力和存储能力, 云计算搭建了一个辅助物联网的平台。

基于云计算的物联网系统架构主要包括了三个层次:物联网中间件层、物联网基础设施层、物联网应用层。这三层相互协调融合构成了物联网系统, 向人们提供服务。

3.1 物联网应用层

物联网应用层是整个物联网系统架构的核心内容, 应用层通过应用管理中提供管理工具, 其中包括:用户管理、资源管理、安全管理、影像管理。每一个管理工具能够为用户提供不同的服务, 用户管理包括:用户账户管理、计费管理等等。安全管理包括:用户身份验证、用户资料保护等等。资源管理包括:资源恢复、故障检测等等。影像管理包括:应用生命周期管理、影像部署等等。

3.2 物联网中间件

物联网中间件层是整个物联网的连接媒介, 包含着整个物联网的所有中间件产品。所包括的功能有:感应设备管理、智能终端接入等等, 除此之外, 还具有面向服务的物联网应用的功能。

3.3 物联网基础设施层

物联网基础设施是物联网系统实现的基础, 离开了物联网基础设备, 物联网系统无从谈起。物联网基础设备层包含了:虚拟集群、物理硬件及感应终端。虚拟集群是基于云计算的虚拟化技术的基础上实现的, 以虚拟化方式为用户提供服务。物理硬件包括:云计算必要的网络设备、存储设备、服务器设备等等。感应终端包括传感器、控制器等智能终端设备。物联网基础设备由物联网中间件负责管理和协调运作。

4 结束语

基于云计算的物联网系统, 为物联网提供了更优质可靠的基础架构以更加丰富的平台应用。云计算融入物联网系统为物联网的推广和应用创造了有利条件。借助云计算的技术优势, 能够使物联网发展能够进入一种良性循环状态。

摘要：随着经济的发展及科技的进步, 云计算、网络技术得到了广泛应用, 这些高新技术的应用改变了现代社会的生活、生产方式。物联网和云技术是近些年新兴的网络技术。物联网技术是一种物物相联的网络集合, 能够有效提高网内所有设备的存储及计算能力, 提高设备工作效率, 以满足人们的使用需求。云计算是一种结合网格计算、并行计算、分布计算的强大综合计算方式, 云计算利用服务器群达到了以前所无法想象的效果。物联网建设需要依靠强大的存储和高计算技术, 云计算优势正在于此, 未来云计算将成为物联网发展的重要基础。本文将针对云计算的物联网系统架构展开研究和讨论。

关键词：云计算,物联网,系统架构

参考文献

[1]徐梅玉.未来技术之物联网技术的发展和应用分析[J].湖北电子商务学院, 2012, 13 (11) :119-124.

[2]李力旺.云计算实施的可行性及物联网应用优势[J].浙江信息工程学院, 2011, 11 (14) :132-136.

[3]王关媛.浅谈云计算与物联网间的重要关系[J].吉林财经管理学院, 2012, 13 (07) :120-126.

分析云计算的物联网数据挖掘模式 篇2

1 物联网数据挖掘的关键问题

1.1 物联网系统中数据特点

1.1.1 量大

物联网系统中有海量的传感设备和监控终端, 它们每时每刻都在想数据中心传送数据。而数据中心在储存接受到的数据的同时, 还要适时地存储旧数据, 以便实现对对象的跟踪、监控、统计分析和数据挖掘等。所以, 数据量大是物联网系统在数据挖掘中所面对的一大难题。

1.1.2 类型复杂

这主要是由物联网监控对象的多样性决定的, 如建筑、湖泊、森林等, 它们所采集的信息类型不一样, 例如森林中只需要关注其动态, 有无火灾发生, 而交通中主要采集视频信息。所以, 物联网中数据类型多样, 有文本、视频和图像等。

1.1.3 异构性

物联网中拥有多种类型的传感器终端, 包括GPS、RFID和无线传感器等, 它们采集到的数据会采用不同的格式和语义记录下来, 所以这无疑会增加数据挖掘的难度。

1.1.4 动态性

物联网中的传感器终端是呈现非静态的, 每个时刻都有终端进入或移出。当一个传感器终端突然进入时, 它采集到的数据必然也要插进数据库中;而当它突然移出时, 它的数据就不再传送到数据库中。这样, 会由于大量的传感器终端不断进入或移出, 给数据库的处理增加相当多的工作量。

1.1.5 时空特性

传感器终端不会只布置在一个地方, 它们的数据则反映着不同地区的不同对象的动态和信息。所以, 数据的感知需要有特定的地点和时间, 它必须与对象的时间和空间紧密相联才有意义。

1.2 物联网对数据挖掘的要求

1.2.1 实时高效

物联网系统的控制端口要根据实时情况进行分析, 并且要对突然发生的情况作出高效处理。所以这个要求也是物联网数据挖掘中十分重要的一项。

1.2.2 分布式挖掘

这主要是由物联网中各终端设备和数据是分布式布置决定的, 所以数据挖掘必须采用分布式的方式。

1.2.3 质量控制

数据来源、媒体传送、存储和管理格式, 以及模态的多样化能够保证数据处理后得到比较真实的结果。

1.3 物联网环境下数据挖掘的要解决的问题

1.3.1 算法的选择

要想提高数据挖掘的效率, 必须选择合适的算法和并行策略。所以, 设计一个好的算法是十分必要的, 而其中参数必须是可以调节的, 以适应各种不同的情况。

1.3.2 不确定性

物联网中所存在最大的挑战就是各种不确定性, 例如对挖掘任务的规定、数据的采集和预处理、挖掘方法、以及不同的人对挖掘结果的评价等, 它们都存在不确定性。可以说, 不确定性贯穿于整个数据挖掘的处理过程中。

2 基于云计算的物联网数据挖掘模型

2.1 挖掘模型的结构

基于云计算的物联网数据挖掘模型一般有五层结构, 包括了数据接入层、集成层、挖掘层、业务控制层以及交互层。接入层一般各种传感器终端组成, 如无线传感器、RFID、GPS等, 用来监控各对象并进行数据采集。集成层主要是存储接入层中所收集到的数据, 形成数据源并为其他层提供必要数据。挖掘层是整个挖掘系统中最重要的部分之一, 它为系统提供了挖掘所需要的各模块, 使算法能够并行运算, 最后将结果反馈到控制层中。控制层主要给挖掘任务提供逻辑运算, 并对其进行控制和调控, 最后将结果反馈到交互层。交互层是系统和用户相联系的接口, 通过窗口可以使用户查看或保存结果。

2.2 功能模块

各层构架中有想用的功能模块, 如接入层中的海计算模块、挖掘层中的并行数据挖掘算法模块和并行ETL模块以及模式评估模块、控制层中的任务调度控制模块和工作流程控制模块、交互层中的用户管理模块和业务模块以及结果展示模块等。它们在各自所组成的构架中发挥着重要作用。

参考文献

[1]陈磊, 王鹏, 董静宜, 任超.基于云计算架构的分布式数据挖掘研究[J].成都信息工程学院学报, 2010 (06) .

[2]蒋智毅.基于管理学基础理论的云计算应用[J].中国管理信息化, 2011 (21) .

[3]李志宇.物联网技术研究进展[J].计算机测量与控制, 2012 (06) .

[4]张海江, 赵建民, 朱信忠, 徐慧英.基于云计算的物联网数据挖掘[J].微型电脑应用, 2012 (06) .

基于云计算的物联网数据挖掘模型 篇3

近年来,物联网产业发展迅猛[1,2],越来越多的应用终端被接入物联网中,用以监控现实世界的各种对象,包括交通设施、建筑物、湖泊等。随着各种异构终端设备的接入,物联网采集到的数据量越来越大,数据类型、格式越来越复杂,除此之外,物联网中的数据还具有高度的动态性与异构性、复杂的时空特性以及不完整特性等。这些特点极大的增加了人们从海量数据中挖掘有用知识的难度。传统的数据挖掘方法无法直接应用到物联网系统中。

如今云计算和海计算的发展为物联网中数据挖掘提供了新的解决思路和方案。云计算[3]是一种基于互联网的计算方式,通过这种方式,共享的软硬件资源和信息可以按需提供给计算机和其他设备。云计算的核心思想是将大量用网络连接的计算资源统一管理和调度,构成一个计算资源池向用户按需服务。海计算[4]通过在物理世界的物体中融入计算与通信设备以及智能算法,让物物之间能够互连,在事先无法预知的场景中进行判断,实现物物之间的交互作用。海计算一方面通过强化融入在各物体中的信息装置,实现物体与信息装置的紧密融合,有效地获取物质世界信息;另一方面通过强化海量的独立个体之间的局部即时交互和分布式智能,使物体具备自组织、自计算、自反馈的海计算功能。海计算的本质是物物之间的智能交流,实现物物之间的交互。云计算是服务器端的计算模式,而海计算是物理世界各物体与物体之间的一种的计算模式。

根据物联网中数据的特点,本文提出一种基于云计算的物联网数据挖掘模型。首先结合海计算技术建立基于云计算存储构架的面向物联网的分布式时空数据库,用以存储物联网中的数据,以此数据库为基础构建保存历史记录的面向主题的数据仓库。在此基础上,构建面向物联网的数据挖掘框架。结合并行数据挖掘算法,完成各项数据挖掘任务,包括数据抽取、分类预测、聚类、关联规则发现等。

1 物联网数据挖掘的关键问题

1.1 物联网系统中数据的特点

(1)数据量大。每个物联网系统拥有成千上万甚至更多的传感设备,这些传感设备不断向数据中心传输采集到的数据。数据中心不仅要存储当前接收到的采集数据,同时需要保存历史数据,用以支持对象的状态跟踪、数据统计分析及数据挖掘。因此,物联网系统中数据挖掘任务面临的第一个关键问题是数据量大。

(2)数据类型复杂。物联网系统监控的对象种类繁多,包括交通、生物、森林、建筑等。不同监控对象所采集的信息各不相同,例如交通系统中需要采集视频信息,医学监控系统需要采集诸如脉搏、血压等生理信息以及医学立体影响信息等。可见物联网系统采集的数据类型复杂,包括文本类型、图像类型、视频类型等。

(3)数据具有异构性。物联网系统中包含多种传感终端,如GPS传感终端、RFID传感终端、视频传感终端、无线传感器等。不同的传感终端采集到的数据的格式和语义均不相同。数据的异构性为数据存储与挖掘增加难度。

(4)高度动态性。每个时刻都有不同的传感终端添加到物联网中或者从物联网中移除。随着传感节点的增加,其采集到的数据要插入数据库中。同样当一个传感节点从物联网中移除后,数据库不应再记录该传感节点采集到数据。一个物联网系统含有大量的传感节点,每个传感节点动态变化频繁,因此物联网系统中的数据具有高度动态性。

(5)时空特性。物联网系统的传感终端分布在不同地区,每个传感终端采集到的数据均反应该时刻监控对象的状态及其他信息。感知数据在特定时间和特定空间内才有意义,如果不在这个地点或过了这个时间,数据的意义可能就不大了。因此,复杂的时空特性是物联网系统中数据的一个显著特点。

(6)不完整性。物联网系统的传感终端在无人工监控状态下工作,每个传感终端随时可能受到自然因素或者人为因素的攻击,包括雷电破坏、人工恶意破坏等,导致传感终端数据接收不完整。另一方面,尽管传感终端可以被广泛的部署在不同地理位置,但是依然无法覆盖每一个角落,因此空间数据收集不完整也是物联网系统数据的特点之一。

1.2 物联网对数据挖掘的要求

(1)实时高效数据挖掘[5]。物联网系统中任何一个控制端均需要对环境进行实时分析并做出正确决策。因此实时、高效是物联网系统对数据挖掘最为关键的要求之一。

(2)分布式数据挖掘[6]。物联网计算设备和数据天然分布,不得不采用分布式并行数据挖掘。

(3)数据质量控制。多源、多模态、多媒体、多格式数据的存储与管理是控制数据质量,获得真实结果的重要保证。

(4)决策控制。挖掘出的模式、规则、特征指标用于预测、决策和控制。

(5)挖掘任务。主要包括数据抽取、分类预测、聚类、关联规则发现等。

1.3 物联网环境数据挖掘存在的挑战

(1)数据挖掘算法的选择。选择合适的算法,并采取适当的并行策略,然后才能提高并行效率。因此算法的设计变得非常重要,参数的调节变得必不可少,而且参数的调节直接影响最终的结果。

(2)不确定性。首先数据挖掘任务的描述具有不确定性,数据采集和预处理也是带有很多的不确定性。其次是数据挖掘方法和结果有不确定性。最后由于每个用户所关注的最终的挖掘目标不一样,这就导致了对挖掘结果的评价也有不确定性。不确定性是数据挖掘在物联网系统中面临的最大挑战。

(3)可信性与安全性。在云计算环境下做数据挖掘会导致数据挖掘云服务软件可信性问题。首先是服务的正确性和服务的安全性;其次是服务的质量,服务质量由可用、可靠和高性能这三个方面来度量。

2 基于云计算的物联网数据挖掘模型

基于云计算的物联网数据挖掘模型构架分为五层,分别是物联网数据接入层、数据集成层、数据挖掘平台层、业务控制层和交互层,如图1所示。

2.1 结构层次

(1)物联网数据接入层

物联网接入层实现数据采集、提取关键数据、将关键数据传输到数据集成层作用。物联网数据接入层包括各种传感终端,如GPS传感终端、RFID传感终端、视频传感终端、无线传感器等。利用这些传感终端监控现实世界对象,采集反应监控对象的状态及其他信息并发送到相应的海计算节点。采集数据包括文本数据、图像数据、视频数据等。海计算节点对传感数据进行预处理,提取关键数据并传输到数据集成层,即面向物联网的分布式时空数据库。

(2)数据集成层

数据集成层存储物联网系统传感终端采集到的关键数据,为数据挖掘提供数据源。面向物联网的分布式时空数据库存储物联网系统的关键数据,并为数据仓库的构造提供数据源。数据仓库中的数据是按照主题来组织的,存储的数据可以从历史的观点提供信息,面对多数据源,经过清晰和转换后的数据仓库可以为数据挖掘提供面向历史的发现知识的数据环境。

(3)数据挖掘平台层

数据挖掘平台层是整个构架的核心之一,提供数据挖掘阶段业务需要的各个模块,并具有较细的粒度。如数据预处理,模式评估,数据挖掘等功能模块。这一层的主要任务是实现各种任务过程中算法的并行化,并将挖掘结果返回给业务控制层。

(4)业务控制层

这一层提供业务逻辑并实现对各种业务流程的控制和调度。根据用户提交的业务请求,任务控制调度模块结合领域知识库指导工作流程控制模块控制和调度数据挖掘层的多个模块来完成挖掘任务,并将挖掘结果返回给交互层。

(5)交互层

这一层主要提供系统和用户之间的接口。通过提供具有良好表现形式的图形界面,使得用户可以登录系统定制各种细粒度的业务,查看或者保存各种输出结果。

2.2 功能模块

(1)物联网数据接入层模块

海计算模块:海计算模块包含大量海计算节点。主要用以存储传感终端采集的各种数据,并对数据进行预处理,主要包括去除噪声数据和重复数据、处理不完整数据、识别并提取关键数据、统一数据格式。最后将预处理后的关键数据传输给数据集成层。在物联网数据接入层对数据进行预处理有利于节省网络带宽,同时有利于数据集成层的存储和进一步应用。

(2)数据挖掘平台层模块

并行数据挖掘算法模块:为数据挖掘各种任务提供并行算法。作为数据挖掘引擎,包含一个能够提供各种基于云计算进行并行数据挖掘算法的库,用于完成各种数据挖掘任务。

并行ETL模块:对数据进行预处理。输入的数据来源于面向物联网的分布式时空数据库与数据仓库,为数据挖掘过程进行数据清理,提取,转换和加载。

模式评估模块:对产生的模式进行评估。符合用户要求的结果存入领域知识库,领域知识库可以辅助业务控制逻辑指导数据挖掘过程。

数据提取模块:根据挖掘任务的不同,在面向物联网的时空数据库或数据仓库中提取相关的数据。

(3)业务控制层模块

任务调度控制模块:响应上层的业务模块,对完成业务所需的子业务进行调用、管理,并通过调用底层模块完成业务。

工作流程控制模块:对业务状态进行监控、管理。可将具体的信息参数返回给本层的任务调度控制模块。

(4)交互层

用户管理模块:实现用户身份的识别以及相应权限的设置,同时也包括对用户登录或者注销等常用的管理。

业务模块:实现细粒度的用户业务需求的提交。用户提交的各种业务通过业务模块得到。

结果展示模块:实现用户对业务结果的查看,分析和保存等功能。用来将系统的返回结果交付给用户。

3 结论

数据挖掘是物联网应用的重要环节,针对物联网数据的特点,本文提出一种基于云计算的物联网数据挖掘模型。其中,数据挖掘平台是整个模型的关键。下一步的工作重点在于设计各种面向物联网的数据挖掘算法的并行化,以完成物联网的各种数据挖掘任务。

参考文献

[1]王瑞刚.物联网主要特征与基础理论研究[J].计算机科学,2012,39(6A):201-203.

[2]李志宁.物联网技术研究进展[J].计算机测量与控制,2012,20(6):1445-1448.

[3]Arnon Rosenthal,Peter Mork.Cloud computing:A new businessparadigm for biomedical information sharing[J].Future Generation Computer Systems,2010,26(7):947-970.

[4]Zhikui Chen,Haozhe Wang.A Context-Aware Routing Protocol on Internet of Things Based on Sea computing Model[J].Journal of Computers,2012,7(1):96-105.

[5]Bin Liu,Shu-Gui Cao.Machine Learning and Cybernetics[C].International Conference on Machine Learning and Cybernetics.Guilin,China,2011.40-44.

融合云计算的物联网 篇4

关键词：物联网,云计算,数据挖掘

随着科技的快速发展, 物联网技术应用在社会生活中越来越广泛, 包括芯片技术、无线网络技术、传感技术以及GPS导航定位技术等正在不断完善与创新, 信息传感、收集与处理分析技术也越发趋于成熟。在此背景下, 更多的物联网应用被人们开发应用, 成为互联网之后的又一大信息技术热点领域。由此, 物联网技术也被人们寄予了更多的期望, 因此需要更加深入和广泛的研究, 从而不断推进更新更实用的物联网应用的开发[1]。

在物联网应用中, 最主要的技术障碍就是数据挖掘, 当前随着云计算平台的出现, 物联网数据挖掘技术有了新的发展方向, 这使得目前我国众多行业都在开发搭建基于云计算平台的物联网数据挖掘技术, 从而让物联网具备更加厚实的IT计算能力、数据挖掘技术分析能力和平台拓展能力。因此, 物联网行业产业的后续发展与当前云计算平台的发展有着极其密切的关系, 而基于云计算平台的物联网数据挖掘技术则明显有着更加广阔的发展空间。

一、物联网概述

1.1物联网

物联网 (IOT) 指的是运用各种各样的传感设备来进行信息传递的计算机集群, 这是在计算机互联网之后的再一次飞跃, 包括计算机技术、通信技术 (移动通信技术、传感器技术网络) 等, 而且还是下一代网络发展的大方向。物联网具有全面感知性、信息传递可靠性以及智能化处理性, 例如运用有线网络或者无线网络将通过传感器采集到的数据信息传递出去, 经过云计算等技术进行数据分析处理, 整合共享, 而后达到对物体的智能化控制。因此, 物联网一般至少包括传感器等电子元件、数据存储处理系统以及有线或者无线网络[2]。

1.2云计算

云计算指的是在互联网支持的基础上, 通过互联网服务为用户提供的依据需求而确定服务的计算方式。由于服务资源来源于互联网, 并且互联网通常使用云状图案来表示资源, 所以称之为云计算。云计算有着集群优势, 同时具备高速运算能力和较高的数据存储能力, 因而如今正被广泛而深刻的应用至IT行业中, 具有高容错性与高伸缩性的特点。目前在云计算平台搭建中, 用户主要依靠Hadoop来进行, 作为云计算平台搭建基础, 可以极为有效的利用集群计算能力与数据存储能力, 从而实现大量数据的分析处理。

二、数据挖掘技术概述

2.1数据挖掘技术的含义

数据挖掘技术产生时间并不算久, 可自从20世纪90年代产生以来, 在人类社会中产生了巨大的影响, 同时受到了人们的广泛应用。目前来说, 数据挖掘并不是一个独立的学科, 而是交叉学科, 因此不同领域不同行业的人对其理解也存在不同之处, 因而对其准确的定义还没有定论。目前, 大部分学者比较认同的关于数据挖掘技术的含义是韩家炜等人对其的定义[3], 包括三个方面的内容, 第一, 具有大量的数据来源, 并且是真实的数据;第二, 通过数据挖掘获得的信息对人们有着较高的价值与作用;第三, 获得信息是可以被人们理解分析, 被人们接受与运用, 能够以此来做出判断或决策。

2.2数据挖掘技术的特征

数据挖掘技术具有分布广、规模大、节点资源有限以及安全性复杂等特征。物联网数据本身具有分布广的特点, 因为数据一般都存储在不同的地方, 其次, 物联网数据极为庞大, 本身有许多传感器节点, 因而需要有能够快速解决处理数据的中央节点, 再次, 节点资源并不是无限的, 因而中央节点一般不需要所有的数据, 但需要数据参数, 从而依靠分布式节点将用户需要的数据传输出去。

三、在云计算平台下的数据挖掘技术分析

在当前的云计算平台中, 最主要的是以Hadoop为基础搭建而成的平台, 在此以Hadoop为例, 简单介绍云计算平台中数据挖掘技术。主要分为四大部分, 分别为物联网感知层、物联网传输层、数据层和数据挖掘服务层。

3.1物联网感知层

物联网感知层主要依靠在目标区域范围内放置极多的数据采集节点来发挥感知作用。具体来说, 节点主要是通过传感器、摄像头以及其他设备进行数据采集工作, 而采集到的数据则会依靠物联网感知层所具备的网络通信设备进行汇聚, 将所有的数据传送到节点, 而后经过汇总存储之后再次通过传输层输送到云计算平台的数据处理中心[4]。

3.2物联网传输层

物联网传输层主要包括传感器、无线 (有线) 网络等, 通过诸多网络设备搭建的高速度无缝数据传输系统, 能够快速将物联网感知层采集到的数据通过网络传送到数据处理中心, 从而实现全方位的互通互联目标, 也就是将各种类别的监测处理设备联网传输, 实现设备之间网络信息的传递。

3.3数据层

数据层是物联网云计算平台中数据挖掘技术的关键部分, 物联网本身具有异构性和海量性的特征, 因而在数据层内将物联网设备采集到的数据进行存储处理分析的能力是基于云计算的物联网数据挖掘平台的关键。数据层中主要包括数据源转化与存储两大部分, 其中, 数据源转化主要对物联网异构性的数据进行转化, 而存储部分则是使用Hadoop搭建的平台中的HDFS系统进行分布式存储, 从而将海量性的数据完整存储到数据节点[5]。

由于在物联网平台中, 对于不同的目标会采用不同的数据类型来表现, 某种情况下, 相同的目标也会采用不同的数据类型来表现, 因此数据源转化的作用主要体现在保持数据的完整, 防止异构性的物联网数据在转化中出现损毁, 从而达到保证数据挖掘目标。数据源转化在系统中的作用相当于数据层与感知层的连接线, 通过数据包的解码转换将不同的数据转换成需要的数据类型, 并且分布式存储到数据处理中心。

3.4数据挖掘服务层

数据挖掘服务层包含数据准备、数据挖掘引擎以及用户三大部分。其中, 数据准备部分的主要用途是对数据的清零、转化以及规约等。数据挖掘引擎则主要包含数据挖掘算法以及模式评估, 而用户部分则主要将数据挖掘的内容进行可视化的表现。用户部分是整个云计算平台中数据挖掘技术面对用户的直接体现, 因而具有友好性, 能够让用户通过操作来对数据挖掘任务进行处理认知。

四、云计算平台上物联网数据挖掘技术应用分析

数据挖掘工作流程为:用户发出数据挖掘的请求之后, 主要控制节点收到用户请求之后会首先判断能否进行任务, 并且将结果回馈给用户。若是可以进行, 主要控制节点就会调用数据挖掘算法, 然后根据算法进行分布式数据挖掘工作。通过挖掘数据任务的划分之后, 将具体内容传送到众多节点中, 节点再具体进行数据挖掘[6]。

本次选择Hadoop搭建云计算平台, 并以此进行模拟实验。

首先, 选择一台实验所需要的PC机器, 配置基于普通水平的2G内存, 操作系统为win7。然后在PC端安装虚拟机, 虚拟机的操作系统都是Linux操作系统。从而开始部署分布式节点, 本次共安装3个虚拟机。其次, 需要安装与Linux版本相适应的Eclipse7.5开发环境, 并且于PC机上安装SSH服务, 用于实验开始之后传递实验数据。3台虚拟机中也安装SSH服务, 以便于Hadoop平台运用。

配置安装完毕后, 选择采用关联规则算法的数据, 将数据依据C++代码程序转换成标准的PML文件, 文件大小为1G, 然后将文件利用HDFS传入Hadoop平台, 采用分布式存储。接下来, 运行Apriori算法[7], 根据计算结果来判断能否找到实验数据集合中所有的项目, 然后, 选用不同大小的文件再次重复实验, 以此来得到较为准确的结果。实验运行Hadoop平台计算得到的数据如下表1。

从表1中可以看出, 伴随着文件不断扩大, 在Hadoop平台上运行, 采用Apriori算法所运行的时间也随之上升。经过大量模拟实验后, 可以看出Hadoop平台有着较高的拓展性能, 能够满足当前市场对于物联网大量数据挖掘的要求[8]。

五、结语

随着社会经济与科学技术日新月异的发展, 物联网技术也在不断的趋于成熟。当前物联网海量的异构性数据也在呈现着飞速增长的态势, 导致物联网数据挖掘技术越来越显得困难重重。

在此背景下, 基于云计算的物联网挖掘技术与传统的物联网数据挖掘相比, 其能够通过分布式存储的方式以及分布式并行的计算方法更好的满足人们对物联网数据挖掘的要求, 并且还能够通过计算存储迁移功能来避免数据存储过大导致节点出现故障的问题, 不仅缩短了数据传输的时间, 提高了数据传输的稳定性和完整性, 而且还极大的提高了数据挖掘的效率与质量, 有着极大的应用前景。

因此, 本文所提出的基于云计算的物联网数据挖掘系统对于当前物联网应用的发展有着深远的意义, 并且经过Hadoop平台进行模拟数据挖掘实验后, 也验证了这种方案有着极大的可行性。

参考文献

[1]卜范玉, 王鑫, 张清辰.基于云计算的物联网数据挖掘模型[J].电脑与信息技术, 2012, 06:49-52.

[2]谢杨.基于云计算的现代农业物联网监控系统[D].西南交通大学, 2015.

[3]李哲青, 周毅.基于云计算的物联网数据挖掘模式的构建[J].信息与电脑 (理论版) , 2013, 06:122-123.

[4]褚翠霞.基于云计算平台的物联网数据挖掘研究[J].数字技术与应用, 2015, 01:85.

[5]张旺军.基于云计算的物联网数据挖掘模式分析[J].网友世界, 2013, 13:39-40.

[6]李立, 张玉州, 江克勤.一种改进的基于云平台的物联网数据挖掘算法[J].安庆师范学院学报 (自然科学版) , 2014, 02:37-40.

[7]陈辑源.基于云平台的物联网数据挖掘技术[J].电子技术与软件工程, 2014, 09:194.

融合云计算的物联网 篇5

关键词：云计算,物联网,数据挖掘模式

经济的发展促进了各个产业链的发展, 在发展的过程我们清晰的认识到信息产业的重要性。我们进行的任何的活动都需要及时的反馈以及推广, 只有这样才有利于工作的下一步的发展。我国的信息发展是一个非常漫长的过程, 在刚开始的烽火, 后来的驿站, 再到后来的书信, 慢慢的我们有了电报, 有了电话, 今天我们有了互联网, 每一步的发展都是很好的跟着时代的步伐前行, 只有这样才能促进社会的进一步的发展。今天我们意识到我们离不开互联网, 互联网在我们的工作、生活学习中占有很大的比重, 我们研究的领域与方向也在不断的发生着改变, 云计算这一领域的发展就是很好的证明, 在我们的发展的过程中也遇到了很多的问题, 这些问题对于我们产生了极大的影响, 对于不好的方面, 我们必须及时的进行消除。

一、基于云计算的物联网

物联网其实就是一个比较大而且分布也非常广泛的物和物的互联网, 主要的能够很好的的对于我们身边的各项事务进行监控, 科技的发展非常的迅速, 正是因为这样我们应用的范围在不断的加大, 像是工程的建设, 基础设施的维护等等方面。云计算物联网数据挖掘就是指通过对云计算来解决物联网数据挖掘存在的问题。做了以下的几点归纳:第一, 建立数据库, 通过整个的互联网系统对于整个的数据进行采集, 进行整理;第二, 云计算平台挖掘。我们对于得到的数据进行整理, 整理的过程注重挖掘, 这样我们会得到更多的问题, 有助于问题的进一步的分析。这样对于我们后续的各方面的数据整理以及相关方面的工作非常的有必要。

二、基于云计算的数据挖掘平台

在工作中, 能够提供高可用性和更多的动态资源池的计算机平台, 将能够很好的实现云计算的数据挖掘。随着发展的不断的深入, 我们在软件的开发以及运用方面在不断的探索与研究, 我们研究表明在这类软件的使用过程中加入云计算, 就会大大的提升整体的工作的效率。对于这方面的研究完全的借助于软件本身的特性, 我们研究的软件整体的曾现分层的概念, 我们进行研究的方向也是这个方面。通常情况我们对于云计算的数据挖掘系统分为三层:算法层、任务层、用户层。在系统正常运转的过程紧密的联系, 彼此关系密切构成了一个有机的整体。

在构建基于云计算数据挖掘模式的时候主要就是通过积极的应用云计算的服务模式, 那么在这样的一种情况下建立起来的基于云计算数据挖掘平台它们当中的每一个部分在实际提供服务的过程当中都能够比较独立的去完成。操作人员在使用基于云计算数据挖掘平台的时候主要就是经过互联网来连接数据挖掘平台, 在监控使用账户的管理系统时, 主要就是在Saa S、Paa S以及Daa S这三个系统当中来完成的。在数据挖掘平台当中的任何环节都是在云计算服务的模式中。

三、基于云计算的物联网数据挖掘模式

物联网的整个环境决定了物联网数据挖掘的模式, 因为物联网当中的数据类型比较复杂, 而且物和物之间的关联以及相关的特性也不一样, 那么这些情况可能就会使得在构建物联网数据挖掘模式的时候就会和传统的数据挖掘模式不相同。

经常运用物联网的朋友们会发现有一些问题在系统中存在, 表现最为明显的就是数据方面的, 有的时候会出现数据不全以及丢失的现象, 对于我们造成了极大地困扰。出现这些现象的原因, 可能是物联网系统的原因, 也可能是其他什么原因。那么基于云计算物联网数据挖掘模式就应该要考虑到这种情况, 在构建物联网数据挖掘应用模型的时候, 必须考虑对物与物之间的关系的表达, 这样才能有效的解决数据的错误与丢失。

四、研究型人才匮乏

对于信息领域而言, 我国的发展历史并不长, 处于刚刚的发展阶段。我国在上个世纪的九十年代才真正意义的走向普及。由于近代基本国情的影响, 百年来我们处于落后的地位不能很好的与世界的发达国家进行交流, 正是因为这样导致了今天的局面的出现。软件领域是一个全兴的领域发展的非常的快速, 尤其在产品的更新换代自我升级方面是我们很难想象的。由于长期的基本国情就导致了我们在这方面的人才非常的匮乏, 对于行业的发展起到了很大的阻碍的作用, 这是我们当前遇到的一个非常大的难题。

企业面对于当前的情形性应该正确的面对, 对于高薪挖取人才有两种弊端:第一, 人才聘请需要高额的费用;第二, 人才对于企业没有感情, 一人出现人员流动。面对于这两种困境我们必须要行动起来, 通过企业的自身的人才培养, 解决当前的困境。企业高管提高重视的程度, 聘请专业的讲师, 对于企业的员工进行授课, 授课的过程中更多的联系实际, 这样能够提升人才的生长周期。我们企业要做好动员工作, 组织一些有意义的活动, 像是竞赛比武的形式, 这样能够更好的使大家投入到我们的工作中来, 会带动更多的加入到我们继续教育中来。企业与员工的命运是息息相关的我们必须要让人们意识到这一点, 只有这样我们才能更好的进行自我的提升, 行业的发展才会发展的更好。

结语

未来的发展我们很难进行预测, 因为我们知道经济的快速发展必然带动科技的进步, 就像五年前不会想到今天的变化一样。我们只知道未来我们的科技将更发达, 面对的问题会更多。想要做好这些我们必须要有信心, 上面这篇文章对于基于云计算这个领域进行了彻底的分析, 我们在很多的方面都有了更进一步的认识, 对于遇到的问题也进行了进一步的分析以及方案的提出, 对于我们今后的其他领域的发展起到了很好的借鉴作用。任何行业的发展都是这样一步步的开展的, 我相信以当前的发展趋势基于云计算这一方面在未来的发展中一定会更上一台阶。

参考文献

融合云计算的物联网 篇6

关键词：云计算,云架构,图像处理,交通流

1 引言

随着我国交通运输行业的快速发展,给人们生活带来了巨大便捷的同时,由于汽车数量的增多,造成了交通的日益恶化,交通堵塞现象十分严重。为了有效缓解这种局面,在现有交通资源下,挖掘已布设在各道路环境中的监控摄像机资源,主动利用其提供的视频图像数据来感知道路交通流参数,实现交通检测的目的。

交通流监测系统是依据交通流流体理论的空间和时间离散化数学模型,将交通线路上的摄像头获取的车流图像建立相对应的二维模型。同时随着城市规模的发展,传统的交通流参数计算方式已经无法满足大量视频数据的处理。对于这一问题,我们提出将云计算的技术运用到交通流监测中,作为一种新的计算模式和共享云计算的架构方法,云计算在高性能计算和海量数据存储方面具有明显优势,云计算平台能将资源虚拟化,同时进行有效且动态的资源划分和分配。

2 基于视频的交通流参数检测

2.1 交通流参数的提取

图2为现有交通流分布图,车辆检测是视频交通监控系统的关键和基础,其中交通流目标提取算法分为背景建模、帧差和目标跟踪等计算。背景建模方法避免了帧差法前景区域提取不完整的问题,采用高斯混合模型相较于其他算法(Kalman滤波算法、平均法、选择更新法)能利用高斯模型更好地给出像素点分布,多模型防止前景点对背景点的建模干扰,消除背景规律性晃动。

运用数字图像处理的技术,对图像进行数字化、编码、图像增强、恢复、重建、分析,获取道路的坐标映射以及车流量信息。

2.2 基于Kalman滤波理论的自适应背景预测与更新建模法

基于视频的车辆交通流检测,目前提出的车流量检测算法都存在一定的缺陷,不能解决影响检测精度和实时性等所有间题。因此我们提出了一种改进的具有一定自适应功能的基于Kalman滤波的背景预测与更新法,可实现建模函数的自适应修正和不同阶段的背景匹配更新。

实验表明:随着时间的推移,以上背景建模法将与场景匹配的权值逐渐增大,而不匹配的高斯函数的权值将日益缩小。

3 实验结果分析

系统在PC机上运行,在VS2010平台下,输入自拍的复杂城区道路上的视频流,利用以上自己研究的算法,自己设计开发了相应的软件,通过实验验证,效果较好。

当系统正常工作时,终端能够从服务器获取周边节点的路况信息,同时利用云计算的快速图像处理。按照等级将对应的路段按照不同的路段加以区分,在GIS系统中将不同的路段按照对应的交通等级进行颜色区分显示,当鼠标指向具体的路段时,也能够显示具体的数值,是个节点的交通信息能够非常直观的进行显示。

通过视频图像采集、视频图像预处理、背景建模等过程。在单位时间内,根据车辆计数就可以求出车流量。

经测量得到,车模的速度在1m/s左右,按照1:24的比例换算成实际速度在80km/h左右,宽度测量误差为4.25%,长度测量误差为2.28%,车型匹配准确率为100%。

4 结论

本文从交通流现状出发,介绍了云计算基础知识,并建立了私有云计算平台。然后针对道路环境实际应用需求,在现有的解决方法下,提出一种改进的具有一定自适应功能的Kalman滤波建模法同时,解决了车辆的长度、宽度、车辆速度等参数测量,通过构建的私有云平台,能够快速精确的计算道路占有率、及交通运输能力分析,为交管部门提供了可靠的基础参数信息。

参考文献

[1]黄振宇.基于云计算的网络视频监控系统研究与实现[D].上海:上海交通大学,2011.

[2]杨文志.云计算技术指南:应用、平台与架构[M].北京:化学工业出版社,201 0.

[3]王鹏.云计算的关键技术与应用实例[M].北京:人民邮电出版社,2 010.

[4]张良将.Had00p云平台下的并行化图像处理实现[D].上海:上海交通大学,2 012.

[5]李新法.基于视频图像处理的交通流检测方法[J].城市建设理论研究.2 01 3.

[7]李刚.基于背景差法和帧问差法的运动目标检测方法[J].仪器仪表学报,2006(27)962-964.

[8]高建平.基于图像处理的交通信息采集[D].上海:同济大学,2 006.