大数据感知（共9篇）
大数据感知 篇1
大数据分析是安全可见的基础,而威胁情报则是能否发现威胁的关键。传统的安全运营平台因为缺乏大数据存储与分析挖掘能力,以及没有丰富的威胁情报做支撑,以致经常误报频发,让用户疲于应付,但真正的威胁却难以发现。
为此,近日360企业安全集团隆重发布新一代态势感知及安全运营平台,即NGSOC。基于360威胁情报和大数据安全分析技术对用户本地的数据进行采集、存储、计算、挖掘与关联分析。
据悉,360 NGSOC能够将有效的监测发现、快速响应处置及深入的调查分析进行结合,形成业务闭环,这也成为安全管理与运营的关键。不论是外部的APT攻击,还是内部的操作异常,都能被快速地定位与处置,并拓展分析。
配合终端监测与响应(EDR)、网络监测与响应系统(NDR),360态势感知及安全运营平台(NGSOC)将网络流量与终端数据进行汇总分析与协同响应,将威胁情报与数据的能力贯穿监测与防御体系,最终实现智慧地安全协同。至此,360已经成功构建了完整的安全协同产品体系。
据悉,360的海量互联网威胁情报数据保证了新产品发现未知威胁的能力。
360企业安全集团总裁吴云坤表示,基于安全协同的理念,360已经构建起了以威胁情报为驱动,终端安全、边界安全、大数据分析等安全设备智能协同的安全防御体系。
“此次发布的NGSOC是这种新体系的大脑与核心。”吴云坤表示,作为一个基于数据能力的开放平台,360 NGSOC通过开放的API,可以与多类安全产品及安全服务进行协同联动,构建起连接检测与智慧防御的体系。
大数据感知 篇2
--读《大数据时代》有感
施佳驰
不知从什么时候开始，“大数据”这个词悄然成为了我们的常用词汇；我们也不知从什么时候开始，迈进了“大数据时代”.那么，大数据时代究竟是一个怎样的时代？英国“大数据时代的预言家”维克托迈尔·舍恩伯格和肯尼思 库克耶的《大数据时代》对此有着详细而深刻的洞见。
一、什么是大数据？
根据《大数据时代》中所说，“大数据是人们在大规模数据的基础上可以做到的事情，而这些事情在小规模数据的基础上是无法完成的。大数据是人们获得新的认知、创造新的价值的源泉，大数据还为改变市场、组织机构以及政府与公民关系服务。”、“大数据即一种新型的能力：以一种前所未有的方式，通过对海量 数据进行分析，获得有巨大价值的产品和服务，或深刻的洞见。” 大数据有两层含义，第一层含义，大数据是一个总结性的概念，是对海量数据的总称；第二层含义即书本中所指出的，是一种新型的能力与方式。区别于小规模数据时代的抽样分析，大数据时代，分析的样本不再需要经过抽样，直接将全体数据进行更快更准确地分析。
二、大数据的核心是什么？
大数据的核心应当是减少冗余，提高资源配置效率。根据收集到的数据分析、挖掘出庞大数据库独有的价值，以便进行干预或提供相应的资源与服务。自古以来，人类社会的发展便是资源配置不断优化的过程，大数据作为一种新型的生产工具，它能让我们通过分析海量的数据，得知该如何更有效地分配稀缺的资源。
如医院通过对某个病人病史、生活习惯、衣食住行、工作娱乐情况等进行全方位分析，便可以准确了解病人的生活情况与生活环境，精确地指出症结引起原因所在，只要建议病人针对引起病源的因素做出调整或进行医学干预，便可以了，避免了对病人过多的用药与过大范围的盲目干预。
同样的道理，如果银行通过分析某一申请人的家庭情况、消费历史、生活习惯、财务习惯、网页浏览记录等各方面的数据，便可以清晰了解此申请人各方面的情况，甚至可推测其内心的真实想法与将要采取的做法，从而判断申请人的贷款申请资格，决定该不该授信，授信多少等内容，所有的信息在大数据时代，能在系统中搜索一下，几分钟便能全部收集完成。相比以前，()申请人申请后，银行得派出两名客户经理上门进行访问、调查、收集电信、征信等多方面的信息，再进行人工分析、鉴别等过程，耗费的时间多不说，风险也相对更高。
可见，大数据的运用不但提高了工作效率，节省了机构与申请人的时间，更能基于精确的信息，确保风险可控，且保证了授信给该申请人的正确性，将有限的资金用在刀刃上，提高资源配置质量。
三、什么是大数据思维？
书中指出，大数据思维是一种意识，认为公开的数据一旦处理得当就能为千百万人急需解决的问题提供答案。大数据与三个重大的思维转变有关：首先，要分析与某事物相关的所有数据，而不再依靠分析少量的样本；其次，乐于接受数据的纷繁复杂，而不再追求精确度；最后，我们的思维不再探求难以捉摸的因果关系，转而关注事物的相关关系。
大数据思维应当是一种意识，认识到大数据的无穷威力，并积极拥抱这个繁荣的时代；世界上的一切都是信息，都是可以量化分析的信息。如果将相关的信息进行交互分析，便能获得“上帝的视觉”——窥视知道分析对象的一切，包括所思所想；获得的信息可以通过类比，准确推测分析对象的想法以及未来行为；根据推测出来的内容进行干预或服务，从而获得商业机会；在一切均有记忆、一切均能收集、能更加准确预测未来的时代，我们或许受困于过去的行为；在这个时代，对隐私权、公平与正义的探讨上升至一个新的语境。
四、新的时代，我们该怎么办？
老子说，无为而治。因此，我们还是该吃饭就吃饭，该逛街就逛街，想吃甜点便吃甜点，过自己的生活，努力自己的工作。大数据是一种意识，更是一种工具，所有的工具最终都是为了让我们生活得更加方便、更加如意，而作为最高智慧生物的我们，要做的，便是习学如何通过这新的工具，改造世界，创造生活。
数据造就技术感知型企业 篇3
沃尔沃汽车公司自2006年开始构建数据平台以来，客户、经销商、质保、维修这样的内部数据，和GPS、POI这样的外部数据，以及机构化、非结构化数据都在大量涌入到沃尔沃分布在全球的30多个系统里，沃尔沃汽车现在急需一个弹性和敏捷的平台。数据分析解决方案供应商Teradata天睿公司将沃尔沃全球所有分公司的数据打通，为沃尔沃建立了统一数据架构方案。
美国社交游戏开发企业SGN以前只收集客户购买行为，而玩家在玩游戏过程中能反映玩家行为的非结构化数据却一直没有被采集，这就导致了很多玩家一旦觉得体验不好就马上放弃游戏。部署了Teradata数据仓库后，SGN在云端将Jason文档数据注入分析模型，获得了每日保有率、日活跃使用、营收、胜率和ROI等分析洞察，游戏开发人员能够及时重新配置游戏，实现更高的保有率和营收。据了解，现在SNG的游戏保有率可以达到75%，为行业平均值的3倍。
瑞士制药企业罗氏以前由IT部门直接把药的品种、因素都分析好之后，就可以进行开发和研制，但现在需要医生的反馈、患者的反馈，以及链条上供应商、药房的反馈。罗氏制药面临的问题是，以前的IT平台只有IT人员才能用，医生、患者很难将各自的想法反馈到平台上。基于Teradata解决方案，罗氏制药生成了一个名为“药物开发环境”的开放生态系统，罗氏制药内部人员、医生、患者、医药经销商都可以将各自的数据放到药物开发环境中，数据整合分析后，罗氏可以推进新药的研发过程。
新加坡工业设计企业伟创力在全球的几百家客户面临着同一个问题，供应链数据能否精准地提供销售数据？因为每一条供应链上的供应商都有自己的ERP系统，这些数据是完全分散的。使用Teradata整合数据仓库后，伟创力全球各地的分析团队可以实现无缝自助式访问，复杂查询的速度提高了100倍，查询周期减少了10%。
随着电信行业竞争白热化，现有的营收途径和渠道双双下滑，美国三大运营商之一的Verizon同样亟需寻找新的营收增长源。Verizon利用Teradata统一数据架构打造了企业级数据仓库，BI团队能够为CMO和CFO提供营销策略，确保这些产品有足够的盈利能力；消费者行为数据能够是财务部门更好地预测复杂多变市场中的营收，通过高级分析预测客户流失；研发团队能通过数据，持续测试和开发新产品服务，探寻新的业务营收机会。
“这就是我们所说的’感知型企业’。”Teradata天睿公司大中华区解决方案总监姜欣在总结这些案例的核心技术时说，“‘感知’能让一家企业能够更有竞争力，想要成为这样一家企业需要具备五大核心能力，包括敏捷平台、行为分析、协同思维、自主应用和自动决策。”
记者发现，Teradata提供的统一数据架构里面不完全是Teradata自己的产品，也包含了很多开源的内容，比如Spark，甚至是SaaS、PaaS這样的数据挖掘工具，还有数据湖。“数据湖是一个逻辑概念，可以基于Hadoop来做，也可以基于我们的一体机实现。我们可以兼容并包，把它们都整合到这个数据架构下。”姜欣说。
今年9月，Teradata最新发布的部署技术Teradata Everywhere采用通用数据库带来混合架构中部署的灵活性，能够在不同环境间转移工作负载，以应对不断演进的业务需求，支持企业不断变化的部署策略和成本要求。
“Teradata可以从技术层面来支撑感知型企业的能力，不管是推出Teradata Everywhere还是无边界分析技术，就是协助客户无缝体验到感知型企业的能力，而这五大能力就是在统一数据架构平台上面去体现的。”姜欣说。
Teradata Everywhere能在多种公有云、托管云和本地部署环境下，灵活部署海量并行处理（MPP）分析数据库。依托Teradata Everywhere，企业将能够在本地和云端环境下部署完全相同的Teradata数据库，而无需处理不同环境的兼容性问题，集中精力运行分析。
同时，Teradata还推出了无边界分析技术，通过为在异构化多系统数据存储库上运行分析的最新版本Teradata QueryGrid软件，以及为自动无缝协调Teradata多系统环境的Teradata Unity软件，打破过去单一系统、单一技术分析的界限，突破时间、地点以及所需数据和平台所处位置的限制，帮助企业完成数据分析。
大数据感知 篇4
认知无线电有三个基本任务:频谱感知、动态频谱分配和发送功率控制[2]。为了避免对主用户造成干扰,频谱感知被认为是认知无线电中一项关键技术。由于多径衰落和阴影效应的影响,单认知用户检测可靠性低,因此合作频谱感知被提出[3]。合作频谱感知克服了多径衰落和阴影效应的影响,能够大大提高对主用户和频谱空穴的检测性能。尽管目前提出了一些合作频谱感知方法,但是研究主要集中在单个认知用户独立同分布且具有相同的平均信噪比情况下,以等权重的方式进行数据融合[4],在实际工作环境下,单个认知用户由于分布在不同的地理位置和环境,其平均信噪比也会不同,每个认知用户的局部判决在融合中心对全局判决的影响也不相同,而目前等权重的感知算法没有考虑这些因素的影响,因此它并不是最优的。基于上述问题,本文采用一种加权合作频谱感知技术,它根据单个认知用户工作处在不同的信噪比下,动态地赋予每个认知用户不同的权重,在认知用户将判决送到融合中心后,中心对各个认知用户的判决加以不同的权重后再作出判决,从而可以提高频谱感知的性能。仿真结果表明,加权合作频谱感知不仅克服了目前合作频谱感知方法的不足,其检测性能也优于目前的方法,能大大提高对主用户和频谱空穴的检测概率。
1 基于能量检测的单认知用户检测模型
单认知用户感知通常采用匹配滤波器检测、能量检测、周期平稳特征检测[5]。由于能量检测算法是非相干检测,对相位同步要求不高,计算复杂度低,检测时间短,实现简单,所以对单个认知用户采用能量检测。能量检测框图由图1给出。检测的基本假设模型可以描述为:
y(t)是认知用户接收到的信号,x(t)是主用户发射的信号,n(t)是加性高斯白噪声,h(t)是信道的增益。在H0假设下,表示没有主用户出现,H1假设表示存在主用户。
为了测量接收信号的能量,首先接收到的主用户信号x(t)通过中心频率为fc、带宽为W的理想带通滤波,对理想带通滤波器输出信号进行平方运算,并在观测时间内进行积分,并将积分器的输出Y与门限值λ进行比较,从而检测出主用户是否出现。检验统计量Y的分布为[6]:
当认知用户在AWGN信道非衰落环境中时,信道增益'h(t)是确定的,所以对主用户的检测概率和虚警概率表示为[6]:
其中,λ是能量检测的门限;γ是信噪比;Γ(.)和Γ(.,.)是完整和不完整Gamma函数;Qm()是普遍Marcum Q函数;从上述公式可以看出,如果Pd很低,将会增大对主用户的干扰;如果Pf过高,就会导致频谱利用率低。当认知用户在衰落环境时,因为Pf是独立于信噪比的,所以Pf不变。由于信道增益h(t)是变化的,所以检测概率与瞬时信噪比有关。表示式为:
fr(x)是信噪比γ在衰落环境下的概率密度函数,当信号在Rayleigh衰落下,信噪比γ服从指数分布:
Pd的近似表达式为[6]:
2 合作频谱感知
图2为认知无线电合作感知结构图,由于多径衰落和阴影效应的影响,单个认知用户检测的可靠性低,基于数据融合的合作感知通过综合来自认知用户的信息,来提高对主用户和频谱空穴的检测性能,每个认知用户在处理来自主用户的原始数据y1,y2…,yN之后,做出局部检测判决u1,u2…,uN然后在融合中心得到全局判决u0。可以大大提高对主用户的检测概率。目前关于合作感知的研究主要是假设所有的认知用户独立同分布且都具有相同的平均信噪比,通常采用“或”规则以等权重的方式进行数据融合,即Wi=1(i=1,…N)。检测概率和虚警概率分别表示为Qd=1-(1-Pd)N和Qf=1-(1-Pf)N,Pd由(3)式或(7)式给出,Pf由(4)式给出。
3 加权合作频谱感知
在实际的工作环境中,由于每个认知用户所处的地理位置和环境的不同,经历不同的衰落环境,所以每个认知用户的平均信噪比不同,在融合中心进行数据融合时对全局判决的影响也不同,此时如果运用传统的合作频谱感知方法检测主用户和频谱空穴,性能提高不大,有时甚至低于合作感知中信噪比较好的单用户检测。
对于单个认知用户工作在不同的平均信噪比情况下,动态地赋予每个认知用户不同的权重,在认知用户将判决送到认知无线电数据融合中心后,中心对各个认知用户的判决加以不同的权重后再作出判决,相对于传统的合作频谱感知方法可以大大提高对主用户的检测性能。
首先设所有认知用户第一次感知时的权重Wi(1)=1,第i个认知用户每一次感知后得到一个权重Wi(n)(n≥2),Wi(n)为第i个认知用户在第n次感知的权重,每一次感知后认知用户会更新权重,表达式为[7]:
Pd,i是第i个认知用户在第n次感知过程对主用户的检测概率。每个认知用户的权重随感知过程的变化而变化,但是权重之和保持一个恒定值。当单个认知用户有较低的信噪比时,该认知用户的权重将随之减小,从而在认知无线电数据融合中心进行数据融合时,该认知用户对综合判决的影响也减小。
在数据融合中心根据每个认知用户的权重对主用户进行综合判决。对于虚警概率没有进行加权,因为其独立于信噪比,所以基于加权的合作频谱感知对主用户的检测概率[8]和虚警概率分别为:
4 仿真和结果分析
在试验中,分别对在AWGN信道非衰落和Rayleigh衰落环境下,传统的合作频谱感知与加权合作频谱感知的检测性能做了对比。取参数m=2。如图3所示,在AWGN信道非衰落环境下,用于合作感知的认知用户数为4个,从1dB～7dB中随机选取4个不同的信噪比赋给4个不同的认知用户,单个认知用户检测时的信噪比为7dB,从图中可以看出,采用传统的等权重的合作感知方法,其性能有时甚至还小于信噪比高的单认知用户检测的性能,采用加权合作感知后,在第2次、第3次的感知性能明显提高,在Pf小于0.1时,经过第3次感知,检测概率Pd可以接近1。
图4中,在Rayleigh衰落环境下,同样从1dB～7dB中随机选取4个不同的信噪比赋给不同的认知用户,传统的合作感知的检测性能与信噪比较好的单认知用户检测性能相差不大。加权合作感知经过第2次感知后其性能要好于传统的合作感知和信噪比高的单用户检测,第3次加权合作感知性能要好于第2次的感知性能。
图5中,在AWGN信道非衰落环境下,对传统合作感知和加权合作感知在认知用户数分别为4个和6个的情况下做了对比,可以看出在相同认知用户数目的情况下,加权合作感知经过第2次感知后的检测性能要好于传统合作感知,同时加权合作感知的性能也随着认知用户数目的增加而提高。图6为两种感知方法在Rayleigh衰落环境中的对比,同样,加权合作感知对主用户的检测性能要好于传统合作感知。因此,采用加权合作频谱感知不仅克服了目前合作频谱感知存在的不足,而且无论在衰落和非衰落环境下都能大大提高对主用户的检测概率。
对认知无线电在AWGN信道非衰落和Rayleigh衰落环境下的加权合作频谱感知性能进行了分析,同时对加权合作频谱感知与目前的合作感知方法进行了对比,提出采用一种动态加权合作感知方法,并对认知用户在不同平均信噪比情况下所检测主用户的性能进行了分析。但是认知无线电工作在复杂的变化环境中,尽管合作频谱感知能更加准确地检测到主用户,但是在资源受限的网络中,可以考虑在某些情况下只传输那些检测性能较好的认知用户的判决结果,从而可以降低对主用户的错判概率,提高检测性能,更好地利用主用户的空闲频谱。
摘要：提出一种采用动态加权合作和感知方法,并对认知用户在不同平均信噪比情况下所检测的主用户性能进行了分析。仿真结果表明:加权合作感知不仅克服了目前合作感知方法的一些不足,其检测性能也优于目前的合作感知方法。
关键词：认知无线电,加权合作感知,能量检测,数据融合
参考文献
[1] MITOLA J.Cognitive radio:an integrated agent architecture for software defined radio[D].Ph.D Thesis,KTH Royal Institute of Technology Sweden,2000．
[2] HAYKIN S.Cognitive radio:brain-empowered wireless communication [J].IEEE JSAC,2005,23 (2) :201-220．
[3] GANESAN G,LI Y G.Cooperative spectrum sensing in cognitive radio networks[C],in Proc.IEEE DySPAN 2005,2005:137-143．
[4] GHASEMI,SOUSE S.Collaborative spectrum sensing for opportunistic access in fading environment[C],in Proc.IEEE DySPAN 2005,2005:131-136．
[5] CABROC D,MISHRA S M,BRODERSEN R W.Imple- mentation issues in spectrum sensing for cognitive radios[C].in Proc.38th Asilomar Conference on Signals.Systems and Computers 2004,2004:772-776．
[6] DIGHAM F,ALOUINI M,SIMON M.On the energy detection of unknown signals over fading channels[C].in Proc.IEEE ICC 2005,5:3575-3579．
[7] HUANG Xiao Ge,HAN Ning,ZHENG Guan Bo,et al.Weighted-Collaborative spectrum sensing in cognitive radio[C].Chinacom 2007,Shanghai,China,Augnst,2007．
大数据感知 篇5
【百度大数据交响乐 揭秘百度大数据的来历】近日，百度推出大数据奏鸣曲，运用百度指数平台分析20热搜事件的涨跌态势，科学绘制大数据生成一条年度热搜事件曲线，并由专业音乐家整理、谱写成曲。据了解，在过去的一年里，百度平均每天接收到超过50亿次搜索需求，用户的每一次搜索点击都成为这首奏鸣曲的音符，13亿人共同奏响了2015时代之音。
这首宏大的年度交响乐曲特别邀请国家著名作曲人张朝谱曲，中国国家交响乐乐团担纲演奏。据了解，这个乐团与新中国共同成长，曾演绎过《梁祝》、《黄河钢琴协奏曲》等经典作品，代表着中国交响乐的最高水平，这也是中国交响乐团首次与百度跨界合作。
这部奏鸣曲信息量庞大，通过艺术的形式把原本冰冷的搜索数据多元化地展现出来。整部乐曲共分为五大部分，第一乐章，2015，从回家开始;第二乐章，重新出发;第三乐章，离别和考验;第四乐章，跋涉中的荣耀;以及第五乐章，永不止步。
乐曲根据搜索指数的曲线抑扬顿挫、婉转起伏，让我们随着音乐不自觉回想起2015共同经历的时代记忆。 过去的2015，我们在行走中探索，在探索中改变，在改变中创新。科技的发展，让原本的绝无仅有逐渐变为生活中的习以为常。
大数据感知 篇6
合成孔径雷达(Synthetic Aperture Radar,SAR)作为一种高分辨微波成像系统,可实现全天候、全天时、高增益的地面目标成像,因此具有重要的军事意义。合成孔径雷达的高分辨,在距离向上主要通过宽信号频带设计发射大宽带信号,在方位向上则通过雷达载机平台的运动依靠雷达平台运动形成的合成孔径[1]。随着SAR成像技术的不断进步和发展,成像的分辨率越来越高,以及场景目标的测绘带越来越宽,从而雷达回波数据量急剧增加,这些海量的SAR数据会给数字信号处理机的数字化采样、存储和传输等都带来很大的挑战,因此,如何有效地压缩与重构SAR数据是目前亟需解决的重要问题[2]。
近年来,压缩感知(Compressed Sensing,CS)理论[3]作为一种新的信号获取与压缩重构方法被引入到雷达信号处理领域中[4,5,6,7],该理论指出,当信号具有稀疏性或者可压缩性的时候,通过求解最优化的问题,可以用远低于奈奎斯特采样所采集到的信号观测值以高概率重构原信号。也就是说CS理论是利用信息采样代替传统的信号采样,因此采样速率主要取决于信息在信号中的结构和内容。如果将CS理论引入到SAR数据处理中,则有望实现更为有效的数据压缩,从而便于数据的传输和存储。
因此,本文利用CS理论来研究SAR场景目标数据的压缩与重构技术。由CS理论可知,待压缩数据可实现有效的稀疏化表征是该数据可运用CS理论进行压缩的前提。对于SAR场景目标,由于成像图中每个像素点对应的每个散射点是紧密排列的,因此很难实现有效的稀疏化表征。然而,对于SAR海面场景目标,其大量的海洋背景可认为是非重要信息,只有其中的少量舰船目标才是重要信息,这样,少量的舰船目标相对于大量的海洋背景是稀疏的。因此,可利用CS理论完成SAR海面场景目标数据的压缩与重构。本文依据这个思想设计了基于CS理论的SAR海面场景目标数据压缩与重构方法,具体步骤阐述如下:当SAR收到海面场景目标的回波数据后,首先依据CS理论,构造高斯噪声观测矩阵来完成对回波数据的压缩,然后再利用平滑L0(Smooth L0,SL0)算法对压缩后的数据进行处理来重构原始回波信号,在此基础上,进一步利用传统的频率变标(Frequency Scaling,FS)算法完成海面场景目标的高分辨成像。仿真实验结果证明了本文方法的有效性。
1 压缩感知理论
考虑一个实值的有限长的一维离散信号H∈RN1,假设其在某规范正交基Ψ={ψ1,ψ2,...,ψN1}下可表示为:
式中θl为投影系数。式(1)写为矩阵形式,即:
式中:Θ={θ}l为N1×1维的列向量,如果Θ中只有K1个不为零的元素或者可以用K1个较大的系数能够较好的逼近原始信号,且K1≪N1,则说明该信号H是K1-稀疏的或者可压缩的,Ψ称为稀疏基矩阵。CS理论指出,对于稀疏信号可用一个大小为M1×N1维的观测矩阵Φ(M1≪N1,M1O(K1⋅lg(N1K)))对其进行降维观测[3],得到观测集合U,即:
显然观测集合U的元素个数远小于H的元素个数,从而实现了对信号H的压缩采样。从观测集合U重构信号H实际上是一个求解欠定方程组的问题,无法直接求解。显然观测集合y的元素个数远小于x的元素个数,从而实现了对信号的压缩采样。定义压缩倍数为:
压缩感知理论指出,当感知矩阵ΦΨ满足约束等距性(Restricted Isometry Property,RIP)条件时[8,9],信号H的稀疏表示Θ可以由低维观测数据U高概率重构,即对于任意的K稀疏的信号Θ和常数εK∈(0,1),感知矩阵ΦΨ要满足式(2):
当感知矩阵ΦΨ的RIP性质得到满足时,则可利用通过求解最小L0范数问题得到信号H的稀疏表示Θ:
CS理论中另一重要内容就是重构算法的设计问题,也就是对于式(6)的求解问题。当前稀疏重建算法的一种思路是对信号或其变换系数的非零元素个数进行约束,通过0范数最小化求解,代表性的算法是匹配追踪算法和采用连续高斯函数逼近L0范数的平滑L0范数(Smoothed L0,SL0)算法[10];另一种思路是利用L1范数代替L0范数,将非凸组合优化问题转化为凸松弛问题求解,代表性算法是迭代阈值算法和梯度投影算法。为了兼顾算法的重建精度和效率,本文在后续的重构处理时采用SL0算法。
2 本文方法
假设SAR雷达发射信号为常用的LFM信号,其表达式为:
式中:当-1/2t1/2时,rect(t)=1,γ为调频率,Tp=1 PRF为发射脉冲宽度,PRF为脉冲重复频率,fc为载频,t为全时间,t̂=t-m Tp为快时间,tm为慢时间。假设目标由N个散射点构成,那么雷达接收到的回波信号,经过基带变换之后,得到[11]:
其中,RΔ是散射点与参考点之间的距离:
式中:ΔKR=4πγt̂c,Xa=V⋅tm,b=8πγ/c2,c是光的传播速度,L是成像所需的合成孔径长度,V是雷达载机的运动速度。
假设雷达接收到的回波信号在成像积累时间内按照奈奎斯特采样定律可得到N个采样值。那么根据CS理论,构造M×N维的高斯噪声矩阵Φ作为观测矩阵进行SAR回波信号的压缩处理,其中,高斯噪声矩阵Φ中的每个元素均服从N(0,1)分布。这样,有:
对于信号s(ΔKR,Xa)直接进行傅里叶变换,即可实现回波信号的稀疏化表征,因此构造离散傅里叶(DFT)矩阵Ψ作为稀疏变换矩阵。由于高斯噪声矩阵Φ与DFT矩阵Ψ线性无关,因此,他们的乘积ΦΨ满足RIP性质[12]。那么根据CS理论,即可通过求解下述表达式得到Ŝ:
对于该问题的求解,采用平滑L0算法,然后再对重构得到的结果Ŝ做傅里叶变换,即可获得SAR原始回波信号的重构结果ŝ(ΔKR,Xa)。
在此基础上,进一步利用FS算法[11]来获得最终的海面场景目标SAR成像结果。首先将信号变换到多普勒域,得到:
式中:Y和KX分别表示对ΔKR和Xa进行离散傅里叶变换之后的自变量。RB是一个常数因子,其表示目标与雷达的初始距离,Rs和Rref分别表示当载机平台运动起来后,目标散射点和参考点距雷达之间的距离。
根据频域变标算法,首先去除距离弯曲的空变性,因此S(ΔKR,KX)需要乘以频率变标函数H11,其形式为:
下面再进行“去斜”处理,也就是进行剩余视频相位的校正。校正函数处理后对信号再做傅里叶变换,变换回二维波数域。然后再乘进行逆频率变标,逆频率变标的因子为:
经过上述处理,信号完成了频域变标,下面针对频率变标的信号处理主要分为:
(1)距离徙动校正,校正因子为H22;
(2)二次距离压缩,二次距离压缩的参考函数为H23;
(3)进行方位脉压,脉压函数为H24。
经过上述处理即可得到观测场景的图像,其中校正因子和补偿函数的具体的表达式为:
本文方法的具体流程图如图1所示。
3 仿真实验
采用加拿大星载RADARSAT-1所观测的海面场景目标为例来模拟产生原始的SAR回波信号,然后再利用本文方法对其进行处理。图2(a)所示为利用传统FS算法直接成像结果,图2(b)~图2(d)分别为当压缩比为25%,12.5%和6.25%时,利用本文方法的成像结果。
下面分别利用重构结果与原始图像之间的均方误差(MSE)以及峰值信噪比(PSNR)来衡量[13],定量分析成像结果。
其中,I(i,j),Î(i,j)分别表示原图像和重构图像的像素值。
通常情况下,均方误差值越小,峰值信噪比值越大,重构图像的质量越好。表1所示即为本文方法在不同压缩比条件下的成像结果比较。
分析图2和表1中所示的结果可以看出,随着压缩比的不断降低,利用本文方法获得的成像结果质量越来越差,MSE值越来越大,PSNR值越小,然而,当压缩比降为6.25%时,利用本文方法获得的海面场景目标SAR成像结果中仍可以有效地判别出7只不同的舰船目标,因此,本文方法可以将SAR海面场景目标回波数据压缩16倍左右,这些仿真结果充分证明了本文方法的有效性。
4 结论
大数据感知 篇7
人们广泛使用无线传感器网络[1]来从物理世界采集多种属性数据，在网络世界重建环境数据。这些数据对科研人员发现周围世界具有重要作用。例如，科研人员根据风速、空气湿度和空气温度数据揭示了植物进化，根据火山温度和震动数据预测火山喷发。然而，无线传感器网络经常出现数据丢失现象，比如文献[2]的海洋监测项目和文献[3]的Green Orbs项目的数据丢失率分别达到64%和35%。因此，对这些数据进行高精度恢复是个重要课题。
较高的数据丢失率掩盖了时间和空间相关性。因此，经典的插值方法，比如文献[4]中的K最近邻算法，由于缺少单跳近邻(最近邻)导致结果不尽如人意。最近文献[5]基于环境时间和空间改进的压缩感知算法(ESTI-CS)，提高了数据恢复的精度。然而，面对大量数据丢失情况，低秩和稀疏特征受到影响，ESTI-CS算法的估计误差较大。
我们注意到如下两种状况:(1)一般情况下，无线传感器网络往往同时采集多种属性，比如Telos B结点[3]采集了3种属性:温度、光照和湿度。(2)我们有理由认为这些属性存在相关性。例如，当太阳升起时，室外温度和光照会同时上升。海水盐度也和深度存在关系。文献[6]实证研究表明，温度、露点温度和相对湿度间存在线性关系。这些属性间的相关性可以作为内部相关性的补充，进而提高估计精度。因此，我们的思路是如何挖掘这些相关性并应用到数据恢复问题中。
针对这一问题，首先研究了Intel Indoor项目[7]和Green Orb项目[3]真实传感数据的特征，并从中发现了低秩属性特征。我们提出了一种联合稀疏分解方法以确定多种属性间的交叉特征。在两种相关属性间发现了一种很具活力的公共部分。然后，提出了MACS算法，利用属性特征来同时恢复多属性数据集。最后，基于真实数据对本文算法进行仿真，对MACS算法与KNN、ESTI-CS等经典和最新算法进行比较，评估结果表明，MACS性能优于其他算法。
1 相关工作
数据恢复问题一直是WSN中的一大研究热点。相继有众多的学者提出了一系列方法用于无线传感网中数据恢复的方法[8,9,10,11,12]，如吴桂峰等人[8]提出一种基于二次规划的无线传感器网络数据恢复算法。该算法将压缩感知重构中的欠定线性方程组求解转化为有界约束二次规划问题，在此基础上结合阿米霍步长准则对二次规划进行求解，从而对网络数据进行恢复。理论分析和仿真结果表明，所提算法在准确恢复网络数据的前提下，明显降低数据恢复的计算复杂度。冯志刚等人[9]提出了一种基于LS-SVM回归的时间序列预测器，并将其用于传感器的故障检测和数据恢复。仿真实验比较结果表明，LS-SVM预测器预测精度高，外推能力强，可有效实现传感器故障检测和短期数据恢复。黄宴委等人[10]为解决桥梁结构健康监测系统中数据丢失问题，引入格兰杰因果关系分析各传感器变量数据间的关系，选择与传感器丢失数据格兰杰因果关系大的变量作为极限学习机的输入向量，实现丢失数据的恢复。仿真实验结果表明，与反向传播网络和最小二乘支持向量机算法对比该方法在理论和实践上是正确和可行的。谢梦等人[11]提出了一种利用网络节点的缓冲区存储和重传网络编码包进行丢包恢复的机制。实验结果表明，提出的丢包恢复机制只需要较少的重传次数就能精确地恢复丢包，与已有方法相比，降低了网络能耗。
另外还有许多文献对丢失数据插值问题展开了研究。最经典的插值算法是K最近邻算法[4]。该算法利用相邻数据的均值作为丢失数据的估计。当丢失的数据量不太大时，该算法的性能比较优异。然而由于缺少单跳近邻(最近邻)，当丢失率上升时，估计误差会迅速上升。压缩感知[12]是当前一种先进而又强大的大规模数据丢失恢复算法。有多种基于(CS)的变种算法在实际领域中得到应用，比如分布式压缩感知算法(DCS)和多任务压缩感知(MTCS)算法应用于信号处理和图像处理领域[13,14]。应用于无线传感器领域的最先进的CS变种算法为ESTI-CS[5]。ESTI-CS算法针对无线传感器网络特有的数据丢失模式，对传感器数据的低秩和时间-空间特征加以利用。然而，面对大量数据丢失的情况，低秩和稀疏特征受到影响，ESTI-CS算法的估计误差较大。
总的来说，以上算法均是根据单一特征来估计丢失数据。然而，自然环境中的许多物理属性间存在强烈的相关性，比如湿度和温度[6]。鉴于此，本文研究就是利用这些相关性来进一步提升数据恢复的精度，提出了一种基于多属性协助和压缩感应的数据恢复精度优化算法，并通过仿真实验验证了本文方案的有效性。
2 问题描述
2.1 环境数据恢复问题
假设在一定区域内部署n个结点，每个结点配备k个传感器来测量属性。监测周期有t个时间隙。数据报文的格式如下:
在下文中，设k个属性表示为Mi,i=1,2，…，k。每个Mi为一个n×t矩阵。由于无线传感器网络数据丢失，因此Mi往往是不完全矩阵。我们获得的关于Mi的信息就是一组采样元素(Mi)pq,(p,q)∈Ωi，且Ωi是Mi元素完整集合的一个子集。这一过程用采样算子PΩ(·)表示，定义为:
因此，我们获得的矩阵为PΩi(M1),i=1,2，…，k。本文要研究的问题是:根据采样矩阵PΩi(M1)，…，PΩi(Mk)(无线传感器采集到的不完整数据)，尽可能实现矩阵M1，…，Mk(完整的环境数据)的高精度恢复。我们把该问题称为环境数据恢复问题(EDR)。
2.2 问题定义
由于重点是对多个属性间的相关性加以利用，所以我们要对多个矩阵进行联合估计。为简便起见，本文大部分情况下以两个属性为例讨论EDR问题。本文分析和算法可以轻松拓展至多属性情况。
正式地，当k=2时，可将问题定义为:设M1和M2的子集为确定一个最优解实现式(2)最小化:
其中，‖·‖F表示Frobenius范数。例如，对矩阵X=(x(i,j))p×q，因为属性的数值不同，一个矩阵可能会掩盖另一个矩阵，所以使用μ作为权衡系数。
3 传感器网络的数据集
本节将对无线传感器的真实数据展开分析，进而确定几种属性，为本文数据恢复算法打下基础。
3.1 真实数据
原始数据从Green Orbs[3]和Intel Indoor[7]两个项目采集而得。对原始数据分析后得知，两个数据集的丢失率分别为35%和23%。因此，为了获得真实数据，选择了两个规模较小但完整性较好的数据集，见表1所示。选择方法需要考虑时间和空间双维完整性最大化，见图1所示。每个数据集包括温度和光照两个属性的子集，且两种属性的选择元素相同。
3.2 低秩结构
考虑到相邻传感器的读数具有相关性，短时间内的读数非常相近，于是我们对环境数据集的内在结构或冗余性进行挖掘。
使用奇异值分解(SVD)。n×t维矩阵X的SVD为:
其中，σi≥σi+1,i=1，…，min(n,t)，(·)T为移位操作符，U为n×n正交矩阵，V为t×t正交矩阵，Σ为包括X所有奇异值的n×t维对角矩阵。假设r=rank(X)，于是Σ中的σi为Σ=diag(σ1，…，σr,0，…，0)。所有奇异值的和表示X的总能量。根据文献[15]，如果矩阵X为低秩矩阵，则它的前r个奇异值之和便表示了它的总能量或近似总能量，即图2为表示奇异值能量分布的累积分布函数。前5%个奇异值包含了Indoor项目温度和光线的所有能量。前5%和20%的σi分别包含了Green Orbs温度和光线90%的能量。以上结果表明，秩的最小化可以用于本文数据恢复问题中。
3.3 属性间的内在关联性
自然属性间往往存在一定的联系。例如，文献[6]的实证研究表明，在特殊情况下，温度、露点温度和相对湿度间具有线性关系。然而，在大部分情况下，这些关系无法直接表示为一个简单的函数。为了利用无线传感器网络属性间的关联性，本文提出联合稀疏分解(JSD)策略将两个矩阵分为一个共同部分和两个特殊部分。假设M1=(m1(1)，…，mk(t)),M2=(m2(1)，…，m2(t))。对两个列向量m1(k)和m2(k)，我们的目标是分割它们，即:
其中，u(k)是m1(k)和m2(k)的共同部分，为基数ψ(即小波基)和稀疏向量v(k)的积。两个特殊部分分别表示为δ1(k)和δ2(k)。此外，将式(4)重写为矩阵形式，即:
根据压缩感知理论，通过求解如下的l1-范数最小化问题，可以确定(v(k)T，δ1(k)T，δ2(k)T)T:
其中，‖·‖1为l1-范数，=(v(k)T，δ1(k)T，δ2(k)T)T,m=(m1(k)T,m2(k)T)T，且A=(ψ，I,0;ψ，0,I)。于是，根据求得u(k)T、δ1(k)T和δ2(k)T。对每个列向量进行JSD分解，则M1和M2分解为:
图3表明，如果两个矩阵的相关性较高，则共同部分占据的比例相对较高。例如，如果对相关程度最高的两个完全相同的矩阵进行JSD分解，则共同部分包含了100%的能量，且特别部分为Δ1=Δ2=0。因此可以认为，在室外无线传感器网络中，感应光照和温度间具有相关性。图3表明，森林光照/温度的共同部分占据了总能量的29%，而特别部分分别占据了35%和36%。我们还对两个不相关的矩阵进行了JSD分解。森林光线和室内光线的共同部分间没有相关性，只占据了总能量的7%。
此外，JSD分解后还可以发现矩阵的低秩特征。如表2所示，属性90%以上的能量包含在前30%的奇异值中。这表明，获得的JSD矩阵仍然体现了低秩特征。
4 本文算法
为了解决EDR问题，我们提出一种新的相关数据估计算法，即多属性协助的压缩感知算法(MACS)，可以实现无线传感器网络的联合属性恢复。
4.1 算法设计
正规化在式(2)中，参数μ的选择对估计的精度具有重要影响。因为矩阵M1和M2间的相关性未知，所以需要验证以确定μ的最优值。这一问题的一个简单方法就是对每个矩阵正规化，然后设置μ=1。由于可能失去实际最优值，所以我们采用采集到的数据集的最大值，即:对每个传感矩阵PΩi(Mi)，使用max(PΩi(Mi))正规化。这一操作是基于自然属性变化缓慢这一观察结论。换句话说，观察矩阵和初始矩阵最大值间的差异的数值较小，即:对i=1,2:
低秩矩阵近似式(2)含有参数M1和M2，因此问题无法直接求解。然而，第3节内容讨论了如何确定低秩特征，因此通过转化为秩最小化可以求解问题。通过SVD分解的逆过程，使用X的前k个最大奇异值，Frobenius误差范数‖·‖时X的最优k-秩可近似表示为在本文问题中，这一方法不可行，因为我们无法知道Mi确切秩的完整信息。然而，由于初始Mi的低秩特征，我们可以假设估计出来的也具有低秩特征。于是，Mi的最优值可以通过如下问题评估:
接下来，我们还有两个问题需要解决:(1)秩运算操作符rank(·)非凸;(2)M1和M2间没有关联。
为绕过问题(1)，我们使用文献[5]中与SVD分解类似的因式分解，即其中L是一个n×k矩阵，R是一个t×k矩阵，k是确切秩的一个近似。根据文献[15]可知，当PΩ(·)满足一定的技术条件时(受限等距特性[12])，秩最小化完全等同于核范数最小化。此外，如果X的秩低于LRT的秩，则等于min(‖L‖F2+‖RT‖F2)。
基于压缩感知的联合矩阵分解为了解决问题(2)，我们需要确定M1和M2的关联性，然后将其应用到求解最优解过程中。通过第3节描述的联合稀疏分解，可以确定两个矩阵间的关联性。因此，我们利用联合稀疏分解将拆分为:
根据第3节的低秩结构分析，假设低秩。于是问题转化为实现式(10)最小化:
条件:其中，‖·‖*为核范数，定义为奇异值之和，即:实施与SVD分解类似的因式分解，式(10)可重写为:
其中，LU、L1、L2为n×r矩阵，RU、R1、R2为t×r矩阵。同时，
为了避免过度拟合，本文通过使用拉格朗日乘子，将问题转化为非平稳优化问题，即实现式(12)最小化:
其中，拉格朗日乘子λ可对秩最小化和精度进行折衷。式(12)可解，原因如下:(1)Ω1、Ω2、S1和S2已知;(2)每个‖·‖F2非负;(3)通过将所有非负部分最小化为0，可以求解最优值。因此，通过式(12)和式(9)可以估计出
拓展本文算法也适合处理多属性情况。例如，如果无线传感器网络测量3个属性M1、M2、M3。类似地，将式(10)重写为:
其中，通过与算法1类似的其他方法可以求解该式。用相似方法可以将其拓展至更多属性情况。
4.2 算法
为了求解式(12)定义的最优估计，我们提出了一种高效估计算法。具体内容见算法1。该算法用迭代思想求解最优化问题。首先，除了RU，所有的L和R矩阵随机初始化。已知其他L和R矩阵且确定了LU后，根据下式可以计算出RU:
通过计算每一行可以求解该式。将其重写为:
其中，i的范围为1到t。式(15)可看成为线性最小二乘问题。通过算法1的逆函数cross Inverse可以确定RU。确定RU后再利用同样的步骤可以求得LU。用类似方法可以求得Li和Ri，伪代码见single Inverse。
此外，算法1中的秩的近似值r和拉格朗日权衡系数λ对估计的精度具有重要影响。因此，通过文献[16]来调整λ。本文评估使用r=20%min(n,t)，因为20%的奇异值贡献了数据集90%以上的能量。算法复杂度为O(rntk)。因为算法1中的关键操作为逆运算，其复杂度为O(nrt)[5]，于是算法迭代k次。
5 性能评估
5.1 评估方法
本文基于真实数据驱动的仿真实验展开性能评估。
真实数据真实数据包括Green Orbs和Intel Indoor项目的温度和光照属性。在第3.1节，我们详细讨论了如何从原始数据中获取真实数据。
比较对象为验证本文算法的有效性，我们选择两种无线传感器网络丢失数据恢复算法作为比较对象。它们是文献[4]中的经典插值K最近邻算法(KNN)，及文献[5]中当前最新的改进型环境时空压缩感知算法(ESTI-CS)。
评估指标为了对不同矩阵获得的结果进行比较，我们使用基于Frobenius范数的近似误差率[16]，定义为:
其中，是Ω的补集。
比较步骤仿真步骤如下:1)从真实数据中丢失部分数据来模拟无线传感器采集数据。从随机丢失模式中生成子集Ω，然后设置Ω1=Ω2=Ω。数据丢失率20%～90%;2)使用两个物理属性的数据集，计算PΩ(M1)和PΩ(M2);3)PΩ(M1)和PΩ(M2)作为KNN、ESTI-CS和MACS估计算法的输入。然后，我们获得M1和M2的估计4)根据式(16)定义的误差率来比较算法性能。
5.2 仿真结果
在图4中，我们给出了两种属性下3种算法的比较结果。根据仿真，当丢失率低于60%时，MACS误差率低于5%，而ES-TI-CS误差率为10%,KNN性能更低。当丢失率更高时(80%),MACS的误差率仍然低于10%。主要原因是MACS使用了两个属性间的关联性。所以，当属性间存在相关性时，丢失数据的估计精度将会上升。即使两属性间没有关联性，MAC的性能也与ESTI-CS相当。
温度的恢复精度高于光照。主要原因是室内无线传感器网络的温度变化缓慢，且变化幅度不大，时间和空间稳定性强，对估计算法有利。但是Green Orbs项目的光照精度相对较弱，原因是自然环境中的光照强度变化较大。
从图4中可以看出，KNN算法的估计性能差强人意，当数据丢失率上升时，性能下降非常迅速。可能原因是无线传感器网络大量数据丢失时，掩盖了属性间的时空相关性，导致插值方法无法从这些特征中获益。总体来说，无论属性间是否存在相关性，在随机数据丢失模式下，MACS的性能要优于ESTI-C和KNN。
6 结语
大数据感知 篇8
为了最小化损失, 在一个大的地理区域 (如森林) 内的多个不同地方的事件的探测需要尽早地追踪。我们想到了一个能够监视一片广阔的分布式地理区域的分布式WSN。传感器节点使用限定的结构进行部署, 部署的传感器的数量取决于事件发生的可能性。例如, 一个大的森林包括一些岩石的组合, 这些岩石分散在森林中的一大片区域, 很多高大的树木集中在被称作亚区或亚森林的一个特定区域, 在这种情况下, 便没有必要在森林中的岩石区部署传感器。因此, 事件发生可能性越大的地方传感器的密度也就越大。
图1展示了一个分布式WSN。每个亚森林区包括一个重要的Sink节点和一个次要的Sink节点, 如果主Sink节点失去功效则次Sink节点可以代替它, 整个系统还可以正常运行。在图1中只展示了一个可以和属于其它亚区域或亚森林的主Sink节点共享信息的Sink节点, 这些Sink节点是首尾节点, 他们之间可以通过直接连接进行通信, 例如他们之间的一次跳跃通信。来自亚森林的任何一个sink节点充当着头sink节点, 头sink节点可以查询来自不同亚森林的另外sink节点的信息。头部可以存储信息并追踪多个亚区的时间, 它也发出较早的探测和在WSN中事件发生地点的警报信息。
2 系统模型
我们想出了一个包含N个传感器节点的WSN, 在监测区域的这些传感器节点被有结构的进行部署, 来给网络编码创造机会。这N个传感器节点周期性的感知温度并将数据传送给sink节点。根据功能, WSN中的传感器节点被分为三种, 叶节点主要被用来感知并传送信息;集合节点主要用来聚集使用网络编码收到的信息并传送它;有一些转播节点向sink节点转播信息。
3 假设
为了应用可以提高分布式WSN性能的网络编码技术, 提出了下列假设。
每个节点被放置在彼此距离大约相同距离处。
节点按照2D平面进行放置;考虑到传感器部署平面不统一。
N是传感器节点的数量, S是Sink节点的数量。N和S的值取决于森林的深度。S取决于在一个地理区域内森林分成了多少块, 对于一个大森林来说N值很大。
在部署传感器的时候, 每个传感器节点分配了一个唯一的ID。
Sink节点维持了一个表格, 其中每行包含一个ID和一组坐标。在WSN中sink节点使用这张表来定位和追踪森林火灾。
所有传播都包含源ID和sink节点ID, 这种传播方式成为多播。
e1和e2是集合节点收到的两个信息, f是一个用来计算这两个数值间主要区别的二项式, 并且返回yes或no。如果e1和e2相差不超过γ, 函数f返回false, 否则返回true。两数之差的绝对值用d表示:d=e1~e2。
f:{0 if d<γ, 1 otherwise}
4 无线传感器节点和sink节点的规则
在网络中传感器节点的作用广义上包括感知、聚集和转播。传感器节点的功能是由制定预部署策略的部署者所决定的。集合节点是比叶传感器节点更强大的节点。sink节点是具有更高的带宽, 更强大的处理能力和存储能力的末端节点。
在网络中, 叶节点用来感知和传播。它存储先前传播的数据, 如果现在感知的数据 (温度) 和先前传送的数据差别较大, 新感知的数据就会像图2所示传送给聚合节点。这样通过避免不必要的数据传输节省了很多能量。
聚合节点的作用是作为网络编码节点, 这些节点运行启发式算法来限制大量信息流并实现节省网络带宽的网络编码。聚合节点使用f函数来决定是否应用网络编码。
5 部署策略和拓扑结构
部署策略是2D的。如图2所示, WSN是递归构建的。图3展示了一个更一般化的框架。图2中, 节点1和节点3是sink节点, 一个sink节点是主sink节点, 另一个sink节点是从sink节点, 但是他们在WSN中有同样的作用, 如图所示, 节点1和节点3从大量的传感器节点中获取大量的数据。拓扑结构最初由节点1、2、3、4、8、19、12和16组成。这称作初始级别L0, L0包括8个节点。现在拓扑结构递归构建级别L1、L2、L3…LP。L1包含8个叶传感器节点和4个聚合节点, 其中节点5、10、13和18是聚合节点, 节点6、7、9、11、14、15、17和20是叶传感器节点。级别L1包含 (r+q) 个节点, 其中r表示叶传感器节点的数量, q是级别L1中添加的聚合传感器节点的数量。此外, 拓扑结构进行递归构建, 则级别L2包含2 (r+q) 个节点, 随着WSN中级别的增加这个过程会继续添加新的传感器节点。提出的这个结构是可以升级的, 并且随着级别的提高, 它可以容纳更多的传感器节点。
6 结论
在这篇论文中我们展示了一个健壮的可知网络编码数据聚合方法。这种方法将通过减少网络中传输的信息数量来提高网络的性能, 它还为来自多个传感节点到sink节点的多对多网络流提供保护来防止连接失败, 我们提出的方法的效率已经在地理应用即野外火灾探测的帮助下得到论证。这种递归的部署策略是可升级的, 并可应用在一个大的分布式无线传感器网络中。
摘要：无线传感器网络 (WSNs) 被广泛的部署用来监视像适度、温度和土壤肥沃度等信息。当传感器节点采集到数据并且将数据传到网络时, 网络的流量增加并且可能造成可导致广播风暴问题的堵塞。阐述了最优化数据集合和减少WSN内传播信息的数量的网络编码。一个可知编码部署策略通过在传感器节点集合中创造网络编码机会表现出来。我们的部署策略可产生一个支持多对多网络流的拓扑结构。它同时也提供了在网络中防止出现多个错误的保护。此外, 我们提出了一种可以限制不必要传播的启发。
关键词：分布式WSN,数据集合,网络编码
参考文献
[1]Y.Wu, P.A.Chou, Q.Zhang, K.Jain, W.Zhu, and S.-Y.Kung."Network planning in wireless ad hoc networks:a cross-layer approach".IEEEJSAC special issue on wireless ad hoc networks, 23 (1) :136-150, 2005.
大数据感知 篇9
本项目是2010年国家重大专项项目"传感器网络电磁频谱监测关键技术研究"(项目代号2010ZX03006-002)子项目的研究、设计与开发。"传感器网络电磁频谱监测关键技术研究"项目要求构建由不少于50个节点组成的宽带无线频谱监测试验网络,该网络各监测节点之间监测指令的下达及监测数据的上传都需要已知网络传输,由于不同的应用环境类型所能达到的无线传输速率以及网络吞吐量受环境影响较大,单一的网络拓扑结构限制了不同数据类型的传输,因此采用不同的网络拓扑相结合的方式,使频谱监测数据可靠的传输至检测中心。本文就感知共存的TD-SCDMA技术与无线传感网数据融合进行研究并提出数据融合技术的设计方案。
2 TD-SCDMA移动通信系统概述
TD-SCDMA(TimeDivisionSynchronousCode Division Multiple Access,时分同步码分多址)是由中国无线通信标准化组织(CWTS)制定,并被ITU(International Telecommunications Union,国际电信联盟)接纳的三大3G无线通信主流标准之一,该系统在频谱利用率、业务支持、频率灵活性及成本等方面具有独特优势。
TD-SCDMA的多址接入方案采用DS-SCDMA方式,码片速率为1.28Mc/s,扩频带宽约为1.6MHz,采用不需配对频率的TDD工作方式。它的下行和上行的信息是在同一载频的不同时隙上进行传送的。
TD-SCDMA系统的帧结构将10ms的无线帧分成两个5ms的子帧,每个子帧中有7个常规时隙和3个特殊时隙。三个特殊时隙分别为下行导频时隙DwPTS、主保护时隙GP和上行导频时隙UpPTS。在7个常规时隙中TSO总是分配给下行链路,而TS1总是分配给上行链路。
通过灵活配置上下行时隙的个数,使TD-SCDMA适用于上下行对称及非对称业务模式。上行时隙和下行时隙之间由转换点分开。在TD-SCDMA系统中,每个5ms的子帧有两个转换点:第一个转换点是从下行链路转到上行链路,位置在DwPTS和UpPTS之间的GP;第二个转换点是从上行链路转到下行链路,位置在每个子帧中最后一个上行时隙和第二个下行时隙之间,TSO是第一个下行时隙。其中,第一个转换点相对于每个子帧的开始时间是固定的;第二个转换点随着分配给上下行的时隙数不同而变化。
TD-SCDMA无线移动通信系统采用了智能天线技术、联合检测技术、时分双工、动态信道分配技术、软切换技术、功率控制技术、软件无线电技术、信道估计与补偿技术等关键技术,增加了系统容量,提高了系统抗干扰性能,降低了发射功率,节约了制造成本。
3 TD-SCDMA系统与无线传感网数据融合设计方案
3.1 面向电磁频谱监测的无线 传感网系统网络结构
面向电磁频谱监测的无线传感网络体系结构采用分簇的类树状拓扑结构,管理中心位于最顶端,网关节点为管理中心的下属节点,感知节点是网关节点下属节点,每个网关节点和其下属的感知节点组成一个簇。簇内的拓扑结构采用自组织网模式。该拓扑结构满足各节点之间交互大量不同种类的数据,具有一定的通用性和扩展性,适用于不同客户不同数据传输的要求。网络拓扑结构如图 1所示。
感知节点是网络拓扑的最底层节点,负责最基础的频谱监测功能,并能根据检测的频谱信息进行数据处理,将处理数据上报网关节点。
网关节点是感知节点的上级节点,是任务管理中心的下属节点。在整个拓扑结构中处于中间地位,负责收集簇内的信息进行整理压缩上报给任务管理中心。网关节点同时也具有和普通感知节点一样的频谱监测功能。
任务管理中心作为网络中所有上报信息的最终汇聚点,处于拓扑结构的最顶端,主要负责提供人机交互界面、处理并显示各节点上报信息、下达各种指令以获取所需信息、网络管理、记录并统计各种数据,生成相应报表。网关节点与任务管理中心之间采用TD-SCDMA移动通信系统进行通信,本项目研究的内容就是在网关节点将网关节点汇聚的频谱监测数据进行融合处理并通过TD-SCDMA网络上传至任务管理中心。
3.2 TD-SCDMA系统与无线传感网 数据融合技术方案
在整个网络拓扑结构中,网关节点即具有无线传感器功能进行频谱监测,又要将簇内的频谱监测数据通过TD-SCDMA网络上传至任务管理中心,因此网关节点融合了TD-SCDMA传输系统和无线自组网传输方式。TD-SCDMA网络数据传输采用TCP/IP协议传输,无线自组网采用IEEE 802.15.4协议传输,两种网络协议存在较大差异,因此在网关节点必须采取数据融合技术,将两种网络有效融合。数据融合技术分为应用层融合技术、网络层融合技术和链路层数据融合技术等方式,为实现系统多任务需求,本项目数据融合采用应用层数据融合方式。应用层数据融合方式可提供方便、灵活的查询提交手段;可屏蔽底层操作的用户接口,传输设备无须改变原来的系统协议,也不必关心数据是如何采集上来的;同时应用层融合的数据形式便于网内的计算处理,减少通信的数据量和设备功耗。因此在该项目设计时采用了应用层数据融合方式。其融合方式的原理框图如图 2所示。
传感网与TD-SCDMA传输网物理互联接口采用USB接口连接,两个网络之间用一个虚拟数据融合池(公用数据存储器)进行数据交互,为避免数据溢出,两个网络采用信令控制方式进行数据流控制,其示意图如图 3和图 4所示。
3.3 TD-SCDMA系统和无线传感网 数据融合通信协议
依据上述分析,我们提出了自有的数据融合通信协议,协议采用互控方式,包括线路信号包定义、应用数据格式定义、消息收发规则和通信协议实现等内容。
(1) 线路信号包格式
*起始标志:一个字节,0xe7
*数据单元:应用数据有效载荷(PDU);
*校验单元:对协议中PDU的内容进行校验;根据通信包PDU生成校验值。校验单元采用CRC校验,生成多项式为CCITT推荐的16位的x16+x12+x5+1(0x11021)。发送方根据通信包生成2字节的CRC检验(传输时低字节在前,高字节在后);同样,接收方收到完整的数据包后,根据通信包生成新的CRC检验值。如果所计算出的CRC值和收到的校验值相同则表明该数据包有效,否则认为该包在传输的过程中产生了差错。
*结束标志:一个字节0xc7
*转义处理:为防止数据中出现开始结束标志,除帧头帧尾外,传输数据中出现该标志的字符进行转义处理,选用转义字符为0xf7,转义规则如下:
帧头0xe7--------'0xf7 0xd7
帧尾:0xc7--------'0xf7 0xb7
转义字符:0xf7--------'0xf7 0xa7
对于需要进行转义后发送的情况,要按照如下的顺序进行操作:发送数据包之前,先生成CRC校验值,再进行转义处理;接收到数据包后,先进行转义处理,再进行CRC校验。
(2) 应用数据格式
(3) 消息收发规则
td-scdma传输设备和传感器网络通过USB串口接口进行消息收发,无主从地位,两端均可进行消息发送的发起。
消息的收发按照应用数据格式进行封包后按照线路数据包格式发往USB 串口。通信包标识号低字节先传,高字节后传。最高三位作为类型,0为包序号(即非应答包,其他为应答包),1为成功接收应答,2为长度错误应答,3为校验和错误应答,4为重复接收,5为发送中断。低13位作为包序号,发送和应答的包序号应该相同。应答包仅包含通信包标识号。
应用程序将应用数据传递给传输层发送,传输层添加通信包标识号和长度后交给物理层转义并添加包头包尾发送到线路上。传输层进行应答分析,超时控制及重发,重发三次失败后认为连接断开并传递错误至应用层,成功发送传递成功信息至应用层。
接收方每收到一包应用数据,立即返回一条应答。
(4) 通信协议实现原理
td-scdma传输设备通信协议采用多线程设计,TCP连接收发使用一个线程,UDP连接收发使用一个线程,通信协议侦听及分析使用一个线程。各线程之间使用消息队列进行通信。
* Tcp连接维护:
td-scdma传输设备在收到TCP连接请求后,创建一个socket,该socket带有keepalive属性并维护TCP连接状态,检测到TCP连接断开后(不论是网络断开还是TCP连接断开),td-scdma传输设备会自动尝试使用设置的目的IP和TCP端口重新建立TCP连接。
* Udp监听端口维护:
td-scdma传输设备在收到UDP侦听端口请求后,创建一个socket侦听该端口,如果网络断开,则在网络重新连接上后自动绑定侦听端口。
* Tcp接收数据:
td-scdma传输设备接收到TCP连接上的数据后将其通过USB发送给无线传感器,三次重发失败后将丢弃该包数据,数据缓存在设备侧的消息队列。
无线传感器使用接收函数接收数据时,因为接收函数一次吐出一包数据给应用程序,所以传递给接收函数的接收缓冲区大小应该大于等于1600字节,否则可能会返回-5表示接收空间不够大的返回值并丢失部分数据。
* Tcp发送数据:
无线传感器将需要发送的TCP数据通过USB发送给td-scdma传输设备并等待应答,td-scdma传输设备将数据成功提交给socket后返回应答,无线传感器需要检查发送函数的返回值来确定数据是否成功提交。
* Udp接收数据:
td-scdma传输设备接收到UDP侦听端口上的数据后将其通过USB发送给无线传感器,三次重发失败后将丢弃该包数据,数据缓存在设备侧的消息队列。
* Udp发送数据:
无线传感器将需要发送的UDP数据通过USB发送给td-scdma传输设备并等待应答,td-scdma传输设备将数据成功提交给socket后返回应答,无线传感器检查发送函数的返回值来确定数据是否成功提交。
无线传感器使用接收函数接收数据时,因为接收函数一次吐出一包数据给应用程序,所以传递给接收函数的接收缓冲区大小应该大于等于1600字节,否则可能会返回表示接收空间不够大的返回值并丢失部分数据。
* TCP/UDP封包大小:
库(数据融合池)提供的封包
能力最大为1600字节,但是因为无线网络的传输特性,建议不要超过512字节,否则会造成系统频繁的拆包、重组、重发甚至丢包无法正确传输的问题。
* USB通信协议库接口及库函数
无线传感器作为USB host端,td-scdma传输设备作为device端,两端将usb设备均映射为USB串口设备。在无线传感器同td-scdma传输设备之间提供了一个mylink.a静态库,为无线传感器提供TCP/UDP的通信服务。
4 结 论
感知共存的TD-SCDMA技术与无线传感网数据融合技术采用网络应用层数据融合技术设计,将无线传感网与TD-SCDMA无线移动通信系统两种网络进行有效的融合,使无线传感网摆脱了近距离传输的缺陷,拓展了无线传感网的应用空间,在具有TD-SCDMA系统覆盖的地方就可与无线传感网连接,建立区域或全国网络,具有很好的市场应用前景。
摘要：文章通过对传感器网络电磁频谱监测系统网络拓扑结构、TD-SCDMA无线移动系统的研究分析,提出了感知共存的TD-SCDMA技术与无线传感网数据融合技术方案,方案通过应用层数据融合技术将TD-SCDMA无线通信网与无线传感网进行有效结合。最后文章给出了感知共存的TD-SCDMA技术与无线传感网数据融合技术的设计方案。
关键词：TD-SCDMA移动通信系统,无线传感网,数据融合技术
参考文献
[1]YD/T 1371.2-2006 2GHz TD-SCDMA数字蜂窝移动通信网Uu接口物理层技术要求[Z].信息产业部科技司.
[2]YD/T 1367-2006 2GHz TD-SCDMA数字蜂窝移动通信网终端设备技术要求[Z].信息产业部科技司.
[3]郑相全编著.无线自组网技术实用教程[M].北京:清华大学出版社,2004.