数据链网络（精选12篇）
数据链网络 篇1
1 宽带数据链网络概述
1.1 宽带数据链的定义
数据链是实现传感器、指控系统和武器平台之间一体化无缝链接, 达成战术信息高效、实时共享的关键。随着网络时代的到来, 利用网络来实现平台中心作战中的话音通信, 从而实现数据信息的互通。网络中心作战通过用数据通信加话音通信来控制。传感器和射手通过数据链在所有平台之间共享信息, 并产生比平台中心作战大大改进的信息状态。这种宽带数据链包括了各种通信设施, 能够在实训中实现链路的互通, 依托数据链达成战术信息实时共享, 实现了从以计划为中心向以行动为中心的转变。数据链最早是应用在海军战术数据系统中[1], 能够利用数据链获得海上清晰的图像, 从而便于作战指挥。数据链是随着网络协议的发展而发展的。从美军的SCDL、TCDL和MP-CDL等数据链的使用来看, 宽带数据链网络性能取得了较好的发展, 网络协议也已经从简单到复杂。从非标转到标准转变了。随着现代网络的发展, 网络的会用人群越来越广, 使得网络的拓扑结构差异逐渐变大, 在这个高速发展的网络时代, 不同的网络拓扑结构所涉及到的网络协议也是不同的。
1.2 宽带网络数据链的网络特征
在宽带数据链网络中, 网络拓扑结构主要是有中心的网络和无中心的网络。有中心的网络主要是通过中心节点来进行数据互通, 其他的网络节点只有通过中心节点才能实现彼此之间的数据通信。在TDMA模式下, 所有节点在时隙管理下收发数据, 节点的发送时隙是动态变化的, 以解决某个节点需要发送大量数据以及网络效率的问题[2]。在CD-MA模式下, 所有节点收发数据随机, 也可以通过控制帧, 改变节点的发送速率, 以满足不同节点的数据, 发送量的问题这种网络的拓扑结构一般都是星状, 在无中心节点网络中, 每个网络节点之间都是平等的, 无需通过任何介质, 网络的任何连个节点都可以实现通信, 这种通信可以是一对多, 或多对一。这种网络拓扑结构每个节点之间都可以实现数据互通, 因此其数据链网络协议也就相对较为复杂。
2 宽带数据链的网络协议
随着网络时代的发展, 网络的使用越来越频繁, 面对日益暴涨的网络业务, 提高网络服务的效率和互通性已经显得尤为重要。在宽带数据链路中, 针对宽带数据链的发展需求, 其网络协议必须保障网络效率, 提高网络互通性能。宽带数据链的网络协议包括了链路层、数据传输层、应用层、物理层、网络层[3]。
2.1 链路层
链路层是宽带数据连网络实现数据互通的重要一层, 在这一层的协议设计既要考虑到系统数据的接入, 同时还要考虑到数据信息的传输, 数据在这一层集聚, 加大了网络的压力, 因此, 还必须考虑到宽带网络的维护工作。例如在系统接入中采用SCDL的拓扑结构, 这种有中心的拓扑结构必须通过中线节点才能实现数据通信, 利用这种点对点的拓扑结构来提高数据传输的效率。
2.2 数据传输层协议
数据传输层协议是为了满足宽带网络用书对信息的需求, 一高服务水平来满足人们的需要。因此数据传输层的协议可以根据宽带数据链网络的需求进行设计。为了提高网络传输信息的效率, 可采用专用的传输层协议来实现, 如UDP和TCP等协议, 这种协议有效的保障了网络的互通性, 提高了网络的效能。
2.3 应用层协议
应用层协议就是为了满足网络用户之间能够实现数据通信而设置一种应用程序, 在这一程序中, 勇士可以实现文件的传输、压缩、下载。这种传输协议可以根据数据链两端的用户自行定义, 也就是说, 为了满足信息数据的共享, 网络用书可以就这一目的达成一致, 从而利用网络来实现。但是作为信息共享的数据链, 其网络协议必须标准化, 从而规范网络中的行为。
2.4 物理层协议
在宽带数据链网络中, 物理层位于网络的最底层, 直接面向实际承贷数据传输, 网络节点的物理层控制网络节点与物理通信通道之间的物理连接。物理层上的协议有时也称为接口。物理层协议规定与建立、维持及断开物理信道有关特性, 这些特性保证物理层能通过物理信道在相邻网络节点之间正确地收、发比特流信息, 从而保障数据能够在物理层中得到充分的利用, 满足网络用户的需求。
2.5 网络层协议
在宽带数据链的网络层中, 数据经过这里需要进行接收点与发送点的连接, 在这一层中需要对端到端的包传输进行定义, 它定义了能够标识所有结点的逻辑地址, 还定义了路由实现的方式和学习的方式。为了适应最大传输单元长度小于包长度的传输介质, 网络层还定义了如何将一个包分解成更小的包的分段方法。例如在无中心网络中、利用IP路由协议, 在这种协议下, 网络的每个节点都具有路由功能, 可以适应快速变化的网络拓扑结构。
摘要：在这个网络高速发展的时代, 人们利用网络来进行各种动作的完成, 节省了人们的时间, 丰富了人们的生活。随着网络的广泛应用, 网络服务面临着巨大挑战。越来越多的人使用网络必然会使得网络性能上出现问题, 在这个快捷的社会当中, 人们对网络的需求日益剧增, 满足人们日益增长的物质文化需求是当代网络发展的重要内容。本文就宽带数据链网络协议进行了相关的分析。
关键词：宽带数据链,网络协议,分析
参考文献
[1]徐会忠.宽带数据链网络协议的分析[J].电讯技术, 2007, 04 (10) .
[2]金连友.外军宽带数据链发展综述[J].无线电通信技术, 2008, 03 (12) .
[3]何肇雄.战术数据链组网技术研究[D].国防科学技术大学, 2011, 04 (25) .
数据链网络 篇2
随着计算机联网的逐步实现，计算机信息的保密问题显得越来越重要，
教程：网络数据加密知识
。数据保密变换，或密码技术，是对计算机信息进行保护的最实用和最可靠的方法，本文拟对信息加密技术作一简要介绍。
信息安全的核心――密码技术
息安全技术是一门综合的学科，它涉及信息论、计算机科学和密码学等多方面知识，它的主要任务是研究计算机系统和通信网络内信息的保护方法以实现系统内信息的安全、保密、真实和完整。其中，信息安全的核心是密码技术。
网络数据加密的三种技术
在常规密码中，收信方和发信方使用相同的密钥，即加密密钥和解密密钥是相同或等价的，
比较著名的常规密码算法有：美国的DES及其各种变形，比如Triple DES、GDES、New DES和DES的前身Lucifer;欧洲的IDEA;日本的FEAL N、LOKI 91、Skipjack、RC4、RC5以及以代换密码和转轮密码为代表的古典密码等。
非法探取密码的原理及安全防范
数据链网络 篇3
关键词数据链；嵌入式；数据传输；压缩编码
中图分类号TP文献标识码A文章编号1673-9671-(2011)021-0107-01
“数据链”实际上就是链接数字化战场上的指挥中心、作战部队、武器平台的一种信息处理、交换和分发系统。数据链的主要作用是在恰当的时间、恰当的地点，为作战人员和武器平台提供适时所需的信息，进而形成体系对抗能力。
数据链具有以下两个基本特点。一是“无缝连接”。它从空域角度对数据链进行描述，强调数据链的触角伸向数字化战场各参战部队乃至数字化单兵和各种作战平台，使它们共享战场信息资源，为联合作战提供一条互连互通的纽带。二是“实时传输”。它是从时域角度对数据链的描述，强调数据链传递信息速度快、时效高。嵌入式技术的使用无疑成为其实时传输的技术基础。“传感器至射手”的攻击过程非常短促，目标的发现和攻击几乎同时完成，发现目标即意味着目标被毁。为了加快信息传递的速度，欲传递的数据集通常用特定的编码表示，在接收端自动还原为数据集，并能被执行者自主理解，无须人工解读。
嵌入式系统是以应用为中心，以计算机技术为基础，软硬件可裁剪、适用于应用系统对功能、可靠性、成本、体积、功耗严格要求的专用计算机系统。它一般由嵌入式微处理器、外围硬件设备、嵌入式操作系统以及用户的应用程序等四个部分组成，用于实现对其他设备的控制、监视或管理等功能。
1数据链系统总体设计分析
系统的主体设计思想是将信息采集终端和嵌入式Web服务器整合在一起，数据信息采集终端（摄像头）通过USB 接口和嵌入式系统板的USB HOST相连，摄像头采集来的视频信号经过压缩后，通过内部总线传送到内置的Web服务器，指挥控制中心采用浏览器/服务器结构（即B/S结构），可以通过IE浏览器访问视频Web服务器，以便查看从战场实时传输的视频画面，而且，控制中心还可以控制平台对镜头的动作或对系统进行配置控制。嵌入式战场数据信息传输系统是由信息采集终端、网络信息传输和指挥控制中心组成，终端使用嵌入式系统加上USB 摄像头，在Vxworks操作系统上运行USB摄像头的驱动和相应的视频采集处理传输程序，得到实时音视频信息、画面等，并将信息通过网络传输至指挥控制中心，指挥中心运行监控软件端，通过Internet浏览器来浏览终端送来的实时战场画面，系统组成框图如图1所示。
图1嵌入式战场信息数据传输系统组成框图
从图中可以看出，指挥控制中心部分获得最终战场实时信息，可以直接采用IE 浏览器，不需要在PC 机上运行其他的软件，主要设计工作是嵌入式采集终端的设计以及战场信息的压缩编码部分。由于嵌入式系统具有软硬件可裁剪的特性，因此在嵌入式系统中硬件系统的确定，直接决定着软件的编写。
战场数据信息采集终端主要有两个部分组成，硬件部分包括摄像头和开发平台的选择；软件部分包括系统级软件（BootLoader，嵌入式操作系统，USB驱动程序）与用户级软件（应用程序）。
2网络传输压缩编码标准分析
战场信息的压缩编码部分，通过采用的新一代视频压缩编码算法对战场信息进行压缩传输。H.264/AVC 标准是ITU-T 的VCEG（视频编码专家组）和ISO/IEC 的MPEG（活动图像专家组）的联合视频组（JVT，JointVideoTeam）开发的标准，也称为MPEG-4Part10“ 高级视频编码”。它既保留了以往压缩技术的优点又增加了许多新特性：更低的码流和更高的图像质量，更强的容错能力，简洁的设计方式和更好的网络适应性。在相同的重建图像质量下和同等的画质下，H.264 比编码标准H.263平均节约64%的传输码流，比MPEG-4ASP 也要平均节约39%的传输码流。H.264 技术还具备容错能力强、网络适应性强等优势，可以更好的适应战场环境接入网带宽非常有限的状况。与以往标准相比，H.264 标准使运动图像压缩技术上升到了一个更高的阶段，在较低的带宽上可以提供高质量的图像传输。
H.264着重于解决压缩的高效率和传输的高可靠性，它极大地提高了战场信息传输的实时性，从而为指挥控制系统作出高效决策奠定了基础。
3嵌入式实时操作系统的选择
构建一个完整的嵌入式数据传输系统，仅有硬件是不够的，为使其具有任务管理、存储器管理、资源管理、时间管理、消息管理、队列管理和中断处理的能力，提供多任务处理，更好地分配系统资源的功能，很有必要针对特定的硬件平台和实际应用移植操作系统。
VxWorks具有可裁剪微内核结构；高效的任务管理；灵活的任务间通讯；微秒级的中断处理；支持多种物理介质及标准的、完整的TCP/IP网络协议等。然而其价格昂贵，一般不提供源代码，只提供二进制代码。
VxWorks具有良好的持续发展能力、高性能的内核以及友好的用户开发环境；具有良好的可靠性和卓越的实时性。
VxWorks广泛地应用在通信、军事、航空、航天等高精尖技术及实时性要求极高的领域中，如卫星通讯、军事演习、弹道制导、飞机导航等，在1997年4月登陆火星表面的火星探测器上也使用到了VxWorks。
鉴于Vxworks操作系统的的硬实时性和优先级资源多达256个，它成为应用于军事领域里嵌入式操作系统的很好选择，很多微处理器上就应用了Vxworks操作系统。因此，可以考虑将Vxworks操作系统移植到S3C2440上。此外该数据传输系统还应考虑到到下载信息文件的同时不影响音视频文件的播放，这就要用到多线程的技术。
4结语
嵌入式系统经过近几十年的发展，在军事领域的应用也变得越来越广泛。本文就基于嵌入式技术的数据链作战网络传输进行分析研究，并提出了相关的技术方案。信息技术的飞速发展和高技术战争的需求，极大地刺激了各国军方对开发战术数据链的积极性，投资力度不断加大，战术数据链开始向电子战、任务管理、武器协调、空中管制、导航定位和敌我识别等诸多领域扩展。完成从"平台中心战"向"网络中心战"的转变是未来军用数据链的发展趋势。作为体系作战条件下的数据链信息终端设备，嵌入式技术无疑成为其技术支撑。
参考文献
[1]周立功.ARM嵌入式系统基础教程.北京,北京航空航天大学出版社,2005,2.
[2]韦东山.嵌入式Linux应用开发完全手册.北京,人民邮电出版社,2008.
数据链网络 篇4
数据链在现代战争中的作用日益突出, 无论是进攻性作战还是防御性作战, 都越来越依赖于不断增长的大容量战术数据[1]。战术数据链最显著的特征和最主要的功能是以特殊的数据通信为链接手段, 以作战平台为链接对象, 将不同的作战平台组合为整体的链接关系, 把处于不同地理位置的作战平台进行紧密链接, 实现信息资源共享[2]。因此, 开展数据链网络通信对抗技术研究就显得非常迫切, 已经成为网络对抗的重要研究课题之一, 构建数据链网络通信试验系统是验证此项研究的有效手段。在分析数据链通信的基础上, 提出数据链网络通信对抗方法, 研究数据链网络通信对抗的关键技术, 给出数据链网络通信对抗试验系统的构建设想。
1 数据链通信分析
数据链是指装备在作战单元上的数据通信与处理系统。数据链系统不同于传统的通信设备, 其基本特征是: ①传输链接对象必须是数字化和智能化的; ②传输链接手段是实时、多样的; ③传输链接关系是标准格式化的, 能够实现信息资源共享和信息格式统一[2]。这些特征使得数据链能够缩短战术信息有效利用的时间, 使“从传感器到射手”成为现实。因此, 数据链已成为网络中心战体系中的关键装备, 在北约称为Link, 在美国称为战术数据链 ( Tactical Data Information Link, TADIL) 。
数据链主要设计用于在战术平台之间传递实时性要求较高的格式化战术数据。所谓格式化数据是指具有预先约定的填充格式和处理方法的数据, 其发送由战术数据处理设备周期性地自动从平台自身传感器或实时态势数据库中采集, 并包装成规定的格式交给数据链终端设备发送, 数据链终端设备收到的数据经战术数据处理设备拆解和调理后传输给平台指挥系统, 再由平台指挥系统将不同用途的数据信息分发给相应的设备或计算机用户[3]。
2 对抗方法研究
2. 1 目标信息特征识别
可以利用信号情报信息场分析理论对目标系统的体系结构和网络协议进行信息挖掘。根据信息场理论将每个侦收到的无线通信信号作为信源, 这些信号向周围发送其所特有的信息, 并在电磁环境中相互左右, 形成一定的信息空间[4]。目标分析过程是将信号信息场进行分类、统计、关联以及运算, 最终获取目标的本质特征。
无线通信信号的情报信息场内涵包括: 固有的物理属性 ( 如信号强度、频率、符号速率、调制样式、编码方式和帧结构等) 、所传输的信息内容 ( 如业务类型、信源信息、指令和情报等) 以及与其他信号之间的关联 ( 如用户关联、握手过程、同步过程和呼叫过程等) 。
准确地获取信号的固有的物理属性可以对目标实施信号层侦察和攻击; 获取信号所传递的信息可完成情报侦察; 掌握信号之间的相互作用关系则可以对目标系统的组成和网络协议进行分析, 实现网络侦察和网络攻击。
2. 2 物理层攻击
物理层攻击主要是通过同频大功率信号干扰节点间的通信信号[5], 使节点间通信信道受到强信号干扰, 达到链路中断的目的。物理层攻击方式主要有: ①大功率压制干扰; ②对同步过程干扰。同步对数据链网络建立非常重要。固定的周期使得对抗方有可能对入网消息进行检测、分析和处理, 产生与入网消息相关的对抗信号或直接转发该入网消息, 在下一个入网消息到来时对要入网的端机实施攻击, 从而使要入网的成员收不到正确的入网消息, 或者收到了, 经判断后发现不足, 必须等待下一个入网消息, 从而达到对入网消息对抗的目的[6]。
2. 3 网络层攻击
网络层攻击主要是针对路由协议的攻击和破坏信息的转发[5]。网络层攻击干扰破坏网络的正常工作, 影响信息在网络中的有效流动[7]。对网络路由攻击有以下几种途径: ①利用链路层的错包重传机制, 诱导网络节点持续通信, 使节点能量资源耗尽; ②通过欺骗、更改或重发路由信息, 来创建路由环, 吸引或者拒绝网络信息流通量, 延长或者缩短路由路径, 形成虚假的错误消息, 分割网络, 增加端到端的时延; ③冒充数据转发节点, 收到数据包后, 有选择地转发或者根本不转发收到的数据包, 导致数据包不能到达目的地, 从而在网络中形成路由黑洞[8]。
2. 4 信息层攻击
信息层攻击主要体现在对敌方网络传输数据信息的分析和篡改, 影响其信息感知[7]。信息层攻击主要有以下几种方式:
①接入过程攻击。由于无线网络固有的脆弱性, 以及攻击者对目标获得先验知识不同, 针对终端接入过程可以进行多种攻击方式。
②网络控制信道的攻击。无线通信网的网控信道用于传送关键的网络控制信息, 通过识别、分析无线通信网的网控信道, 对其进行针对性攻击, 以破坏整个通信网络的正常运行。攻击方法包括: 对网控信道直接施加干扰, 使网控信道无法正常工作; 伪造虚假网控指令, 破坏通信网内的通信流程, 强拆通信或强制合法用户退网; 重放网控指令, 导致网络控制混乱。
③拒绝服务攻击。拒绝服务攻击是实施网络攻击的主要手段, 它是通过过量请求和错误数据传输等方法造成服务器暂时忙于处理非法请求, 而对合法请求不响应, 造成系统超负荷, 以至停止服务。
④欺骗技术攻击。欺骗的目的是造成敌方的信息误导和紊乱, 从而丧失指挥决策能力, 降低军事效能。欺骗技术是根据网络中存在的安全弱点, 采取适当技术, 伪造虚假或设置不重要的信息资源, 主动向目标发送假信息进行欺骗和干扰[9]。
3 关键技术分析
3. 1 扩频信号截获分析技术
数据链信号通常采用直扩和跳频的扩频技术, 以提高系统的抗截获能力和抗干扰能力。在低信噪比的情况下, 实现直扩信号和高速跳频信号检测和分析是实现进一步的目标侦察和干扰的基础。
3. 2 协议分析技术
通信网络协议分析是进行网络接入和攻击的基础和前提。首先要深入研究数据链网络上采用的各种已知协议的工作过程、帧结构及区别, 分析确定各种协议的基本特征, 利用特征进行匹配, 实现对协议的快速侦察和分析; 也可以同时对目标系统的多条相关联的链路进行侦察, 对分组数据和协议交互过程进行分析。通过对分析网络协议, 提取网络特征, 利用一些先验知识找到网络的弱点, 确定有效的攻击方法[10]。
3. 3 通信网络接入技术
接入认证在无线网络安全中起到保障信息完整性的关键作用[11], 网络攻击的前提是网络接入技术。解决无线网络接入问题的关键是深入研究数据链网络接入技术, 采用与被攻击方一致的信息定义、规范和协议等, 攻击方发出的信息才能被攻击方接收, 达到攻击目的。
3. 4 扩频信号干扰和同步干扰技术
实现对扩频信号的有效攻击是目标攻击的基础。以目标系统传输的同步为攻击目标, 造成目标同步中断或出错, 达到断链或链路异常的目的。攻击同步通信的同步系统对破坏通信而言, 在许多条件下会以小的代价取得更大的效果, 是实现灵巧干扰技术的一种方法。
3. 5 信息欺骗和攻击技术
通过协议分析技术和网络接入技术实现协议分析和网络接入后, 根据识别结果按敌方信息格式产生虚假的欺骗数据, 并注入敌方网络, 对敌方网络进行信息欺骗, 可扰乱敌方整个网络的拓扑结构, 甚至造成整个网络的瘫痪[10]。
4 数据链网络通信对抗试验构想
数据链网络通信对抗试验系统组成及工作示意图如图1所示。
数据链网络通信对抗试验系统由空基数据链子系统、海基数据链子系统、陆基数据链子系统和指挥控制子系统组成。各子系统的组成及部署形式如下:
①空基数据链子系统。飞机或其他升空通信平台可部署在敌方数据链通信对抗设备攻击范围内的相应区域。该子系统包括航空器、相应的数据链 通信设备以及保障通信设备。
②舰船载数据链子系统。舰船载通信平台可部署在敌方数据链通信对抗设备攻击范围内的相应区域。该子系统包括舰船、相应的数据链通信设备 以及保障通信设备。
③陆基数据链子系统。应部署在敌方数据链通信对抗设备附近。该子系统包括相应的数据链通信设备、系统控制设备以及保障通信设备。
由空基数据链子系统、舰船载数据链子系统和陆基数据链子系统组网建链; 数据链网络通信对抗设备对数据链通信进行侦察、分析和攻击。指挥控制子系统具备对各子系统和被试数据链网络通信对抗装备的指挥控制能力以及试验效果评估和反馈的 能力。
5 结束语
网络对抗是一个探测、评估、预测与决策的过程[12]。研究和发展数据链网络通信对抗技术尽管存在着许多有待突破的关键技术和难点, 但它必然是适应现代战争趋势发展的新阶段。提出的数据链网络通信对抗试验系统是检验数据链网络通信对抗装备和技术的平台, 对数据链网络通信对抗装备、技术的研究和发展有着极其重要作用, 是研究数据链网络通信对抗技术、开发具有战斗力的对抗装备的有效手段, 是必要的, 也是可行的。?
参考文献
[1]刘万洪, 蔡啸, 王燕.Link11数据链干扰技术[J].舰船电子对抗, 2007, 30 (6) :36-38.
[2]《电子战技术与应用——通信对抗篇》编写组.电子战技术与应用——通信对抗篇[M].北京:电子工业出版社, 2005.
[3]刘柱, 张海勇.数据链通信及其抗干扰对策[J].舰船电子对抗, 2008, 31 (5) :35-37.
[4]何晓兵.信息场理论在情报分析中的应用[J].现代情报, 2009, 29 (1) :26-28.
[5]陈娟, 马涛.无线网络攻击分类技术研究[J].电子科技, 2011, 24 (3) :118-121.
[6]韩小兵.基于JTIDS技术的战场网络信息对抗的研究[J].科技资讯, 2009 (10) :23-26.
[7]李雄伟, 于明, 周希元.信息网络对抗技术概论[J].无线电工程, 2004, 34 (10) :14-18.
[8]谢红.无线自组织网络对抗初探[J].无线电工程, 2010, 40 (2) :10-12.
[9]高旭.浅谈信息网络战中的网络对抗技术[J].科教文汇 (中旬刊) , 2009 (1) :276-280.
[10]刘惠芳, 谢军.空间通信系统网络对抗技术[J].计算机与网络, 2005 (8) :51-52.
[11]王黎, 刘春晓.无线网络接入认证技术及攻击方法研究[J].无线电工程, 2011, 41 (7) :11-12.
网络数据挖掘规划论文 篇5
1LTE网络规划体系
根据网络规划的要求，利用大数据可以从覆盖评估，干扰评估和价值评估三个维度建立基于大数据挖掘的LTE网络规划体系，通过对现网问题的全面、准确分析定位，预知LTE网络规划存在的问题，提升LTE网络规划的准确性。
1.1覆盖评估分析
良好的覆盖是网络建设的最基本要求，基站站间距过大，基站覆盖过远会造成部分地点盲覆盖或者室内深度覆盖不足;而站间距过小，重叠覆盖会带来较大干扰，同样影响用户感受，同时不必要的重复建站将会加大投资成本。理想的蜂窝网络结构应该在保证用户移动性的前提下使小区间的交叠区域处在一个较低的水平借助现网2G/3G实测数据，参考工参，扫频及MR等大数据，利用奥村-哈塔传播方程矩阵理论运算，根据不同频段自由空间传播模型损耗、模拟仿真覆盖及损耗矩阵，评估规划LTE网络的覆盖情况;同时构建贴合现网实际的小区传播路损模型，有效识别LTE网络的弱覆盖和过覆盖区域，实现“点、线、面”联合校准验证，获取真实、准确和全面的小区覆盖规划数据。
1.2干扰评估分析
干扰是影响LTE网络质量的关键因素，我们引入干扰贡献系数来评估无线网络重叠覆盖度。定义干扰邻区的能量之和与主小区的总能量的比值为干扰贡献系数，用其来评估主小区A，系数越大，说明该小区对外的干扰越大，需要整改的优先级越高。
1.3价值评估分析
传统规划主要从覆盖与干扰两个维度分析，不能完全识别出高价值站点，导致网络部署后出现建设偏离业务热点，超闲小区较多等问题。而基于大数据挖掘的LTE网络规划可基于话务热点、用户/终端及价值业务等多维度进行关联性分析。首先梳理出数据及话务热点、智能终端/数据卡渗透高区域，判定流量价值高的区域;其次发掘出数据业务使用率高，但实际速率低，话务需求被压制的区域;再次利用VIP/投拆用户列表导出数据业务投诉用户和VIP用户区域，更直观、有效的体现网络热点投诉、流量变化较大的重点小区数据，定位重要客户的高价值流量区域，聚焦影响用户感知的重要问题，发掘LTE潜在高价值区域，有效指导LTE网络规划效益，降低网络资源的管理成本。利用基于栅格的多维度价值得分评估体系，通过高流量小区选择，实现用户分布地理化关联，进行多维度地理化综合分析，得到多个小区构成的栅格的价值得分，得出高优先级建站区域。
1)统计各栅格流量、用户使用TD-SCDMA的速率、用户数量、终端分布、业务流量分布等数据，当某个栅格点上指标值大于全网栅格该指标平均值的k倍，即赋予该栅格价值点相应的分值。
2)栅格价值点相应的分值:栅格内指标值/(全网栅格点该指标平均值×k)，k值建议为1.2，意义为在此栅格点的其中某一项因素大于该项因素的平均值的1.2倍，才会进行价值得分分析，小于该值则该栅格点的该项因素的`价值得分为0。
3)单个栅格总得分=权重1×热点得分+权重2×速率得分+权重3×终端得分+权重4×业务得分…。
4)统计基站覆盖范围内包含的栅格数量以及各个栅格上的分值，最终输出规划基站的总栅格得分排序，排序高低反映了该基站的价值高低。
1.4评估分析流程
评估分析一般在待建站点资源收集后，按照价值高低，基于基站覆盖范围和受干扰影响程度，选择建站顺序。根据实际情况，可一方面利用2/3G旧站址，一方面建议增加符合合理网络结构的新站点，达到良好规划的目的。
2大数据处理思路
LTE规划过程利用收集到的大量数据，包括工参数据、性能数据、经分口数据、MC口数据、投诉数据、测试数据等六大项13类数据，从中提取有用信息进行分析。
2.1基于大数据的打包清洗
根据大数据删冗去错机制进行数据清洗(见图7)，保持数据的准确性。在规划中首先实现数据去冗，对话统过期数据、工参多余字段集中去除;其次是数据去重，去除相同路段多次测试的数据，排除话统及性能相同的数据，保证数据唯一性;再次是数据纠错，结合数据特性，对统计异常、工参错误等数据进行纠错，保证数据区间在合理范围。
2.2基于大数据的关联聚合
根据数据的特征、变量等进行“数据降维”，从覆盖，干扰和价值维度对数据进行投影降维，简化分析数据的复杂度。同时运用强关联聚合、相近聚合、相关聚合等聚合模型进行“关联聚合”，比如在覆盖评估中将道路测试、路测扫频、用户测量报告等信息按照关联强弱聚合，在价值评估中将业务分布、用户分布、终端分布等信息按照比例进行关联聚合。具体来讲，以用户的地理位置为索引，关联其所在位置的信号强度，干扰情况，终端支持类型信息，业务信息以及所在位置的周围基站分布情况，周围环境情况，人群流动情况等等，建立基于时间、位置、用户、终端、应用等多维度的用户行为聚合模型。根据用户行为模型，分析筛选得到绝对静态用户数(静态用户定义为单用户在某小区有5天产生流量且每天在该小区产生流量占当天该用户总流量的70%以上，且产生的流量大于10MB/周)全省共计3.8万人，涉及5798个小区。根据用户在占用静态小区时上报的用户自身所在位置的经纬信息(理论上精度平均误差在55m)结合基站位置关联，发现定位2G/3G数据业务成熟度高的区域。通过精确定位不同用户上网的地理位置，同时关联静态用户终端网络制式信息，用户上网习惯和用户流量，引导4G站点规划，指导指导定向推送4G营销业务。
3应用情况
基于大数据挖掘的LTE网络规划研究在山东公司LTE网络一期网络规划中得到了广泛应用。通过高价值区域定位、干扰问题分析、覆盖评估等维度综合关联性分析，借助2G/3G现网实测数据实现了“点、线、面”联合评估，真实、准确、全面地对4G网络的价值流量、重叠覆盖干扰、弱覆盖等进行了评估，同时输出了LTE工参信息、站址建设优先级，站址地理化呈现等一系列规划结果。通过黑、灰、白名单规则判断，输出了LTE网络不建议规划的黑名单小区、通过相关优化调整后可规划灰名单小区、直接可共址建设的白名单小区，共评估一期工程规划小区60653个，发现低价值用户流量少的黑小区3433个;易产生干扰黑色小区5021个，灰色站点1265个;覆盖问题黑色小区543个，灰色小区3501个。通过规划质量的提高，降低了后续优化调整的难度，共计节约资金11766×0.3=3530万(注:每个基站年优化费用约0.3万)，而且原来人工规划、勘察基站的效率大大提升，解放人力成本带来的直接经济效益75×10=750万(注:人力成本节约75人，含外包，年人均成本10万)，降低了全省网络规划优化的管理成本。通过TD-LTE的大数据网络规划分析，有效指导了4G网络规划，按照以终为始、聚焦价值、提高投资收益、建设精品网络的目标，提升了4G网络规划的准确性、合理性。
4结语
全数据解决网络广告壁垒 篇6
广告主与网站作为利益双方,在如何评估网络广告效果上的博弈已经持续了多年。但由于缺
失科学、专业的评估标准,使得双方在扩大市场的过程中形成了一道无形的壁垒,阻碍了网络广告的快速、健康发展。
网络广告:买卖双方角力
这几年来,中国的网络广告市场日益兴盛,但无论网络媒体还是广告主都被一个问题困扰着:网络广告效果该如何分析和评估?
目前,最常用的网络广告评估指标是按点击付费的CPC(Cost Per Click)和按展示付费的CPM(Cost PerThousand Impressions)两种方式。但这两种评估方式还未能调解网络广告买卖双方的利益纷争。
广告主和广告代理偏向于CPC,以每点击一次计费,这样的方法加上点击率限制可以加强作弊的难度,网民的每一次点击就会为广告主带来真实的流量或是潜在的消费者。
但这种方法不少网络媒体又觉得不公平,因为广告主的关注度、行业特点以及广告内容是否具有吸引力,这些不应被网络媒体承担的因素会对点击产生重要影响,再加上近年来广告点击率在不断下降。网络媒体对以CPC的方式来评估点击效果也颇有异议。
而网络媒体更倾向于CPM的方式,按浏览付费,但这种方式却受到广告主和广告代理公司的质疑:广告信息与目标网民的关联度及匹配程度如何,展示的广告信息是否真能被网民注意并接受到,广告信息被有效关注的几率有多大?……这些问题在企业进行新产品上市、促销、品牌及生活方式推广等需要与受众进行深度沟通时,显得更为突出。
可见,如果单单从最终效果来评估,又会抹杀掉一部分传播效果。而单纯以传播来考量网络广告,却难以彰显以效果为导向的互联网的营销价值和优势。
其实,现在常用的这些数据指标对于结算、成本控制、创意效果监测仍具有较大意义,但要作为广告投放的依据就过于简单和偏颇了。在这种网络广告传统评测手段滞后、效果能见度不高的市场环境下,结果要么是店大欺客,要么是客大欺店。
AdRating:精准衡量广告效果
对广告主来说,他们由于所处行业、阶段、营销目的、营销诉求不同,发布的广告媒体平台、广告形式不同,这些都使得需要评估的广告信息越来越复合化、精细化。
如某企业从 2008年9月起,连续两个月做某手机的网上推广活动,活动内容设在其网站上,与此配合,在多家门户和垂直网站上全面采用了挂广告、发软文、开论坛专区讨论等活动。该企业希望了解推广期间网络广告传播的真实效果,并评价各媒体和各种广告形式的传播效果。
为此,这次活动采用了万瑞数据的网络广告效果监测系统( AdRating)进行全程监测。这一平台采取在广告上嵌入特殊代码的监测方式,统计了包括广告监测、深度分析、网站使用率三大类、 37项指标,真实、全面、实时地监测这一营销活动的各项数据。 AdRating监测系统对某手机广告发布在官方网站的 Minisite、门户网站、垂直网站以及合作的 8家网站的网络广告投放状况进行了评估。由于采用嵌码式数据采集方式,用户在整个网络广告全过程中的所有行为都被真实而实时地监测、记录下来,不仅监测了各网站的整体点击状况,而且对各网站不同广告位置、广告形式、广告属性的每天点击状况都进行了监测。
对这些数据进行不同维度的分析,并与“万瑞数据 TM互联网全数据整合应用平台”上的全网络、全行业数据进行比较,从而使受众在整个营销活动过程中的反应特征都得到了精确而细微的体现。如,与互联网科技行业的整体用户地区分布相比,这一网络广告的广东低;虽然来自于门户网站的点击量略低于垂直网站,但 Minisite的实际打开量绝大多数来自于门户网站,这表明在这次传播中,门户网站的有效传播效果更好;从广告位看,首页广告效果高于各子频道,手机频道优于科技频道与数码频道,嵌在内容页面的广告效果好于置顶的顶部通栏;从广告形式看, IM广告由于庞大的用户群与接近的用户定位,效果最好,而除文字链广告外,其他传统广告形式更多与具体广告位置有关。
网络数据捕获机制研究 篇7
网络数据捕获就是将某个网络设备看到的数据报文完整的收集起来,不管这些报文是发往哪个地址,哪个端口[2]。然后对其进行分析、过滤等处理,送往上层作进一步的处理。网络数据捕获是网络安全监测的基础。通常网络数据包的捕获是使用传统的网络数据捕获方式来获取的。系统对网络数据包的处理流程图如图1所示。
从网卡的工作方式分析,使用的是动态内存分配,对每一个数据包的接收都是采用动态内存临时申请、释放,在大流量网络下,将是一个较大的系统开销。从网卡通常的工作模式分析,是每包一个中断,而进出中断带来的进程场景切换必将消耗大量的系统资源,而且容易出现活锁。从收包的过程分析,一个数据包从进入网卡到到达上层应用程序的过程中,发生了多次内存拷贝和系统调用,其中最致命的一次是将数据从内核区拷贝到用户区。而系统调用要进行安全性检查和上下文切换,这是一个很耗费资源的操作。下面我将对各个因素逐一阐述。
1 系统调用
操作系统的主要目标[3]就是将应用进程与I/O等外部世界隔离开来,给它们二者提供一个交互的接口,并将内存、CPU等资源共享给不同的应用程序。用户程序要与I/O设备打交道必须通过系统调用,经由操作系统来完成。而系统调用由于要进行安全性检查和上下文的切换,会耗费大量的资源和时间,是一个沉重的负担。
2 用户态和内核态之间的数据包拷贝
在数据包从网卡经过协议栈,最终到达用户态的过程中要经过数次内存拷贝。在高速网络下,将数据包进行一次拷贝和不拷贝由应用程序直接送到网络有明显的性能差别,做内存拷贝,就像数据包做了一次存储转发一样,会成为网络数据包处理的瓶颈之一。
另外数据包经过从内核态到用户态的拷贝,这是最耗费CPU的一个操作,大约占一个数据包从进入网卡到进入应用程序总时间的50%。而且,应用程序的内存空间和物理内存空间之间要进行映射,因为用户空间使用虚地址,一段连续的用户空间在物理内存上可能分开很远,所以通常用户缓冲区不是一段连续的物理内存空间,而内核缓冲区,却强制使用连续的物理内存空间以实现DMA等操作,这就需要进行地址映射。
3 网卡动态内存分配方式
网卡驱动为每个数据分组动态地分配内存,内存的分配和释放占用时间较多。以1Gbps线路为例,每秒到达的包的数量能够达到几十万,如此频繁分配内存的资源消耗是非常大的。
4 计算校验和
网络数据在用户态和核心态之间的拷贝过程中,内核还需要计算整个缓冲区内容的校验和。这个校验和存储在协议头部中,用于数据包接收者检查数据是否正确。即使不作这次拷贝,内核仍需遍历缓冲区内容以计算校验和,因为内存带宽是一个最重要的性能因素,这个过程几乎要和内存拷贝消耗同样的时间。
5 网卡的每包中断方式
系统在每次中断操作都需要保护现场,切换上下文等操作。在千兆网络环境下,每秒会有几万甚至几十万个包,如果每个分组到达都产生中断,中断之间的时间间隔可能只有几微秒,当前计算机系统很难达到这个处理能力。即使计算机系统能够应付频繁的中断,也将极大地浪费系统资源。而且由于中断具有较高的优先级,在高速环境下,频繁的中断势必将长时间占据系统资源,导致系统没有时间对捕获得数据进行处理,进而导致无法接收新来的数据包,最终出现接收活锁。
6 填充协议头和分片重组
填充协议头必须由内核来做。发包时内核协议栈的各个协议层需要将数据包封装,收包时又需要将各分片重组,这两个过程都需要内存拷贝。
综上所述,可以看出,基于传统的网络数据捕获技术,在一个数据包的收取或者发送过程中,会发生多次内存拷贝和系统调用,加上频繁的中断处理,这些将耗费大部分的CPU时间。
很明显,要想提高系统的捕发包效率,需要下面两方面的改进:
a.减少内存拷贝的次数,节省大部分的CPU时间。
b.改进中断方式,减少不必要的CPU周期。
网络流量和带宽依然在飞速发展,新的网络应用不断涌现,对网络的性能、实时控制和合理调度的需求依然迫切。就目前来讲,对于一般的网络出口的流量已经达到1G以上了,所以随着千兆网络的普及和网络带宽、流量的增加,必然使网络内容分析、监控,网络安全和网络流量分析等方面应用对网络流量的测量与监控提出更高的要求。
摘要：近年来,随着网络技术的迅速发展,人类对互联网依赖程度的日益增强,网络流量和带宽迅速增长,在网络流量监控的各种应用(如防火墙、入侵检测系统等)中对海量数据进行捕获和分析至关重要。主要对数据捕获机制的现状进行分析,提出数据捕获机制及其改进思路。
关键词：网络数据捕获,内存分配,系统调用
参考文献
[1]J.Michael,H.Braun and I.Graham,Stor-age and bandwidth requirements For passive.Internet header traces,Proc.of the Workshopon Network-Related Data Management 2001,Santa Barbara,California,USA,May 2001.
[2]Packet Capture With libpcap and otherLow Level Network Tricks.http://www.cse.nau.e-du/~mc8/Socket/Tutorials/section1.html
数据链网络 篇8
智能电网结合信息技术可以重塑目前的电力系统,使其行之更为有效率,结合先进的控制、信息和管理技术,实现一系列从电力输送到终端用户之间的实时信息交互,故电网中的各个部分都需要进行数据的实时监测以保证电网运行效率。目前,传统的电力系统中通常采用有线通信技术来实现系统组件的监测和诊断。随着网络规模的扩大,有线通信技术(如PLC)会使得电力系统的监测网络部署和维护成本较高,难以满足实际工程成本控制的需要。因此,智能电网亟需部署大量低成本、高效率的无线监测设备以满足电网运行的稳定性和有效性,实现优化电力系统的目的。
在配电网络中,由于覆盖区域大,电网内部用于信息采集的节点数量众多,各节点间布置在楼宇之间,或近或远,如果采用传统的蜂窝网络,其覆盖有限,且会浪费大量资源。无线传感器多跳通信系统利用其良好的扩展性可以广泛应用于智能电网配电网络监控系统中。随着无线网络进一步深入至配电网络系统中,网络可以随时按需加入各种传感器节点终端,实时或周期性采集用电情况并将其反馈至配电网络中心。然而,大量终端监控节点的加入和退出,使得监控中心对于网络的管理更为复杂,如何建立有效的下行数据网络成为摆在智能电网配电监控网络建设面前的实际问题。采用简单固定路由构建的传统网络已经无法满足新兴监控网络应用在带宽和网络服务质量方面的要求,随之而来的是网络延时增加、数据丢失等等问题[1,2]。于是,多路径路由的通信方式被提出,旨在改善现有网络中存在的一些网络资源紧张问题,提高网络的服务质量Qo S。
1 相关工作
在传统的网络通信中,网络中的节点只能存储转发所收的数据包,当不同的数据采集节点到汇聚节点之间的最大流经过的路径可能在网络拓扑的某些链路上形成交叉共享链路,进而影响共享链路之间节点的数据传输率,因此采用传统的存储转发模式一般是不可能达到最大流最小割定理规定的组播信息容量上限的[3,4,5]。应用随机线性网络编码理论被证明在单个源节点向多个目的节点发送数据的情况下,一定能够达到网络组播容量的上限。采用网络编码技术可以有效地提高数据传输速率,实现最大容量通信。
考虑到网络编码在提高网络的吞吐量方面的优点,为了进一步改善配电网络下行监控网络的传输性能,引入了网络编码技术。但是网络编码不是万能的,不是所有的网络组播拓扑都能使用。配电监控网络要结合网络编码技术,在路由选择方面必须满足两个条件:(1)网络中存在冗余的路径;(2)具有相同目的节点的路径之间不能存在共用的路径。
2 基于网络编码的应用层组播路由算法
为了使配电网络下行监控网络的整体性能尽可能逼近网络容量上限,本节提出一种基于网络编码的无线数据传输路由算法,它是面向异构化接入不同类型大量监控终端的路由算法,并且充分考虑因网络编码的构造而采用多路径方法。
由图理论可知,在建立配电网络下行监控网络数据路由路径时,可以将无线下行网络抽象为有向图G(V,E),其中V是监控终端节点集合。监控网络中心控制节点向配电网络中各监控数据采集节点下发不同信息指令时,根据终端系统节点在网络中的功能不同,可以分成中心控制源节点S、中间转发节点N和目的节点T三类。E是节点之间的链路集合,对于每条链路(i,j)都有相应的权值:传输带宽bij和时延dij,其中i,j分别表示链路两端起始和结束节点序号。这里,源节点S完成对指令数据的生成和编码功能,中间节点N实现数据的编码和转发功能,目的节点T除了接收所需的数据分组外,也能够完成中间节点的数据转发功能。
假设整个配电网络下行监控网络中,只有一个中心控制源节点S负责提供数据。希望能借助网络编码的力量,使得建立的信息分发图能尽可能接近最大流传输,建立源节点和目的节点之间的多条通信路径。这里,为每条链路(i,j)定义参数state,当state=0时认为链路(i,j)未被占用,当state=1时认为链路(i,j)被占用,在某个目的节点加入网络的时候,网络中的链路状态均为0。
在建立无线下行监控网络的开始,网络中中心控制源节点S可以向与它邻接的其他网络节点通信,其他网络节点也可以和邻接节点保持通信更新链路状态信息。当一个新的数据采集节点v(v∈T)申请加入监控网络,它首先从与其邻接的节点获取相应的链路状态信息,得到v到各个邻接节点biv和div。节点v按照自己的接入需要,选择能提供自己服务的最大接入带宽的邻接节点作为其父节点(这里可以为节点v提供数据的邻接节点包括与节点v邻接的已经加入通信的目的节点)。节点v的父节点根据自己收到的邻接链路状态信息同样选择与其邻接的可以提供最大带宽的节点作为自己的父节点。如果选定的父节点为监控网络中的源节点S,则完成了建立节点v到源节点S之间数据传输路径,节点v加入了该监控网络。此时,路径p(s,v)上的带宽应该为p(s,v)上所有经过的链路(i,j)((i,j)∈p(s,v))提供的最大带宽的最小值;节点v到源节点的传输延时Dv为路径p(s,v)上各链路延时之和。修改网络状态信息,路径p(s,v)上所有经过的链路(i,j)的状态state全部赋值为1,链路被占用;路径p(s,v)上各链路的可用带宽也要进行更新,即减去p(s,v)所占用的带宽。
如果节点v只有一个与其邻接的网络节点,即节点v的入度为1。那么认为节点v完成了加入下行监控网络的全过程,否则,将在剩余的网络中(state=0的链路中)继续建立新的路径。在建立新的路径时,考虑网络的传输延迟问题,可以在进行链路选择的时候,选择传输时延最小的邻接节点做节点v新路径的父节点。按照前面一条路径建立的方法,同样建立一条新路径p(s,v),并修改网络中各链路的状态信息。如果节点v剩下的入度仍大于0,即还有可用的邻接节点和链路的存在,将继续为节点v建立新的路径,使得节点v可以以逼近最大流的速率接收来自源节点的数据。
通过对数据采集节点的路径延迟值进行衰减(非目的地节点的路径值不作衰减),这样数据采集节点可以吸引其他未加入到路由树的节点通过数据采集节点来加入到路由树,使更多的链路能得到共享,从而优化网络。按照下式对数据采集节点的路径进行衰减
其中,k是与节点v相邻且未加入网络的节点数,λ是调节衰减的参数,λ≥0。
在整个配电网络下行监控系统中,大量存在的监测数据采集节点不停加入退出整个网络,下行控制系统需要及时可靠将中心节点的指令信息传达下去。中心指令信息对于其传达的目的节点不同,数据传输路径可能存在链路的共用,这些共用的链路被定义为“瓶颈链路”。瓶颈链路的存在会影响整个网络吞吐量的大小。将网络编码技术应用在与瓶颈链路相连接的节点上,节点把收到的来自上级节点的数据分组进行有限域内的线性组合,就可以消除瓶颈链路对整个网络的影响,使得每个数据接收的目的节点可以相互共享这个网络资源,避免了不同数据分组之间的竞争碰撞。
以图1(a)所示拓扑为例来说明在具体网络拓扑给定下如何为每一个监控终端节点独立地建立两条与数据中心通信的数据传输链路。图1(a)表示的是控制中心发送指令信息的初始化过程,拓扑图中只有源节点,其他目的节点并未加入网络。如图1(b)所示的两条路径,其中10是申请加入网络。传感器终端节点除了作为数据接收者,同样可以作为中间节点完成对数据的存贮、处理和转发功能。因此,对于新申请加入的节点,它既可以通过共用网络中的其它节点,也可以通过接入与其邻接的中间节点来加入网络。图1(b)给出了节点9和10的两条路径,虚线表示的路径是到节点9,两条粗线表示的是到节点10。对于不同的节点,存在瓶颈链路(S,1)、(6,10),只需在节点S和节点6处进行网络编码即可解决数据碰撞的问题。
3 实验仿真和结果分析
采用Salama的随机链路发生器产生随机网络进行仿真来比较本文提出的算法和其他算法的性能。该网络模型能产生平均节点度为4的随机连通网络。网络节点随机分布在一个矩形区域中,任意2个节点u和v之间是否存在链路由概率函数
提出的路由算法是希望建立多条传输路径来使得网络的传输流量逼近图论中的网络最大流。然而在建立多条传输路径后,随之而来的网络延时问题将会被扩大,下面的仿真给出了尽可能多地建立到源节点的路径情况下形成的路由路径与只建立两条路传输路径(即冗余度为2)以及单路径之间的性能比较。
考虑到每一个节点的实际接受数据的处理能力,设置网络中目的节点入度最大值为5。下面分别比较有单路径树,2-冗余路径和多路径的性能,还主要是网络端到端吞吐量和网络延时:
图2和图3主要是通过改变网络的规模来比较路径数量不同对网络性能的影响。在不同的网络规模中,中心节点向各个终端节点进行数据传输,通过图2可以发现通过建立多条路径的方法,网络的端到端的流量大大提高,而网络的延时相比之下也有一定提高(如图4所示)。在传输大量数据的时候,每一个终端节点使用多路径算法找出能逼近最大流的多条路径同时进行传输,结合网络编码技术使得每一个终端节点可以独立享用整个网络资源,从而大大提高了网络的吞吐量。与此同时,对于每一个终端节点而言,其网络延时则是全部路经延时的最大值,而通过仿真可以看到,对于多条路径带来的延时增加相对与网络流量的成倍增加是较小的。
4 结束语
本文讨论了基于网络编码使用冗余链路来提高配电网络下行监控网络端对端吞吐量的算法,并且在Salama随机网络中对该算法进行了性能评价。仿真结果说明了建立多条链路的方法能以较小的网络延迟代价,显著地增强网络的吞吐量,提高网络链路的使用。
摘要：文中讨论了利用网络编码技术和使用冗余链路来提高配电网络下行监控网络端对端吞吐量的算法,并通过仿真结果说明了建立多条链路的方法能以较小的网络延迟代价,显著地增强监控网络下行链路的吞吐量,可以提高网络链路的使用。
关键词：多路径,网络编码,瓶颈链路
参考文献
[1]Banejee S,Bhattacharjee B.A comparative study of application layer Multicastprotocols[EB/OL]∥Submited,available at http://www.cs.wisc.edu/suman/pubs/compare.ps.gz.
[2]Cormen T H,Leiserson C E,Rivest R L,et al.Introduction to Algorithms[M].2nd ed.MIT Press,2001.
[3]Winter P.Steiner problem in networks:a survey[J].Networks,1987,17(1):129-167.
[4]Zhu Y,Li B,Guo J.Multicast with network coding in applicationlayer overlay networks[J].IEEE J.Select.Areas Commun.,Jan.2004,22(1):1-13.
数据链网络 篇9
现代信息化战场上,战术数据链在C4ISR系统中发挥的作用越来越重要。因此,战术数据链无线网络往往成为敌方首要攻击目标。目前,针对战术数据链的攻击已不仅仅局限于传统的物理层信号干扰,还包括网络干扰阻塞、信息窃取欺骗等多种无线入侵方式[1]。从国内外研究情况来看,针对战术数据链无线入侵的研究主要集中在物理层信号干扰上[2,3],还没有相关文献对战术数据链其他方面的无线入侵方式进行详细研究。本文针对战术数据链无线网络的典型无线入侵事件,设计了一种基于演化神经网络的检测算法,并通过仿真验证了该方法的有效性。
二、战术数据链无线入侵典型方式
针对战术数据链的无线入侵主要目的在于降低对方通过数据链获取信息优势的能力,其主要方式包括:压制干扰、网络干扰、信息窃取及信息欺骗四种。(1)压制干扰是指在对方数据链无线通信频率上人为地发送一定功率的干扰信号,以使对方无线链路接收机降低或丧失接收数据链信息的能力,属于传统的无线入侵方式。战术数据链受到压制干扰后,会导致无线链路中信息发送成功率突然下降,甚至链路完全中断。(2)网络干扰是指通过向对方数据链无线链路发送大量无效信息,以使对方数据链大量网络资源被非法占用。战术数据链在受到网络干扰后,网络业务流量会急剧增加,网络中出现信息拥塞,合法网络成员无法获取所需的网络资源来传输业务,网络性能严重下降。(3)信息窃取是指伪装对方数据链网络的合法成员,企图加入对方网络,并从网络中窃取收集战场态势、作战计划、指挥控制指令、作战平台实时位置、合法网络成员地址等高价值信息。战术数据链信息一旦被成功窃取,数据链网络中的作战平台部署、行动计划等关键信息可能会直接暴露给敌方,导致严重后果。(4)信息欺骗是指在基本掌握对方数据链网络的工作参数的情况下,向对方数据链网络发送错误信息,或者接收对方信息进行篡改后重新发送,这些信息一般包括:敌我双方态势、作战指令等作战关键信息。如果上述欺骗/篡改信息被按照正常处理,将导致执行方做出错误判断和决策。
三、战术数据链无线入侵检测方法
目前,常用的网络入侵检测方法主要分为误用检测和异常检测两大类[4,5]。误用检测通常采用基于规则的方法,根据已储备的有关已知攻击特点的信息进行入侵检测。这类方法在检测已知类型的入侵时具有较高的可靠性,即较低的FP(false positive)率。但是无法检测未遇到过的类型的攻击,而且当出现新类型的攻击时,还必须手动更新已知攻击特点信息数据库。异常检测使用常规入侵模式进行建模,将任何偏离模型的事件归为异常事件。
战术数据链无线网络区别于一般的无线网络,针对战术数据链无线网络的无线入侵还没有已知的固定方式。因此,这里只能采用异常检测方法对战术数据链无线网络无线入侵事件进行检测识别。最近几年,包括规则学习[6]、隐马尔科夫模型[7]、支持向量机[8]以及神经网络[9-12]等在内的机器学习方法已被成功应用于网络入侵检测。由于神经网络具备从有限的、带噪声的以及不完整的信息中泛化出检测模型的能力,因此该模型不仅能够检测出已知攻击,而且还能够检测出从未遇到过的新类型的攻击[9]。所以神经网络被看作是一种很有潜力的入侵检测技术。
四、基于演化神经网络的战术数据链无线入侵检测算法
神经网络在应用时需要完成三个关键步骤,即特征选择、结构设计和权值调整[9]。通常来说,特征选择和结构设计是单独进行的。但是,输入特征子集和神经网络的结构是相关的,对神经网络的性能具有联合的贡献。若同时优化输入特征和网络结构,为了评估选择的特征和网络结构带来的联合优势,必须在找到近似最优的特征子集和网络结构以后学习连接权值。但是该方法会给适应度评估带来噪声,从而使优化效率降低,优化精度下降。因此,本文设计的演化神经网络能够同时利用演化算法优化输入特征、网络结构和连接权值。
具体来说,初始神经网络种群通过随机权值以及全连接生成。首先,评估所有初始或者被选出的个体的适应度值,然后从父代和子代个体中选出最好的部分个体,并对这部分个体执行子网交叉算子,最后再执行启发式变异算子。神经网络演化过程如表1所示。
4.1特征选择
特征选择是指从原始特征集中选择使某种评估标准最优的特征子集。其目的是根据一些准则选出最小的特征子集,使得任务如分类、回归等达到和特征选择前近似甚至更好的效果。通过特征选择,一些和任务无关或者冗余的特征被删除,简化的数据集常常会得到更精确的模型,也更容易理解[14]。
为了更准确的检测入侵事件,我们选择了战术数据链无线网络的一些性能指标的统计量,以及一些典型的网络异常事件作为候选特征,包括(但不局限于以下所列条目):(a)网络业务流量;(b)接收信号强度;(c)无线丢包率;(d)指令传输时延;(e)网内重复成员;(f)网内不明成员;(g)不明入网申请;(h)消息计数器异常;(i)消息帧结构错误;(j)消息格式错误。
4.2编码表示
我们使用前馈神经网络结构。为了同时执行特征选择、结构优化以及连接权值训练,我们使用了一种混合的编码方式[13],即用1个连接矩阵和1个节点向量表示1个个体,如图1所示。连接矩阵如图1(a)所示,规模为(h+n)×(m+h),其中m和h分别表示输入节点和隐节点的最大数目,n表示输出节点的数目。矩阵第i行第j列元素wij为一实数,表示从节点j到节点m+i的权值,wij=0表示从节点j到节点m+i没有连接。由于前馈神经网络只有1条直接连接,所以最右上三角矩阵元素值都为0。
节点向量如图1(b)所示,规模为m+h维,向量中元素值只能取0或1,用于表示元素所在向量中的索引对应的节点是否可用(1可用,0不可用)。前m个元素表示输入节点,后h个元素表示隐节点。
如前一小节所示,特征输入候选集包括网络业务流量、接收信号强度和无线丢包率等共10种,即前馈神经网络中的输入节点的最大数目m=10。编码方式中节点向量前m个输入节点位按照上一小节候选特征从(a)到(j)的顺序排列。例如,编码1010010110表示选择了候选特征集中的网络业务流量、无线丢包率、网内不明成员、消息计数器异常和消息帧结构错误。
4.3适应度评估
为了同时演化输入特征和网络结构,适应度函数不仅考虑了检测准确率,而且还包含了输入节点数目惩罚因子和隐节点数目惩罚因子。某个个体a的适应度函数fit(a)定义如下:
其中,ρ表示检测准确率,ψ表示输入节点数目的惩罚因子,φ表示隐节点数目的惩罚因子。个体a的检测准确率定义如下:
其中,pos表示正确的检测分类数目,S表示包括正常和异常实例在内的检测总数目。
惩罚因子ψ定义如下:
其中,num_in表示输入节点数目,min_in表示输入节点的最小数目,para_in为用户定义的参数,用于控制输入节点数目对适应度函数的影响程度。
惩罚因子φ定义如下:
其中num_hid表示隐节点数目,min_hid表示隐节点的最小数目,para_hid为用户定义的参数,用于控制隐节点数目对适应度函数的影响。
4.4子网交叉算子
节点i生成的子网Gen(i)定义如下:
其中,M为输入节点集合,H为隐节点集合,P为输出节点集合,ConIn(i)表示节点i的所有输入连接集合,ConOut(i)表示节点i的所有输出连接集合。
输入节点的生成子网是其所有输出连接集合;隐节点的生成子网是其本身和所有输入及输出连接集合;输出节点的生成子网是其本身及所有输入连接。连接信息包括连接是否存在以及连接权值。节点信息包括偏移和激励函数。
本文在设计子网交叉算子时还充分考虑了基因型和表现型之间的关系,交叉过程如表2所示:
4.5启发式变异算子
变异算子由三种操作组成,即权值调整、节点删除和节点添加。
我们通过高斯噪声对神经网络权值进行扰动来实现权值调整,即
其中w为权值,N(0,η×pm)表示服从均值为0标准差为η×pm高斯分布的随机变量,pm为变异概率,η为用户定义的常数,用于限制变异步长。
节点删除意味着被删除节点上的所有连接都设置为0,节点添加表明为添加的节点与其它关联节点之间赋连接权值。在本论文使用的编码方式下,删除1个节点等价于将对应行和列设置为0,添加1个节点等价于为相应的行和列赋随机值。
综上,变异算子表示如下:
其中,w_adapt表示连接权值调整,node_del表示节点删除,node_add表示节点添加,pm表示变异概率,pWA和pND为用户定义参数并且满足0
五、仿真和验证
5.1数据集
我们使用KDD Cup 1999的部分数据集验证演化神经网络进行入侵检测时的有效性,共包含4大类:正常事件、拒绝服务攻击(DOS,Denial of Service)、远程用户到本地的非授权访问(R2L,Remote to Local)和探测攻击(Probe)。此外,我们模拟战术数据链无线网络中的典型入侵事件对某数据链网络实施入侵,并生成相关数据集,记为REAL。这些事件主要包括:网络干扰、信息窃取、信息欺骗等。
训练数据集中的10%用于训练神经网络,各类训练集样本数目如表3所示。神经网络演化完后,我们从种群中选出最好的个体并使用标记过的测试集进行测试,各类测试集样本数目如表4所示,其中“已知”表示攻击类型存在于训练集中,“未知”表示攻击类型不存在于训练集中。
5.2结果和分析
用Evo NN表示演化神经网络入侵检测方法,实验时还比较了与其它基于神经网络的方法之间的性能,这些方法包括RWNN[10]、BMPNN[11]和ENN[12]。实验结果如表5所示。从结果可以发现,除了在R2L上的检测率低于RWNN以外,EvoNN在所有测试上均达到了最高的检测率,此外,EvoNN还具备最低的FP率。
此外,表6给出了Evo NN针对不同测试集,获得表5中结果时最终演化选择的特征子集:
六、结论
网络数据捕获技术的探究 篇10
随着互联网在教育、科技、医疗、军事等各个领域的普及, 为我们提供了各种各样的服务。但是, 随着互联网的快速发展, 我们在享受互联网带来的丰富信息和巨大便利的同时, 也面临着网络安全的严重威胁。
因此, 如何对网络应用进行有效管理, 对网络信息的内容进行有效监控和过滤, 抑制有害信息的传播已经成为净化网络空间、维护社会安定和国家稳定的重要问题。网络监控是保障网络安全的基本措施之一。在网络拓扑中的关键位置对数据报文进行捕获、分析和监控, 可以减少和杜绝由互联网技术所带来的网络内容安全问题。
2 数据捕获技术的研究
2.1 数据捕获的概念和基本原理
计算机将数据在网络上传输时, 为了保证所有网络共享资源的公平性和快速性, 通常把传输数据分割成若干个小块。我们称这样被分割的传输单位为包, 或“数据包”。当前从网络中对数据包进行捕获的方法有以下两种, 其一是用专用硬件进行捕获, 这种方法性能好但是价格昂贵;其二是用通用硬件——普通计算机与网络连接的网络适配器, 即网卡, 采用软件的方法来实现数据包的捕获。软件捕获方法虽然没有专用硬件捕获性能好, 但采用软件捕获的方法却以其实现成本相对较低、可修改、可重用等优点, 得到了认可和广泛的使用。
从网络中捕获数据包是网络安全解决方案的基础。而要想捕获到网络上流经的所有数据包, 就需要先研究网络上数据包的传送方式。局域网的通信一般都采用广播方式, 网络上的每个站点共享信道, 一个站点发出的数据包, 其他站点均能收到, 也就是说, 任一台计算机都可以接收到网络中同一个共享域的所有的数据通讯。
2.2 数据包捕获机制
包捕获技术就是从网络上捕获全部或特定的网络数据包提供给其它系统使用。本文是利用局域网的广播通信方式来完成数据包的捕获工作。
在每张通讯的网卡上都有一个全球唯一的物理地址, 即MAC地址。MAC地址是一个48位的二进制数。在以太网卡中实现对广播地址进行过滤的是数据包过滤器。它的工作原理是:保留通讯目的地址是本身网卡MAC地址的数据包和广播数据包, 丢弃无关的数据包, 避免浪费CPU资源。这是以太网卡在正常情况下的工作方式。因此网络接口应该只对以下两种数据包进行处理:
(1) 本地网络接口的硬件地址和数据包的目标地址相匹配。
(2) 将“广播地址”作为数据包的目标地址, 它代表所有的接口地址, 格式为“FFFFFFFFFFFF”。
在以上两种情况下, 网卡通过CPU产生中断, 操作系统进行中断处理, 将帧中的数据传送给上层系统进行处理。其他情况下操作系统不作处理, 数据帧将被丢弃。
因此要想捕获流经网卡而目标地址不是本机网络接口地址的数据, 必须改变系统正常的工作模式。当网卡的工作状态设为“混杂” (promiscuous) 模式时, 该网卡就具备了“广播地址”, 会接收到经过该网卡的每一个数据包, 并通过硬件中断的方式来提醒CPU进行中断处理, 因此就可以实现捕获流经本机网卡的任意数据包。数据包的捕获工作, 分为以下几个部实现分:
1) 获取网络设备接口表单;
2) 将网卡工作状态设置为“混杂模式”;
3) 判断是不是10MB的以太网;
4) 设置、编译过滤规则;
5) 过滤规则与网卡进行绑定;
6) 捕获数据包以及判断是否要继续循环捕获;
7) 释放网络设备接口表单。
3 访问数据链路层方法
数据链路层处于协议栈的第2层, 基于物理层之上。所有的上层协议都要直接或间接使用数据链路层协议提供的服务。在大多数情况下, 访问数据链路层协议所提供的服务是内核中的一些高层协议实现的。但在某些情况下, 应用程序不经过高层协议, 需要直接访问数据链路层所提供的服务, 捕获技术就是应用程序获取数据链路层的报文。当前几乎所有的操作系统都支持应用程序直接访问数据链路层, 其中, 应用最广泛的报文捕获函数库是基于BPF过滤机制的Libpcap库。下面我们来介绍基于BPF过滤机制的捕获方法和Libpcap分组捕获函数库。
3.1 BSD分组过滤器BPF
BSD分组过滤器BPF (Berkeley Packet Filter) , 即伯克利数据包过滤器, 它是洛仓兹伯克利试验室的研究人员Steven Mc Canne和Van Jacobson研究的一种用于Unix内核的数据包过滤体制, 是实现访问数据链路层服务的接口。BPF不仅能够捕获经过数据链路层的所有分组, 最重要的是它还提供分组过滤功能, 即捕获应用进程想要的分组信息。通过ined命令, 可以配置BPF设备属性, 如装入过滤器, 设备读超时、缓存大小、打开混杂模式等等。设置完成后, 就可以读写BPF设备了。把安装好过滤程序的BPF与网络接口相关连, 就可以实现对输入的分组选择性地接收。BPF还采用了以下三种技术来减少开销:
1) BPF过滤器运行在内核中, 从而减少了从BPF到应用进程之间数据量的拷贝。
2) BPF传递给应用进程的是满足条件分组中的部分数据, 这被称为捕获长度 (capture length) 。因为大部分应用进程需要的是分组头部, 而非分组的全部数据。这同样减少了从内核到用户空间数据量的拷贝。
3) BPF采用双缓存技术 (double buffering) , 将要传送给应用进程的分组数据先存入缓存, 当缓存已填满或者读超时时才将分组数据传送给应用进程。缓存的存在减少了系统调用次数, 即降低了系统开销。在每个应用进程中BPF都设置了两个缓冲区, 当一个缓冲区给应用进程传送数据时, 启用另一个缓冲区来填装数据, 这就是典型的双缓冲技术。
3.2 分组捕获函数库Libpcap
Libpcap (Libaray for Packet Capture) , 即分组捕获函数库, 是由劳伦斯鉻伯克利国家实验室开发的一个在用户级进行实时分组捕获的接口, 其特点是独立于操作系统, 成为开发跨平台的分组捕获和网络监视软件的首选工具。Libpcap for Win32将Libpcap移植到了微软的Windows系列操作系统上, 一个最常用的实例就是Win Pcap。它是一个基于Libpcap模型, 在Win32平台上实现分组捕获和网络分析的体系结构。
4 结束语
网络数据捕获技术是网络安全监控的基础, 本文通过对网络数据捕获技术的研究, 简要介绍了数据捕获的概念、基本原理和捕获机制, 为网络安全解决方案提供了理论依据。
摘要：网络监控是保障网络安全的基本措施之一。在网络拓扑中的关键位置对数据报文进行捕获、分析和监控。本文着重分析了数据捕获的概念和基本原理、数据包捕获机制, 以及捕获数据包的方法。
关键词：网络安全,数据捕获,捕获机制
参考文献
[1]郑挺.高速网络安全监控系统的研究与实现, 国防科学技术大学, 2003。
[2]李爱平, 郝英.网络监控系统中数据包捕获分析模块的实现, 网络安全, 2007。
大数据时代 网络科学的挑战 篇11
自从2012年3月美国政府发布《大数据研究和发展倡议》以来，多国政府相继推出支持大数据研究的计划。尽管对于大数据还存在着各种不同的观点，大数据对科学研究、经济建设、社会发展和文化生活等各个领域都会产生重大的影响，而网络科学作为一门从网络角度研究复杂系统的新兴学科，也将会在大数据研究中发挥重要作用。例如，2013年6月，美国前中情局职员斯诺登向媒体披露了美国政府的一项代号为“棱镜”的秘密项目，旨在从网络和通信公司获取庞大数据，以监控通话、电子邮件和聊天记录等。《科学》（Science）一篇有针对性的新闻分析文章的标题即为“网络科学处于监控争论的中心”，因为基于人们之间的这些交流数据就可以构建相应的交流网络，其中的每条边表示了两人之间联系的密切程度。在此基础上，有可能通过分析网络的演化趋势来预测恐怖袭击等突发事件，当然也有可能对公民的个人隐私保护带来挑战。
网络科学兴起于世纪之交。一方面，人们开始收集到越来越多的各种不同的实际网络的数据，并且可以借助强大的计算设备处理大规模数据；另一方面，学科之间的相互交叉使得研究人员可以广泛比较各种不同类型的网络数据，从而揭示不同复杂网络的共性特征。此外，以还原论和整体论相结合为重要特色的复杂性研究的兴起也促使人们开始从整体上研究网络的结构与性能之间的关系。
随着网络科学研究的不断深入，网络科学的思想与方法也不断得到普及。2012年在大连举行的世界经济论坛还专门组织了以“网络的力量”为题的专题讨论，邀请网络科学领域知名学者Barabási等探讨如何运用网络科学促进组织发展。事实上，每一个组织都会涉及到多种不同的网络，包括组织内部个体之间的关系网络、不同组织之间的关系网络、以及组织运行过程中遇到的各种网络等。以下谈一谈大数据时代网络科学所面临的几个挑战。
网络结构分析与建模
自从关于复杂网络的小世界和无标度结构特征与模型的研究以来，复杂网络的基本结构性质一直是研究的重点。人们也提出了各种各样的网络拓扑模型，从而提升了我们对网络结构性质及其产生机理的认识。其中，关于复杂网络社团结构挖掘及其在社会网络和生物网络分析中的应用受到了相当多的关注，人们提出了各种各样的社团挖掘算法，并出现了可以用到包含上亿个节点的算法，对于社团结构的层次性、重叠性和演化特征有了更好的理解。链路预测和推荐算法及其应用研究是另一个近年受到特别关注的领域。特别地，个性化推荐算法受到了许多互联网企业的青睐，视频网站YouTube所使用的个性化视频推荐算法更是获得了美国国家电视艺术与科学学会（NATAS）授予的2013“技术与工程艾美奖”。
复杂网络分析相关的算法问题是在大数据背景下新挑战——我们如何快速、有效处理包含数千万乃至数亿节点的巨网络？基于大数据的算法问题有可能成为未来大科学化的复杂性科学研究的技术基础之一。从社团结构挖掘到链路预测和各种推荐算法等，算法复杂性分析、快速近似算法、并行计算、分布式图存储问题等等都值得深入研究。
目前网络科学主要还是集中于固定拓扑结构的网络，而现实网络大多数是随时间和空间持续变化的。例如，实际的社会网络中，人与人之间的联系与交互是遵循一定时空统计规律出现，而不是一直保持不变的。在这种含有时间空间的网络上的动力学过程可能会呈现出与静态网络和非空间网络极为不同的规律。另一方面，许多网络都不是孤立存在的，而是与其他网络之间存在着相互依赖、合作或竞争等关系。随着数据获取能力的不断增强，我们可以对网络的网络开展从理论到应用的深入研究。例如，以社会网络研究为例，同一个用户可能同时是人人、QQ、Email和微信用户，因此这些网络之间是存在相互关联的。许多基础设施网络，如电力网络、通信网络、交通网络等等之间也都是相互依赖的，一个网络的故障有可能触发其他网络的相继故障。
网络行为与动力学分析
研究复杂网络结构性质与建模的主要目的之一就是为了了解网络结构与网络功能之间的相互关系与影响。例如，网络上的传播行为在许多实际网络中广泛存在，如社会网络中的病毒和信息传播、通信网络中的病毒传播、电力网络中的相继故障、经济和金融网络中的危机扩散等等。随着网络科学的兴起，人们开始关注网络结构对于传播行为的影响。其中最具代表性的理论成果是：经典的传染病模型认为只有当病毒传播率大于一个正的临界值时，病毒才能在网络中扩散，而当网络规模趋于无穷大时，无标度网络对应的传播临界值趋于零，这意味着只要病毒传播率大于零，病毒就能在网络中进行一定程度的传播。近期关于网络传播研究的一个显著特征就是涌现出越来越多的高水平的基于社会网络的实证研究。
社交网络对人们的行为会产生多大的影响？2012年《自然》（Nature）的一篇文章介绍了在Facebook上的一项涉及到超过6千万用户的关于社会影响和政治动员的研究。在2010年的美国大选期间，研究人员发现，如果告知一个Facebook用户当前的投票数及其几个朋友已经投票的信息，那么能够显著提高该用户投票的可能性。传统的模型假设一个人被感染（或采用某种产品）的可能性与该人的朋友中被感染（或采用某种产品）的人数成正比。2012年《美国国家科学院院刊》（PNAS）的一篇文章分析了Facebook的增长，发现感染概率并不是由用户的朋友数量决定的，而是由用户的朋友圈的连通片的数量控制的。而且在连通片固定的情况下，感染概率反而通常是与朋友数量负相关的。
2013年7月《科学》（Science）的一篇文章以在印度农村推广小额信贷为例，研究了如何更好的选择初始人群以达到更好的口碑营销的效果。具体地说，最初获得信息的一部分在网络中的位置是如何影响信息的传播和产品的扩散的？影响一个个体决定使用该产品的因素是哪些？一方面，个体首先要知道产品信息才有可能使用，并且如果越多的朋友告知该个体关于产品的信息，该个体就越有可能使用。另一方面，获得信息的个体是否最终使用产品也有可能会受到其朋友的决定的影响。为了考虑这些因素，文中建立了一个简单的信息扩散模型来区分邻居之间的信息传递与邻居决定的直接影响，并区分使用者和非使用者的信息传递。研究表明，小额信贷的使用者把信息传递给另一户家庭的可能性是未使用者的7倍。另一方面，由于未使用者的人数要多得多，因此，总体上看，未使用者的信息传递作用也是重要的，导致了整个村庄中1/3左右的信息传递和产品使用。
网络控制
对于大规模网络而言，通过直接控制网络中的每一个节点而实现控制目标往往是不现实的并且也是不必要的。2011年，Barabási小组在《自然》（Nature）上发表了一篇题为“复杂网络能控性”的文章，这一工作发表之后很快引起了较多的关注，其中也包括一些争议。对于大规模复杂网络系统（如节点个数在百万以上）的控制而言，近年关注的重点是能否以及如何通过对部分节点直接施加控制而达到控制目标，其中涉及到可行性、有效性和鲁棒性等挑战性问题。这类问题具有重要的应用前景。例如，我们能否通过对少数金融机构的有效控制而实现整个金融网络的稳定？2013年3月《自然 · 物理学》（Nature Physics）出版了金融中的复杂网络专辑，诺贝尔经济学奖得主、网络科学研究人员和金融机构高管联合撰文阐述了复杂网络在金融中的可能应用，其中特别提到了金融网络系统的控制研究的重要性。
从网络科学到网络工程
随着研究的不断深入和技术的不断进步，网络科学在实际网络中的应用也得以不断扩展和深化。不同学科的研究人员在网络科学的研究过程中越来越多的交流对于网络科学的健康发展也是极为重要的，要继续鼓励和促进学科之间的交流以及研究人员与企业界的交流，共同思考和提炼网络科学与工程中的一些重大问题。
网络科学着眼于实际复杂网络中涌现的科学问题。网络科学中提出的许多方法的有效性都需要通过实际网络数据来验证。因此，建立来自不同领域的实际网络的高质量的数据平台对于提升网络科学研究的规范性是非常重要的。在此基础上，需要积极探索与有关企业和部门的合作，推动网络科学的应用研究。例如，与有关互联网和通信公司合作研究社会网络，提升现代服务业水平；与有关市政部门合作研究城市基础设施网络的效率；与医疗卫生行业合作探讨网络科学在医学健康领域的应用等。网络科学在经济、金融、组织管理中的应用也将会越来越普及。
网络大数据研究及应用 篇12
关键词：大数据,网络大数据,大数据感知,存储管理,大数据挖掘
0 引言
近年来,互联网技术、物联网技术、云计算的迅猛发展,加上人、机、物在网络空间的高度融合,引发了数据的爆炸式增长,给许多行业带来了新的挑战和机遇,人类已经进入大数据时代。大数据正在改变着人们的生活工作方式,改变着企业的运行模式,并正在引起科学研究方式的变革。
大数据指无法在可容忍的时间内使用常规工具和软硬件环境对其进行感知、获取、管理、处理和服务的数据集合[1]。网络大数据指人、机、物三元世界在网络空间中相互交互融合产生的可以通过互联网获取的大数据[2]。与传统的数据规模相比,大数据特别是网络大数据具有3V特征:①大量化(Volume):网络空间中数据的规模不断扩大,计数单位从GB、TB到PB,甚至已经增长到EB和ZB,具有空前的规模性。IDC的研究报告称,未来十年,大数据数量还将增加50倍,而管理数据存储的服务器数量将增加10倍以便满足大数据50倍的增长;②多样化(Variety):网络大数据类型繁多,包括结构化数据、非结构化数据和半结构化数据。非结构化数据在互联网世界中呈现大幅增长的趋势,目前,非结构化数据占互联网数据总量的比例已达75%以上;③快速化(Velocity):数据产生速度快,要求极高的处理能力。Facebook每天有超过1 000万张照片上传,YouTube平均1秒就有一个时间长度1小时以上的视频在上传。数据是快速动态演化的,具有很强的时效性,因此处理效率就是企业的生命,只有在有效时间内对数据流进行处理,才能很好地利用这些数据。
1 网络大数据研究意义
当前全球已经全面进入信息时代,互联网、物联网、云计算以及网络空间中层出不穷的各种应用,使网络数据以前所未有的速度激增,数据类型越来越复杂,对网络数据的深度挖掘和利用可以帮人们很好地感知现在、预测未来。对网络大数据研究的意义主要体现在以下3个方面:
(1)大数据资源是一个国家继海、陆、空、天之后另一个博弈的空间,是数字主权的象征。一个国家在数据资源方面的落后,意味着其在产业战略制高点的失守,意味着国家安全在网络空间可能会出现漏洞,大数据直接影响着国家安全、社会稳定。2012年3月,美国政府制定了《大数据研究和发展计划》,投资2亿美元用于改进和提高从海量数据中获取知识的能力,这是美国继1993年制定“信息高速公路”计划后又一重大科技战略部署。同年5月,英国建立了世界上第一个大数据研究所。西方国家正在通过国家顶层推动对大数据的研究,加强对大数据的研究及应用对提高国家竞争力具有战略意义。
(2)网络大数据的研究利用已经成为产业升级和新产业产生的重要推动力。通过挖掘网络大数据,从中发现其蕴含的信息、知识甚至智慧。网络大数据已不仅仅是产业所产生的副产品,而是联系产业生产各环节的关键。2011年“双十一”,淘宝网站当天的销售总额达到191亿元人民币,淘宝之所以能够创造如此巨大交易量的商业神话,得益于其对用户消费习惯、浏览习惯和搜索习惯等大数据的分析挖掘。网络大数据正在成为信息产业持续高速增长的新引擎,成为提高企业竞争力的新动力。
(3)大数据引起科学界重新审视科学研究方法论,引发了一种新的科学研究模式。科学研究最初是实验科学,后来出现理论科学,研究各种定理定律。但是在许多问题上,理论研究方法太复杂而难以解决问题。而大数据的出现使科研人员可以直接从数据中挖掘所需的信息、知识和智慧,而无需直接接触需要研究的对象。2007年,已故图灵奖得主吉姆格雷将数据密集型科学从计算科学中分离出来,描绘了数据密集型科学研究的“第四范式”[3],他认为要解决某些全球最棘手的挑战,第四范式可能是具有系统性的唯一方法。PB级数据使人们没有假设和模型,就可以通过分析挖掘发现过去科学方法发现不了的新知识和新规律。
2 网络大数据应用
网络大数据特别是来自社交网络的数据蕴含着丰富的信息,是对真实社会的网络映射。分析挖掘网络大数据发现其蕴含的线索和规律,可以帮助人们更好地感知现在,并预测未来事物发展趋势。一个很好的例子是2009年H1N1流感病毒传播的预测。美国卫生部官员使用传统跟踪方式跟不上流感的传播,但是谷歌工程师们使用网络搜索主题成功预测了流感传播区域,这为卫生系统提供了相当有价值的实时数据。
通过分析海量网络大数据可以帮助人们作出更好的决策。奥巴马的竞选团队通过对网络大数据的挖掘成功帮助奥巴马在竞选总统中获得连任。奥巴马团队在竞选前两年,通过收集、存储海量数据,利用数字化策略寻找和锁定倾向自己的选民,并拉拢中立派选民,这帮助奥巴马在某些地区获得更多的选票,数据分析团队在奥巴马竞选中发挥了至关重要的作用。华尔街一家证券公司通过分析3.4亿微博用户的留言,判断民众的情绪,根据人们高兴时买股票,焦虑时抛售股票的规律,决定买卖股票的时机,从而为公司取得了巨大利润。
3 网络大数据面临的挑战
3.1 网络大数据感知与表示
一方面,根据网络空间中数据隐藏的深度,可以将数据分为表层数据和深层数据[4]。表层数据是指可以通过传统网页爬虫直接爬取的数据,而深层数据由网页在线访问的数据库组成,只有通过提交页面的查询接口才能获取。与表层数据相比,深层数据蕴含的信息更丰富,同时更具规模化、实时动态化和异构化等特点,传统方法无法对深层数据进行采样。为了有效利用网络数据,针对异构、实时动态数据,需要研究有效的方法通过数据获取、数据抽取、数据整合3个环节将数据转化为结构统一的高质量数据。
另一方面,网络大数据的建模和表达还面临着许多新挑战,传统方法不一定能直接表达大数据本身的意义。在大数据表示方面,需要解决数据稀疏性所带来的问题,对快速动态演化的大数据进行建模,需要对图片和多媒体数据进行建模和表示等。研究简单有效的数据表示方法是处理网络大数据的首要难题。
3.2 网络大数据存储与管理
网络大数据的规模已经从TB级增长到PB级、EB级,网络大数据的存储管理不仅影响其分析处理效率,也影响其存储成本。因此,如何提高存储效率降低存储成本成为有效利用网络大数据面临的又一个难题。针对网络大数据的存储,谷歌公司提出了分布式数据处理技术,但是其仍然存在局限性,面临着数据总量规模超大、处理速度要求高、数据类型繁多等多个难题。需要研究优化分布式数据存储结构,以提高网络大数据的存储效率、节约成本,从而实现高效、高可用的数据存储系统。
3.3 网络大数据挖掘和社会计算
利用计算技术分析挖掘网络大数据,发现其蕴含的知识,是实现网络大数据深层价值和实现行为可计算的主要途径。随着社会媒体的涌现,用户规模和数据复杂性都呈现出指数式增长,传统的数据挖掘方法在性能和效率上已经无法满足需求。目前,网络大数据挖掘的主要研究热点是基于内容信息的数据挖掘和基于结构信息的社会计算方法。
4 结语
互联网、物联网、云计算的快速发展以及层出不穷的网络应用,引发了网络数据规模的爆炸式增长,从而产生了网络大数据。网络大数据的研究主要是通过分析挖掘历史数据,发现新的模式,再结合源源不断的流数据,感知现在,并预测未来。网络大数据的研究是经济发展和国家安全的战略需要,网络大数据的涌现为人们提供了前所未有的机遇,但也对人们提出了重大挑战。网络大数据的研究尚处于初级阶段,还有很多问题亟待解决。
参考文献
[1]李国杰,程学旗.大数据研究:未来科技及经济社会发展的重要战略领域[J].中国科学院院刊,2012,27(6):647-657.
[2]王元卓,靳小龙,程学旗.网络大数据:现状与挑战[J].计算机学报,2013,36(6):1-15.
[3]ANTHONY J G HEY.The fourth paradigm:data-intensive scientific discovery[J].Proceedings of the IEEE,2011,99(9):1344-1377.