流量异常

流量异常（精选7篇）

流量异常 篇1

一、引言

时至今日, Internet服务的发展异常迅速, 网络在日常生活和各类工作中已经是不可或缺的重要的组成部分, 对网络各种流量进行分类监控, 以便及时发现并控制网络上的各种异常行为, 已经成为保障网络正常运行的关键之处。网络流量分析是网络安全的一个重要研究方向, 该怎样快速地分析网络异常流量产生的原因, 又该怎样保证网络的可用性和畅通性, 对于计算机网络健康发展起到非常重要的作用。在这样的背景之下, 各种各样的网络流量检测技术随之涌现。

二、网络流量异常产生的原因

网络流量产生异常的原因非常多, 常见的有四种:一种是网络恶意攻击引起的, 例如DoS攻击, DDoS攻击, 端口扫描等;第二种是导致数据量模式改变的网络病毒, 如蠕虫病毒等;第三种原因是网络的使用问题, 如大范围的P2P的应用模式对网络流量造成不良影响;还有一种原因是网络错误配置或者网络存储空间耗尽等。

计算机网络流量异常检测是指检测何时何处存在异常的网络流量发生。如今, 蠕虫病毒的大规模爆发, 垃圾邮件的大量传播, P2P下载的泛滥等异常网络行为的流量, 对网络资源, 网络安全造成了极大的负面影响。首先, 会占用带宽资源, 造成网络拥堵、丢包、时延增大, 甚至直接导致网络无法正常使用, 其次, 还会占用网络设备系统资源, 造成网络服务不正常。流量异常检测不仅有利于网络管理者及时排查网络异常, 而且对于维护计算机网络正常运转, 保障网络的安全都具有十分重要的意义。

三、网络异常流量的检测技术

近几年来, 国内外很多专家学者对网络流量异常检测及分析进行了大量的研究工作, 网络异常流量检测技术成果丰硕, 检测的方法数量很多。概括起来, 包括以下五种:

1. 统计检测方法

统计检测方法是通过对数据的统计分析, 进而判断网络流量是否正常。常见的统计分析方法又分成两种:一种是基于时间关联的统计方法, 例如小波分析、指数滤波等;第二种是基于空间关联的子空间分析技术。基于统计的检测的主要优点在于:不但能够发现已知特征的流量异常, 而且还能够检测未知特征的流量异常;缺点是只能检测到异常流量的存在, 但无法确定导致异常的原因及异常属性;这种方法只适合于基于离线的非实时网络异常检测。

2. 基于SNMP的检测方法

SNMP是专门用于在IP网络管理网络节点的一种标准协议, 属于应用层协议中的一种。基于SNMP协议的流量监测则是由提取网络设备中的MIBII收集的一些与具体设备及流量信息相关的参数来实现流量检测。MRTG是最常用并且最典型的一种基于SNMP的产品。其特点是通过软件方式来实现流量检测, 而不需要对网络进行改造或增加配件, 配置相对简单, 费用低廉, 适合较大范围的应用。但它的缺点也同样突出, 即, 它只是包括字节数, 报文数等最基本的数据内容, 因而无法用于复杂的流量检测。

3. 阈值检测方法

阈值检测方法则是采用量化分析形式, 具体可划分为自适应阈值法和静态阈值法。前者是依据网管经验建立一个正常的网络参数范围, 当一个或多个网络的相关参数超过正常范围时, 产生警告, 增加了检测的准确性。在静态阈值法中, 用户和系统行为的某种属性根据计数进行描述, 例如, 特定类型网络的链接次数, 访问目录或文件次数, 访问网络系统次数等, 这些计数设定有某种许可级别。通常是根据历史访问数据建立一个常规的参数基线, 设定一个允许的访问值, 若超出设定范围, 就判断为异常。检测的准确性受限于阈值的确定, 一个合适的阈值的设定关乎整个检测的准确性, 因此阈值检测法的主要难点在于如何选择设定一个合适的阈值和范围。

4. 基于流 (Flow) 的流量分析方法

基于流的分析方法常见的有两种:即sFLow和NetFlow。sFLow使用数据流随机采集技术, 适用于超大规模网络流量环境下的流量分析, 用户可以详细地分析网络传输流的性能、趋势及存在的问题。NetFlow不仅是流量分析技术, 它也是业界的计费技术的主流。NetFlow具有很多优点:例如配置方便, 安装简单;信息量非常丰富。它不仅能为流量分布, 业务分布等性能分析提供充足的数据, 同时, 它成本低廉, 实施方便快捷且不受速率的限制, 是数据流量采集的主要发展方向。

5. 基于流量探针的检测方法

流量探针是一种常见的硬件设备, 广泛用于获取网络流量。使用的时候, 只需将流量探针串接在需要捕捉流量的链路中, 即可通过分流链路上的数字信号来获取流量信息。流量探针检测法具有可靠性高、效率高、高速运行不丢包, 并且安装方便等优点。但缺点也显而易见:首先, 价格昂贵, 不适合大面积安装;再者受限于探针的接口速率, 且探针方式监测的是单条链路的流量。

四、网络异常流量的有效防控

形式各异的网络异常流量的存在, 不仅影响网络的正常运行, 而且威胁用户的日常使用, 但网络已成为世界范围内的重要的不可或缺的信息承载工具, 维护好网络安全, 建立网络异常流量防范体系迫在眉睫。建立网络异常流量防控措施应做到:

1. 完善网络基础设施建设

强健的网络系统防护, 可以让网络不会轻易“堵车”, 是网络安全运行的基础。因此必须做好网络系统的建设。网络系统的建设首先要确定网络结构, 常用的网络结构一般是业务提供层和骨干层分离, 以实现骨干网络与客户的隔离, 确保骨干网络的安全, 这样能有效控制对客户安全的影响范围。要做好网络系统的防护, 则需做到以下两点:一是做好网络安全边界的保护, 如安装多层防火墙等;二是使用统一认证的方法来保护网络系统, 使其不被非法登陆。

2. 异常流量监控与预警机制

网络流量的监控方法多种多样, 上文所述的都是常见的检测方法, 充分掌握检测方法及其特点, 选择适用于自己的网络异常流量检测手段对于维护建立健全网络异常流量防范体系具有重要意义。明确网络上各种网络应用的带宽占用情况, 分析用户流量行为, 便于合理的规划和分配网络带宽, 并且有效地保障网络正常运行。

除了做好异常流量监控, 还必须建立预警机制。这要求网管建立一套切合实际的网络健康工作时基线, 并根据实际情况做出调整, 当出现异常流量并超过基线时能及时预警。

3. 对异常流量进行疏导和控制

常见的对异常流量进行疏导和控制的方法有3种:第一种是ACL过滤, 这种方法可以实现针对源目的IP地址、协议类型和端口号等各种形式进行过滤。第二种方法是切断网络硬件设备物理链接, 在确定异常流量的源地址, 且该源地址所使用的设备在可控的情况下, 切断其物理连接。最后一种方法是异常流量限定, 只需使用路由器的CAR功能, 就能够将异常流量限定在一定范围内, 这样做会有个小小的副作用, 即消耗一定的路由器系统资源。

4. 建立业界合作

网络安全快捷不是一个人的事, 而是共同努力的结果。应建立与业界的广泛合作, 共同构建网络运营商和各类网络安全组织的沟通渠道, 提高对网络安全事件的预知能力和应急处理能力。融合各家的想法, 做法, 交流各自的经验, 加强合作, 提高协同处理能力。

引起网络异常流量的因素众多, 且随着技术进步, 服务更便捷的同时还伴随着网络安全风险的加大。因此要维护网络顺畅, 除了掌握现有的技术, 还要与时俱进, 不断创新网络异常流量防控措施。总而言之, 只有及时发现异常流量, 准确定位异常流量源, 才可以对症下药, 清除引起异常流量的病毒、黑客及P2P软件等, 确保网络通畅无阻。

摘要：随着Internet技术和网络业务的发展, 网络规模增大, 网络应用趋向复杂化和多样化, 网络流量监测业已成为计算机网络应用的重要组成部分。本文通过概述网络异常流量产生的主要原因, 以及网络异常流量检测的重要性, 分析网络异常流量检测的主要方法, 为网络性能分析、异常检测等提出具有实际意义的建议。

关键词：网络流量,网络异常,检测,网络流量分析

参考文献

[1]Stefan Savage, David Wetherall, Mem-ber IEEE, Anna Karlin, and Tom Anderson.Network Support for IP Traceback[J].IEEE/ACM TRANSACTIONS ON NET-WORKING?VOL.9, NO.3, JUNE2001.

[2]Stefan Savage, David Wetherall, Anna Karlin and Tom Anderson.Practical Net-work Support for IP Traceback[J].Pro-ceedings of the2000ACM SIGCOMM Conference[C], Stockholm, Sweden, August2000.pp.295-306.

[3]Garber L.Denial-of-service Attacks Rip the Internet[J].Computer, 2000, 33 (4) :12-17.

[4]Xiang Y, Lin Y, L W, et al.Detecting DDoS Attack Based on Network Self-simi-larity[J].Internet Protocol Technology and Applications, 2005 (18) .

[5]ZHU Y, SHASHA D.Statstream:Sta-tistical Monitoring of Thousands of Data Streams in Real Time[C].Proceedings of28th International Conference on Very Large Data Bases, New York, 2002:358-360.

[6]张静, 龚俭.网络入侵追踪研究综述[J].计算机科学.2003 (10) .

[7]李德全, 徐一丁等.IP追踪中的自适应包标记[J].电子学报.2004 (8) .

[8]刘振绪.有效的动态几率封包标记[R].逢甲大学硕士学位论文, 2002.

[9]孙延奎.小波分析及其应用[M].清华大学出版社, 2005.

[10]李红娇, 李建华.基于程序行为异常检测的数据流属性分析[J].上海交通大学学报, 2007 (11) .

流量异常 篇2

异常流量指的是区别于正常流量的通信, 通常表现为一些流量, 数据包, TCP同步, TCP重置等参数, 在一段时间内突然爆发式的增长, 有别于正常情况流量。引起异常流量的原因通常是一些攻击、下载或扫描等不正常的网络行为。本案例描述的是一次记录下网络通信数据包, 对异常流量进行快速定位和分析的经过。

1 背景介绍

某单位部署了科来回溯式分析系统RAS 3000, 镜像本单位的服务器流量出口。该网络出口流量为50M, 主要提供WEB, FTP, Mail和各种查询等服务。在没有部署回溯分析系统之前, 防火墙和入侵检测发现过多次告警日志, 但由于没有告警时数据包, 且告警次数每日有几百次, 造成告警无法及时处理的情况。

2 案例分析

2.1 流量突起分析

在一次例行的检查中, 我们从流量趋势图中发现该单位在凌晨5点左右有一个流量突起, 而这个时段应该没有什么业务流量 (如图1) 。

我们看到在突起发生的时间段位6/30日5:24---6:12。选中该段时间进行分析, 从IP地址栏可以看到60.30.29.10 IP流量达到528MB, 远远超过其他IP, 应该是引起此处流量突起的原因。对60.30.29.10进行挖掘分析发现该IP的大多数TCP会话都是与218.247.187.68通信产生的, 而IP 218.247.187.68是该网络的服务器IP。

对60.30.29.10的数据进行下载分析, 我们看到该IP在突起时间段内产生了12431次TCP会话, 产生了149MB的流量 (如图2) 。

打开“TCP会话”看到该IP的通信会话都很整齐, 每次会话数据包多为10-30个, 每次请求的页面都不同。而会话时间很短, 每秒钟能进行20多次这种会话 (如图3) 。

查看HTTP日志也会看到很详细的访问情况 (如图4) 。

综合日志, TCP会话和其流量行为我们判断60IP是在对该单位的WEB服务器做扫描渗透攻击, 使用攻击软件对WEB服务器进行扫描, 企图找到WEB漏洞, 然后进行入侵和提权, 造成了流量突起的产生。

2.2 TCP请求异常分析

某单位在网络中部署了科来回溯式分析系统, 用以日常的安全检测和事件分析, 为网络管理人员提供详实准确的网络流量信息。某次在分析数据时发现网络中有一些流量异常的TCP请求峰值 (如图5) 。

我们可以看到, 选中1小时分析窗口, 在10:24—10:29这5分钟产生了两次TCP请求的峰值, 峰值时TCP同步请求达到了450个, 而平时TCP同步为150个。在控制台选择IP地址, 然后对TCP同步发送选项进行排名, 我们发现两个IP202.108.212.50和202.108.212.28两个IP, 在这5分钟内TCP同步发送达到了10690和10266个。

首先查看其TCP会话, 我们发现外网IP 202.108.212.50和202.108.212.28在对该单位网站218.247.187.68进行高频率的“访问”。而其频率之高绝对不是人工点击网站所能形成, 我们看到在1秒时间内会话请求就达到300多个 (如图6) 。

这种会话具有明显的扫描特征, 我们查看HTTP日志可以看出202.108.212.50对该单位网站请求有明显按照目录逐级访问的特征 (如图7) 。

3结论

如此, 我们可以确定, T C P峰值的产生是由于202.108.212.50对网站进行扫描所致。这种扫描对网站产生威胁, 也对服务器造成很大压力, 影响其他用户的正常访问。

试论网络流量异常分析现状及问题 篇3

随着IT、网络技术的迅猛发展和企业信息化程度的不断提高,各种网络应用越来越丰富,各种应用时时刻刻都在争夺有限的网络带宽,从而导致网络管理的难度不断增大。因此,如何保证网络的可用性和关键业务的畅通运行,对网络正常健康的发展将起到至关重要的作用。要维持正常网络运转,就需要有相应的技术手段,明确了解网络上各种应用的带宽占用情况,分析用户流量行为,以便合理地规划和分配网络带宽,有效地保障关键业务应用的正常运行[1,2]。尤其是在宏观发现流量异常的同时,如何迅速有效地分离和抑制异常流量,对非法业务实行遏止,使网络流量能保持其健壮性,就成为我们迫切想要解决的问题。

2 现有网络异常分析方法

网络流量分析是指捕捉网络中流动的数据包,并通过查看包内部数据以及进行相关的协议、流量分析、统计等来发现网络运行过程中出现的问题,它是网络和系统管理人员进行网络故障和性能诊断的有效工具。常用的网络流量和协议分析有四种方法[3]。

2.1 基于SNMP

SNMP是专门设计用于在IP网络管理网络节点(服务器、工作站、路由器、交换机及HUBS等)的一种标准协议,它是一种应用层协议。MRTG是最常使用并且最典型的一种基于SNMP的产品。其安装过程非常简便,其结果输出采用Web页面方式,因此需要在相应的平台上安装发布系统,如NT上需要安装IIS,UNIX则需要安装apache。MRTG的定制非常方便,一般可以在网络的重要节点端口和故障发生频繁的网络设备处利用MRTG进行监视,这些监视包括:(1)关键链路流量。可以对关键链路的流量进行监视,提供各种统计时间的统计图表,短时间统计可以用来帮助维护和分析网络故障,长时间统计可以为规划设计提供科学可靠的数据。(2)关键节点性能状况。监控包括网络设备CPU利用率、空余内存等可以反应网络节点状况的信息。同样,关键节点性能状况的监视也包括小时/F1/N/月的系统性能统计。

2.2 基于网络流量探针(Probe)

流量探针是一种用来获取网络流量的硬件设备,使用时将它串接在需要捕捉流量的链路中,通过分流链路上的数字信号而获取流量信息,分析的结果存储在探针的内存或磁盘之中,具体的前端展现依赖于与之对应的专门软件。因此具有效率高、可靠性高、高速运行不丢包的特点。流量探针价格昂贵,不适合大面积安装,因此流量探针比较适合在汇聚层或接入层的某些重要节点内部实施。流量探针安装非常方便,可以实时将RMON II的流量信息完全记录下来,这对分析网络的性能和故障很有价值。如果将流量探针串接到Catalyst系列交换机端口,开启端口映射(Span Port)功能,将各个端口的流量映射到安装了流量探针的端口,则仅通过对一个端口的监测就可以收集到多个端口的流量信息。端口映射是由Cisco公司提出的概念,在其Catalyst系列设备上都可以实现。其他厂商如Foundry、Netscout的交换机也提供端口映射的功能,但现在还不支持跨交换机的映射。

流量探针的安装很简单,可以用于高速(千兆)的网络而不影响网络性能,流量探针可以实时捕捉包,但其成本高,不同的物理链路,因其采样方法不同,则需使用不同种探针。

2.3 基于实时抓包分析

基于实时抓包的分析技术提供详细的从物理层到应用层的数据分析。但该方法主要侧重于协议分析,而非用户流量访问统计和趋势分析,仅能在短时间内对流经接口的数据包进行分析,无法满足大流量、长期的抓包和趋势分析的要求。常见的产品有NAI的Sniffer Pro,免费的tcpdump、emereal等。

对于Sniffer来讲,通过Sniffer Portable可以实时采集多种数据并保存到数据库中,同时可以通过其分析模块实时监视和显示这些数据的统计信息。利用Sniffer Portable的数据捕捉功能可以在短时间内对网络流量进行实时采集,这些采集到的流量数据可以包含整个包的信息,也可以只是包的一部分。利用捕获到的包可以进行协议分析、数据重组(如重组E-mail)等工作。对包的解码和分析是Sniffer工具的一个最有特色的,也是最强大的功能。

2.4 基于流(Flow)的流量分析

目前基于流的分析技术主要有两种:sFLow和NetFlow。sFLow是由InMon、HP和Foundry Networks联合开发的一种网络监测技术,它采用数据流随机采样技术,可以适应超大网络流量(如大于2.5Gbps)环境下的流量分析,让用户详细地分析网络传输流的性能、趋势和存在的问题。目前,仅有HP、Foundry和Extreme Networks等厂商的部分型号交换机支持sFlow。NetFlow是Cisco公司开发的技术,它既是一种流量分析技术,同时也是业界主流的计费技术之一。它可以解决有关口流量的如下问题:谁在什么时间、在什么地方、使用何种协议、访问谁、具体的流量是多少等问题[4]。NetFlow因为其技术和Cisco网络产品的市场占有率优势而成为当今主流的流量分析技术之一。NetFlow的配置非常方便、安装简单,除了需要在路由器上配置之外,只需要一台UNIX工作站作为流的收集工作站,所有路由器或交换机上发送的NetFlow流都将送到此工作站集中,方便处理和分析。NetFlow流信息量特别丰富,可以为流量分布、业务分布等性能分析提供最充足的数据,但需要消耗一定的路由器资源(CPU和内存)且不能实时捕捉数据包。根据NetFlow的特点可知,其非常适用于大型的网络和流量探针、Sniffer等比较,NetFlow成本最低,实施最方便,而且不受速率的限制,是数据流量采集的发展方向。最近,IETF的技术人员正在指定IPFIX(IP Flow Information Export)规范,使得网络中流量统计信息的格式趋于标准化。IPFIX基于CISCO的NetFlow V9设计,是一种针对数据输出的,基于模板的格式,具有很强的可扩展性。

2.5 比较分析

在上面所提到的4种方法中,基于Flow的分析方法应该是网络流量分析技术的趋势。这是它的技术实现理论所决定的。表1是几种流量分析的对照表。

基于SNMP的MRTG分析方法数据粒度太低,根本无法在微观上进行流量分析,基于流量探针的分析方法只能实现局部网络监控,与我们想在全网监控的目的不相符合,基于Sniffer的实时包采集分析方法,越在靠近接入层的地方使用效果越好,但是如果在骨干网交换机端口进行采集,会造成数据量过大,为此计算所要付出的代价太高,而且效果不好,因为并不一定需要了解数据包的内容。基于流的流量分析手段能有效地进行全网监控,而且在性能和设备负载上可以适合较大网络流量环境下的流量分析,因此采用Netflow数据流环境。

3 基于Netflow的异常流量分离设计

为了解决实际应用中,发现异常流量,但是通过前述流分析方法无法准确地分离异常流量的问题,本文提出了一种基于Netflow的异常流量分离与分类方法,其基本步骤如下所示。

(1)数据预处理。对Netflow流系统24h×15d不间断采集,通过数据提取、合并,来完成数据库的建立。

(2)宏观监测异常流量。当部署的网络流量监测系统发现网络流量异常时,确定奇异点。

(3)异常流量的分离。在经过24hx 14d的数据采集后,通过单体IP历史行为数据建立网络正常流量模型,通过主机类型判断准则将主机分为正常主机、异常主机和可疑主机。对可疑主机需要进一步地通过流分类确定其主要流量成分。

(4)防火墙处理阶段。为了限制不正常主机对网络流量的影响,在确定异常主机以后需要对他们进行限制或者封锁流量,才能将网络总体流量处于可控的范围之内。

基于Netflow的异常流量分离与分类主要解决了以往流分析方法的弱点或者缺点,其优势如表2所示。

4 结语

随着Internet服务的发展,计算机网络在人们生活和工作中扮演着重要的角色,对网络流量进行监控,及时发现并控制网络上的各种异常行为,成为保障计算机网络正常运行的关键所在。流量分析是网络安全的一个重要研究方向,如何能快速地分析异常产生的原因将网络异常发生在有效的时间和空问之内无论在理论探讨还是实际网络环境下都有着重大的意义,鉴于此本文提出的基于Netflow的异常流量分离设计具有一定实际意义。

参考文献

[1]吴冰,云晓春,陈海永.基于统计的网络流量模型及异常流量发现[J].高技术通讯,2007,17(10).

[2]杨雅辉,杜克明.全网异常流量簇的检测与确定机制[J].计算机研究与发展,2009,46(11).

[3]宋松滋,林南晖,何俊.sFlow网络流量分析算法研究[J].现代计算机(专业版),2009,04.

流量异常 篇4

关键词：机器学习,ANFIS,BP神经网络,网络异常流量检测

0 引言

随着互联网技术的飞速发展, 互联网环境也逐渐变得复杂。网络中每时每刻充斥着大量的异常流量数据, 威胁着人们的计算机安全, 小到个人财产安全, 大到国家安全。目前现实的复杂网络中的异常流量种类较多, 有Alpha Anomaly异常流量、DDos异常流量、Port Scan异常流量、Network Scan异常流量等恶意行为, 也有来自于如路由问题、链路故障等网络软硬件故障。因此现在对网络异常流量检测的难度也不断加大, 而研究新型网络异常流量方法, 应对层出不穷的网络异常流量类型, 提高检测识别效率和检测准确率, 已然成为现在的热点问题之一[1]。

1 网络异常流量检测系统

1.1 网络异常流量类型

异常网络流量类型主要有Alpha Anomaly异常流量、DDos异常流量、Port Scan异常流量、Network Scan异常流量、Worms异常流量以及Flash Crowd异常流量等。可用于检测异常流量的主要流特征有目的端口总数、目的IP总数、源端口总数、源IP总数、字节数以及分组数等[2]。各个异常网络流量类型的具体含义和用于检测异常流量的流特征如下:

(1) Alpha Anomaly异常流量指高速点对点非正常数据传输行为, 可用于检测Alpha Anomaly异常流量的流特征有字节数和分组数。

(2) DDos异常流量指对目标地址的分布式的拒绝服务攻击行为, 可用于检测DDos异常流量的流特征有分组数、源IP地址、流计数以及目的IP地址。

(3) Port Scan异常流量指针对容易受到网络攻击的主机端口的扫描, 可用于检测Port Scan异常流量的流特征有分组数、源端口以及源IP地址。

(4) Network Scan异常流量指针对不同的网络地址的同一个端口的扫描行为, 可用于检测Network Scan异常流量的流特征有分组数、源IP地址、流计数、目的端口以及目的IP地址。

(5) Worms异常流量实际属于一种特殊的Network Scan异常流量, 指在网络中利用网络安全的漏洞而进行自身复制, 可用于检测Worms异常流量的流特征有目的端口以及目的IP地址。

(6) Flash Crowd异常流量指对于某一个资源或者服务的大量非正常用户的请求, 可用于检测Flash Crowd异常流量的流特征有源IP地址、目的端口、分组数、目的IP地址以及流计数[3,4,5,6,7]。

1.2 基于机器学习的网络异常流量检测方法

机器学习智能算法能够有效解决各种识别问题, 在识别检测领域已经得到了广泛应用。机器学习智能算法一般分为有督导机器学习和无督导机器学习[8,9]。

基于有督导机器学习算法的分类识别模型的一般核心思想是使用已知确定类型的样本数据对识别模型进行机器学习并建立对应的分类规则, 并根据分类规则对未知的未确定类型的样本数据进行分类识别。基于有督导机器学习算法的分类识别模型的优点是检测识别率较高, 缺点是需要大量已知类型数据样本对模型进行训练以使得模型具有较好的泛化能力, 并且无法对未确定类型的样本数据进行分类识别。有督导机器学习算法一般有贝叶斯算法、决策树算法、支持向量机算法以及神经网络算法等[10]。

基于无督导机器学习算法的分类识别模型的一般核心思想是使用样本数据的特征相似度来聚合分簇, 以得到各簇和类的映射。基于无督导机器学习算法的分类识别模型的优点是能够对未确定类型的样本数据进行分类识别, 但是缺点同样明显, 就是识别分类的速度和准确度比较低[11]。

本文着重研究基于神经网络机器学习算法的网络异常流量检测方法。

2 ANFIS算法模型

ANFIS算法模型通常有5个网络层, 分别是1个输入层和输出层、2个规则层, 结构如图1所示。

在第一个网络层中, 对输入变量进行模糊化, 各个节点的输出为:

式中:x1, x2是输入的节点;Oi1, Oj1是输出的节点。

在第二个网络层中, 将输入变量相乘, 各个节点输出值表示规则强度为:

在第三个网络层中, 归一化处理规则的强度为:

在第四个网络层中, 计算各个模糊规则输出值:

在第五个网络层中, 计算节点的输出值:

ANFIS算法的总输出通常由给定的前提、结论参数得到:

ANFIS算法模型主要是使用混合算法对前提和结论参数不断更新。通常将一个初始值赋予给前提参数, 结论参数由最小二乘估计算法得到。最终从最后一层反向向第一层由梯度下降算法传递系统的误差, 以不断更新前提参数[12]。

由于梯度下降算法在实际应用时, 存在易陷入局部极小值, 训练效率低下等问题, 因此本文研究的改进型ANFIS算法使用附加动量算法来修正模型参数, 使系统能够越过误差曲面的局部最小值。附加动量算法的具体形式为:

式中:λ是动量因子, 一般取0.95左右;n是迭代步数;β (n) 是第n步运算的学习率[13]。

3 实验分析

3.1 实验数据采集

使用VB.net配合MySQL数据库软件建立网络异常流量检测系统。用于网络异常流量检测模型训练和测试的数据来源于Mitlincoln实验室的KDD CUP99数据库以及LBNL实验室测试的数据。从数据库中随机抽取Alpha Anomaly异常流量、DDos异常流量、Port Scan异常流量、Network Scan异常流量、Worms异常流量以及Flash Crowd异常流量各200条数据样本, 其中100条数据样本作为训练样本, 另外100条数据样本作为测试样本。

使用上述数据库得到的网络异常流量数据包含了异常流量的主要流特征, 如目的端口总数、目的IP总数、源端口总数、源IP总数、字节数以及分组数等。由于各个流特征取值以及使用的度量单位均不相同, 因此必须对数据进行归一化处理:

式中:x′是归一化处理后的数据, 数值在0～1之间;是流特征数据的数值平均值, ;S是样本的特征标准差, ;n是流特征数据样本的数量[14]。

3.2 检测系统模型建立

为了简化检测系统的模型, 使用减法聚类算法对归一化处理后的流特征数据样本空间进行非线性规划, 使用生成的Sugeno型结构作为网络异常流量检测模型的初始结构, 对检测模型的各个参数使用混合学习算法以及附加动量算法逐步优化。所建立的ANFIS模型选用三角函数型的隶属度函数, ANFIS模型的a, b, c参数学习率设定为0.01, 误差上限为10-3。可以得到训练误差曲线如图2所示。

为了对比本文研究的ANFIS模型的优势, 使用BP神经网络进行对比实验。BP神经网络模型的输入层单元数根据流特征数设定为6, 输出层单元数根据网络异常流量种类设定为6, 隐含层单元数根据经验公式设定为11, 使用Levenberg-Marquardt算法。BP神经网络模型的训练误差曲线如图3所示。

通过对比模型训练误差可以看出, ANFIS算法比BP神经网络算法使用的训练时间更短。使用附加动量算法修正模型参数, 使系统能够越过误差曲面的局部最小值[15]。

3.3 检测系统测试分析

网络异常流量监测过程如图4所示。

为了评判本文建立的各个网络异常流量检测模型的性能, 使用准确率和误报率进行评价[16]。

使用本文提出的ANFIS算法和使用BP神经网络算法建立的网络异常流量检测模型的测试结果如图5和图6所示。其中纵、横轴坐标表示的含义如表1所示。

使用本文提出的ANFIS算法和使用BP神经网络算法建立的网络异常流量检测模型, 对测试数据进行检测得到的准确率和误报率对比如表2所示。

%

通过对比两种检测方法得到的准确率和误报率可以看出, 本文提出的改进型ANFIS算法相比使用BP神经网络算法使得网络异常流量检测系统具有更高的准确率和误报率, 能够有效避免使用BP神经网络容易陷入局部最小值以及收敛速度低等问题。

4 结语

流量异常 篇5

关键词：数据采集,可视化展现,异常流量特征,DDoS

0 引言

随着Internet的不断发展,网络安全已经逐渐成为人们越来越关心的问题,防火墙、反病毒软件、内容过滤器和验证系统等常规的安全工具逐渐被越来越多的用户接受,成为许多公司安全武器库当中的必要部分。但是随着网络变得日益复杂起来,这些工具越来越不能迅速识别及挫败越来越狡猾的威胁。基于网络流量的异常检测和网络性能监控,可从流量检测的角度来管理网络及安全。

1 系统设计

本系统主要分为三个模块,分别是流量监控模块、网络攻击仿真模块和网络行为分析模块。这三个模块相互独立,网络攻击仿真模块利用工具对网络进行攻击,流量监控模块采集数据,并进行流量的可视化展现,在流量分析的基础上进行网络行为分析。系统框架如图1所示。

1.1 数据采集

本系统的数据采集主要利用WinPcap库来实现,数据采集的流程图如图2所示。

1.2 流量可视化展现

流量可视化展现是指系统采用图形显示技术,用直观、清晰的方法显示网络流量的变化情况,从而可以直观的了解网络的运行状况。流量的可视化展现如图3所示。

网络流量是指网络上传输的数据量,本系统以秒为单位时间,记录了Packet/S和Byte/S的数据量。为便于计算流量,定义两个结构体。

根据上面两个结构体的成员变量来计算1S的时间。定义一个struct pcap_pkthdr类型的数据包头header,再定义一个struct timeval类型的headerTimeBack并初始化为第一个数据包的时间,通过(header->ts).tv_sec!=headerTimeBack.tv_sec)来控制1S时间间隔,把数据传递给图形显示函数,headerTimeBack记录当前时间。在大流量的情况下采用这种计时方法,误差可以忽略。

选用按钮控件来显示流量。从CButton类派生出CMyButton类用于自绘制,当按钮上面任何可见的部分发生变化的时候,都要调用DrawItem()函数进行重绘。自绘制按钮必须设定BS_OWNERDRAW属性,确保这个Button是用来绘制而不是接收按下消息的,设置的代码在Pre Subclass Windows()函数中完成。为了动态显示流量,使用SetTimer()定时器函数,它每隔一段时间就向WM_TIMER发出消息,然后在WM_TIMER的消息处理函数On Timer()中进行下一步的处理,最后重绘窗口。

2 异常流量特征分析

对每一时刻t,定义时间间隔t1-tn内的峰值P、谷值L、均值M、方差S2、频率F等变量,在采集流量的基础上,进行特征分析。计算公式如(1)-(5)所示。

方差用来度量随机变量和其数学期望(即均值)之间的偏离程度。方差越大,表示流量的波动越大,越容易出现峰值或谷值,说明网络不是很稳定。

采用Hussain提出的网络流量的频率表示方法,假设发出的所有数据包都是同样大小,发送一个数据包所需时间T=S/B(其中S代表数据包大小,B表示网络带宽),那么发送数据包的间隔时间是相同的,这就表明频率领域有周期性,并且周期等于发送数据包的间隔时间。因此,不同的带宽或不同的攻击方式产生流量峰值的频率不一样,并且在这个频率的周期处都会出现流量的峰值。

3 仿真实验

DDo S(分布式拒绝服务型)攻击是使用大量的数据包攻击系统,使系统无法接受正常用户的请求,或者主机挂起不能提供正常的工作。DDo S攻击和其他类型的攻击不同之处在于:攻击者的目地并非寻找进入内部网络的入口,而是阻止合法用户访问网络资源。

典型的DDoS攻击系统如图4所示,由攻击者(黑客)、主控机(控制傀儡机)、实施攻击的代理机(攻击傀儡机)、被攻击的目标主机四部分组成。主控机和攻击代理机分别用作控制和实际发起攻击,对目标机而言,DDoS的实际攻击包来自攻击代理机,攻击代理机可以数十台甚至上百台,可以瞬间造成目标机网络拥塞。

本系统中流量监控采用端口镜像的方法,把交换机的一个或多个端口的数据镜像到一个或多个端口。其目的主要是方便对一个或多个网络接口的流量进行分析。交换机型号是D-link,把PC机的IP设置为192.168.0.2,网关为192.168.0.1,在浏览器里输入192.168.0.1登入交换机的管理界面进行设置:监控主机的端口(Sniffer Port)、被监控主机的端口(Source Port)。

CC(Challenge Collapsar)攻击是DDoS的一种形式,原理就是攻击者控制某些主机不停地发大量数据包给对方服务器造成服务器资源耗尽,一直到崩溃。CC主要是用来攻击页面的,当一个网页访问的人数特别多的时候,打开网页就慢了。利用Storm Attack Tool进行CC攻击,需要在主控机上生成服务端(攻击傀儡机端),在傀儡机上运行生成的Sever.exe文件,其系统类型、内存、CPU等参数都会在主控机上显示。CC攻击的参数设置如图5所示。

流量监控软件的过滤IP为目标IP,使用两台傀儡机进行攻击,流量监控界面产生的流量变化如图6所示。

攻击开始之后,正常用户的访问请求得不到响应。图6中红色代表实际流量,绿色代表流量的平均值;t1-t2时段为正常流量,实际流量在平均值上下浮动;t2-t3时段为攻击时产生的流量,分析得出结果:(1)攻击刚开始的时候,流量出现峰值;(2)实际流量远高于平均值;(3)实际流量很大并持续一段时间然后趋向于平稳;(4)其余的特征有待进一步发现。

由此可以发现,流量的峰值、均值等特征可以描述某些网络攻击行为。

4 结论

基于流量的网络行为分析可以检测出具有明显流量异常的网络攻击,对于有大量数据需要处理的网络攻击检测来说,使用较少的行为算法,能够捕捉到大部分的问题,然后再把重点转向具体的方面,这样可以节省分析系统的开销。本文提出的系统方案解决了以往网络行为分析和数据收集相脱离的问题,对实际网络的保护具有较好的实时性。

参考文献

[1]李一.网络行为一个网络社会学概念的简要分析[J].兰州大学学报.2006.

[2]基于宏观网络流相关性的DDoS攻击检测.计算机工程.2011.

[3]孙向阳,邓胜兰.一个基于NS2的拒绝服务攻击与防御模拟系统.2008年《全国计算机安全学术交流会论文集(第二十三卷)》.

[4]李慧萍,鲁晓帆,张凯.基于Winpcap的数据包捕获技术的研究.网络安全技术与应用.2010.

[5]王景中,胡柳武,段建勇.网络行为数据的获取与解析实现.网络安全技术与应用.2011.

流量异常 篇6

随着移动 设备的普 及 ,Internet网络的数 据量呈爆 炸式增长,服务端的数据流量随之增加。 为了成功和有效地利用流量数据,需要对数据进行处理与分析。 目前许多攻击 ( 如DDo S、PDo S) 可对云端 及网络造 成毁灭性 打击[1], 因此对此 类攻击的 检测与阻 止极为重 要 ,通过异常 流量检测 来检测此 类攻击是 一个重要 方法[2]。

Hadoop是一种应 用极为广 泛的大规 模分布式 数据处理 系统[3], 其可有效 地扩展数 据存储空 间 , 采用平行 化计算提高了数据的计算处理能力,并实现了Map Reduce的云计算 编程模型[4]。 尽管已有 较多的异 常流量分 析方案 ,但极少有 基于云计 算云端的 异常流量 检查方案 。

本文基于Hadoop平台设计 并构建了 云端流量 监控平台 , 采用HDFS存储大量 的流量信 息与异常 流量信息 ,使用Map Reduce进行分布 式处理 ,提高了处 理能力 , 较好地实 现了对云 端异常流 量的监控 ,从而可防 止对云端 的攻击行 为 ,提高了云 端的安全 性 。

1相关技术

基于随机 自相似过 程[5]的异常流 量检测主 要包括Hadoop 、 异常流量 检测以及 自相似随 机过程三 个部分 。

1. 1 Hadoop

Hadoop是一个开 源的软件 平台 , 支持分布 式数据存 储应用[6]。 Hadoop主要由分 布式存储 (HDF:Hadoop分布式文件系统)和分布式处理(Map Reduce)两部分组成。 Hadoop框架分为Map Reduce层和HDFS层[7]。

Map Reduce是一种将 大规模数 据集并行 运算的编 程模型 。 指定一个Map(映射 )函数 ,将一组键 值对映射 成一组新 的键值对 ; 指定并发 的Reduce ( 归约 ) 函数 , 以保证所 有映射的 键值对共 享相同的 键组 。

1.2异常流量检测(IDS)

IDS通过监控 网络与目 标系统 ( 检测异常 流量 ) 来提高系 统的安全 性 。 异常流量 检测主要 分为两种 类型 : 基于签名 的异常流 量检测系 统 (ST -IDS)[8]和基于异 常的异常 信息检测 系统 (AT-IDS)[9]。 ST-IDS利用已知 的攻击模 型来检测 攻击 , 通过预建 立已知攻 击的签名 库寻找相 应攻击 ;AT -ID通过检测 超过预设 阈值的不 正常数据 行为检测 异常流量 。 ST-IDS仅对已有 攻击有效 ,对一些新 的攻击效 果欠佳 ,因此本文 采用AT-IDS方案 。

1.3自相似随机过程

许多自然 与人造系 统中均有LRD(Long-Range Dependence ) 的自相似 过程 , 其中Internet网络中的 数据流量即为一 种自相似 随机过程[10]。

自相似随 机过程的 定义为 : 若对于任 何c (c >0),Tct和cHYt的分布维 度均有限 , 则Yt= { Yt1, Yt2, … } 表示基于Hurst参数且时 间上连续 的严格自 相似随机 过程 , 其Hurst参数范围 为0 . 5 < H < 1 。 则对于任 何的时间 点序列 , 应满足下 式 :

式中 ,表示两个 分布相等 。

目前 ,网络流量 已被严格 定义为离 散时间上 的二阶或近似二阶统计的自相似过程。 设{X1,X2, … } 表示广义平 稳时间序 列 ,其离散时 间设为i=1,2,3… 。 设E[Xi] = EX , Var [ Xi] = Var X , ρk= E [ ( Xi- EX ) ( Xi + k- EX ) ] / Var X分别表示 该序列的 均值 、方差和滞 后k偏自相关 系数 。

将上述随 机序列分 为大小为m的子集 ,称为批(m≥ 1 ) , 将批的数 量定义为 聚合级别 , 则对于给 定的聚合 等级m,可将其聚 合过程定 义为,其中。 若 {X1,X2, … } 是一个满 足0 . 5 < H < 1的二阶自 相似平稳 过程 , 则 :

式中 ,ρk(m)是聚合过 程X(m)的滞后k偏自相关 系数 。 此外可证 明 ,对于二阶 自相似过 程(0.5<H<1):

2现有问题与本文方案

2.1现有问题与本平台方案

( 1 ) 大数据存 储 : 流量的实 时监控将 产生大量 的流量数 据 , 本方案采 用HDFS和HBase将流量数 据进行分 布式存储 。

( 2 ) 处理能力 : 需要极强 的处理能 力 。 本方案采 用平行架 构Map Reduce。

( 3 ) 数据的变 化性 : 需要存储 结构化的 数据 、 非结构化 的数据以 及不同形 式(文本 、图像 、视频等)的数据 。 本方案采 用非关系 数据库来 存储各种 数据 ,如No SQL。

2.2本异常流量检测与分析平台

2.2.1本平台总体结构与程序设计

图1所示为LAN环境下的 本监控平 台总体框 架图 , 主要模块 包括 : 数据收集 模块 、 存储模块 、 分析模块 和GUI模块 。 本平台基 于Java语言实现 。

( 1 ) 数据收集 模块 : 利用SNS ( 如微博 ) 公开的API或分布式 文件收集 工具来收 集网页数 据 、微博数据 以及系统 日志信息 。

( 2 ) 存储模块 : 对流量数 据进行管 理 , 并将数据 以文件形 式或裸数 据格式进 行存储 。

( 3 ) 分析模块 : 将分布式 的数据进 行分簇与 聚类 , 对数据进 行摘要提 取 、预测分析 、自然语言 处理 、文本处理 等 ,基于Map Reduce实现AT-IDS来检测异 常流量 。

( 4 ) GUI : 将流量变 化的实时 状态 、 统计结果 以及控制 界面友好 地向用户 展示 。

图2为本平台 的详细结 构图 , 其主要功 能是检测 与分析异 常流量 , 同时也提 供一些相 关的附加 功能 , 如网络攻 击工具(可产生伪 随机数量 的异常流 量)。 使用Jpcap分析网络 数据包 , 由于本平 台基于Java语言开发 , 因此本平 台是系统 不相关的 , 可运行于Linux与Windows系统 ( 只要安装JVM即可 ) 。 Jpcap将网络数 据包的细 节隐藏 ,将许多网 络数据包 的类型和 协议等信 息提取成Java的类 。 Jpcap内部实现 了Lib Pcap系统库的API,本平台通 过JNI来调用Jpcap, 从而提高 了JAVA的运行速 度 。 目前广泛使 用的AWT(窗口提取 工具)和Swing的运行速 度较慢 ,因此采用SWT(Standard Widget Toolkit) 建立GUI控制界面 ,提高了系 统的运行 速度 。

图3为本平台 检测 、分析 、传输 、 显示异常 流量的程 序框图 。

2.2.2Map/Reduce设计

图4为本平台 的Map/Reducer程序 , 其功能是 利用Map / Reduce将每天的 流量信息 以文件形 式存储于HDFS中 。 首先 ,使用Mapper周期性地 从所有存 储流量信 息的文件 中提取流 量的部分 信息 (目录 、 数据包协 议 、 数据包数 量 、 数据包大 小等 ); 然后通过Reducer提取异常 流量并保 存(可通过数 据包大小 来判断异 常流量)。

3试验与分析

3.1流量变化界面展示

图5为软件实 时流量监 控的流量 变化界面 , 图中所示 曲线图是 监控端口 每秒钟流 量的变化 。 通过协议 获得每个 数据包的 大小与数 据包总数 量 ,然后进行 统计计算 获得每秒 的总流量 。 将每秒的 流量分为3种类型 ( 正常流量 、 异常流量 、 混合流量 ) 进行存储 , 将每天的 统计结果 存储于HDFS中 。

3.2对异常流量的监控性能量

将DDo S攻击注入 局域网 , 用来测试 本平台的 异常流量检测 性能 。 使用2个本监控 平台对同 一个局域 网中的同 一个端口 进行监控 ( 共监控10 h ) , 对其中一 个监控平 台的输入 接口注入 一段时间 的DDo S攻击 。

图6所示为10 h受攻击的 端口流量 变化统计 结果 。 图中可明 显看出受 攻击端口 的流量变 化剧烈 , 可见本平 台可实时 反应出流 量的状态 ,并可检测 出异常流 量 。

4结束语

本文基于Hadoop设计并建立了云端流量监控平台,采用HDFS存储大量 的流量信 息与异常 流量信息 , 使用Map Reduce进行分布式处理 , 提高了处理能力 , 较好地实现了云端的异常流量的监控,从而可防止对云端的攻击行为, 提高了云端的安全性。 通过对流量数据存储、检测与分析可成功检测出有威胁的攻击,保障了云端的安全。 本平台基于开源的Hadoop实现,成本较低,并且基于Java语言实现,可成功移植于各种主流操作系统,因此具有广泛适用性。

摘要：Hadoop系统作为一种开源的分布式云计算平台已获得广泛应用,但其云端易受到各种威胁和攻击,基于此,开发了一种基于Hadoop的云端异常流量检查与分析平台。首先,使用Mapper周期性地从所有存储流量信息的文件中提取流量的部分信息;然后,通过Reducer将异常流量提取并保存。通过对流量数据的存储、检测与分析可成功地检测出有威胁的攻击,从而保障云端的安全。由于本平台基于开源的Hadoop实现,因此成本较低;同时,基于Java语言实现,可成功移植于各种主流操作系统,具有广泛适用性。基于局域网进行监控试验,结果表明本平台可成功地检测出异常流量,并输出友好的用户界面。

流量异常 篇7

一、对等网络的概述

对等网络的实质也就是网络的分布式规划,这样的网络形式强调的是链接到网络中每一个节点用户都能够共享到网络的部分资源,这些可以共享的资源在网络中可以被其他的节点用户直接访问并使用有关服务,而无需再次搭建不同对象之间的中间连接。整个网络中的所有计算机都在提供或享受着不同的资源或服务,如实现信息共享、数据交换、计算及存储资源、共享打印等。

二、对等网络的流量异常检测技术

不同的异常检测系统对P2P网络的流量异常检测中,需要重视检测精确度、运转实时性、检测全面性和新的网络异常行为等几个方面的关键性元素。每一种异常检测技术都应该考虑到网络异常攻击的全新形式、网络病毒的全新变种、部分应激噪声流量可能出现的隐蔽性异常,才能让技术的设计优化更有针对性。

2.1对等网络流量的应用分类

按照P2P网络应用的不同,可以将网络流量分为以下几种:(1)文件共享类,如专用下载软件等;(2)网络传输类,如网络直播电视软件等;(3)即时通信类;如QQ软件等;(4)网络电子游戏类,如QQ游戏等;(5)共享服务或其他处理类软件。

在采用这样的分类标准重新规划对等网络流量后,采用基于数据包内容实现网络流量异常的检测方法就有些不合时宜。首先对于不断更新升级的软件,无法确保有效的高检测准确率,无法做到检测数据库的同步更新。其次,一旦出现不同类型的新软件,在无法确定该软件应用类型前,数据包检测没有匹配的流量范围用于支持检测。这些问题,也正是本文考虑基于计算机节点行为来改进对等网络流量异常检测的关键。

2.2基于节点行为的对等网络流量异常检测方法

2.2.1节点行为

我们使用以迅雷等专用下载软件为代表的文件共享类P2P应用为案例进行节点行为分析。首先需要明确,P2P应用中很多节点为从目标服务器上获得资源,可能出现不同的链接情况。如迅雷在启动后,程序初始化后的短时间内软件运行呈现稳态,多节点时间连接有效进行数据服务。在这个短时间内,申请资源的用户计算机将以客户端的身份发出请求,加入分布式哈希表等存储列中,得到其他节点共享该资源的情况。文件共享类P2P应用中这些节点行为,在初始化分布式哈希表后进行资源申请时,都会完成大量的互连节点通信,确保当实现软件运行稳态后,新增节点不再变化。这样用户对于所需资源的搜索,基本可以靠几个大流量的节点就能完成。基于节点行为的网络流量异常检测技术就是对初始状态的所有数据流产生必要的解析,整理出于主机保持联系的信息,从而观察主机在网络结构的传输层中的行为反应,并将行为反应与众多的应用相互关联,实现流量的检测与异常识别。

2.2.2思路建模

(1)主机网络位置。应该积极获取所要观察的主机与其他对象之间的通信行为,判断是否具有不同样的交互信息,大胆分析目标主机的IP地址,并确定不同主机之间的链接情况。(2)主机网络功能。应分析主机在网络环境中的功能定位,区别属于用户还是服务器。(3)主机应用行为。分析主机应用行为,需要得到主机网络传输层的交互数据。通过特定时长与通信节点数判断数据流的应用类型。

本文基于节点行为的网络流量异常检测方法可以按以下模型来予以表达:

上式子中,IPtotal表示的是能够和某节点产生链路的外部节点总数;IPdistribution表示的是完成节点互连后的外部节点IP地址分布;PORTdistribution表示的是节点展开应用的开放端口提供分布的情况;Tth为节点实现应用稳态后所经历的反应时间限值;k为节点实现应用稳态后新产生的节点数值与所需时间的比值,即稳态比例系数。

结束语

对等网络流量异常检测需要不断提供技术的可行性,才能发挥更好的作用。基于网络节点行为的流量异常检测,主要通过标识节点来进行异常检测,提高对等网络大数据环境中的检查效果。

参考文献

[1]王蛟.基于行为的P2P流量及异常流量检测技术研究[D].北京邮电大学,2008.