基于网络流量进行异常检测的原理

　　本文中的异常检测是基于将网络流量特征向量分层划分的思想实现的。将流量特征分为两个层次：基本特征集合和组合特征集合。其中基本特征集合是实时从网络流量中提取的一些网络流量的基本特征数据，比如流量的大小、包长的信息、协议的信息、端口流量的信息、TCP标志位的信息等。这些基本特征比较详细地描述了网络流量的运行状态。

　　组合特征集合是可以根据实际需要实时改变设置的。针对某种特定的攻击行为，将涉及该攻击行为的基本特征的子集作为描述该种攻击行为的特征。比如对于SYN FLOOD攻击，组合特征就可以选取pkts/s、平均包长、SYN包的个数等信息。利用以往基本特征集合的数据对该种攻击行为的特征进行学习和训练，就可以实时得到该攻击行为组合特征的正常和异常模型。用此模型就可以实时地对网络上该种攻击行为进行检测。

　　另一方面对于已知攻击种类和行为的数据集进行学习还能对人为选取的攻击组合特征进行优化，使之更能反映该攻击行为的特点。由于数据集是通过对网络流量实时提取获得的，真实地反映了网络的实时状态，因而通过共享该数据集可以为网络中不同管理域之间异常检测系统提供一个协同运行和控制的平台。

　　网络流量基本特征数据集是整个网络流量异常算法的基础。为了保证该算法的可靠性和比较强的可扩展性，就要求基本特征能够比较完备地描述网络流量的特征。但同时由于网络的异常检测有实时性的要求，以及考虑到现有计算机的计算能力等问题，基本特征的选取不能对所有流量信息进行提取，而必须对之进行选择。

　　除此以外在基本特征集中还预留了大约100个保留项，以便将来的扩展之需。由这些保留项以及上述各个提取的内容共同组成了一个有256项的基本特征集。该基本特征集有以下几方面的特点：

　　(1)比较详细地涵盖了现有网络中主要流量的各种统计信息。

　　(2)不含敏感信息，比如IP地址，包内容信息等。

　　(3)其存储空间完全有限，如果每隔30秒统计一次，一个月大约有30×24×60×2=86400条记录，每条记录由256个数字组成，如按照文本格式保存大约是2048个字节。因而按照这种方式保存一年的数据所需空间大约是2048×8×86400×12=16986,931200bits，这大约是17GB的空间。