【IT168 资讯】毫无疑问，我们已经进入了大数据(Big Data)时代。人类的生产生活每天都在产生大量的数据，并且产生的速度越来越快。根据IDC和EMC的联合调查，到2020年全球数据总量将达到40ZB。2013年，Gartner将大数据列为未来信息架构发展的10大趋势之首。Gartner预测将在2011年到2016年间累计创造2320亿美元的产值。

　　大数据早就存在，只是一直没有足够的基础实施和技术来对这些数据进行有价值的挖据。随着存储成本的不断下降、以及分析技术的不断进步，尤其是云计算的出现，不少公司已经发现了大数据的巨大价值：它们能揭示其他手段所看不到的新变化趋势，包括需求、供给和顾客习惯等等。比如，银行可以以此对自己的客户有更深入的了解，提供更有个性的定制化服务;银行和保险公司可以发现诈骗和骗保;零售企业更精确探知顾客需求变化，为不同的细分客户群体提供更有针对性的选择;制药企业可以以此为依据开发新药，详细追踪药物疗效，并监测潜在的副作用;安全公司则可以识别更具隐蔽性的攻击、入侵和违规。

　　当前网络与信息安全领域，正在面临着多种挑战。一方面，企业和组织安全体系架构的日趋复杂，各种类型的安全数据越来越多，传统的分析能力明显力不从心;另一方面，新型威胁的兴起，内控与合规的深入，传统的分析方法存在诸多缺陷，越来越需要分析更多的安全信息、并且要更加快速的做出判定和响应。信息安全也面临大数据带来的挑战。

　　1 安全数据的大数据化

　　安全数据的大数据化主要体现在以下三个方面：

　　1) 数据量越来越大：网络已经从千兆迈向了万兆，网络安全设备要分析的数据包数据量急剧上升。同时，随着NGFW的出现，安全网关要进行应用层协议的分析，分析的数据量更是大增。与此同时，随着安全防御的纵深化，安全监测的内容不断细化，除了传统的攻击监测，还出现了合规监测、应用监测、用户行为监测、性能检测、事务监测，等等，这些都意味着要监测和分析比以往更多的数据。此外，随着APT等新型威胁的兴起，全包捕获技术逐步应用，海量数据处理问题也日益凸显。

　　2) 速度越来越快：对于网络设备而言，包处理和转发的速度需要更快;对于安管平台、事件分析平台而言，数据源的事件发送速率(EPS，Event per Second，事件数每秒)越来越快。

　　3) 种类越来越多：除了数据包、日志、资产数据，安全要素信息还加入了漏洞信息、配置信息、身份与访问信息、用户行为信息、应用信息、业务信息、外部情报信息等。

　　安全数据的大数据化，自然引发人们思考如何将大数据技术应用于安全领域。