登录 / 注册
IT168安全频道
IT168首页 > 安全 > 安全资讯 > 正文

安全行业的搜索引擎?白帽汇引爆新鲜感

2017-05-13 13:26    it168网站原创  作者: 宁飞虹 编辑: 宁飞虹

  【DTCC 现场报道】2017第八届中国数据库技术大会(DTCC2017)于2017年5月11-13日在北京举办。本届大会以“数据驱动·价值发现”为主题,汇集了来自互联网、电子商务、金融、电信、政府、行业协会等20多个领域的120多位技术专家,共同探讨Oracle、MySQL、NoSQL、云端数据库、智能数据平台、区块链、数据可视化、深度学习等领域的前瞻性热点话题与技术。

安全行业的搜索引擎?白帽汇引爆新鲜感
▲http://tech.it168.com/topic/2017/5-10/DTCC2017/

  3年时间的积累,全球多个机房部署,线上集群超过100台,单份数据大小超过5T,每日更新资产超过1000万……

  在网络安全行业的搜索引擎到底是怎样的呢?大数据在这其中发挥了什么作用?白帽汇又是怎样做的?……

  带着这些问题,我们走进5月13日“搜索技术”专场,白帽汇公司创始人、CTO龙专进行的《大数据在安全行业的应用网络空间测绘》主旨分享,一起来寻求答案。

安全行业的搜索引擎?白帽汇引爆新鲜感
▲白帽汇公司创始人、CTO 龙专

  白帽汇龙专——大数据在安全行业的应用包含四个关键点:一是网络空间的资产搜索;二是安全漏洞扫描;三是用Redis来进行数据收集储存;四是用Elasticsearch来搭建网络空间的搜索引擎。

  安全漏洞频发 系统安全如何保障?

  近年来,网络安全问题日益突出,系统层面的应用安全漏洞频发,严重者导致数据信息泄露,企业资产损失巨大。就在前不久3月份,多家网络安全公司发现并曝光了全球最为流行的Java Web服务器框架之一的Apache Struts2存在漏洞,并将其定级为高级漏洞,令不少网络安全圈内人士咋舌。

  这种安全漏洞曝光事件在安全圈已经见怪不怪了,比如Shadow Brokers公布过NSA黑客工具,里面就包含了众多Windows 0day漏洞。此外,IOT设备弱口令、PHPMailer命令执行漏洞、ImageMagic命令执行漏洞、Redis未开启验证导致数据泄露、Elasticsearch和CauchDB等系统勒索事件等也受到业内人士的关注。

  白帽汇公司创始人、CTO龙专说道:“当某个安全漏洞突发的时候,需要统计和分析包括,一有多少联网设备使用这个系统?二有哪些系统受到了影响?这是一个无法规避却又难以解决的问题。”

  白帽汇提供了一个解决方案——网络空间测绘+全网扫描。网络空间测绘是运用一些技术方法,来探测全球互联网空间上的资产业务应用和分布情况,并用搜索引擎的方式提供服务,可供搜索的范围包括所有联网的资产。网络空间测绘是对资产进行安全管理的更为有效的一种形式。

  网络空间测绘与资产管理的区别见下表所示:

安全行业的搜索引擎?白帽汇引爆新鲜感

  网络空间测绘:我们需要一个FOFA

  “每类资产,都有自己的指纹;单个资产,也有自己的指纹。”

  企业资产就好比人的指纹,龙专在演讲中表示。指纹可以代表人的身份ID,企业的资产也有可以代表它们身份的ID指纹,依靠网络空间测绘可以帮助企业找出每个资产的专属指纹。

  而网络空间测绘解决方案的实践,龙专说道,我们需要一个搜索引擎去实现。

  这个搜索引擎就是FOFA。当我们想要获取某个系统的分布情况;想要知道哪些网站用了某套系统;想要获取一个根域名下所有子域名网站;想要根据一个子域名网站找到跟它在一个IP的其他网站,都需要用到FOFA。

  特别是当你进行全网漏洞扫描时,你想要知道一个新的漏洞在全网的影响范围有多大,FOFA都可以帮到你。

安全行业的搜索引擎?白帽汇引爆新鲜感
▲针对特定系统的检索

  FOFA能够针对HTML正文进行代码级别的全文检索,支持非标准端口,具有指纹识别后置以及自定义规则库,可以随时应对新系统,无需重新爬虫或重新分析。此外FOFA聚焦网站资产,数据量更大,覆盖也更全面。

  FOFA能够帮助企业迅速进行网络资产匹配,快速开展漏洞影响范围分析、应用分布统计等工作。

  搜索+漏洞扫描 大数据为安全行业站台

  FOFA的一大特色功能是可以进行全网扫描,实现搜索引擎与漏洞扫描的结合。

  龙专在演讲中表示,传统Web漏洞扫描存在很多缺点,比如传统的nmap端口扫描速度慢,快速端口扫描存在丢包的问题,还存在防火墙误报问题。

安全行业的搜索引擎?白帽汇引爆新鲜感
▲全网扫描与传统Web漏洞扫描的区别

  其实空间测绘的基础是端口扫描,因此FOFA针对针对协议识别速度慢和防火墙误报问题,开发了一套协议识别程序,其可以覆盖240+端口,进行110+协议的深度解析,包括主流的网络服务、数据库、IOT,甚至是工控协议。而为了识别各个组件上的具体应用,FOFA收集和整理了一套指纹识别库,目前已拥有超过5500+的识别规则。

  FOFA的核心技术是Elasticsearch的使用。我们知道,数据快速更新会带来一些问题,比如更新的数据量大,插入缓冲区(Redis)积压严重,导致其不稳定,更导致全文搜索速度慢。FOFA在进行数据迁移时,Mysql不能实时地生成索引,因而FOFA选择用Elasticsearch进行数据迁移,解决实时索引的问题。

  据悉,目前FOFA已在全球多个机房部署,线上集群超过100台,单份数据大小超过5T,每日更新资产超过1000万。

标签: 搜索引擎 , DTCC
  • IT168企业级IT168企业级
  • IT168文库IT168文库

扫码送文库金币

实时热点
编辑推荐
系统架构师大会
系统架构师大会
点击或扫描关注
IT168企业级微信关注送礼
IT168企业级微信关注送礼
扫描关注
首页 评论 返回顶部