以上的分析的一个小结是不可迷信厂商对于所能检测攻击种数的宣传，一定打开它的规则说明帮助文件，看看有多少水分。既然厂商号称的可检测攻击种数不能做为评价的依据，那我们应该怎么做？


评价一个NIDS的检测能力的高低主要可以从三方面来评价，检测的及时性、准确性、覆盖面。


1. 及时性


NIDS产品与其他安全产品不同，用户买了防火墙一般只需要设置好初始的过滤规则就可以扔在那儿了，只要网络情况没有大的改变，以后就不需再做什么管理，NIDS不同之处在于用户购买的其实不仅仅是一个产品，更重要的是花钱购买的是一种持续检测新攻击的服务。网络上每天都有新的漏洞和新的攻击方式被发现，随着黑客团体技术能力的迅速提高，从漏洞发现和补丁发布到攻击形成的时间跨度迅速缩短，从之前流行的几个蠕虫：SQL蠕虫、冲击波蠕虫、震荡波蠕虫，可以很明显的看到这种趋势，现在往往漏洞一被公布几天之内就会有相应的攻击在网上大量出现，一个最极端的例子就是攻击BlackICE防护软件ICQ解码溢出漏洞的蠕虫在漏洞被公布的第二天就在网上广泛传播，造成非常大的损失。NIDS检测新攻击的能力基本上依赖于厂商对于检测规则的更新，以当前这种网络攻击的现状和趋势，可以毫不夸张地说攻击的发生和检测是黑客与网络安全专家在时间上的赛跑，如果厂商没有能力持续而专业的研究跟踪能力，不能及时地根据最新攻击情况升级检测规则，那么无论NIDS产品在购买的时候表现是多么的好，随着时间的流逝新攻击的出现NIDS很快就会成为无用的摆设。


因此，以当前每天大量安全漏洞被发掘出来和各种网络蠕虫泛滥的现状，一个有用的NIDS产品的规则至少应该保持每周一次的常规升级和随时的针对严重攻击的紧急升级。建议用户在购买产品之间一定要到厂商的网站去看看，了解一下他们的NIDS产品规则升级的频率，几周都不更新规则的不是对用户不负责就是厂商的研究跟踪能力不行，基本上可以否定掉他们的产品，厂商还应该给出增加或更新了哪些规则，这样用户才能了解新出现了什么攻击，是不是与自己的网络环境密切相关，是不是某些从其他渠道获知的严重攻击在当前的规则升级中已经能被检测了。


2. 准确性


NIDS检测的准确性无疑是一个很重要的指标，也就是说检测应该有很低的漏报率（放过真正已发生的攻击而不告警）和误报率（把正常的网络活动认为攻击）。由于NIDS实现上的复杂性，如何评价检测的准确性是一项非常困难的工作，通常情况下厂商会提供一些第三方的报告或者做些攻击演示给用户看，文后的参考资料提供了几个文章介绍了一些方法，但到目前为止都没有比较完善的方案。用户需要明白的是实验环境与实际使用环境是非常不同的，无论是使用实际的攻击程序演示还是采用专用的NIDS测试软件，厂商都有机会也有可能出于好看的需要做一些优化，这样直接导致一个在评测环境中表现很好的产品放到实际工作环境中表现很差。


一段时间在实际网络环境中的试用是主观上评价准确性的比较好的办法，但用户很可能并没有这样的机会，那怎么办呢？如果用户是在几个待选产品中选择其一，不如打开产品的帮助文件看看厂商针对每个攻击相关漏洞说明、影响系统、解决方案等文本的详细程度，哪个做的最好就选哪个，因为攻击相关说明的详细程度可以从侧面反映厂商对于攻击本身的研究深度和做事态度，你不可能指望一个连攻击相关说明都描述不清楚的厂商有什么强大的研究能力，更不能指望他们产品的检测准确性会有多高。


3. 覆盖面


NIDS检测的覆盖面是一个NIDS不好评价的方面，因为厂商对于NIDS功能的理解是有区别的，由此对于产品的定位也是不同的，有的侧重于攻击检测，有的侧重于网络监控，用户可以根据自己的需要和应用环境选择。一般来说，选择攻击是否需要加入检测通常是根据攻击导致后果的严重程度、攻击或相应漏洞的流行程度、攻击实施的难易程度、还有自己NIDS引擎已实现的检测能力来综合考虑的，而对于漏洞或攻击的这些方面的评价则取决于厂商对于漏洞或攻击的研究深度。因此，并不是每次规则更新时新增的检测规则越多越好，负责任的厂商会根据自己对于漏洞或攻击的研究结果慎重选择新增的检测规则，因为加入实际上并无多少有效性（比如存在漏洞的软件布署非常之少）的规则不仅会增加检测引擎的负担、增加用户维护规则的精力，还会可能导致更多的误报，从而降低NIDS产品的可用性。 


那么如何评价规则的覆盖面呢？同样也可以通过查看帮助文件中厂商声称可检测的攻击列表来做大致的了解。首先可以看看可检测的各种攻击都属于哪些协议，总共支持多少种应用层的协议；其次如果是在多个产品中选择的话，可以比较在相同应用层协议下检测攻击种类的数量，需要注意的是所有那些带数字序列号的攻击只能算是一种；再次，也就是最重要的一点是统计一下同一应用层协议下最近一年内新添加的检测规则占总规则数的比例，结果当然是越大越好，因为以当前整个网络的补丁安装情况，漏洞在被发现以后大多数的机器在一年之内都会打上补丁，也就是说攻击得逞的可能性已经很小，相应NIDS检测规则的重要性已经非常之低，对于NIDS来说最重要的任务是及时检测到那些可能还未有防护措施的最新攻击，而不是去检测那些很可能早已失效的只有在传说中才会提起的攻击，我们不需要徙具屠龙之技的NIDS；最后，可以比较一下各个厂商每次规则升级中新增的攻击检测类型（比如蠕虫、溢出攻击、CGI攻击），显然种类多的比种类少的好，而且一般来说按攻击的严重程度来说：蠕虫>溢出攻击>CGI攻击，因此大多数情况下严重攻击类型所占比例多的优于比例少的，当然，情况也这不是绝对的，还要结合攻击的流行程度考虑，也可以认为一个流行广泛的中危险级别攻击优先级高于流行度极小的高危险级别。


由于NIDS实现的多样性、复杂性，NIDS的评测到目前为止都还没有一个非常完善测试方案，这个文章是以一个NIDS开发者的经验对无法全面测试产品的用户做产品选型提的一些小建议，希望有用。



参考资料：


Evaluating Network Intrusion Detection Signatures
http://www.securityfocus.com/infocus/1623
http://www.securityfocus.com/infocus/1630
http://www.securityfocus.com/infocus/1651


Network Intrusion Detection Signatures
http://www.securityfocus.com/infocus/1524
http://www.securityfocus.com/infocus/1534
http://www.securityfocus.com/infocus/1544


ISS Xforce Vulnerability Database
http://xforce.iss.net/xforce/search.php


Securityfocus Vulnerability Database
http://www.securityfocus.com/bid


绿盟科技漏洞数据库
http://www.nsfocus.net/index.php?act=sec_bug


Open Source Vulnerability Database
http://www.osvdb.org/


Common Vulnerabilities and Exposures
http://www.cve.mitre.org/


ICAT Metabase:A CVE Based Vulnerability Database
http://icat.nist.gov/icat.cfm


The NSS Group
http://www.nss.co.uk/


Neohapsis OSEC
http://osec.neohapsis.com/