网络安全 频道

两种基于HTTP的通用IDS躲避技术

 I.介绍
    自从Rain Forest Puppy(RFP)的网络扫描器whisker首次公布于众以来[1],HTTP IDS躲避技术已经逐渐流行。原先许多的HTTP IDS技术,都是从whisker的第一个版本出现的,包括简单的使用多个“/”的混淆目录技术,也包括更复杂的     - 在URL里插入“HTTP/1.0”以躲避那些搜索URL地址的IDS算法。
    除了whisker中出现的躲避技术,还有其他类型的HTTP混淆方法。其中的一个混淆URL的方法就是使用绝对URI与相对URI[2]。虽然这些方法很有趣,但是都不如whisker扫描中使用的方法常见。
    下一个流行的躲避方法也是RFP发布的,利用了微软互联网信息服务器(IIS)的UTF-8 unicode解码漏洞[3]。虽然是IIS的一个严重漏洞,它同时也给出了一个IDS未曾实现的URL编码方法。目前为止,大部分IDS仍然只是关注以前whisker的ASCII编码与目录遍历躲避技术,对Unicode的UTF-8编码却没有相应的保护。Eric Hacker对这种类型的HTTP IDS躲避技术,写了一篇非常专业的文章[4]。本文也会对Hacker文中的一些观点分析并解释。我们将继续Hacker的观点并深入了解:这些编码到底意味着什么,怎样才能造出更奇怪的编码。
   
    II.IDS HTTP协议分析
    为了能够识别URL攻击,IDS必须检查HTTP的URL字段,看是否有恶意内容。两种最流行的IDS检测方法 - 模式匹配和协议分析 - 都需要检测URL中是否含有恶意内容(通过某种形式的模式匹配或者HTTP协议分析)。
    两种方法的不同之处取决于你的目的,协议分析法只搜索HTTP流URL字段部分的恶意内容,而模式匹配法的搜索范围是整个数据包。
    这两种方法在处理恶意URL之前的行为是类似的。之后,协议分析法只需要对URL字段添加合适的解码算法即可(它已经有内建的HTTP协议解码引擎)。而模式匹配算法并不知道需要对包的哪一部分正常化,因此需要与某种形式的协议分析相结合,找到相应的URL字段,才能使用相应的解码算法。某种形式的HTTP协议分析被添加到模式匹配法中,之后两者又行为类似了。
    由于这些IDS方法的类似性,本文讨论的HTTP IDS躲避方法适用于各种类型的IDS。
    第一种通用的IDS躲避方法是无效协议解析。举个例子,如果HTTP URL没有被正确发现,那么恶意URL就不能被检查出来,原因是:IDS没有发现URL,就不能对URL进行解码。
    如果URL是正确的,IDS必须知道正确的解码算法,否则,仍然不能得到正确的URL。这就是第二种IDS躲避技术 - 无效协议字段解码。
    A. 无效协议解析
    使用无效协议解析IDS躲避技术,在RFP的whisker[1]和Bob Graham的SideStep[5]中给出了很多例子。这两个程序的区别在于:whisker使用了有缺陷的IDS协议解析来躲避检查,而SideStep使用正常的网络层协议来躲避IDS的协议解码器。
    这种情况下,无效协议解析的躲避技术,对于HTTP协议的两个字段URL和URL参数是非常有效的。
    例如:如果IDS的HTTP解码器假设每个请求包只有一个URL,那么一个包里包含两个URL,IDS就不能对第二个URL正确解析。这种技术在请求管道躲避技术中还会提到。
    B.无效协议段解码
    无效协议段解码可以测试IDS是否能够处理特定协议段的各种类型的解码。
    如果是HTTP,主要的目标就是URL字段。对于IDS,需要测试它与HTTP RFC编码标准的符合程度,还要看是否能支持特定Web服务器的编码类型(例如IIS)。如果IDS不能对某种URL编码进行正确解码,攻击者就能利用该编码跳过对恶意URL的检测。
    另一个HTTP无效协议段编码,是通过目录混淆,操纵目录属性来实现的。例如:对于/cgi-bin/phf,可以使用多个“/”而不是一个“/”来改变目录的“外貌”,或者使用目录遍历来混淆目录路径。需要注意的是,只有当IDS共同查找目录和文件时,目录混淆才能隐藏恶意URL。对于“/cgi-bin/phf”来说,如果IDS在“cgi-bin”目录中寻找“phf”文件时,我们的攻击例子才能奏效;如果IDS只寻找“phf”文件,目录混淆方法就不管用了。
  
    III.无效协议段解码
    URL混淆的前题是HTTP服务器所接受的各种类型的编码方法。实际上,大部分的编码方法都与IIS有关,为了文章的完整性,每种编码类型都对每种HTTP服务器进行测试。
    利用URL编码来混淆Web攻击的思想依据,是大部分的IDS缺乏对不同类型Web服务器编码的足够分析。IDS的模式匹配与协议检测技术都存在问题。
    对于URI请求的编码,只有两个RFC标准:十六进制编码和UTF-8 Unicode编码。这两种方法都使用“%”来表示编码。Apache也只支持这两种URL编码类型。
    我们研究的大部分其他编码类型,都是服务器相关的,不符合RFC标准。微软的IIS Web服务器就属于这一类。在这一段也包括了URL混淆。
    A.十六进制编码
    十六进制编码方法是对URL进行编码的符合RFC要求的一种方式,也是最简单的URL编码方法。该方法只须在每个编码字符的十六进制字节值前,加一个“%”。如果我们想对大写的A进行十六进制编码(ASCII的十六进制值是0x41),编码的结果是:%41 = ‘A’
    B.双百分号十六进制编码
    双百分号十六进制编码是基于正常的十六进制编码。具体的方法是将百分号编码并后接信息编码的十六进制值。对大写的A进行编码,结果是:
    %2541 = ‘A’
    你可以看到,百分号的编码是%25(等价于“%”),该值解码后变成了%41(等价于“A”)。这种编码方法受到微软IIS的支持。
    C.双四位十六进制编码
    双四位十六进制编码也是基于标准的十六进制编码,每个四位十六进制使用标准的十六进制编码方法。例如,对大写的A编码,结果是: %%34%31 = ‘A’
    正常的A,十六进制编码是%41。双四位十六进制编码的方法是对每个四位进行编码,因此,4被编码为%34(这是数字4的ASCII值),第二个四位,1,被编码为%31(这是数字1的ASCII值)。
    在第一次URL解码后,四位值变成了数字4和数字1。因为4和1前边有一个%,第二遍会将%41解码为大写的A。
    D.首四位十六进制编码
    首四位十六进制编码类似于双四位十六进制编码,不同之处在是只有第一个四位被编码。因此对于大写的A,双四位十六进制编码后为%%34%31,而按照首四位十六进制编码结果为: %%341 = ‘A’
    像以前一样,第一次URL解码以后,%34被解码为数字4,因此第二次解码时的对象就成了%41,最后的结果依然是大写的A。
    E.后四位十六进制编码
    后四位十六进制编码与首四位十六进制编码完全相同,只不过只执行标准解码的后四位。因此大写A的编码结果是:
    %4%31 = ‘A’
    第一次解码时,%31解码为数字1,第二次解码的对象就是%41,最终的结果是“A”。
    F.UTF-8编码
    1) UTF-8 介绍
    UTF-8编码允许大于单字节(0-255)的值以字节流的形式表示。HTTP服务器使用UTF-8编码来表示大于ASCII代码范围之外(1-127)的Unicode码。
    UTF-8工作的时候,字节的高位有特殊的含义。两字节的UTF-8和三字节
    UTF-8序列表示如下:
    110xxxxx 10xxxxxx (二字节序列)
    1110xxxx 10xxxxxx 10xxxxxx (三字节序列)
    UTF-8序列的第一字节是最重要的,通过它你可以知道这个UTF-8序列有多少字节,这是通过检查第一个0之前的1的个数来获得的。例子中,两字节的UTF-8序列,0之前的高位有两个1。第一个UTF-8字节0后边的位可以用来计算最终的值。后边的UTF-8字节格式相同,最高位是1,次高位是0,两位用于鉴别UTF-8,剩下的6位用来计算最终的值。
    为了对URL进行UTF-8编码,每个UTF-8字节都是用一个百分号进行转换。一个例子是:%C0%AF = ‘/’.
    2)Unicode码点简介
    可以使用UTF-8编码来对Unicode码点值进行编码。码点值的范围通常是0-65535,HTTP URL中的任何大于127的码点值都使用UTF-8编码。
    值为0-127的Unicode码点,将会映射成单独的ASCII值。这样,就剩下65408个值,可以表示其他语言中的字符(例如匈牙利语或者日语)。通常,这些语言有自己的Unicode代码页,从Unicode代码页中可以得到Unicode的码点值。每种Unicode代码页有自己独特的值,因此如果Unicode代码页变了,Unicode码点值所代表的字符也就不同了。这一概念对于下一节的URL编码是很重要的。
    3)把躲避手段综合起来
    IDS很难处理UTF-8编码的Unicode码点值,主要有三个原因:
    第一个原因是,UTF-8编码可以将一个码点值或者ASCII值用不止一种方式表示,这在最近的Unicode标准中已经修正,但是在Web服务器中仍然很常见(包括Apache)。
    例如,大写字母A可以用两字节的UTF-8序列编码:
     %C1%81 (11000001 10000001 = 1000001 = ‘A’)
    同样,大写字母A也可以用三字节的UTF-8序列编码: %E0%81%81 ( 11100000 10000001 10000001 = 1000001 = ‘A’)
    因此,使用UTF-8来对ASCII字符进行编码,会得到很多结果。
    第二个原因,某些非ASCII的Unicode码点也可以映射为ASCII字符。例如,Unicode码点12001可以映射为大写字母A。如果想要知道哪一个码点可以映射到ASCII字符,要么阅读整个Unicode码的映射,要么对服务器测试所有不同的Unicode码点。目前,唯一这么做的Web服务器就是微软的IIS服务器。
    第三个原因与第二个原因有关。如果Unicode码的映射改变或者未知,翻译后的Unicode码点就有可能是无效的。这一点很重要,这是因为中国、日本、波兰等国的IIS Web服务器使用不同的代码页,因此如果IDS不了解Web服务器使用的代码页,对URL进行UTF-8解码的结果就有可能是错误的。因此如果一个IDS不能对所监视服务器使用的Unicode代码页进行配置,对于IDS没有监测的代码页,任何Web服务器都是不受保护的。
    G.UTF-8 空字节编码
    UTF-8空字节编码与UTF-8编码类似,区别在于并不适用百分号进行转意,发送的字节就是实际的字节,如果A被编码,结果是: 0xC1 0x81 = ‘A’
    这种类型的编码只被微软的IIS服务器所支持。
    H.微软%U编码
    微软的%U编码使用一种独特的方式来对Unicode码点值小与65535(或者两个字节)的对象编码。格式很简单,%U后边是Unicode码点值的4个四位值的十六进制: %UXXXX
    例如,大写A可以编码成: %U0041 = ‘A’
    这种编码被微软的IIS所支持。
    I.不匹配编码
    不匹配编码使用不同的编码方法来表示一个ASCII字符,不过这并不是一种单独的编码。
    例如,我们使用微软的%U编码方法来对大写A进行编码。因为IIS要对URL进行双解码,我们可以使用其他的方法来对%U方法进行编码。比如,我们可以对%U方法中的“U”进行十六进制编码。这样,一个简单的%U0041就变成了%%550041。我们也可以对0041进行十六进制编码,或者使用别的编码方法。下边是一个针对IIS服务器的更加复杂的不匹配编码,使着分析这串字符到底代表什么ASCII字符: %U0025%550%303%37
    IV. 无效协议解析
    A.使用请求管道来实现URL躲避
    请求管道的躲避方法,是一种无效协议解析的躲避方法。它使用了HTTP协议版本1.1的请求管道来使URI更加模糊。
    请求管道标准允许Web客户端在一个数据包中发送多个请求,这个与HTTP的保持连接头有所不同,不要混淆。请求管道把所有的请求放在一个包中,而HTTP保持连接是为了保持TCP流一直开放,接受更多的请求。
    我们使用请求管道特性在一个包中嵌入多个URL。大部分的IDS都能正确解析第一个URL,但基本上都不能正确解析其余的URL。这为躲避技术打开了大门,其他的URL虽然能被服务器解码,但是却被大多数的IDS忽略。比如,下列的数据负载使用了请求管道的技术来躲避对URL的检测: GET / HTTP/1.1\r\nHost: \r\n\r\nGET /foobar.html \r\nHost: \r\n\r\nGET /cgi%2Dbin%2Fph%66 HTTP/1.1\r\nHost: r\n
    B. 使用POST和Content-Encoding参数进行躲避
    另一个在攻击中包含恶意数据的HTTP协议字段,就是URL的参数字段。大部分数据库和cgi类型的攻击,都使用了该字段,而大部分的IDS都有相应的规则来检测恶意的参数键和参数值。一种躲避IDS的简单方法,就是使用与编码URL相同的技术来对参数进行编码,但大部分的IDS对参数字段也进行了解码。我们的方法是:使用POST请求将参数字段放到HTTP请求头的末尾。如果参数字段是名文形式,IDS就能很容易的发现恶意内容,因此我们使用了头选项,Content-Encoding,对参数字段进行BASE64编码。除非IDS对POST的内容也进行BASE64解码,攻击就有可能不断进行;即使IDS对POST实现了BASE64编码,这也是一个非常耗时的过程,因此如果发送大量包含巨型参数字段的POST请求,甚至会对IDS造成DOS攻击。
    V.结论
    HTTP IDS躲避技术有两大类,分别是无效协议解析和无效协议字段编码。如果IDS对HTTP协议字段的编码类型不了解,就不能正确的解码URL,攻击躲避的事件就会发生。这也是经常讨论的编码技术。如果IDS对HTTP缺乏足够的了解,仍有可能发生漏报。请求管道与内容编码躲避技术就是需要注意的。通过对IDS协议解码的研究发现,大部分的漏报都是使用了这两项技术。

0
相关文章