访问搜狐163时主页变为2008年某日主页面故障分析案例

作者：易隐者发布于：2012-8-13 22:26 Monday 分类：网络分析

1 故障环境

故障环境的拓扑结构示意图如下：

防火墙做NAT通过电信接入线路访问互联网，核心交换机上接入的设备和线路比较多，内部网络规模比较大。

2 故障现象

故障现象主要体现在以下几个方面：
1，用户在内网访问搜狐和163主页时，页面变为2008年某日的主页面，所有连接均为2008年的新闻连接，如下图所示：

其他网站页面访问均正常。
2，使用笔记本配置为公网地址直接访问搜狐和163正常；
3，在防火墙的一个空闲端口设置地址，通过防火墙NAT地址转换后访问搜狐163主页正常；

此故障已经持续了数周。

3 故障分析

3.1 故障测试点分析，定位故障原因

由于此故障现象实在是怪异，从一些基本的分析方式入手，根本没有什么进展，我们需要站在网络运行本质的角度——数据包的层面对此故障进行分析。
我们首先找一个故障点，并在故障点测试主机上还原故障，同时在还原时抓取测试主机访问搜狐时的数据包，我们通过科来网络分析系统的“会话”功能视图，查看流量最大的TCP会话（之所以选择查看流量最大的会话主要是因为这个会话才是打开搜狐主页的会话），如下图所示：

双击流量最大的会话，打开其数据包交互的详细过程，通过数据包TTL值的解码功能，我们发现了问题所在，如下图所示：

通过上图，我们可以知道，在测试客户端访问搜狐时，在TCP三次握手时，搜狐服务器返回的TTL值为52，但当客户端发出get请求后，搜狐返回的TTL值却为62，两个TTL值相差如此之大，应该是HTTP会话劫持（HTTP会话劫持的原理在此不做进一步的阐述，可以网上搜索相关的知识）。
3.2 定位劫持发生在内网还是外网

定位出了问题的类型，那么接下来就要判断一下HTTP劫持发生在内网还是外网了。
我们通过在电信接入交换机上的端口镜像功能抓取防火墙接电信接口的数据包，如下图所示：

并在客户端访问搜狐异常时，抓取数据包，同样，我们通过科来网络分析系统的“TCP会话”视图，查看如下所示：

在这个视图里，我们可以清楚的看到在TCP三此握手以及HTTP应用层数据响应时，搜狐服务器返回的TTL值都是55，因此，HTTP劫持并不是在互联网发生的，那么是发生在内网还是跟防火墙有关？我们下面将进行进一步的分析。
3.3 定位是否与防火墙有关

为了判断会话劫持是否跟防火墙有关，我们在测试客户端与防火墙内网口同时抓包，如下图所示：

看防火墙内网口搜狐服务器给测试客户端回包时的TTL值是否正常（我们在防火墙内网口的抓包直接使用天融信防火墙自带的tcpdump抓包功能），我们在防火墙内网口抓包情况如下图示：
08:16:12.378859 R@eth11 IP (tos 0x0, ttl 126, id 9045, offset 0, flags [DF], proto: TCP (6), length: 48) X.X.12.43.1778 > 114.80.130.32.80: S, cksum 0xf456 (correct), 3856409923:3856409923(0) win 16384 <mss 1460,nop,nop,sackOK>
//客户端向搜狐服务器发送的syn请求报文//
08:16:12.387831 X@eth11 IP (tos 0x0, ttl 54, id 0, offset 0, flags [DF], proto: TCP (6), length: 44) 114.80.130.32.80 > X.X.12.43.1778: S, cksum 0xbd5e (correct), 3713767362:3713767362(0) ack 3856409924 win 5840 <mss 1460>
//搜狐服务器向客户端发送的syn+ack响应报文，其TTL值为54//
08:16:12.389483 R@eth11 IP (tos 0x0, ttl 126, id 9047, offset 0, flags [DF], proto: TCP (6), length: 40) X.X.12.43.1778 > 114.80.130.32.80: ., cksum 0xa77b (correct), 1:1(0) ack 1 win 17520
08:16:12.391601 R@eth11 IP (tos 0x0, ttl 126, id 9048, offset 0, flags [DF], proto: TCP (6), length: 1037) X.X.12.43.1778 > 114.80.130.32.80: P 1:998(997) ack 1 win 17520
//客户端向搜狐服务器发送的get请求报文，其应用层数据长度为1037字节//
08:16:12.400178 X@eth11 IP (tos 0x0, ttl 54, id 54302, offset 0, flags [DF], proto: TCP (6), length: 40) 114.80.130.32.80 > X.X.12.43.1778: ., cksum 0xd51b (correct), 1:1(0) ack 998 win 4843
//搜狐服务器向客户端发送应用层响应报文，其TTL值为54，长度为40字节//
08:16:12.400306 X@eth11 IP (tos 0x0, ttl 54, id 54303, offset 0, flags [DF], proto: TCP (6), length: 505) 114.80.130.32.80 > X.X.12.43.1778: P 1:466(465) ack 998 win 4843
08:16:12.400550 X@eth11 IP (tos 0x0, ttl 54, id 54304, offset 0, flags [DF], proto: TCP (6), length: 1500) 114.80.130.32.80 > X.X.12.43.1778: . 466:1926(1460) ack 998 win 4843