欢迎关注:1,欢迎关注本博客,你可点击右手边的【QQ邮件订阅】订阅本博客!2,本博客推出江湖救急计划,主要为工作中遇到疑难杂症的兄弟提供远程技术支持和分析,如有需要,请在江湖救急计划页面给我留言!

省局门户网站地市信息公开栏目访问异常应急处置

作者:竹林再遇北极熊 发布于:2017-12-2 11:40 Saturday 分类:网络分析

1 情况概述

1.1 拓扑结构

点击查看原图

   服务器通过交换机、WAFIPS,经防火墙映射对外提供服务,办公外网与互联网通过出口交换机访问服务器。

1.2 情况简介

   2017年11月17日有市局反应省局门户网站地市信息公开栏目访问异常。

点击查看原图

   点击信息公开栏目后如下图所示:

点击查看原图

   大部分市局...

阅读全文>>

标签: 疑难故障 策略误报 报文分析 策略分析

评论(1) 引用(0) 浏览(2008)

省厅A登陆省厅B预算系统异常应急处置

作者:竹林再遇北极熊 发布于:2017-11-28 21:59 Tuesday 分类:网络分析

1 情况概述

1.1 拓扑结构

   如上拓扑所述,省厅A的客户端1和客户端2属于两个不同的安全域,通过防火墙代理,经过互联网,访问省厅B一台层层安全防护的预算系统服务器。

1.2 情况简介

   预算系统分别使用B/S、C/S架构对外提供服务,服务端域名是xxx.com,解析后的公网IP分别是X.X.X.155和X.X.X.22,浏览器访问比客户端访问多...

阅读全文>>

标签: 疑难故障 应用故障 策略误报

评论(1) 引用(0) 浏览(1576)

某省厅门户网站A市局访问异常应急处置

作者:竹林再遇北极熊 发布于:2017-11-28 21:47 Tuesday 分类:网络分析

1 情况概述

1.1  网络拓扑结构

    梳理省厅网络拓扑结构,了解WEB服务器通过接入交换机、WAF、抗D,经防火墙对外映射对外提供服务,其中交换机、抗D、WAF均为二层部署,如下图所示


1.2 情况简介

    A市局近期有无法访问省厅门户网站的现象,换个IP即可正常访问,与省厅沟通后发现其他市局和互联网用户均能正常访问。

1.3 分析思...

阅读全文>>

标签: 日志 交换机 TCP wireshark 负载均衡

评论(1) 引用(0) 浏览(1545)

某业务系统访问慢分析

作者:飞鸟 发布于:2017-4-21 15:59 Friday 分类:网络分析

1.    问题描述

一用户内网系统对内提供业务办理业务,其省局和地市都需要访问改业务系统。最近一段时间,经常有地市反映登录较卡及办理业务时也很卡。经过对设备、链路、策略等方面的常规检查,并没有发现问题。近期,由于地市反映卡的现象较严重,用户体验较差,在这种情况下,“捕影”应急响应小组接手处置该问题。

2.    故障现象

经了解与测试,发现在两个方面用户体验较差。

Ø  登录

登录时一直在等待,等一段时间后就提示“连接被重置”

点击查看原图

点击查看原图

Ø  办理业务

根据用户反馈,在填写完相应的表单后,单击“保存”后,需要十多秒才可以保存成功。

3.    网络拓扑

点击查看原图

说明:

1.   负载均衡和防火墙物理上旁路部署,逻辑上串联。

2.   防火墙不仅做网络层的访问控制,同时启用WAFIPS功能

3.   抓包设备对76096509上对相应流量做镜像

4.   Web服务器做负载均衡,用户访问负载均衡虚地址,通过负载均衡后转换为访问实地址,真实服务器有两台10.0.102.1010.0.102.11

5.   客户端访问web服务时,首先经过76096509,然后到防火墙,由防火墙转发到负载均衡,负载均衡再转发到防火墙,然后防火墙转发到真实服务器

客户端到服务器的流量流逻辑相对较复杂,其数据流逻辑如下,其数据包返回时按原路返回:

点击查看原图

4.    故障分析

    由于此故障是应用层面的故障,因此我们怀疑的重点在会对应用层数据包做处理的设备上。防火墙启用了WAFIPS功能,其会对应用层数据包进行过滤,因此其作为怀疑的重点。同时,负载均衡作为代理设备,其负载算法可能会对正常连接造成影响。

    既然怀疑的重点在于防火墙和负载均衡上面,并且用户现场部署有相应的流量镜像设备。因此我们只需要将故障出现时的数据包下载下来分析即可。和用户沟通,其出现故障时间为850左右,客户端IP10.40.44.199,根据用户描述,其在那段时间操作很卡,做个操作需要十多秒的时间。

    过滤相应时间与相应IP的数据包,找到相应的交互数据流。我们来分析交到的数据流。

1.   10.40.44.19910.0.1.10建立完三次握手后(因为抓包设备的原因导致数据包先看到SYN+ACK,序号为163084的包其实为ACK)

2.   10.40.44.199进行一个POST的保存操作,相应POST操作的URL/TopIcis/EntLiaisonsRecordSave.do

点击查看原图

3.   10.0.1.10进行相应的ACK确认,然后10.0.1.10发送了一个Reset报文将连接释放了。

      是不是这个数据包的应用层数据触发了相应的安全策略,才会被reset异常释放掉?我们对其应用层内容进行分析,发现并没有攻击语句,基本上不会触发防火墙的WAF策略。

点击查看原图

既然没有触发相应的安全策略,为什么正常的请求还是被异常释放?肯定是某些机制在起作用或者说某些机制异常导致的。那么我们需要定位到是防火墙、服务器还是负载均衡设备发出的reset包。

由于抓包设备是对相关vlan的流量做镜像的,也就是说服务器、防火墙及负载均衡的数据包都被抓取到。

直接分析数据包,可以看到其TTL=64,IP10.0.1.10,直接分析是负载均衡发送的reset数据包,但是负载均衡作为代理设备,服务器或防火墙发送的reset数据包转发到负载均衡时,其数据包层面的表象就是上面所看到的

点击查看原图

     因为我们需要分析这个数据是不是服务器或者防火墙发出的?防火墙工作为路由模式,如果是防火墙或服务器发出的reset数据包,那么我们直接通过下面过滤表达式即可过滤出来:

(ip.src == 10.0.102.10 or ip.src == 10.0.102.11) and tcp.flags.reset == 1

    直接过滤,果然发现10.0.102.11发送了一个reset包,难道是防火墙或者服务器发起的?仔细分析了一下时间,上个报文的时间为08:51:02秒,而这个报文的时间为08:50:53秒,reset包作为传输层的一个标识数据包,中间设备转发时肯定不会产生这么大的延迟,因此,个人推断这个数据包肯定不是这个会话的。因此发送这个reset包的正是负载均衡设备本身。

点击查看原图

    分析至此,已定位到是负载均衡发起的reset报文将该连接释放导致的。但是,这个结论与用户描述的现象并不吻合:进行保存操作时比较卡,需要十多秒才可以保存成功。上面我们分析的是负载均衡把连接释放了。如果这样的话,用户的现象应该是连接中断才对。

    如果是这样的话,客户端肯定会存在重传的数据包,我们直接对应用层的数据进行过滤,果然发起客户端在11秒后进行了重传操作。

点击查看原图

    重传相应的保存操作报文后,服务器正常响应。

点击查看原图

    至此,对这次性能慢的分析已形成闭环。用户保存卡的原因为:客户端在向服务器进行保存操作时,被负载均衡异常释放掉;然后客户端在11秒后再次请求,服务器正常响应,负载均衡正常转发。

    关于负载均衡为什么将上一个post报文丢弃并发送reset报文不作为此次分析的重点,感兴趣的小伙伴可以私下讨论。

阅读全文>>

标签: 疑难杂症 负载均衡 reset 丢包 重传 访问慢 故障分析

评论(5) 引用(0) 浏览(2071)

脑洞大开-一种特殊的二层流控协议

作者:飞鸟 发布于:2017-3-16 15:18 Thursday 分类:网络分析

脑洞大开-一种特殊的二层流控协议

1、前因

一用户网络出现访问公网时断时续的现象,基本上每隔半小时网络都会断了,然后过一段时间自动好了,然后过半小时左右又断了,然后又自动好了。一整天都在这样的循环,用户经过常规的设备、链路排查,并没有发现奇常。在这种情况下,“捕影”应急响应小组接手处置。

2、应急处置

针对这种这种全局的故障,相对还是比较容易处置的。在交换机上抓包,在故障出现时,选择故障时间点的数据包。发现其平均流量为82.433MBps,平均每秒发包数为171385个。

点击查看原图

 

流量明显不正常。对这些数据包进行深入分析。发现其流量都为二层的流量。

点击查看原图

对二层的流量进行分析,发现一些很有意思的事情。

(1).MAC都为随机伪造的。

我们知道MAC地址一共48位,前24位表示OUI,即厂商信息,后24位表示其MAC地址。这里面我们发现前24位是随机变换的,后24位是相同的。

(2).目的MAC为非设备MAC,其后24位为全0

点击查看原图

3、分析与处置

    故意伪造数据包向一个不存在的MAC发包有意义吗?对网络有影响吗?

答案肯定是有的?对交换机的性能有影响。我们知道交换机是根据MAC和接口的对应关系进行数据包转发,如果交换机收到一个数据包,会调用CPU查找该MAC所对应的接口。使用CPU处理的地方一般情况下都存在被攻击性能的可能。这里面我们看到平均每秒171385个数据包,交换机收到这些数据包以后会利用CPU进行查找MAC所对应的接口,这样的话对交换机的CPU存在性能方面的消耗。

    找到相应的原因以后,处理起来就非常容易了。虽然源MAC是伪造的,但是其肯定是通过交换机的物理端口转发过来的。一般情况下查找MAC表即可查找到相应的接口。注意这里面说的是一般情况下,并不是一定可以找到。难道有MAC过来交换机不会学习MAC与接口的对应关系?在这里,大家可以先思考一下,什么情况下存在这种可能。

    找到接口以后,处置就比较简单了,通过接口找到对应的机器,然后再对该机器进行分析,查找相应的进程即可。

    将该机器物理线拔掉以后,网络正常,再也没有出现过中断的情况。至此该故障已经解决。

    但是我们在他们内网另外一台交换机抓包的时候发现另外一个MAC存在可疑。其发包频率与流量都很大,但是其网络却很正常,和前面所说貌似矛盾,但是仔细想了一下,和交换机有关系,前面抓包在出口处的一台低端交换机上抓到的,这里面是在一台高端交换机上抓取到的,两个不同档次的交换机的性能肯定不一样。所以导致在这里虽然抓取到相应的数据包,但是没有出现网络中断的情况。

点击查看原图

点击查看原图

虽然网络正常,但是这种二层大流量高频率肯定不正常。这台机器肯定存在异常。

点击查看原图

根据上面的思路找到MAC所对应的接口,即可找到相应的机器。但是当我们在交换机上敲上dis mac-addree e411-5be9-9600时却发现找不到相应的接口,多次反复测试均找不到相应的接口。按照交换机源地址学习的工作机制,只要这个MAC从相应的接口发包,交换机就会学习将相应的MAC与接口的对应关系加入到MAC表中。但是这里面却找不到相应的接口,这令我百思不得其解。完全不符合交换机的源地址学习的工作机制。

由于在用户现场,先管不得这么多了,先把问题解决再考虑这个问题,直接通过交换机找到流量最大的接口,直接拔线,简单粗暴酸辣爽。拔完线以后,流量立马下来。问题肯定出现那台机器上了,直接反馈用户,由于是托管在用户方的机器,所以需要沟通再做一步处理。

回过头来,再看看这些包有什么特别之处。发现其目的MAC为组播MAC

点击查看原图

点击查看原图

该组播MACMAC control包。这个MAC control 协议是做什么的?大家可以先google下。

这种帧用来做流控的,当一接口流量过大时,可以通过发送这种帧来让相应的接口暂停一段时间发包来达到流控的目的。但是这里,我们发现流量也不大,不应该有设备发送这种流控的帧的。后来仔细想了一下,前期该用户被黑产控制过两台肉机对外网进行DDOS。黑产DDOS时最理想的情况就占据所有的带宽,但是这种情况只是理想情况,在实际情况下很难达到,因为其他机器也可以占用网络带宽。在这里,黑客比较脑洞大开的一面展现了,他们控制一台机器专门发送这种流控数据包,让收到、理解并响应的机器暂停一段时间再发包。这里,暂停发包的时间,在mac control帧的pause_time字段来控制。这样的话,如果其他机器理解并响应这种数据包的话,这台机器可以充分的占用带宽来进行DDOS。给黑产的这种思路点个赞。

4、问题

另外,上文还留一个问题:只要有数据包从该接口发出,交换机都会进行MAC地址学习吗?答案是不一定。为什么呢?大家可以先思考一下,或者做实验验证一下,下一期给出答案。

阅读全文>>

标签: DOS 二层流控 MAC地址学习 流控

评论(2) 引用(0) 浏览(1551)

Powered by 易隐者 基于emlog 皖ICP备12002343号-1