省局门户网站地市信息公开栏目访问异常应急处置

作者:竹林再遇北极熊 发布于:2017-12-2 11:40 Saturday 分类:网络分析

1 情况概述

1.1 拓扑结构

点击查看原图

   服务器通过交换机、WAFIPS,经防火墙映射对外提供服务,办公外网与互联网通过出口交换机访问服务器。

1.2 情况简介

   2017年11月17日有市局反应省局门户网站地市信息公开栏目访问异常。

点击查看原图

   点击信息公开栏目后如下图所示:

点击查看原图

   大部分市局访问如上图所示,左侧、右侧红框显示网站内容不全,有时候刷新重新提交get请求又会恢复正常,但省局办公外网访问该链接一直正常稳定,无其他异常现象。询问用户最近有没有配置过安全设备,得知最近只配置过WAF的网络访问控制策略,因为这次的故障现象是与应用层相关,暂排除因配置网络层访问控制策略导致该问题发生的嫌疑。

1.3 分析思路

   根据用户描述以及使用4G网络对问题现象的测试,省厅门户网站只有该栏目有显示异常的情况,首先判断是否和网络层有关,因为服务器确实返回了HTTP内容,和正常客户端收到服务器返回的内容对比,问题客户端收到的内容只是不全,HTTP内容属于应用层数据,所以根据现象即网络层的访问控制没有问题,在该网络环境中,大致处理思路如下:

1 检查处理应用层数据的相关安全设备,例如IPSWAF,因为防火墙只基于五元组做包过滤,所以防火墙不在其检查范围内,检查IPSWAF日志,根据源IP或目的URL找出是哪个功能模块导致的访问异常,如果检查不出,尝试跳过该设备进行测试;

2 检查服务器上的安全软件,包括没有运行,但网卡中有驱动的安全软件,是否有拦截日志,并根据拦截日志找出问题原因;

3 如果访问关键路径上的安全设备、安全软件都进行了跳过问题依然存在,则检查服务器上的中间件。

2 访问异常分析处置

2.1 检查IPS

   因为出口交换机、防火墙无法抓包,则在最外侧的IPS进行抓包,检查IPS是否与移动网络A数据包一致,有无丢包,排除出口交换机、防火墙、公网的问题。

   共分2次抓包,第一次在IPS和移动网络A,分别进行了比对,但根据序列号、IP标识、源IPcookie等进行匹配,均无法匹配到同一个会话,最后通过含有HTTP数据里的UA匹配出同一个会话,现简要描述:

点击查看原图

IPS

   TCP3次握手建立连接后,客户端提交get请求,服务器进行ACK响应和HTTP 200应用层响应确认收到了该请求,随后服务器向客户端传输数据,其中含有数据的5325包、5328包、5330包、5331包、5420包客户端没有向服务端发送ACK确认,也没有收到重传的ACK,随后服务端与客户端4次挥手释放了该会话。

点击查看原图

移动网络A

   简要描述可以看到客户端中充斥着大量的丢包重传和乱序,怀疑是否是延迟、震荡、抖动导致的问题现象,但随后换成4G网络B进行测试,意外的发现B可以正常访问该栏目。这里可以看到服务器主动与移动网络A进行4次挥手释放会话,那么为什么数据还没传递完,服务器就要主动释放该连接,有两种情况,第一种是服务器问题,还没传输完成就释放了会话,第二种是服务器传输完成了,所以释放了该会话,但数据包在传输过程中丢包了,导致客户端显示不正常。

   由于IPS是正常转发客户端请求的内容与服务器返回的内容,且在IPS端并没有发现丢包、乱序等情况,日志中也无任何拦截记录,则先排除IPS的问题。

2.2 检查WAF

   与IPS一样,无任何针对问题客户端的拦截日志,但跳过WAF,所有客户端进行访问时则正常,由于没有相关日志指引,只能针对应用层控制策略进行逐个排除(逐个启停相关策略),最后发现是由于匹配到【WEBSHELL防护】里所有的response规则,只要不启用任意一个response规则,就会恢复正常,如下图所示:

点击查看原图

点击查看原图

点击查看原图

   随后再检查了一遍策略,该规则在策略中是记录日志的,如下图所示:

点击查看原图

   随后在日志报表-安全防护日志中选择事件类型为“WEBSHELL页面访问”进行过滤日志,如下图所示:

点击查看原图点击查看原图

点击查看原图

   无任何相关日志记录。

3 故障定位

   由于WAF的WEBSHELL防护规则对服务器部分回包进行了拦截,导致市局访问省局门户网站地市信息公开栏目异常。

4 应急处置

   由于业务的需要,暂时先在WAF中禁用了该规则,使市局访问该栏目恢复正常,再经过厂商的技术支持,找出为什么会对服务器正常回应进行拦截的原因。

5 处理建议

1 协调厂商了解WEBSHELL防护里所有的response规则,检查该规则判断的条件,为什么会拦截服务器的正常数据回包,因为在应急过程中只能看到该规则的名字,无法继续往下分析;

2 协调厂商,找出为什么该规则所属的策略是记录日志的,但该策略对数据包进行了拦截并不记录日志的原因。


标签: 疑难故障 策略误报 报文分析 策略分析


您对本文的评分:
当前平均分: 9.8(2 次打分)

版权所有:《蚂蚁网-多维人生,三实而立!》 => 《省局门户网站地市信息公开栏目访问异常应急处置
本文地址:http://www.vants.org/?post=291
除非注明,文章均为 《蚂蚁网-多维人生,三实而立!》 原创,欢迎转载!转载请注明本文地址,谢谢。

评论:

天津网站建设
2018-09-15 23:56
感谢博主分享

发表评论:

Powered by 易隐者 基于emlog 皖ICP备12002343号-1