省局门户网站地市信息公开栏目访问异常应急处置
作者:竹林再遇北极熊 发布于:2017-12-2 11:40 Saturday 分类:网络分析
1.1 拓扑结构
服务器通过交换机、WAF、IPS,经防火墙映射对外提供服务,办公外网与互联网通过出口交换机访问服务器。
1.2 情况简介
2017年11月17日有市局反应省局门户网站地市信息公开栏目访问异常。
点击信息公开栏目后如下图所示:
大部分市局访问如上图所示,左侧、右侧红框显示网站内容不全,有时候刷新重新提交get请求又会恢复正常,但省局办公外网访问该链接一直正常稳定,无其他异常现象。询问用户最近有没有配置过安全设备,得知最近只配置过WAF的网络访问控制策略,因为这次的故障现象是与应用层相关,暂排除因配置网络层访问控制策略导致该问题发生的嫌疑。
1.3 分析思路
根据用户描述以及使用4G网络对问题现象的测试,省厅门户网站只有该栏目有显示异常的情况,首先判断是否和网络层有关,因为服务器确实返回了HTTP内容,和正常客户端收到服务器返回的内容对比,问题客户端收到的内容只是不全,HTTP内容属于应用层数据,所以根据现象即网络层的访问控制没有问题,在该网络环境中,大致处理思路如下:
1 检查处理应用层数据的相关安全设备,例如IPS、WAF,因为防火墙只基于五元组做包过滤,所以防火墙不在其检查范围内,检查IPS、WAF日志,根据源IP或目的URL找出是哪个功能模块导致的访问异常,如果检查不出,尝试跳过该设备进行测试;
2 检查服务器上的安全软件,包括没有运行,但网卡中有驱动的安全软件,是否有拦截日志,并根据拦截日志找出问题原因;
3 如果访问关键路径上的安全设备、安全软件都进行了跳过问题依然存在,则检查服务器上的中间件。
2 访问异常分析处置
2.1 检查IPS
因为出口交换机、防火墙无法抓包,则在最外侧的IPS进行抓包,检查IPS是否与移动网络A数据包一致,有无丢包,排除出口交换机、防火墙、公网的问题。
共分2次抓包,第一次在IPS和移动网络A,分别进行了比对,但根据序列号、IP标识、源IP、cookie等进行匹配,均无法匹配到同一个会话,最后通过含有HTTP数据里的UA匹配出同一个会话,现简要描述:
IPS
TCP3次握手建立连接后,客户端提交get请求,服务器进行ACK响应和HTTP 200应用层响应确认收到了该请求,随后服务器向客户端传输数据,其中含有数据的5325包、5328包、5330包、5331包、5420包客户端没有向服务端发送ACK确认,也没有收到重传的ACK,随后服务端与客户端4次挥手释放了该会话。
移动网络A
简要描述可以看到客户端中充斥着大量的丢包重传和乱序,怀疑是否是延迟、震荡、抖动导致的问题现象,但随后换成4G网络B进行测试,意外的发现B可以正常访问该栏目。这里可以看到服务器主动与移动网络A进行4次挥手释放会话,那么为什么数据还没传递完,服务器就要主动释放该连接,有两种情况,第一种是服务器问题,还没传输完成就释放了会话,第二种是服务器传输完成了,所以释放了该会话,但数据包在传输过程中丢包了,导致客户端显示不正常。
由于IPS是正常转发客户端请求的内容与服务器返回的内容,且在IPS端并没有发现丢包、乱序等情况,日志中也无任何拦截记录,则先排除IPS的问题。
与IPS一样,无任何针对问题客户端的拦截日志,但跳过WAF,所有客户端进行访问时则正常,由于没有相关日志指引,只能针对应用层控制策略进行逐个排除(逐个启停相关策略),最后发现是由于匹配到【WEBSHELL防护】里所有的response规则,只要不启用任意一个response规则,就会恢复正常,如下图所示:
随后再检查了一遍策略,该规则在策略中是记录日志的,如下图所示:
随后在日志报表-安全防护日志中选择事件类型为“WEBSHELL页面访问”进行过滤日志,如下图所示:
无任何相关日志记录。
由于WAF的WEBSHELL防护规则对服务器部分回包进行了拦截,导致市局访问省局门户网站地市信息公开栏目异常。
由于业务的需要,暂时先在WAF中禁用了该规则,使市局访问该栏目恢复正常,再经过厂商的技术支持,找出为什么会对服务器正常回应进行拦截的原因。
5 处理建议
1 协调厂商了解WEBSHELL防护里所有的response规则,检查该规则判断的条件,为什么会拦截服务器的正常数据回包,因为在应急过程中只能看到该规则的名字,无法继续往下分析;
2 协调厂商,找出为什么该规则所属的策略是记录日志的,但该策略对数据包进行了拦截并不记录日志的原因。
版权所有:《蚂蚁网-多维人生,三实而立!》 => 《省局门户网站地市信息公开栏目访问异常应急处置》
本文地址:http://www.vants.org/?post=291
除非注明,文章均为 《蚂蚁网-多维人生,三实而立!》 原创,欢迎转载!转载请注明本文地址,谢谢。
评论:
日历
最新日志
链接
分类
最新碎语
- 如果一个人想要做一件真正忠于自己内心的事情,那么往往只能一个人独自去做"——理查德·耶茨
2019-06-25 21:34
- 日后我们知道,真正的人生道路是由内心决定的。不论我们的道路看上去如此曲折、如此荒谬地背离我们的愿望,它终归还是把我们引到我们看不见的目的地。(茨威格《昨日世界》)
2019-03-16 21:27
- 如果你渴望得到某样东西,你得让它自由,如果它回到你身边,它就是属于你的,如果它不会回来,你就从未拥有过它。——大仲马《基督山伯爵》
2018-10-09 22:07
- 人生有两大悲剧:一个是没有得到你心爱的东西;另一个是得到了你心爱的东西。人生有两大快乐:一个是没有得到你心爱的东西,于是可以寻求和创造;另一个是得到了你心爱的东西,于是可以去品味和体验。——弗洛伊德
2018-09-25 18:06
- 一个人越有思想,发现有个性的人就越多。普通人是看不出人与人之间的差别的——布莱兹·帕斯卡尔
2018-08-30 18:44
存档
- 2020年11月(2)
- 2018年1月(1)
- 2017年12月(1)
- 2017年11月(6)
- 2017年6月(1)
- 2017年5月(1)
- 2017年4月(1)
- 2017年3月(1)
- 2016年11月(1)
- 2016年4月(1)
- 2015年7月(2)
- 2015年6月(1)
- 2015年5月(5)
- 2014年12月(1)
- 2014年11月(1)
- 2014年10月(1)
- 2014年8月(1)
- 2014年7月(1)
- 2014年6月(1)
- 2014年5月(1)
- 2014年4月(3)
- 2014年2月(2)
- 2014年1月(2)
- 2013年12月(1)
- 2013年11月(1)
- 2013年10月(2)
- 2013年9月(1)
- 2013年8月(1)
- 2013年7月(3)
- 2013年6月(2)
- 2013年5月(1)
- 2013年4月(3)
- 2013年3月(1)
- 2013年2月(2)
- 2013年1月(2)
- 2012年12月(11)
- 2012年11月(12)
- 2012年10月(12)
- 2012年9月(26)
- 2012年8月(29)
- 2012年7月(18)
- 2012年6月(2)
- 2012年5月(25)
- 2012年4月(16)
- 2012年3月(13)
- 2012年2月(6)
2018-09-15 23:56