视频点播服务间歇性中断故障分析案例
作者:易隐者 发布于:2012-8-1 22:15 Wednesday 分类:网络分析
故障环境
1 网络拓扑
2 说明
1、VOD在线视频是通过web页面观看的,通讯流全部使用HTTP的80端口传输数据;
2、客户端与服务器是纯路由环境下完成数据交互的。
故障现象
1、客户端通过浏览器在线观看VOD视频时,不定时(有时几分钟、有时十几分钟,没有规律)的出现中断情况;
2、使用ping命令长时间测试VOD服务器的连通性,一直正常;
3、异常时,VOD服务器的web页面访问正常。
故障分析
1前期分析
1、Ping命令测试正常,说明不存在连通性问题;
2、不定时出现、无规律性说明应该不是策略(时间控制等)原因导致的;
3、其他应用未反应异常,说明是单个具体应用问题。
通过简单分析,没有什么明显的突破口,此类故障应属于较高层次的故障,只能借助数据包分析来找突破口了。
2 数据包分析
1、首先在客户端在线视频时,开启科来抓包,在故障出现后停止抓包,并分析故障时间段的数据包。
一般而言,这种应用都是服务器向客户端传输数据,而客户端仅对服务器端发送确认即可,这种确认不包含任何的数据,其大小在填充完后只有64B。而在故障发生时,我们竟然发现了客户端向服务器发送的大小为70B的确认数据包,如下图所示:
2、我们查看这些70B的确认包的具体封装,如下图所示:
从这个数据包的封装解码图示,我们可以看出,这个数据包是一个带有TCP选项的确认报文。这个选项是可选择性确认选项(SACK)。
3、我们在选取几个70B的确认数据包做对比分析,发现,这些SACK选项的块左边界都是一样的,如下图所示:
这说明客户端没有收到来自服务器的某个数据段。
4、我们在服务器端同时抓包,确认服务器端是否收到来自客户端的带有SACK选项的报文,以及服务器端是否重传了这个客户端未收到的报文。如下图所示:
通过查看服务器给客户端传输数据段的次序与序列号,我们可以看出服务器重传了客户端未收到的数据报文。
既然服务端收到了来自客户端的带有SACK选项的确认数据报,同时服务器端也重传了客户端未收到的数据段,那么就说明这个数据段在传输的过程中被丢弃了。
5、我们重新确认一下可能丢弃这个数据段的关键点:
由于交换机丢弃数据包的可能性极小,因此,我们应该将分析的重点放在网关设备上。
6、在服务器端开启网络分析工具,并在防火墙上利用防火墙自带的tcpdump抓包功能同时抓取防火墙进口、出口的数据报文。
7、分析服务器端的数据报文,确认被中间设备丢弃的数据报的IP标识,如下图所示:
根据服务端收到的来自客户端的SACK报文的块左边界值和ACK值以及服务端重传的序列号,我们可以确定被中间设备丢弃的数据报文的IP标识为28232。
8、通过IP标识,在防火墙上抓取的数据包中查找相应的IP标识的数据包,如下图所示:
从上图中我们可以看出,防火墙从ETH6口接收了这个IP标识为28232的数据包,并从ETH0口转发了这个数据包,防火墙没有丢弃这个包,利用同样的分析方法,可以确定两台防火墙都转发了服务器重传的数据报,并没有丢弃服务器的数据段。
9、那么丢弃服务器端数据段的位置到底在哪里呢?由于交换机主要功能为数据转发,其丢弃数据包的可能性是很小的,我们决定重新理一下网络拓扑,发现在互联网防火墙与核心交换机之间还串接了1台IPS设备。如下图所示:
10、通过在IPS进出接口间同时抓包,使用前面同样的方法定位是IPS丢弃了来自服务器端的数据段。分析过程在此不再详述。
故障原因验证确认
在IPS的日志上,可以查看到被IPS丢弃的来自服务器端的数据报相关日志,由此我们基本上可以确认是IPS检测过滤策略误报导致IPS丢弃VOD服务器部分数据报文导致了这个故障。
为验证我们分析的结论,我们将IPS拿下来,测试在线视频,一切正常,确认的确是IPS的原因导致了故障的产生。
故障解决
调整IPS的相关检测策略,针对VOD服务器放行产生误报的策略,故障现象消失。
标签: IP标识 sack tcpdump 重传 IPS 策略误报 视频点播故障 IPID
版权所有:《蚂蚁网-多维人生,三实而立!》 => 《视频点播服务间歇性中断故障分析案例》
本文地址:http://www.vants.org/?post=73
除非注明,文章均为 《蚂蚁网-多维人生,三实而立!》 原创,欢迎转载!转载请注明本文地址,谢谢。
评论:
日历
最新日志
链接
分类
最新碎语
- 如果一个人想要做一件真正忠于自己内心的事情,那么往往只能一个人独自去做"——理查德·耶茨
2019-06-25 21:34
- 日后我们知道,真正的人生道路是由内心决定的。不论我们的道路看上去如此曲折、如此荒谬地背离我们的愿望,它终归还是把我们引到我们看不见的目的地。(茨威格《昨日世界》)
2019-03-16 21:27
- 如果你渴望得到某样东西,你得让它自由,如果它回到你身边,它就是属于你的,如果它不会回来,你就从未拥有过它。——大仲马《基督山伯爵》
2018-10-09 22:07
- 人生有两大悲剧:一个是没有得到你心爱的东西;另一个是得到了你心爱的东西。人生有两大快乐:一个是没有得到你心爱的东西,于是可以寻求和创造;另一个是得到了你心爱的东西,于是可以去品味和体验。——弗洛伊德
2018-09-25 18:06
- 一个人越有思想,发现有个性的人就越多。普通人是看不出人与人之间的差别的——布莱兹·帕斯卡尔
2018-08-30 18:44
存档
- 2020年11月(2)
- 2018年1月(1)
- 2017年12月(1)
- 2017年11月(6)
- 2017年6月(1)
- 2017年5月(1)
- 2017年4月(1)
- 2017年3月(1)
- 2016年11月(1)
- 2016年4月(1)
- 2015年7月(2)
- 2015年6月(1)
- 2015年5月(5)
- 2014年12月(1)
- 2014年11月(1)
- 2014年10月(1)
- 2014年8月(1)
- 2014年7月(1)
- 2014年6月(1)
- 2014年5月(1)
- 2014年4月(3)
- 2014年2月(2)
- 2014年1月(2)
- 2013年12月(1)
- 2013年11月(1)
- 2013年10月(2)
- 2013年9月(1)
- 2013年8月(1)
- 2013年7月(3)
- 2013年6月(2)
- 2013年5月(1)
- 2013年4月(3)
- 2013年3月(1)
- 2013年2月(2)
- 2013年1月(2)
- 2012年12月(11)
- 2012年11月(12)
- 2012年10月(12)
- 2012年9月(26)
- 2012年8月(29)
- 2012年7月(18)
- 2012年6月(2)
- 2012年5月(25)
- 2012年4月(16)
- 2012年3月(13)
- 2012年2月(6)
2015-12-27 23:35
之前还没怎么深入了解SACK,这下明白啦!