欢迎关注:1,欢迎关注本博客,你可点击右手边的【QQ邮件订阅】订阅本博客!2,本博客推出江湖救急计划,主要为工作中遇到疑难杂症的兄弟提供远程技术支持和分析,如有需要,请在江湖救急计划页面给我留言!

IDS异常导致业务访问故障的案例

作者:易隐者 发布于:2013-3-29 16:46 Friday 分类:案例讨论

【说在之前】:

1,这个是以前我在某个商业银行解决的疑难故障,其中IDS设备出现异常,将原先捕获到的原始数据包通过交换机的镜像口回放至交换机,而交换机的镜像端口并未关闭MAC地址学习功能,引起业务服务器交换机MAC表混乱,导致业务服务器的访问出现异常;

2,这是一个非常少见的疑难故障,因此值得大家学习参考;

3,这段时间由于我个人的规划,工作会作出一些变动,杂事较多,有段时间未在博客中更新新的文章,还望各位兄弟见谅,就将这篇老文作为我三月份博客的更新吧。

【案例全文】:

        前段时间晚上,接到某单位朋友电话,说是其一核心业务系统白天出现了故障,很长一段时间没有解决,现在很多厂家工程师都在,让我过去增援一下,明确定位一下故障的原因所在。于是赶紧打的到现场。下面我把故障的情况描述一下:

故障拓扑

        经过简化的网络拓扑如下: 

点击查看原图

 故障现象

       核心业务访问异常,业务出现中断现象,使用测试pc直接接入业务服务器交换机,设置为服务器同网段IP,在使用ping测试服务器,不通。

故障分析

       故障时,交换机MAC表出现异常,主要表现为交换机端口镜像的目的口上,出现了防火墙ETH2口的MAC地址和核心服务器的MAC地址,导致核心业务访问出现异常。

分析业务交换机MAC表异常的原因:

       交换机MAC表学习的过程为源地址学习,H3C交换机在做端口镜像时,镜像目的端口默认是可以参与网络数据转发的,那么在交换机端口镜像的目的口上出现了防火墙E2口的MAC和业务服务器的MAC,只能说明该端口上收到了源MAC为防火墙E2口和业务服务器的报文,但是作为与IDS监听口相连的端口镜像目的口,通常情况下是不可能收到任何报文的,因为IDS监听口只是被动监听发过来的报文,而不会主动向网络内发送任何的报文。

这里我们大胆猜想一下:

       IDS在极端情况下,工作机制出现异常,将以前捕获的报文,从监听口播放出去,导致交换机口学习到了业务服务器的MAC和防火墙E2口的MAC,这样交换机1根据源地址学习的工作机制,将防火墙E2口MAC和业务服务器MAC对应记录到端口镜像目的端口上。这样可以完美的解释整个故障的现象。如下图所示: 
点击查看原图

 故障解决的方式:

       关闭交换机端口镜像目的端口的MAC地址学习功能。这样即使该端口接收到大量的相关报文,其也不会影响交换机正常的MAC地址表项。

       到底是不是IDS将以前捕获的报文发送至镜像目的端口 ?我们可以通过TAP串接抓取IDS监听口的报文。如果是,那么IDS为什么会这么做?这个问题是个疑问,我想只有厂家可以解释了。技术的东西是可以较真的,没什么太多的变数。

阅读全文>>

标签: 端口镜像 疑难故障 MAC表 IDS

评论(0) 引用(0) 浏览(5534)

Powered by 易隐者 基于emlog 皖ICP备12002343号-1