IDS异常导致业务访问故障的案例

2013-03-29 · 网络分析 · 案例讨论 · 6950 次阅读

【说在之前】：

1，这个是以前我在某个商业银行解决的疑难故障，其中IDS设备出现异常，将原先捕获到的原始数据包通过交换机的镜像口回放至交换机，而交换机的镜像端口并未关闭MAC地址学习功能，引起业务服务器交换机MAC表混乱，导致业务服务器的访问出现异常；

2，这是一个非常少见的疑难故障，因此值得大家学习参考；

3，这段时间由于我个人的规划，工作会作出一些变动，杂事较多，有段时间未在博客中更新新的文章，还望各位兄弟见谅，就将这篇老文作为我三月份博客的更新吧。

【案例全文】：

前段时间晚上，接到某单位朋友电话，说是其一核心业务系统白天出现了故障，很长一段时间没有解决，现在很多厂家工程师都在，让我过去增援一下，明确定位一下故障的原因所在。于是赶紧打的到现场。下面我把故障的情况描述一下：

故障拓扑

经过简化的网络拓扑如下：

故障现象

核心业务访问异常，业务出现中断现象，使用测试pc直接接入业务服务器交换机，设置为服务器同网段IP，在使用ping测试服务器，不通。

故障分析

故障时，交换机MAC表出现异常，主要表现为交换机端口镜像的目的口上，出现了防火墙ETH2口的MAC地址和核心服务器的MAC地址，导致核心业务访问出现异常。

分析业务交换机MAC表异常的原因：

交换机MAC表学习的过程为源地址学习，H3C交换机在做端口镜像时，镜像目的端口默认是可以参与网络数据转发的，那么在交换机端口镜像的目的口上出现了防火墙E2口的MAC和业务服务器的MAC，只能说明该端口上收到了源MAC为防火墙E2口和业务服务器的报文，但是作为与IDS监听口相连的端口镜像目的口，通常情况下是不可能收到任何报文的，因为IDS监听口只是被动监听发过来的报文，而不会主动向网络内发送任何的报文。

这里我们大胆猜想一下：

IDS在极端情况下，工作机制出现异常，将以前捕获的报文，从监听口播放出去，导致交换机口学习到了业务服务器的MAC和防火墙E2口的MAC，这样交换机1根据源地址学习的工作机制，将防火墙E2口MAC和业务服务器MAC对应记录到端口镜像目的端口上。这样可以完美的解释整个故障的现象。如下图所示：

故障解决的方式：

关闭交换机端口镜像目的端口的MAC地址学习功能。这样即使该端口接收到大量的相关报文，其也不会影响交换机正常的MAC地址表项。

到底是不是IDS将以前捕获的报文发送至镜像目的端口 ？我们可以通过TAP串接抓取IDS监听口的报文。如果是，那么IDS为什么会这么做？这个问题是个疑问，我想只有厂家可以解释了。技术的东西是可以较真的，没什么太多的变数。