« 简悦招聘 Unity3D 程序员 | 返回首页 | 云风:一个编程的自由人(图灵访谈) »

虚惊一场

周五的时候,肥龙同学偶然发现我们机房的内部网段出现了一个奇怪的 ARP 广播,一个并不是我们配置的 ip 地址 192.168.0.120 不断在交换机上广播。经扫描,它提供了包括 ssh/http/https/vnc 的服务,但是我们每次想连接上去看看是什么服务的时候,都会把连接断开,同时,这个 ip 对应的 mac 地址在不断变化。

各种奇怪的现象似乎在说,我们被攻击了。

我们的防火墙规则还是非常严格的,系统安全方面也很注意。我觉得即使被人下了木马,也不大可能被大面积入侵。何况有几台机器从外网不可能进入,如果需要感染这些机器,必须先突破允许外网连接的机器才行。

但是花了很多时间都无法确定是哪台机器出的问题。从交换机上看,几乎每个口上都有奇怪的,并非我们配置的 ip 出现。我们甚至怀疑是交换机本身被攻击,或者是 arp 协议有什么不被我们知道的漏洞。因为理论上,交换机学习 mac 的途径必须经过物理接入的端口上,从上收到的包中提取出 mac 地址。也就是说,插在 1 口上的设备无论如何都无法伪造 2 口上的 mac 地址的。

可是我们的交换机上却发现了大量我们不知道的 mac 地址。

最简单的方法是一台台机器物理断线,可是这些机器都运行着不能中断的服务,我们只好用各种不断线的方法去做测试。

我们花时间在交换机上逐个屏蔽了那些多出来的 mac 地址。并把布置在机房的两个串联的交换机隔离开(它们都出现了相同的症状),想确定问题的源头。最后很多迹象表明问题出在一台看起来最不可能出问题的 linux 机器上。

然后,花了几个小时去审核这台机器。由于不能停机,只好用一些软件以及临时写一些小程序辅助检查。可是我们无法在上面找到多余的网络设备,内核里也找不到可疑的文件句柄。蜗牛同学甚至觉得,如果这是一个木马,那也太高端了一点,除非它自己实现了 IP 协议栈从最底层截获了网卡数据,否则不可能隐藏的这么干净。

搞到半夜我们才发现是虚惊一场。当我们从交换机上屏蔽掉几乎所有的多出来的 mac 地址,只留下一个时,然后我们在 linux 系统中同时也绑定了这个 mac 地址和 ip 地址的对应关系;接下来用 ssh 把 80 以及 433 口转发到办公室里来(因为那台机器外网无法直接连接);我们终于用浏览器打开了这个奇怪的网站。

原来是 DELL 服务器自带的管理页面 :( 它是一个独立的网络设备,串在网卡上,直接做在服务器里了。所以机房给我们的电话也说是看不到任何外接的其它设备,当然看不到了。

由于我们采购的是同一批 DELL 的服务器设备,它们的管理 ip 地址默认都是相同的,在同一个交换机上发生了冲突,我们无法访问它们提供的服务,看起来好像被攻击了似的。

Comments

好好的

DELL的机器。。。

很好的案例~~~

楼主小心一点吧防人之心不可无啊加油!

这是BMC吧?

哈哈,DELL服务器启动的时候 都会显示注册到这个IP,不过曾经还是有一次把一台机器的内网IP配成120,一会就不能访问了,折腾了半天,才想起来。

买了远程模块却不配置,浪费可耻啊。

刚好之前也遇到过,DELL iDRAC 不但有默认 IP,还有默认管理密码,不如顺便把 iDRAC 配置了吧 ( http://blog.xupeng.me/2010/09/07/configure-dell-idarc-remotely/ )

呵呵,看到第一段ip为120,就觉得是dell的iDRAC的ip了。就是没有看dell的服务器说明书造成的。很多公司运维都没有看服务器说明书的习惯,买来机器就装系统。

Post a comment

非这个主题相关的留言请到:留言本