V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
joeaaa
V2EX  ›  问与答

Linux 集群被黑,中了 XMR-STAK 木马。。求问应该怎么办

  •  
  •   joeaaa · 2018-12-27 16:49:40 +08:00 · 2309 次点击
    这是一个创建于 2158 天前的主题,其中的信息可能已经有所发展或是发生改变。

    被黑的是 GPU 集群,只有 master 节点被黑,其他的 slave 完好。 没有安装 redis,初步估计是弱密码撞成功的。。

    目前已经做了以下几步

    1. pkill 了 XMR-STAK 进程
    2. 修改了 sshd_config 一些规则
    3. 修改了 hosts.allow, hosts.deny
    4. 关闭了 cron 自动任务
    5. 对 XMR 的矿池地址在 iptables 配置 drop

    Google 了一些解决方案,检查了 root 下的 /.ssh/known_hosts, authorized_keys, 等等没有发现异常,/tmp/下也是正常。

    唯独使用 top 时会出来一些 PID 靠后的进程,出现几秒就没了,我觉得应该是守护进程。 同时,在 /usr/bin 下有三个文件也是删了又会浮现,但文件名也是随机 /init.d/下面也是有一个随机文件名不能完全删除,会自动重命名出现。

    头疼。。。

    14 条回复    2018-12-27 17:50:57 +08:00
    FifiLyu
        1
    FifiLyu  
       2018-12-27 17:03:25 +08:00   ❤️ 1
    把所有进程信息整理出来,一个个排除嫌疑。明显是有隐藏的进程没被发现。解决掉此进程就成功一大半了。

    另外一个最简单的办法,检查开机启动有无异常,检查后重启,以此杀掉未知进程。
    Greenm
        2
    Greenm  
       2018-12-27 17:12:47 +08:00   ❤️ 1
    看你这个描述,有 master 节点,应该是啥数据集群吧,hadoop,spark 之类的?
    hcymk2
        3
    hcymk2  
       2018-12-27 17:13:26 +08:00   ❤️ 1
    扫描下 Rootkit
    PureWhiteWu
        4
    PureWhiteWu  
       2018-12-27 17:16:27 +08:00   ❤️ 1
    真的,重装吧。。。。
    你永远不知道漏了啥。。。
    以后你用着也提心吊胆的。
    joeaaa
        5
    joeaaa  
    OP
       2018-12-27 17:19:23 +08:00
    @FifiLyu 嗯,找到了个关键的进程,把它冻结后一顿删,然后 OK 了。
    参考了一个前辈的教程。http://www.cnblogs.com/red-code/p/5599393.html

    谢谢~
    joeaaa
        6
    joeaaa  
    OP
       2018-12-27 17:20:53 +08:00
    @Greenm 对 用 GPU 加速计算的
    joeaaa
        7
    joeaaa  
    OP
       2018-12-27 17:22:56 +08:00
    @hcymk2 谢谢 我先了解下 rootkit 是干嘛的,刚搜了下感觉很厉害
    Greenm
        8
    Greenm  
       2018-12-27 17:24:08 +08:00   ❤️ 1
    @joeaaa 别只盯着没装 redis 就万事大吉了,怎么就没想过是 spark 或者 hadoop 的问题呢?

    https://github.com/rapid7/metasploit-framework/pull/10954
    https://github.com/rapid7/metasploit-framework/pull/10027

    暴露在公网,没认证很容易被搞的。
    joeaaa
        9
    joeaaa  
    OP
       2018-12-27 17:25:33 +08:00
    @PureWhiteWu 里面有一大堆授权许可,还有存储池的证书。。第一个念头也是重装的,后来想了下太麻烦了。。


    以后的 master 节点还是要虚拟化,挂了一个再开另一个。和小时候的网吧一样。
    joeaaa
        10
    joeaaa  
    OP
       2018-12-27 17:28:54 +08:00
    @Greenm 嗯,有可能。。。 现在扫描器也是火力全开。。
    Greenm
        11
    Greenm  
       2018-12-27 17:34:17 +08:00   ❤️ 1
    Spark 和 Hadoop 都有未授权远程代码执行的问题,上面的两个链接是我写的利用代码。 如果被黑了第一时间需要考虑怎么进来的,看看自己监听了哪些端口,一一排查,把洞先堵住在说。

    另外被黑了也不要慌,上面劝你重装的不负责,在公司业务被黑了也重装么,损失谁来担。

    仔细一点,多排查一下启动项之类的东西,总能解决的。
    PureWhiteWu
        12
    PureWhiteWu  
       2018-12-27 17:35:55 +08:00
    @joeaaa 那问你一个问题,假设你的 master 机器硬盘坏了,所有数据丢失,你会怎么办?
    joeaaa
        13
    joeaaa  
    OP
       2018-12-27 17:47:11 +08:00
    @Greenm 是的,服务不能 down。先把漏洞堵着是第一位的。 谢谢老哥!
    joeaaa
        14
    joeaaa  
    OP
       2018-12-27 17:50:57 +08:00
    @PureWhiteWu 看坏的程度吧,现在用的存储系统搭配 nvram,整套集群做了异地物理备两份。 现在也有人说用 docker,不是很懂。。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1813 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 16:30 · PVG 00:30 · LAX 08:30 · JFK 11:30
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.