JamesTao
V2EX  ›  Java

Docker 容器内存一直增长被 OOM Killer 的问题

  •  
  •   JamesTao · Apr 3, 2025 · 4462 views
    This topic created in 424 days ago, the information mentioned may be changed or developed.
    在两台服务器上使用 docker 部署了相同的服务
    基础镜像是 openjdk:17-oracle, 容器限制了 2G 内存
    容器内运行了 springboot, JAVA_OPTS 设置为 -Xms512m -Xmx1536m
    容器运行一段时间后, 被系统 oom killer, 被 kill 前观测到容器使用内存接近 2G. 进入容器用 top 命令查看, java 占用内存和容器使用内存保持一致, 都是接近 2G
    两个容器均发生此现象

    在排除 jvm heap 内存泄漏后. 做了如下调整
    JAVA_OPTS 设置为 -Xms750m -Xmx750m -XX:MaxDirectMemorySize=750m, 进入容器查看 NMT 数据如下




    现在的问题是
    1. 为什么两个容器实际使用的内存不一样, 但是 NMT 的数据几乎一致
    2. 如何定位和解决现在 java 内存一直在增长并造成 oom killer 的问题

    谢谢
    9 replies    2025-04-08 09:25:19 +08:00
    FaustY
        1
    FaustY  
       Apr 3, 2025
    之前遇到过类似的,换了 oracle jdk 的容器就好了
    FaustY
        2
    FaustY  
       Apr 3, 2025
    自己打基础镜像或者用 bitnami/java
    lingcen000
        3
    lingcen000  
       Apr 3, 2025
    实际就是堆外内存一直增长导致的,加了限制就好了
    guanzhangzhang
        4
    guanzhangzhang  
       Apr 3, 2025   ❤️ 1
    有个最常见问题就是,低版本 jdk 无法识别 cgroup 内存限制
    JamesTao
        5
    JamesTao  
    OP
       Apr 3, 2025
    @lingcen000 请问下如何限制堆外内存呢?

    @guanzhangzhang 用的基础镜像也是官方的, 系统和 jdk 的版本应该都对上吧
    zhady009
        6
    zhady009  
       Apr 4, 2025
    容器限制了 2G, JVM 最大堆 1536m 堆外一般不会那么大具体得看你啥应用, 排查的话用 JFR 看事件很容易就能看出来
    fredcc
        7
    fredcc  
       Apr 4, 2025 via Android
    堆内存只是一部分,还有其他内存消耗。为什么慢慢变大上工具分析咯。比如
    https://arthas.aliyun.com/doc/expert/user-question-history13508.html
    zhongpingjing
        8
    zhongpingjing  
       Apr 7, 2025
    堆外内存只能限制元空间还有直接内存,但是堆外内存不止这两个,所以解决方案就是把最大堆内存调低一些
    JamesTao
        9
    JamesTao  
    OP
       Apr 8, 2025
    JFR, Arthas 似乎都是分析 jvm 内存的. 但是从现象上看, jvm 内存没有问题. 一直增大的是 jvm 外的内存
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   4257 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 49ms · UTC 05:24 · PVG 13:24 · LAX 22:24 · JFK 01:24
    ♥ Do have faith in what you're doing.