有没有大神能解释一下为什么 Python 循环中无法释放内存

工作中遇到一个问题，启动多个 worker 去跑任务，任务是把用 bfmatch 去匹配特征点，由于图量比较大，导致一直爆内存，现在用了一个监控内存后重启进程的临时办法，然后自己写了个例子：
while True:
x = []
for i in range(10000000000):
x.append(i)
这样内存也会很快堆起来
然后做了这样的改动：
while True:
x = []
for i in range(10000000000):
x.append(i)
del x
gc.collect()
这样内存依旧会很快堆起来
希望有大佬能解释一下原因，顺便谁能推荐个 python 查看堆栈的工具，万分感谢

内存

append

Python

range

9 条回复 • 2022-01-07 18:36:52 +08:00

ch2

2021-12-24 17:15:28 +08:00

先 del 再 gc.collect()内存就会回收的，内鬼可能是别的对象

keepeye

2021-12-24 17:20:08 +08:00

del x 之后用 gc.is_finalized(x)看下是不是 True

ipwx

2021-12-24 17:22:21 +08:00

不懂，你在循环里 del x 岂不是没用了，这循环到底干嘛的。。

ipwx

2021-12-24 17:25:32 +08:00

In [4]: for i in range(10000000000):
...: if i % 10000 == 0:
...: del x
...: gc.collect()
...: x = []
...: else:
...: x.append(i)

这个我验证不会爆内存

liuxingdeyu

2021-12-24 20:00:41 +08:00

@ch2 确实是没删干净的问题，所以导致了爆内存的问题，还有就是我在做测试的时候，由于 0 过多，导致本地的内存不够用了，再加上由于某些未知的原因，没能触发 gc
@keepeye 在 del 之后，会报错的，因为 del 后会认为这个变量没有定义
@ipwx 这只是个例子，用来验证原因的，你这个爆报内存是因为你加了个 1 万取余数的操作大大限制了数量而且没有 while True

ixuuux

2021-12-24 23:14:12 +08:00 via iPhone

尝试把 del x 改为 x.clear()

jones2000

2021-12-25 12:47:23 +08:00

把循环放到函数里面这样，函数结束应该就会自动释放函数内使用的局部变量。

def fun():
x = []
for i in range(10000000000):
x.append(i)

while True:
fun()

ipwx

2021-12-25 21:08:15 +08:00

@liuxingdeyu 好吧，那我更正我的说法。我的程序始终稳定在 0.3MB 内存不会增长。所以是删干净了

liuxingdeyu

2022-01-07 18:36:52 +08:00

@ch2 @keepeye @ixuuux 感谢各位，最终我在我的代码中找到了问题的所在，一开始的思路跑偏了，最终发现的结果是问题出在了 multiprocessing 上，开了一堆进程，把一个大号的列表扔进去当参数，最后发现在读取处理的时候，内存会慢慢的变高，特别是把里面的内容取出来，然后从 list 转到 np.array 的时候