This topic created in 1165 days ago, the information mentioned may be changed or developed.
在一个 200GB 内存的机器上，处理上 TB 的数据，如何解决 OOM 问题？
- 关键一：数据分布在多个进程上
- 关键二：数据前期未分区，无法直接分批计算
- 关键三：要求支持多任务，也就是可能存在资源竞争
- 关键四：必须充分利用计算资源，尽可能达到理论的最大性能
这种情况下，OOM 问题怎么设计容易解决呢？
 |
1
bjzhush Mar 1, 2023
非常简单，很多方案
内存加到 2T ，2T 不够 4T ，以此类推 数据进行分区 找到 OOM 的原因，改进代码 |
|
4
bjzhush Mar 1, 2023
不开玩笑的说，200G 内存绝对是够了，TB 数据也并不多，最大的问题在程序本身，去看看 log 找下 OOM 的原因，改进代码吧，自己改不了就找个靠谱的人花点钱改
|
 |
5
VYSE Mar 1, 2023
MMAP
|
 |
6
F281M6Dh8DXpD1g2 Mar 1, 2023
装个 duckdb ，跑个 sql 完事
|
 |
7
darkengine Mar 1, 2023
先把数据处理成可分区处理的，不然其他三点都没法实现
|
 |
8
l01306 OP @bjzhush OOM 原因很明确了，现在遇到的核心问题是：在处理这么大数据的情况下，必然要将部分数据换出到硬盘，这个换出机制如何设计？涉及多个进程，如何实现统一的数据管理且保证性能？
|
|
9
l01306 OP @darkengine 没有办法预分区，只能根据需要，在数据载入内存后做分区了
|
Select Language