miraclinger's recent timeline updates miraclinger's recent timeline updates |
miraclingerV2EX member #157292, joined on 2016-01-28 15:40:57 +08:00 |
miraclinger's recent replies
Dec 23, 2016 Replied to a topic by firebroo › Python › Python 调用 elasticsearch 的 bulk 接口批量插入数据出现内存泄露，导致 OOM |
虽然已结贴，但是我还想问下，如果把值调成 5000 ，会出现内存泄露不？因为看了下 github 上的生成器，给我的感觉是一次性导入数据，不知道我有没有看错，如果这样的话，效率会比较低吧。
Dec 22, 2016 Replied to a topic by firebroo › Python › Python 调用 elasticsearch 的 bulk 接口批量插入数据出现内存泄露，导致 OOM |
有个思路是用 linux 的切割命令: split -l 5000 input_file
再就是用多线程对分割的文件 进行批量导入，线程数量最好是 200 个左右
再就是用多线程对分割的文件 进行批量导入，线程数量最好是 200 个左右
Dec 22, 2016 Replied to a topic by firebroo › Python › Python 调用 elasticsearch 的 bulk 接口批量插入数据出现内存泄露，导致 OOM |
有个思路是用 linux 的切割命令: split -l 5000 input_file
再就是用多线程进行批量导入，线程数量最好是 200 个左右
再就是用多线程进行批量导入，线程数量最好是 200 个左右
Dec 22, 2016 Replied to a topic by firebroo › Python › Python 调用 elasticsearch 的 bulk 接口批量插入数据出现内存泄露，导致 OOM |
官网给的推荐是 1,000 to 5,000 条数据，文件大小是 5-15MB ， https://www.elastic.co/guide/en/elasticsearch/guide/master/bulk.html
Select Language