1
kaedeair Aug 5, 2022
任务切块扔进程池
|
2
tairan2006 Aug 5, 2022 你不要一条一条插啊…批量写入
|
3
CaptainD Aug 5, 2022
用 pandas 批量处理 txt ,然后批量构建 obj ,再插入,然后再分块多进程,这个思路是不是好点
|
4
vhysug01 Aug 5, 2022
这类型数据我存过,用的是 bcolz 存的,文件形式落盘
|
5
httplife Aug 5, 2022
空白键换成 , 另存为 csv. 然后 import?
|
6
root000 Aug 5, 2022
https://www.mongodb.com/docs/database-tools/mongoimport/
可以试试官方的工具 但是需要转下文件格式 目前只支持 JSON, CSV, or TSV 目前在用这个来导 |
7
SenLief Aug 5, 2022
把 txt 先整成 csv ,那就效率高了。
|