Python 有什么简单办法将字典换到磁盘里操作吗

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 1931 天前的主题，其中的信息可能已经有所发展或是发生改变。

我有一个比较大的字典，这个字典的大小可能超过了机器可用的内存，我想把整个字典用 pickle 序列化，再 zlib 压缩一下，然后通过网络发送到另一台机子上，这个功能有简单一点的办法完成吗？

字典

Python

Zlib

pickle

15 条回复

keakon

2019-07-29 16:04:27 +08:00

直接把原始的字典文件压缩后传过去啊，不然另一台机器加载这个字典就内存溢出了。

krixaar

2019-07-29 16:06:11 +08:00

既然是字典，存成个 sqlite 然后查询也可以吧？

linxy19957

2019-07-29 16:13:39 +08:00

@keakon 感谢回答，可能问题有点不清楚，字典是程序运行过程中不断填充的，所以没有原始的字典文件。另一台机器加载字典内存溢出的问题暂时可以不考虑，可以想象另一台机器内存很大。

Ehco1996

2019-07-29 16:13:41 +08:00

pickle

linxy19957

2019-07-29 16:16:03 +08:00

@krixaar 感谢回答，sqlite 可能是目前能想到的最好的解决办法了，但是字典是程序运行过程中不断填充、修改、合并的，用 sqlite 效率有所下降，而且也比较麻烦，如果没有其他办法的话就用它

silencefent

2019-07-29 16:22:37 +08:00

放磁盘里操作比 sqlite 效率低更多,磁盘的 io 不到内存的 1/20

linxy19957

2019-07-29 16:29:44 +08:00

@silencefent sqlite 也是基于磁盘的吧，按理说效率应该是差不多的？是有内存的 sqlite，但是数据在内存里放不下

silencefent

2019-07-29 16:31:24 +08:00

@linxy19957 但是 sqlite 可以让你决定一次取多少到内存里呀

linxy19957

2019-07-29 16:38:38 +08:00

@silencefent 我懂你的意思了，是我描述的不够，我的 value 占用空间较大，但是生成后存起来就行，是不参与运算的，运算的基本都是 key 部分

Rheinmetal

2019-07-29 16:42:12 +08:00

数据多的话就上数据库吧缓存问题数据库引擎会给你解决的
你这个 k-v 型的上 redis ？

lihongjie0209

2019-07-29 16:49:17 +08:00

在另外的大内存机器上启动 redis, 计算还是放在这台机器

linxy19957

2019-07-29 17:00:47 +08:00

@Rheinmetal
@lihongjie0209
感谢两位，redis 也是种解决办法，最后可能在 redis 和 sqlite 之间选一个

lance86

2019-07-29 17:00:50 +08:00

把数据用 MongoDB ？处理直接在数据库里

liprais

2019-07-29 17:02:09 +08:00

为啥你不把这个对象写到数据库里.......

joson1205

2019-07-30 17:06:13 +08:00

比较好奇数据对象是临时性保存还是永久性的?