云主机上读取 tensorflow 的.pb 模型文件内存溢出

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 2403 天前的主题，其中的信息可能已经有所发展或是发生改变。

我的云主机是阿里云的学生机器学校有个项目需要演示，我就向把训练好的模型，PB 文件上传到阿里云上但结果发现每次读 PB 文件的时候报 memory error 后来我又试了试分块读取报错不知道大神们有没有什么好的解决方法除了给阿里云主机升级。。。。。穷学生没钱

graph = tf.Graph() with graph.as_default(): with tf.gfile.FastGFile('face.pb', 'rb') as f: graph_def = tf.GraphDef() graph_def.ParseFromString(f.read())

Graph

graph_def

主机

读取

13 条回复 • 2018-04-27 02:12:03 +08:00

larryli1995

2018-04-25 14:45:33 +08:00

话说 tensorflow 移植到手机上应该也是这种方法把手机内存不会溢出么

metorm

2018-04-25 14:48:34 +08:00 via Android

两个地方编译的时候用了不同版本的 proto buff ？

larryli1995

2018-04-25 14:54:41 +08:00

@metorm 这我还真不知道我都是 PIP 直接装的这个要怎么看啊？

metorm

2018-04-25 16:02:17 +08:00 via Android

Python 版本也一样吗？没用过 pb 文件迁移模型。

larryli1995

2018-04-25 16:25:35 +08:00

@metorm 一样的

poorguy

2018-04-25 17:08:01 +08:00

试试 yield ？大概这样
```python
def read_file(fpath):
BLOCK_SIZE = 1024
with open(fpath, 'rb') as f:
while True:
block = f.read(BLOCK_SIZE)
if block:
yield block
else:
return
```

afpro

2018-04-25 17:12:26 +08:00

graph_def.ParseFromString(f.read())
说清楚是 f.read() 还是 graph_def.ParseFromString()出的问题？

larryli1995

2018-04-26 11:37:54 +08:00

@afpro f.read()

larryli1995

2018-04-26 11:38:31 +08:00

@poorguy 我试啦不行如果用块读的话 graph_def.ParseFromString （）报错

poorguy

2018-04-26 11:40:23 +08:00

@larryli1995 那把报错贴出来啊朋友

afpro

2018-04-26 12:16:54 +08:00

@larryli1995 mmap 试试看？

larryli1995

2018-04-26 12:29:30 +08:00

@poorguy memory error 兄弟你不审题的么

Arnie97

2018-04-27 02:12:03 +08:00 via Android

swap ？