利用 django 的 management 写了一个可执行命令，更新表内字段值，但是因为数据量比较大（ 200W），导致程序报错，内存爆了。如何优化呢？

	class models_a(models.Model):
	value_a = models.FloatField(default=0.0)
	value_a_1 = models.FloatField(default=0.0)

	class models_b(models.Model):
	foreign = models.ForeignKey(models_a)
	value_b = models.FloatField(default=0.0)

	####进行更新model_b里面的字段value_b,让他的值等于models_a里面的value_a和value_a_1和value_b这三个值之和
	results = models_b.objects.exclude(value_b=0.0)
	for i in results.iterator():
	i.value_b = i.value_b + i.foreign.value_a + i.foreign.value_a_1
	i.save()
	###

view raw bigdata——update hosted with ❤ by GitHub

看网上有使用F方法的，但是F不支持多个models之间的值进行操作。我使用了iterator将orm的缓存释放，但是依旧不行。还有的说是分段执行，这个分段执行是什么意思呢？请大家指点下有什么优化办法。

分段

字段

执行

2 条回复 • 2014-11-26 09:22:56 +08:00

mengzhuo

2014-11-25 23:14:49 +08:00

打开一个临时文件，然后按buffer量写入，直到写完
然后把文件hash之后移动到media目录
返回URL即可

又让我想到当年那4G的csv表格了……

raquelken

2014-11-26 09:22:56 +08:00

UPDATE models_b, models_a
SET models_b.value_b = models_b.value_b + models_a.value_a + models_a.value_a_1
WHERE models_b.foreign_id = models_a.id and models_b.value_b <> 0.0
这不是一条sql搞定的事情么？