多模态大模型的大小远低于单文本模型啊。

This topic created in 453 days ago, the information mentioned may be changed or developed.

图文大模型开源的一般就 3b ，7b ，72b 。应该是某种原因限制了多模态模型的大小？比如图片不像文字一样自回归预训练大模型？单文本的 600b 都有，这是不是意味着 gpt4o 其实模型并没有 gpt4 大？那对比的时候这些多模态模型应该打不过单文字模型吧？

1 replies

naclfish2333

Mar 3, 2025 via iPhone

忘记在哪里看到一个说法了，多模态模型 8b 、9b 这样的大小效果已经不错了，参数量提升带来的效果提升不是很明显