有人在本地跑模型吗？

This topic created in 319 days ago, the information mentioned may be changed or developed.

我最近在学习 AI ，想本地搭建调试。我前段时间刚买了一台二手 m3max 128G 内存 1T 硬盘，不知道行不行？

6 replies

lihuashan

Jul 8, 2025

英伟达 9 越左右要出新机器：NVIDIA DGX Spark ，https://www.nvidia.cn/products/workstations/dgx-spark/

2 万多元，感觉可以买？

xou130

Jul 8, 2025

如果只是调试，可以用小模型，比如 7b ，0.7b 规模，CPU 强行跑也行

lihuashan

Jul 8, 2025

@xou130 只是调试学习，后续可以从事 ai 相关的开发工作，我是 java 后端开发。7b 是不是太小了？

maximdx

Jul 8, 2025

只是跑模型的话肯定没啥问题

xou130

Jul 9, 2025

@lihuashan 7B 够大了，实在要用大的模型可以 api

lihuashan

Jul 11, 2025

@xou130 嗯，7b 或者 13b 好像是支持的，后续搞起来