exo + MindMac = 完全跑在 localhost 上的接近 ChatGPT 的体验

This topic created in 545 days ago, the information mentioned may be changed or developed.

https://github.com/exo-explore/exo

https://mindmac.app/

macOS 上还有哪些可以填自定义 ChatGPT API endpoint 的客户端呢？

Supplement 1 · Nov 25, 2024

相比折腾 Linux 上的 NVIDIA Driver + CUDA 版本，exo 在 macOS 上跑起来的过程实在是太简单了。

MindMac

localhost

ChatGPT

15 replies • 2024-12-11 09:10:14 +08:00

ccbikai

PRO

Nov 24, 2024

自力的 ChatX

Livid

MOD

PRO

Nov 24, 2024

@ccbikai 感谢。

配上了，能用！

Donaldo

Nov 25, 2024

cluster 体验如何？

awah

Nov 25, 2024

MindMac 不行阿, 自从 15 之后疯狂崩溃, 9 月之后都没更新修复. 买了后悔死了

Livid

MOD

PRO

Nov 25, 2024

在 Windows 上可以跑在 WSL2 上：

Livid

MOD

PRO

Nov 25, 2024

游戏卡用来干这个显存比较紧张。

运算的时候整个 Windows 的 UI 都会卡。

Livid

MOD

PRO

Nov 25, 2024

zed 编辑器可能可以支持配合 exo 使用：

KcKXpykSg2777f5I

Nov 25, 2024

CherryStudio ，功能非常全面

Vitta

Nov 27, 2024

intel mac 是不是就跟本地模型无缘了

nutting

Nov 27, 2024

我有个 24G 的 P40 ，有意义跑吗

Livid

MOD

PRO

Nov 28, 2024

@nutting 如果已经有 Linux 环境的话，几分钟就可以跑起来。

wen20

Nov 28, 2024

chatbox

nutting

Nov 28, 2024

mac m4pro 48G 的，本地跑什么模型比较均衡啊，试了一下 qwen-coder:32B,内存嗖嗖增长

nrtEBH

Dec 9, 2024

exo 和 LM studio 比有什么优势呢

Livid

MOD

PRO

Dec 11, 2024

@nrtEBH exo 如果在内网的几台机器上启动，会自动组成一个群集。

只是，用一堆小机器跑超大模型这件事情可能本身就比较扯。