biggun

local.ai 用来选型本地模型

  •  
  •   biggun · Aug 31 · 1037 views

    有点意思,试着用 mbp m5 max 128GB 跑了这些模型,大差不差,step 的确实能够支撑日常 hermes 使用了。

    这个 EigenLabs/Qwen3.8-27B-4bit 的 bench 也很有意思,用 autoresearch 提升模型在 mlx 的 throughput 。但是跑了两天,才达到 192.3 。300 多的怎么搞出来的。

    https://local.ai/radio/invite

    No Comments Yet
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   975 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 18ms · UTC 22:58 · PVG 06:58 · LAX 15:58 · JFK 18:58
    ♥ Do have faith in what you're doing.