flkaylor19
V2EX  ›  Local LLM

笔记本 125B 模型 Q4 量化, xHigh256k 调优峰值 64tps。附部署和调优源码

  •  
  •   flkaylor19 · 9h 8m ago · 407 views

    笔记本:幻 X2025 windows 96G 显存分配 32G RAM 操作模式:增强模式 修了识图,去拒答 配置:q4xs 量化、上下文 256K ,配置如下,96G 显存分配 32GRAM 峰值 64.63TPS 智商类似不降智 opus4.6 https://github.com/xszwow/Strata

    No Comments Yet
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   942 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 19ms · UTC 21:07 · PVG 05:07 · LAX 14:07 · JFK 17:07
    ♥ Do have faith in what you're doing.