V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
haozi23333
V2EX  ›  外包

请各位推荐一下,有没有什么速度快支持语言多的翻译模型

  •  1
     
  •   haozi23333 · 177 天前 · 1028 次点击
    这是一个创建于 177 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我现在用的是, https://huggingface.co/google/madlad400-3b-mt 一个量化之后的模型, A5000/RTX4090 可以跑到 90token/s 单任务的速度

    例子代码来自 https://github.com/huggingface/candle/blob/main/candle-examples/examples/quantized-t5/main.rs

    有没有速度比这个再快点的模型(要尽可能支持主流语言), 或者可以优化执行速度(付费支持, 如果能达到单任务 200~300token/s A5000 的卡, 200$起).

    tg 可以直接联系我 @chino23333 微信的话您留我联系您 (国内下午 4 点后在线

    1 条回复    2024-05-13 15:34:23 +08:00
    csulyb
        1
    csulyb  
       176 天前
    我也想知道
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3015 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 20ms · UTC 14:32 · PVG 22:32 · LAX 06:32 · JFK 09:32
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.