V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Leon6868
V2EX  ›  Local LLM

Qwen2.5 72B 是最好的本地代码补全模型

  •  
  •   Leon6868 · 3 天前 · 1884 次点击

    本地 4xV100 平台部署 Qwen2.5 72B GPT-Q int4 ,命令如下:

    lmdeploy serve api_server ./Qwen2.5-72B-Instruct-GPTQ-Int4 --cache-max-entry-count 0.4 --model-format gptq --tp 4
    

    在 CodeGeeX 插件中启用本地模型,配置自定义提示词:

    • 聊天 Prompt
    You are Qwen, created by Alibaba Cloud. You are a helpful assistant. You are profound in coding.
    
    • 代码补全 Prompt
    我会给你我的代码片段,结构如下<|code_prefix|>:光标前的代码
     <|code_middle|>:你需要在这后面预测光标处的代码
     <|code_suffix|>:光标后的代码
     你需要根据光标前后的代码给我中间的代码;不要废话,不要输出 code_suffix 、code_prefix 、code_middle ;不要将代码放在代码块内;只输出纯代码
    

    生成速度能到 80 tps ,补全几乎无延迟,实际使用体验代码能力和 Deepseek api 不相上下,但是响应速度快三到四倍。


    目前的痛点在于 CodeGeeX 本地模式不支持直接引用文件,想问问有推荐的 vscode 插件吗?

    15 条回复    2024-12-08 19:33:13 +08:00
    kizunai
        1
    kizunai  
       3 天前
    Qwen2.5 72B 比 Qwen2.5 Coder 32B 在代码补全上面提升大吗?
    Leon6868
        2
    Leon6868  
    OP
       3 天前
    @kizunai #1 Qwen2.5 Coder 32B 是新模型,但是不好用

    参数提升是量级上的碾压
    otakustay
        3
    otakustay  
       3 天前   ❤️ 3
    连本地模型最好的办法就是 continue: https://docs.continue.dev/autocomplete/model-setup
    BernieDu
        4
    BernieDu  
       3 天前
    @Leon6868 基础模型和 coder 模型 比参数量没意义。两个我都用过,反正我觉得对于我 swiftUI 的编程帮助不大。可能我用惯了基于 claude 的 AI IDE ,觉得这些本地模型就跟过家家一样
    so1n
        5
    so1n  
       3 天前
    内存买小了,跑不了 72- -
    Donaldo
        6
    Donaldo  
       3 天前
    本地 4xV100 有点猛了。。
    cyio
        7
    cyio  
       3 天前
    有没有最安全的联网模型,明确不记录代码、用于训练的
    sampeng
        8
    sampeng  
       3 天前 via iPhone
    日常使用连 deepssek 肉眼可见没 copilot 好用,十次有 6 次是错误的。
    Donaldo
        9
    Donaldo  
       3 天前
    @cyio #7 你相信他宣称的隐私保护就安全,否则没有安全的联网模型。
    574402766
        10
    574402766  
       3 天前
    昨天用 continue+ollama 布了个 Qwen2.5-Coder-7B 补全挺快不过还没深入用不确定质量如何 明天上班打算试试 32B
    zhixiao
        11
    zhixiao  
       3 天前
    @otakustay continue 也不知道弄啥的,一个插件有 80m ,快赶上 vscode 本体大了,体验还不如 cursor 之类的
    Removable
        12
    Removable  
       3 天前 via iPhone
    72B 要多少内存啊?
    otakustay
        13
    otakustay  
       3 天前
    @zhixiao 那可多了,一个是 napi 要用就是一堆基础文件,然后还自带了个 all-minilm 模型,要做 embedding 又放了个 lancedb ,代码解析又带了 tree-sitter
    要纯本地就是这个代价,没有任何远程的服务能给你什么语法分析什么 embedding 存储,那只能所有功能占本地硬盘了呗
    b1t
        14
    b1t  
       3 天前
    4xV100 ? 羡慕
    pakro888
        15
    pakro888  
       3 天前
    好奢侈。慕了
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5485 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 01:59 · PVG 09:59 · LAX 17:59 · JFK 20:59
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.