V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
songray
V2EX  ›  程序员

本地跑大模型代码助手还挺好用

  •  
  •   songray ·
    Ray-D-Song · 78 天前 · 2298 次点击
    这是一个创建于 78 天前的主题,其中的信息可能已经有所发展或是发生改变。

    用 ollama 跑的 llama3 8b 用来对话,starcode2 3b 用来补全,大概有 copilot 7 成的体验。

    m2 mac mini 同时运行两个模型没啥压力。

    小内存核显本也可以白嫖 cloudflare worker ai 的免费额度。

    Blog: https://ray-d-song.com/zh-cn/blog/continue-free-ai-code-assistant/

    6 条回复    2024-09-24 11:48:03 +08:00
    songray
        1
    songray  
    OP
       78 天前
    https://imgur.com/gallery/llama3-wKjlZmB

    说实话,我感觉比 gpt3.5 聪明
    Mianmiss
        2
    Mianmiss  
       77 天前
    和通义灵马 比呢?
    songray
        3
    songray  
    OP
       77 天前 via iPhone
    @Mianmiss 英文问答的话比通义好用,中文不如
    tabc2tgacd
        4
    tabc2tgacd  
       77 天前
    以前试过在自己本地跑,但是效果很差。等空下了试试你推荐的这个
    sampeng
        5
    sampeng  
       77 天前
    mac studio 。试了试 starcode2 7b 。好像效果还可以。对话就算了。。对话一个两个问题其实体现不出来,要能解决问题才是生产力。
    其实如果有能和 copliot 打的就还可以了
    tabc2tgacd
        6
    tabc2tgacd  
       58 天前
    试了下,感觉效果不咋的,暂时还是用阿里的通义灵码了。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3269 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 12:10 · PVG 20:10 · LAX 04:10 · JFK 07:10
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.