使用开源的 continue 和 llama.cpp 搭建本地运行的人工智能代码助理

现在 AI 非常的流行， 各方面的应用都非常多。 比如在代码提示这个赛道上， 就有很多基于 AI 大模型的代码提示工具， 比如最著名的 GitHub Copilot ， 再比如阿里的 通义灵码 ， 还有今天要重点介绍的 Continue 。

与其它类似的 AI 智能代码提示工具不同，Continue 是开源的， 支持调用本地部署的大模型服务， 可以在企业内部甚至是安全隔离的局域网中运行， 并且提供了完善本地运行的文档。如果是私有代码库， 无法使用基于互联网的 AI 智能提示， 那么使用 Continue 搭建本地的智能代码提示， 也能达到比较好的效果 （当然不能与收费的 GitHub Copilot 媲美）。

Continue 介绍

以下功能介绍搬运自 Contine 的官方代码库。

Continue 是领先的开源代码助手。您可以连接任何模型和任何上下文，以在 VS Code 和 JetBrains 中构建自定义自动完成和聊天体验， 主要功能有：

更容易地理解代码片段 利用 AI 来解释代码段， 理解更容易。

自动完成代码建议 利用 AI 理解代码上下文， 提供智能提示， 按 Tab 键自动补全。

随时重构 利用 AI 随时随地进行重构。

代码库问答 利用 AI 基于你的代码库进行问答。

快速文档上下文 快速使用框架的文档作为问答上下文。

模型选择

Continue 支持的模型非常多，具体可以看 选择模型 这篇文档， 根据这篇文档的建议， 需要运行两个模型实例：

• 问答： 建议使用 30B 以上参数的模型， 文档给的建议是 llama-3 ：
  • 算力充足 llama-3-70B ；
  • 算力有限 llama-3-8B ；
• 代码提示： 建议使用 1 ～ 15B 参数即可， 文档给的建议是:
  • DeepSeek Coder：
    • 算力充足 deepseek-coder-v2:16b ；
    • 算力有限 deepseek-coder:6.7b 或者 deepseek-coder:1.3b ；
  • StarCoder 2 ：
    • 算力充足 starcoder-2-7b ；
    • 算力有限 starcoder-2-3b ；

经过实际测试， 建议的本地运行模型为：

• 问答模型， 选择 llama-3-8B 或者同级别的模型就可以了， 一般不会达到运行 llama-3-70B 的硬件；
• 代码提示模型， 如果你有一张不是太旧的独立显卡，比如 12G 显存的 3060 ， 就可以流畅运行 starcoder-2-7b 了， 安装了 cude 之后， 体验非常好； 如果没有， 则可以运行 starcoder-2-3b ， 也能体验到不错的效果；

如果算力有限， 优先运行代码提示模型， 因为这个使用的频率非常高， 在输入代码的同时， 会频繁的调用。 问答模型用的频率比较低， 因为需要用户主动提问。

llama.cpp

建议使用 llama.cpp 来运行大模型， 因为 llama.cpp 提供了非常灵活的选项， 对硬件支持也比较完善。 不管你是 Windows 系统还是 M1 芯片的 Mac 系统， 独立显卡还是集成显卡，甚至是 CPU 是否支持 AVX 指令， 都有特定的预编译版本， 根据自己电脑的硬件信息下载预编译的 llama.cpp 二进制文件即可。

当然也可以根据 llama.cpp 的 说明文档 ， 拉取源代码， 根据自身的硬件信息进行编译， 以获得最佳性能。

关于 llama.cpp 的使用， 可以参考文章 在 Macbook M1 上运行 AI 大模型 LLAMA ， 文中也介绍了如何下载并转换模型文件。

运行代码提示模型

下载 starcoder2-7b 或者 starcoder2-3b 作为代码提示模型， 使用 llama.cpp 的 llama-server 运行， 命令如下：

llama.cpp/llama-server --host 0.0.0.0 --port 28080 \
  --threads 8 --parallel 1 --gpu-layers 999 \
  --ctx-size 8192 --n-predict 1024 --defrag-thold 1 \
  --model models/starcoder2-3b-q5_k_m.gguf

如果只是个人使用的话， 对于代码提示来说，3b 就足够了。 当然， 如果 GPU 算力充足的话， 也可以运行 7b 或者更高的模型。

经过测试， starcoder 提供的提示效果比 deepseek-coder 要好很多。

运行问答模型

下载 llama-3-8b 作为问答模型， 同样使用 llama.cpp 的 llama-server 运行， 命令如下：

llama.cpp/llama-server --host 0.0.0.0 --port 8080 \
  --threads 8 --parallel 1 --gpu-layers 999 \
  --ctx-size 8192 --n-predict 1024 --defrag-thold 1 \
  --model models/meta-llama-3-8b-instruct.fp16.gguf

Continue 安装与配置

Continue 提供了 Jetbrains IDE 以及 VSCode 的插件， 以 VSCode 为例， 只需要在 VSCode 的扩展窗口中搜索 Continue.continue , 下载并安装即可。

安装之后， 可以直接跳过 Continue 的向导提示， 然后编辑它的配置文件 ~/.continue/config.json ， 直接复制粘贴下面的 json 内容：

{
  "models": [
    {
      "title": "LLaMA",
      "provider": "llama.cpp",
      "model": "llama3-8b",
      "apiBase": "http://127.0.0.1:8080"
    }
  ],
  "tabAutocompleteModel": {
    "title": "LLaMA",
    "provider": "llama.cpp",
    "model": "starcoder2-3b",
    "apiBase": "http://127.0.0.1:28080"
  },
  "allowAnonymousTelemetry": false,
  "embeddingsProvider": {
    "provider": "transformers.js"
  }
}

保存配置文件，Continue 插件会自动根据配置文件自动更新。

starcoder 模型支持 10 多种常见的开发语言， 因此只要配置好了 Continue 插件， 不管是写前端代码还是后端代码， 都可以享受 AI 带来的智能提示。

如果你的电脑 GPU 算力充足， 还可以把这个配置分享内网的小伙伴， 一起分享 AI 带来的便利。

总结

本地运行的优势就不依赖互联网网络， 几乎没有什么网络延时， 也不需要注册什么账户之类的操作， 没有任何敏感代码泄漏的风险。 主要是显卡的负载，CPU 负载不高， 所以也几乎感觉不到卡顿。