我写过 kaiwu(一个本地模型部署器),结果发现——用 Local LLM 做开发的朋友,多得超出想象。
大家不断提需求:上下文压缩、Think 模式开关、联网搜索、工具调用……
可这些根本不是 Ollama 或 LM Studio 的事!
它们只负责把模型跑起来,至于“怎么让模型变聪明”——那是 Cursor 、Codex 、Hermes 的事。
但大厂们在干嘛?
它们不会花精力优化本地小模型。
因为本地跑得爽,谁还买它们的 API ?
更别提那堵墙了——
国内网络时断时续,任务跑到一半断连,体验像吃苍蝇。
想用 Claude ?得找中转、买注水账号、被收割、还被鄙视。
但墙能拦住资本,拦不住人民。
国际共产主义精神,就体现在一行行开源代码里。
部署难、速度慢、硬件要求高这些,我之前的 kaiwu + LM + Turbo 能解决。
今天我们不聊这些,就聊怎么让 8B 模型跑出 Opus 的体验。
核心理念:
LLM 只负责当“接线员”,真正干活的是确定性专家——
不依赖模型“啥都懂”,而是让模型只做一件极小、极明确的事。
不让 LLM 瞎决策,用固定流程 → SWE-bench 上通过率最高,成本最低。
我设计的流程( KWCode ): 用户输入 └─► Gate (毫秒级分类) └─► Locator (精确定位文件/函数) └─► Generator (只改该改的地方) └─► Verifier (语法 + pytest ,失败重试)
小模型只需要在小窗口里做一件事——失误率暴跌,错误可被当场抓住。
论文 CodeCompass 发现一个反常识事实:
context 越大的模型,反而越容易漏掉架构上关键但语义上遥远的文件——这叫“导航悖论”。
实验数据( FastAPI 真实项目):
| 任务类型 | BM25 | 图遍历 |
|---|---|---|
| 有明确关键词 | 100% | — |
| 可通过 import 链找到 | ~85% | ~85% |
| 完全无关键词的隐藏依赖 | 76.2% | 99.4% 🚀 |
我们的实现:
技术栈:tree-sitter + rank-bm25 + SQLite
零依赖、零 embedding 、零 Docker。
支持:Python · JS · TS · Java · Go · Rust
来自 EE-MCP (NeurIPS 2025) + WLBS 行为图。
预置 12 个专家(通用 7 个 + 中国场景 5 个)。
然后开始飞轮:
3 个月后,你的专属专家池——
Cursor 和 Hermes 永远追不上,因为它们无状态,而你有永久记忆。
专家可以导出、分享形成我们的社区数据资源。
Verifier 连挂 2 次 → 自动触发搜索:
零 API key ,零配置,装完即用。
想更隐私?自己部署 SearXNG ,数据不出网。
| 模块 | 做了什么 |
|---|---|
| 代码定位 | BM25 + AST 调用图,99.4% 命中隐藏依赖 |
| 代码修改 | 只改 patch ,不重写全文,精确匹配 |
| 验证重试 | 语法 + pytest ,失败回滚,失败 2 次开搜索 |
| 项目记忆 | PROJECT.md / EXPERT.md / PATTERN.md 三层分离,按需 BM25 注入 |
| 专家系统 | 12 预置 + 飞轮自生成 + 可分享安装 |
| 中国本地化 | 自动切 ModelScope / 清华镜像 / Bing 搜索 / Windows 原生 |
| 场景 | 其他工具 | KWCode (我们) |
|---|---|---|
| Windows | 逼你装 WSL2 | cmd / PowerShell 原生跑 |
| 模型下载 | HuggingFace 被墙 | 自动切 ModelScope |
| pip 安装 | PyPI 慢死 | 自动切 清华/阿里镜像 |
| 搜索增强 | DDG 被墙 | 自动切 Bing 中文版 |
| 推荐模型 | GPT / Claude (要钱/要梯子) | DeepSeek · Qwen · GLM(国产免费) |
我只有一台 5060 8G 显存 16G 内存小破电脑,硬盘还时好时坏,花钱买 api 一个月三四千。 我想要人人为龙时代,而不是 api 独大时代。 所以我想打造 一个真正属于开源社区、不依赖大厂 API 、不被墙、让 8B 模型也能干翻 Opus 的 Coding Agent 。
我们有论文支撑,有原型代码,有满腔怒火和热血。
现在还缺你——
缺每一个受够了被收割、被歧视、被网络暴力的开发者。
GitHub 仓库近期开放,代码完全开源。
你可以:
国际共产主义精神,从一行开源代码开始。
让大厂去卖 token 吧,我们有自己的工具了。
👉 有没有更好的思路和路径,上述只是我个人研究
👉 后续在本链接发布 github ,欢迎 fork 继续深挖
不要让资本定义“可能”与“不可能”。
我们说了算。
或许很快,8B 模型真能跑赢 OPUS ,所有人都能拥有独属于自己的智能体
要不要先建个群,算了 我社恐 不会维护,有事咱们这个链接聊把
1
KaiWuBOSS OP 回过头来看 这个帖子怎么写得这么煽动。。。
其实我就是一个人能力不够想找专家帮忙一起写这个项目,我已经有个 MVP 这两天把稳定性跑跑就能发仓库了。 |
2
greyfreedom 1h 32m ago via Android
支持大佬
|
5
listenerri 27 mins ago via Android
点赞但不看好
|
6
KaiWuBOSS OP @listenerri 不好做是么?还是实用性不强?
|