V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  pengzhizhuo  ›  全部回复第 1 页 / 共 4 页
回复总数  64
1  2  3  4  
这个咋样?

(base) PS E:\kaiwu-windows-amd64> .\kaiwu.exe run Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-Q4_K_M.gguf

██╗ ██╗ █████╗ ██╗██╗ ██╗██╗ ██╗
██║ ██╔╝██╔══██╗██║██║ ██║██║ ██║
█████╔╝ ███████║██║██║ █╗ ██║██║ ██║
██╔═██╗ ██╔══██║██║██║███╗██║██║ ██║
██║ ██╗██║ ██║██║╚███╔███╔╝╚██████╔╝
╚═╝ ╚═╝╚═╝ ╚═╝╚═╝ ╚══╝╚══╝ ╚═════╝
本地大模型部署器 vv0.1.1 · llama.cpp b8864
by llmbbs.ai · 本地 AI 技术社区

[1/6] Probing hardware...
GPU: NVIDIA GeForce RTX 4060 Laptop GPU (SM89, 8188 MB VRAM, 0 GB/s)
RAM: 63 GB DDR5
OS: windows amd64

[2/6] Selecting configuration...
Model: Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive (moe, 36B total / 1B active)
Quant: Q4_K_M (19.7 GB)
Mode: moe_offload (experts on CPU)
Accel: Flash Attention

[3/6] Checking files...
Using bundled iso3 binary: llama-server-cuda.exe
Binary: llama-server-cuda.exe [cached]
Model: Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-Q4_K_M.gguf [cached]

[4/6] Preflight check...
✓ VRAM sufficient

[5/6] Warmup benchmark...
Probe 1: ctx=256K ... 22.1 tok/s
Tune ubatch: ub=128 → 22.3 tok/s; ub=512 → 20.7 tok/s;
✓ 22.3 tok/s @ 256K ctx
Saved profile: C:\Users\pzz\.kaiwu\profiles\qwen3.6-35b-a3b-uncensored-hauhaucs-aggressive-q4_k_m_sm89_8188mb_ddr5.json
✓ 22.3 tok/s

[6/6] Starting server...
Waiting for llama-server to be ready (port 11434)...
llama-server started (PID 49380, port 11434)
Kaiwu proxy started (port 11435)
2026/04/24 22:03:23 Kaiwu proxy listening on :11435 → llama-server :11434

┌─────────────────────────────────────────────────┐
│ Ready — Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive @ 22.3 tok/s │
│ API: http://127.0.0.1:11435/v1/chat/completions │
│ 模型文件夹: E:\model │
└─────────────────────────────────────────────────┘

运行 kaiwu inject 接入 IDE · Ctrl+C 停止
─ 实时监控 · 空载 ─────────────────── 每 2s 刷新 ─
reuse:1024 · KV:q8_0 · 256K ctx · ub128 · mlock
速度 显存 内存 GPU 温度
— tok/s 5.5/8 GB 47.0/64 GB 2% 58°CC
[..........] [======....] [=======...] [..........] [=====.....]
─────────────────────────────────────────────────────────
上下文 [....................] 0.0K / 256K 余 256.0K

正在停止服务...
✓ llama-server 已停止
✓ Kaiwu proxy 已停止
@Charlie17Li 虽然但是,能搜到你也买不到,比耍猴更耍猴
@Moierby 你这个是什么情况?也是最近被封的吗
@whileFalse 阿里云 2 个 ECS 的龙虾 算 2 个公网 IP ,另外自己电脑在家里和公司都用,也算 2 个不同公网 IP ,就这不知道应该算正常还是不正常
突然被封禁还没有备用的真不方便,这两天试着抢下智谱或者其他的,看能不能抢到。
@visper 龙虾几乎没怎么用,偶尔用下,只是 claude code 用了点,月使用量还不到 10%,5 小时量个周使用量都没超过 20%,是由原来 40 一个月被迫升到 200/月的 pro 。唯一可能是多个终端使用的原因
@linuxtro 没超量,月使用量还不到 10%,估计是多个客户端使用的原因,之前没注意到这个。
@nullyouraise 龙虾只做的助手之类的,整理资料,收集点科技财经新闻等。写代码是在本地电脑上,使用 claude code ,用的百炼的 key 。
@tomcrowley 你猜?
来自站点:bestaigate.top ,我的 id 是:1286
2025 年 2 月 14 日
回复了 ginakira 创建的主题 宽带症候群 北京宽带选哪家?
@JoeSmith 自用的 北京联通 500M 单宽带 50 元/月,按年租,不绑定别的什么乱七八糟的业务,光猫押金 100 元,到时候退的时候 光猫退回 押金 100 元全退回。
2025 年 2 月 14 日
回复了 vanxx 创建的主题 宽带症候群 北京新装联通宽带求指导, FTTR 更便宜
楼主我有 500M 北京联通宽带转租,便宜性价比高,需要的话,可以联系我
2025 年 2 月 14 日
回复了 ginakira 创建的主题 宽带症候群 北京宽带选哪家?
我刚好有个 500M 联通的宽带想转,北京昌平天通苑,楼主有没有兴趣?
2025 年 1 月 2 日
回复了 opscoffeecn 创建的主题 投资 意外得到一笔钱, 100 万,那么问题来了
all in 特斯拉
2025 年 1 月 2 日
回复了 flypei 创建的主题 推广 元旦 T 楼! 送 YouTube Premium + 京东 E 卡 300 元
支持一下!
2024 年 11 月 18 日
回复了 yukunZhan9 创建的主题 问与答 长沙放开异地公积金买房
长沙 21 年买的,弄的商业贷款 可以转公积金贷款么?
2024 年 11 月 11 日
回复了 yalong666 创建的主题 推广 [¥抽奖¥] 过年的大呲花我又来了
支持一下
2024 年 8 月 21 日
回复了 chunkingName 创建的主题 问与答 新手求相机推荐,预算 1W 左右,上限 1W5
买 R5 加个 RF 70-200 镜头
2024 年 3 月 2 日
回复了 8eacekeep 创建的主题 Blogger 想看看大家的博客
好久没动了
https://javabk.com/
@shanghai1998 国内各安卓应用市场,我看了下,应该都是 12 月 12 日之前,存量 app 没备案都能正常更新,12 号之后存量 app 也不让更新了
1  2  3  4  
关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   900 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 50ms · UTC 20:14 · PVG 04:14 · LAX 13:14 · JFK 16:14
♥ Do have faith in what you're doing.