Azure99's recent timeline updates
Azure99

Azure99

V2EX member #296249, joined on 2018-03-03 18:28:27 +08:00
Per Azure99's settings, the topics list is hidden
Deals info, including closed deals, is not hidden
Azure99's recent replies
1 day ago
Replied to a topic by yunshangzhou 程序员 关于 Loop Engineering 的实践与反思
任务的设计并不只是"玩玩提示词",像#6 提到的,如果不在任务中定义清楚偏好和边界(比如 日抛脚本/自用小项目/大型原型/线上老屎山),让 Agent 按自己理解发挥,做重了/做简单了,都是很正常的。
功能验证也一样,Agent 静态改代码/跑跑单测和 lint/端到端验证,可靠性完全不一样。所谓 Harness 搭的完善程度,也直接决定了 Agent 能把产出验证到什么程度。假设你让人( Agent )来改 css ,但是不给浏览器( playwright+截图)、只能对着代码瞪眼,不是一样完成不好么?
未必,今天我用了两年的号也被封了,pro20x 、美区 google play 正价订阅。甚至我都没用过重置次数
@saySilence Harness 还是需要人来设计或者赋权的哦,特别是验收相关的。如果没有提供端到端的验收方法,仅仅依赖单测,即使是人也没办法真正验证任务是否完成。
如果你开发 Web 应用,那么可以让他在验收时把整个项目启动,然后用 playwright-cli 做交互式的验收;如果是前端变更,可以配合截图、不同分辨率/dpi ,甚至对着 UE 稿做视觉验收。
同样的,如果是 Android 应用,那就给他 emulator 和 adb ,让它安装,自己对着去测试。
等等,重点是要给 Agent 能端到端验收的方法。
@saySilence 子 agent 可以用,但主 agent 一定要用最好的(建议 codex + gpt5.5 xhigh ),不然非常容易失控,而且主 agent 只是负责整体调度,成本还好。
RAID 是冗余,是高可用方案,不是备份。即使你用 raid1 ,也要定期备份。
安利一下自己用了很久的方案,强推 backrest ,再结合 openlist 挂载网盘,可以低成本做到增量加密备份。
https://www.rainng.com/backrest-openlist-backup/
Dec 2, 2024
Replied to a topic by fid Local LLM 8x4090 离线部署 Qwen2.5 求助
lmdeploy≈sglang>vllm ,个人偏好是这样
Jul 30, 2024
Replied to a topic by Azure99 Local LLM 分享一下自己训练的大模型
@japhetJiu 你说的这些主要是用于部署推理服务,并通过 RAG 框架调用。KoboldCPP (推理框架)、HF 的模型(模型权重 通常是对齐后的模型,一般带有 Chat 或者 Instruct 字眼)、AnythingLLM ( RAG 框架)。

如果希望训练自己的模型(假设你是做微调,就是让预训练模型从只会续写文本变得"会说人话"),应该找一个训练框架,比如 ms swift 、llama factory 、xtuner ;再去 HF 下载预训练模型(没有经过对齐的 通常带有 Base 字眼,或者没有 Chat 等字眼);并且找一些数据集进行微调。上面列举的框架基本都有简单教程和数据集,当然如果你愿意用我的数据集,那就更好了。
建议不要打着分享创造的名义发推广贴(尤其是标题党+商业行为),直接套一个 text2image 能算是创意?
Huggingface 上大把效果不错的模型,用心找一个好点的不行么。
放个之前搞的 demo ,https://huggingface.co/spaces/Azure99/blossom-playground-v2.5 ,没有因为媳妇的一句话就开发,也没有会员订阅,也没有使用限制
![.jpg]( https://s2.loli.net/2024/07/29/NKO6hsUI1CFyMm3.jpg)
Jul 26, 2024
Replied to a topic by shinonome Python 函数的返回建议是 list|[] 还是 list|None 呢
你认为字符串""和 None 语义一样么?很显然是不一样的,""是一个空字符串,而 None 不表示任何数据。
所以 2 楼就是优解,如果它是空的,那么返回空 list ,如果有异常,直接抛出异常。不要返回 None 。
Jul 26, 2024
Replied to a topic by Azure99 Local LLM 分享一下自己训练的大模型
@japhetJiu 第一个问题已经回复过了
对于第二个问题,因为硬件资源的限制,这个 demo 是 4bit 量化后的,精度下降比较严重。
可以用 HF 上的 demo https://huggingface.co/spaces/Azure99/Blossom-34B-Demo ,不量化太狠是非常容易解决这个问题的。
https://imgur.com/qDdfX18
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3604 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 15ms · UTC 04:56 · PVG 12:56 · LAX 21:56 · JFK 00:56
♥ Do have faith in what you're doing.