V2EX › siriussilen 的所有回复 › 第 4 页 / 共 20 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3 4 5 6 7 8 9 10 ... 20

❮

❯

2024-01-20 16:16:47 +08:00

回复了 yuyue001 创建的主题 › Local LLM › 有人（个人）自己使用开源的 LLM 大模型吗？

说到 step by step ，有一个 Orca2 的工作，他们对任务的划分不仅仅是 step by step, 还有 direct answer ，recall then generate 等等

2024-01-19 20:57:01 +08:00

回复了 yuyue001 创建的主题 › Local LLM › 有人（个人）自己使用开源的 LLM 大模型吗？

@Azure99 我不认为是 cot 有问题，我认为是 sft 的数据配比及多样性有问题，导致在下面 case 中
“inst：请判断下面的评论是好评还是差评，好评输出 true ，差评输出 false 。评论：真难看，不推荐购买
output1："真难看，不推荐购买"有明显的消极观点，因此是差评，所以，输出 false 。
output2：false”
模型丧失了指令遵循的能力

2024-01-19 19:46:33 +08:00

回复了 yuyue001 创建的主题 › Local LLM › 有人（个人）自己使用开源的 LLM 大模型吗？

@Azure99 为什么用大量 cot 数据会导致直接输出的任务很差啊？如何定义“直接输出任务”吗？ QA 问答么？

2024-01-19 18:41:44 +08:00

回复了 yuyue001 创建的主题 › Local LLM › 有人（个人）自己使用开源的 LLM 大模型吗？

@Azure99 基于 yi sft 的吗？这个微调 llm 有足够 solid 的评估吗？

2024-01-16 17:21:29 +08:00

回复了 shubiao 创建的主题 › 问与答 › 怎么把大模型微调成文本分类模型?

另 gpt3.5 论文细节是是一个 20B 的通用模型，所以用领域数据精调后打败了 3.5 没什么感到牛逼的 - -

2024-01-16 17:19:25 +08:00

回复了 shubiao 创建的主题 › 问与答 › 怎么把大模型微调成文本分类模型?

@shubiao Lora 我没做过我不了解，我是做全参数微调，几百条就够了，别轻视大模型的拟合能力，另外几百条数据这个点，也可以参考一下 OpenAI 的文档，主要是一些边界 Case 的处理很关键

2024-01-16 14:03:06 +08:00

回复了 shubiao 创建的主题 › 问与答 › 怎么把大模型微调成文本分类模型?

1. 你的这批数据及 prompt ，gpt4 能做到多少分？ gpt4 能否完成你的任务？
2. 5000 条业务数据太多了，模型很容易丧失通用能力，俗称变傻了，混一点通用样本，有奇效
3. 因为你的任务是一个判别式的任务，最后一层输出 token 的 softmax 可以拿掉，或者加一个约束惩罚，看看你的常用类别比如“购物”tokenlizer 之后是不是唯一一个，如果是的话，可以只让模型输出第一个首 token 的概率，把任务转化成判别式的任务，也能涨点

2024-01-16 13:56:15 +08:00

回复了 shubiao 创建的主题 › 问与答 › 怎么把大模型微调成文本分类模型?

@Morriaty 都已经做微调了，还能是 few shot instruct ？

2024-01-03 16:31:36 +08:00

回复了 surbomfla 创建的主题 › 投资 › 一百万如何进行简单的理财

@lkkl007 汇率转换的风险远高于 5%

2023-12-25 13:00:59 +08:00

回复了 Contextualist 创建的主题 › OpenAI › LLM 综述：猫娘 Mixtral 与近半年 LLM 进展的杂谈

> 一个采用了 2 个角色扮演、2 个对话、1 个神秘学、1 个故事写作、1 个数学和 1 个 DPO 这八个不同的小模型作为专家模型。

预训练和精调是两码事儿啊

2023-12-18 10:34:57 +08:00

回复了 standchan 创建的主题 › 程序员 › 关于我一直以为家里 ip 虽然不是固定，但应该也是独享这件事

@Northxw 北京联通 300 一个月，外加海外 ip 路由 9929 ，cloudflare ping 53ms
1.1.1.1 路由走广州 9929 -> 香港 CUG 落地

2023-12-14 11:39:00 +08:00

回复了 cat9life 创建的主题 › OpenAI › 使用自己的数据训练 ChatGPT

@cat9life
1. 如果使用 open platform 的 sft 平台的话，先看一下 open ai 的官方指南，上面明确说了应该用多少数据来做 sft 比较好 https://platform.openai.com/docs/guides/fine-tuning/fine-tuning
如果效果不佳，或者效果不错应该如何处理
2. 语气的安利 sft 在微软的 azure sft 教程里面有提到，https://learn.microsoft.com/zh-cn/azure/ai-services/openai/tutorials/fine-tune?tabs=python%2Ccommand-line （刚刚看好像更新没有了，可能还得翻翻）当时的结论就是说不需要 input ，只需要在 target 侧准备你的语气相关语料即可，可以先用小部分数据试试
3. 在 sft 之前，先写好 prompt ，看看用 prompt 或者几个 few-shot 例子看能能否搞定这个问题

2023-12-14 10:01:45 +08:00

回复了 cat9life 创建的主题 › OpenAI › 使用自己的数据训练 ChatGPT

其他开源的模型 qwen 等不保证，差距还是比较明显

2023-12-14 10:01:28 +08:00

回复了 cat9life 创建的主题 › OpenAI › 使用自己的数据训练 ChatGPT

或者你也可以尝试一下 icl ，给几个 few-shot ，如果使用 gpt4 模型很容易学到这一类的信息

2023-12-14 09:58:45 +08:00

回复了 cat9life 创建的主题 › OpenAI › 使用自己的数据训练 ChatGPT

说话方式模仿到位的话，fine-tune 可以实现，sft 有两个部分，一个是 input ，一个是 target ，对于语气 sft ，可以 input 为空
，target 只有内容，这个你可以参考一下微软的资料。另外小心实验参数设置，epoch 多的话，模型很容易变傻

2023-12-12 14:21:44 +08:00

回复了 foursevenlove 创建的主题 › 职场话题 › 24 应届生 offer 选择，美团 or 华为，请各位帮忙分析

我是美团的，别来美团