最近搭了个 baichuan-inc/Baichuan2 ,想要自己喂一个模型出来,写点风格化的东西。
搭建环节凭借自己较为熟练的 python 使用经验和服务器运维入门的水平很顺利的完成了。但是如何去微调训练模型完全没有思路,不知道如何下手。各种名词只能一个个去搜,有没有过来人能指点一下学习路线。🙏
1
TimePPT 344 天前 via Android
试试 lora
|
2
NoOneNoBody 344 天前
这个已经是深度学习的概念了,机器学习只是“分类和归类”
首先,上一台强劲的硬件机器,CPU 和显卡(GPU)要跟上 …… 后面搜文章,哈哈(苦笑,机器买不起,我还没走到这步) 机器学习硬件需求低一些,我用 12700 核显玩这个 |
3
lingeo OP @NoOneNoBody 文章我已经抓了大概 600 篇左右,硬件的话目前是 2080ti 22G + 13600kf 。
|
4
tothegump 338 天前
可能我也了解过一丢丢机器学习吧……
我先看了李航的《统计学习方法》,个人感觉非常好的一本书,可我是个码农,感觉跟代码对应不起来,又看了一点《机器学习实战》,依然没有感觉 (凑合着理解了半点点) 再往后,大模型出来后,又乱七八糟的学了一点点 买了课比较贵,就不推荐了……(不是课不好,是我没有时间看 尴尬.jpg ) 极客时间的几个专栏比较不错,在我收藏夹里的灰也比较厚了 个人感觉使用 colab 搞几个 sd 模型比较好玩,可以快速给自己正反馈,也确实比较好玩(去 c 站看看😁) |
5
tothegump 338 天前
对了,感觉前面学的跟后面大模型完全没关系,可以不去看那么多
|
6
jack139 328 天前
|
7
mingge2333 310 天前
@tothegump 找到学习路线了没,我也是相同电脑配置, 目前 B 站学习, 同感觉没必要学太多, 只想根据自己的数据集训练特定数据
|