之前使用 deepseek qwen 在超迷你模型（ 32b 以下）上写小说，基本驴唇不对马嘴。
这次的谷歌的模型确实牛逼了。
本地部署未审查版本，简直就是写文利器
1050ti：
这次的谷歌的模型确实牛逼了。
本地部署未审查版本，简直就是写文利器
1050ti：
 |
1
oreader996 20 小时 1 分钟前
体验了下 e4b 还行
|
 |
2
andyskaura OP @oreader996 不能和全尺寸的比，横向对比真的厉害，感觉这算是大模型真正走进本地电脑了
|
 |
3
Shaar 19 小时 52 分钟前
这玩意驱动龙虾够不够用
|
|
4
andyskaura OP @Shaar 不够用。太慢 太笨
|
 |
5
changnet 19 小时 40 分钟前
放一段出来看看是啥样的？我以前试过 30B 左右的本地部署写文章基本没法看
不过就小说而言，我觉得线上的模型写出来的也没法看的，明显不是一个正常人的逻辑思维，用词修饰这些都不行。要是写个短篇再人工改改还行 |
|
6
andyskaura OP  1
这个我有经验，做个生成器，
 如果要写长篇小说，要和人写一样，先做好提纲，写好角色性格，矛盾。再一次性生成完章节标题和大纲，再根据大纲扩写单个章节。 |
|
7
andyskaura OP @changnet 忘了 @
|
 |
8
tf2 19 小时 6 分钟前
我 1060 6G 能跑不
|
 |
9
Brightt 18 小时 58 分钟前
能写黄文不
|
 |
10
kooze 18 小时 55 分钟前
4090 24G 26b 的好快
|
|
12
andyskaura OP 1
@tf2 可以 我在公司用 1050ti 4g 做的测试
|
|
13
andyskaura OP @Brightt #9 自己部署未审查版本
|
 |
14
lemonda 18 小时 38 分钟前
试试可不可以从不规则的文本文件，比如使用 tab 上下对应的文本文件中提取出正确的信息。比如：
username example username dataname extname example1 example2 example3 |
 |
17
pxiphx891 16 小时 57 分钟前
未审查版本从哪里下载？
|
 |
18
villivateur 15 小时 56 分钟前
e4b 不是需要 12G 左右才能跑吗？ 4G 显存是怎么实现的？
|
|
20
changnet 15 小时 11 分钟前
@villivateur 这东西内存也可以跑，无非就是速度慢些。用 mac 来跑就是钻这个空子。常用的工具比如 LM studio 之类的都可以配置显存和内存的比例
|
 |
21
Tiger1994 15 小时 8 分钟前
笔记本显卡 R760M 能跑吗
|
|
22
andyskaura OP |
|
23
andyskaura OP @villivateur 我跑的 q4 量化
|
|
24
villivateur 14 小时 31 分钟前
@andyskaura 就是 Q4 量化呀，我试了下，128K context ，需要 16G 左右的显存
|
 |
25
burp2019 14 小时 27 分钟前
楼主哪里能看到成品，最近经常刷到 AI 小说，生成的动画
|
|
26
andyskaura OP @villivateur #24 那我就不清楚了 我没有指定 context ，不过你这 128K 也许设太大了
|
 |
28
BD8NCF 9 小时 11 分钟前
感谢楼主。
下午在 1050Ti 上跑了一下，发现还可以。只是速度有点慢。 |
 |
29
iango 8 小时 55 分钟前
@villivateur 对于 16G 显存 128K context 太大了，从 4K 开始测试，一点点往上拉。
|
Select Language