catazshadow's recent timeline updates catazshadow's recent timeline updates |
catazshadowV2EX member #399613, joined on 2019-04-08 17:11:05 +08:00Today's activity rank 7018 |
| 诸位 v2er 怎么看超人故事里指责超人的那些人？ 问与答 • catazshadow • Sep 11 |
| 小米 17 把这次西班牙日食 P 成了月食 分享发现 • catazshadow • Aug 16 • Lastly replied by catazshadow | 5 |
| AI 回旋标来了 分享发现 • catazshadow • Jun 12 • Lastly replied by woshishui2022 | 12 |
| 为什么你该停止使用 Ollama
1 Local LLM • catazshadow • Apr 22 • Lastly replied by seakingii
|
14 |
| 疑似被 ban，求解封 水 • catazshadow • May 5 • Lastly replied by catazshadow | 2 |
| 跪求个邀请码 水 • catazshadow • Sep 16, 2025 • Lastly replied by pcy | 2 |
| 再来一个代沟，你们知道保存按钮上为什么是这个图标吗 分享发现 • catazshadow • May 20, 2025 • Lastly replied by sc2yml | 19 |
| 总是有人从 AI 怎么工作反推大脑就是如何如何，人类就是如何如何 分享发现 • catazshadow • May 16, 2025 • Lastly replied by ltux | 175 |
catazshadow's recent replies
22h 53m ago Replied to a topic by sentinelK › Local LLM › 你好 NVFP4： strata-0.1.44.1， qwen3.8-flash-next， rtx pro 5000 48GB + 64GB RAM， decode 130t/s， prefill2600 t/s |
"--conversation-cache-mib",
这个现在多卡也能用了
这个现在多卡也能用了
1 day ago Replied to a topic by d5n › 程序员 › 打开 v2ex，第一页话题全部都是跟 AI 有关的，完全没有其他主题了 |
AI 讨论也不是技术讨论，全是发表感想。用 AI 也没什么技术，说话本身也没什么可讨论的
1 day ago Replied to a topic by sentinelK › Local LLM › 你好 NVFP4： strata-0.1.44.1， qwen3.8-flash-next， rtx pro 5000 48GB + 64GB RAM， decode 130t/s， prefill2600 t/s |
@sentinelK 注意力漂移呢，会不会少点
1 day ago Replied to a topic by sentinelK › Local LLM › 你好 NVFP4： strata-0.1.44.1， qwen3.8-flash-next， rtx pro 5000 48GB + 64GB RAM， decode 130t/s， prefill2600 t/s |
@flkaylor19 我用 opencode ，iq3 倒是没见过循环
1 day ago Replied to a topic by sentinelK › Local LLM › 你好 NVFP4： strata-0.1.44.1， qwen3.8-flash-next， rtx pro 5000 48GB + 64GB RAM， decode 130t/s， prefill2600 t/s |
这个跟 IQ3 比会明显更聪明吗
2 days ago Replied to a topic by dualface › 程序员 › 8 月 1 号到现在，我完成了接近 2000 个开发任务，放到以前简直不敢想象 |
Fresh AI slop
4 days ago Replied to a topic by YanSeven › 职场话题 › llm 时代，架构师和普通大头兵的在专业上的区别在哪 |
区别在知识和经验上，终于是时候意识到知识也是有价值的了
把 35 岁及以上人员通通开除就是对这些人随身携带的知识和经验的彻头彻尾的蔑视，这些短视、愚蠢、不够格的管理层是时候出来认错了
把 35 岁及以上人员通通开除就是对这些人随身携带的知识和经验的彻头彻尾的蔑视，这些短视、愚蠢、不够格的管理层是时候出来认错了
4 days ago Replied to a topic by sentinelK › Local LLM › strata 极致优化指南（参数篇）64GB RAM + RTX pro 5000 48GB， IQ3_XXS 量化， prefill 4500t/s， decode 180t/s 同时缓存 5 个 262k 会话不重新 prefill |
4 days ago Replied to a topic by sentinelK › Local LLM › strata 极致优化指南（参数篇）64GB RAM + RTX pro 5000 48GB， IQ3_XXS 量化， prefill 4500t/s， decode 180t/s 同时缓存 5 个 262k 会话不重新 prefill |
"--prompt-cache",
"32",
"--prompt-cache-every",
"2048",
我就改了这些，不然一两轮就完整 refill 一次
还有如果是多路主板用多 GPU 的话，可以注意一下跨 NUMA 的问题，节省点通信延迟，它这个 pipeline parallelism 的时候的数据流动是按照启动命令行里制定的 GPU 号来的，所以不要整成 NUMA0 -> NUMA1 -> NUMA0 -> NUMA1 了，配置成 NUMA0 -> NUMA0 -> NUMA1 -> NUMA1 更好
"32",
"--prompt-cache-every",
"2048",
我就改了这些，不然一两轮就完整 refill 一次
还有如果是多路主板用多 GPU 的话，可以注意一下跨 NUMA 的问题，节省点通信延迟，它这个 pipeline parallelism 的时候的数据流动是按照启动命令行里制定的 GPU 号来的，所以不要整成 NUMA0 -> NUMA1 -> NUMA0 -> NUMA1 了，配置成 NUMA0 -> NUMA0 -> NUMA1 -> NUMA1 更好
Select Language