本地大模型真的堪用了

14 条回复
290 次浏览

用本地大模型 Qwen3.6-31B,给 vs code 里启动的 Claude code 用,搞些文本的活,在 cc 的调度下,活干的不错了,真爽

都听我说!

理想条件下,能用本地模型当然最好,但前提是硬件跑得动,而且不能太慢。否则硬件成本拿来订阅顶级模型都能用很久了

前排打手

大佬电脑什么配置跑的本地?Qwen3.6-31B 是目前最新的吗

种子用户
OP

是 Qwen3.6-35B-A3B-16bit,速度有 65tok/s 了。我查了下,和 A3B 模式有关,就是说虽然是 35B 的模型,但是每次只调用 3B 的参数,所以可以跑得飞快。试了下 Qwen3.6-27B-8bit,也只有 15tok/s,gemma4-31B-8bit 也是这个 15 的速度。
我的机器是 MacBook pro M5 max 128G 的

种子用户
OP

感觉没有显卡不行,即使显存小点都是必要的。我试过 4G 显存,32G 内存的笔记本,9G 大小的模型,吐字速度也算能用了。反而一台 256G 内存的纯 cpu 机器,慢的怀疑人生

发表一个评论

R保持