本地大模型真的堪用了

david2150

14 条回复

293 次浏览

用本地大模型 Qwen3.6-31B，给 vs code 里启动的 Claude code 用，搞些文本的活，在 cc 的调度下，活干的不错了，真爽

❤️1

#AI编程

#本地大模型

tassel

是的，qwen3.5 27B 的时候就大概这种感觉了

vvv

可以用无限制模型吗？

Aurora

理想条件下，能用本地模型当然最好，但前提是硬件跑得动，而且不能太慢。否则硬件成本拿来订阅顶级模型都能用很久了

wink

羡慕了，显存表示不允许

YEQIU

大佬电脑什么配置跑的本地？Qwen3.6-31B 是目前最新的吗

david2150

是 Qwen3.6-35B-A3B-16bit，速度有 65tok/s 了。我查了下，和 A3B 模式有关，就是说虽然是 35B 的模型，但是每次只调用 3B 的参数，所以可以跑得飞快。试了下 Qwen3.6-27B-8bit，也只有 15tok/s，gemma4-31B-8bit 也是这个 15 的速度。
我的机器是 MacBook pro M5 max 128G 的