可以用无限制模型吗?
可以用无限制模型吗?
理想条件下,能用本地模型当然最好,但前提是硬件跑得动,而且不能太慢。否则硬件成本拿来订阅顶级模型都能用很久了
羡慕了,显存表示不允许
大佬电脑什么配置跑的本地?Qwen3.6-31B 是目前最新的吗
是 Qwen3.6-35B-A3B-16bit,速度有 65tok/s 了。我查了下,和 A3B 模式有关,就是说虽然是 35B 的模型,但是每次只调用 3B 的参数,所以可以跑得飞快。试了下 Qwen3.6-27B-8bit,也只有 15tok/s,gemma4-31B-8bit 也是这个 15 的速度。
我的机器是 MacBook pro M5 max 128G 的
win 版本就有那个厂家能弄个统一内存的电脑嘛,有大佬试过嘛。
ge4-31b 的本地轻量工作也没问题
是的,qwen3.5 27B 的时候就大概这种感觉了