DGX Spark 我选择的这个,现在跑 120b 的模型无压力
这个是 128g cpu 和 gpu 共享,我听说两台机子可以搞 400b 的,只是现在也没有人见过
还是看你需求跑多大的模型,我装的这个模型相当于 4o-mini 的水平
https://2libra.com/post/ai-applications/vc337z0 刚装完,分享下
准备再写一个 openclaw 跟这个配置的文章,目前已经弄好了,通道配置的飞书.
DGX Spark 我选择的这个,现在跑 120b 的模型无压力
这个是 128g cpu 和 gpu 共享,我听说两台机子可以搞 400b 的,只是现在也没有人见过
还是看你需求跑多大的模型,我装的这个模型相当于 4o-mini 的水平
https://2libra.com/post/ai-applications/vc337z0 刚装完,分享下
准备再写一个 openclaw 跟这个配置的文章,目前已经弄好了,通道配置的飞书.
大佬,这个是教程嘛。用起来感觉怎么样呀,和 MacStudio 对比过没有呀。我主要是想着要是 macstudio 不用了还可以干其他的,这个设备要是不用了当个 ARM 的 Linux 服务器感觉用处不大
不差钱的话,全都买啊。mac studio m3 ultra 要是不搞 512g mem ,意义不大,顶配要 10w ,比 dgx spark 贵太多了。如果预算有限,就 dgx spark 咯?反正现在小模型的智能密度很高了。你要专业性和准确性的话,用 rag 提升,当前 ocr 和 rerank 都发展的不错了。
mac studio m3 ultra 可以串起来,组一个 1T mem 的组合 跑 671B 的 deepseek 。不差钱儿的话,这个肯定更好。
转一下 有个老哥回复的
我现在用的就是你说的这款 MS, 但是没跑过大模型, 主要是用来开发, 还没跑满过性能.

哇,我刚刚测试跑模型,qwen-code-next,2 并发下,30token/s,和 API 还是没有办法比,不过也确实,价格和性能还是正比的
用 Ollama 跑吗? 我还没本地跑过, 因为我本身也需要很大的内存来工作 😂
蹲一个 mac 上你用 cpp 还是 vllm 跑的, 我现在拿着 spark 发呆,不知道下一步要干啥了.
我跟我朋友现在都陷入了沉思.
@JoeJoeJoe 用的 LM Studio,他里面有苹果专用的 mlx,方便就这样跑了,能用 API 也挺好的,对数据不敏感的,用 API 不折腾
不考虑云,只考虑本地小设备,不考虑买单卡来组装,只考虑一体的主机。