DGX Spark 我选择的这个,现在跑 120b 的模型无压力
这个是 128g cpu 和 gpu 共享,我听说两台机子可以搞 400b 的,只是现在也没有人见过
还是看你需求跑多大的模型,我装的这个模型相当于 4o-mini 的水平
https://2libra.com/post/ai-applications/vc337z0 刚装完,分享下
准备再写一个 openclaw 跟这个配置的文章,目前已经弄好了,通道配置的飞书.
OP
大佬，这个是教程嘛。用起来感觉怎么样呀，和 MacStudio 对比过没有呀。我主要是想着要是 macstudio 不用了还可以干其他的，这个设备要是不用了当个 ARM 的 Linux 服务器感觉用处不大
展开 7 条评论
不差钱的话，全都买啊。mac studio m3 ultra 要是不搞 512g mem ，意义不大，顶配要 10w ，比 dgx spark 贵太多了。如果预算有限，就 dgx spark 咯？反正现在小模型的智能密度很高了。你要专业性和准确性的话，用 rag 提升，当前 ocr 和 rerank 都发展的不错了。
mac studio m3 ultra 可以串起来，组一个 1T mem 的组合 跑 671B 的 deepseek 。不差钱儿的话，这个肯定更好。
转一下 有个老哥回复的
GRDGuardian
昨晚上刚好想装 ollama, 然后就装了几个大模型测试了一下速率, 感觉一般.
发表一个评论
R保持
不考虑云，只考虑本地小设备，不考虑买单卡来组装，只考虑一体的主机。