DGX Spark 与 MacStudio 怎么选呀

22 条回复
122 次浏览

内容如题,想买一个 AI 设备,小团队就几个人用,目前看了两个设备,DGX Spark 和 MacStudio,计划用于跑大模型,100B 左右的模型这些设备的内存都可以吼得住,但在一些带宽、速率上,不知道这两个设备有没有太大差别。有有经验的大佬指导一下吗?先谢谢大家啦
image.png
image.png

OP

不考虑云,只考虑本地小设备,不考虑买单卡来组装,只考虑一体的主机。

都听我说!

DGX Spark 我选择的这个,现在跑 120b 的模型无压力
这个是 128g cpu 和 gpu 共享,我听说两台机子可以搞 400b 的,只是现在也没有人见过

还是看你需求跑多大的模型,我装的这个模型相当于 4o-mini 的水平

https://2libra.com/post/ai-applications/vc337z0 刚装完,分享下

准备再写一个 openclaw 跟这个配置的文章,目前已经弄好了,通道配置的飞书.

OP

大佬,这个是教程嘛。用起来感觉怎么样呀,和 MacStudio 对比过没有呀。我主要是想着要是 macstudio 不用了还可以干其他的,这个设备要是不用了当个 ARM 的 Linux 服务器感觉用处不大facepalm

都听我说!

@KKCC 这个是 Ubuntu 定制的桌面端, 有桌面端
我也没有对比两个. 也找不到类似的说法,都太贵了,大家都很小心.

我现在这个也是最近趟坑弄好了,目前跑 120b gpt 的没有任何问题

这俩我知道的就是带宽不一样,mac 的 500 多,另外一个 200 多.
fake_sad 不差钱两个都买了,我这个是有人花钱买的..

OP

@diudiuu 你们团队是几个人在使用呀,在一些小型项目上大家一起用的时候速度怎么样。我们团队就是有点缺钱,咸鱼上租了我试了一下 Spark 这个设备,可能因为我一直远程吧,我测试这几天操作体验不太好。我测试的也是 120B,昨天试了一下一个开荒的小型前端项目,我没跑通。你们有实践案例吗?感觉如何,我是在 opencode 里面测试的

都听我说!

@KKCC 我就两个人用,就我使用代码的比较多.

问下你本地模型是怎么搭建的,如果是用 Ollama ,换成我帖子那种方式,Ollama 这个机子搭建本地模型太烂了,我试过上 70b 甚至 8b 的都卡的要死.

OP

@diudiuu 直接官网 ollama 安装的话,跑不在 GPU 上,我也是踩了一圈坑,最后用了 nvidia 官方推荐的方式搞的。暂时不搞了,我们是租了两天进行测试。还没有买设备,现在想知道这个设备对比 macstudio 怎么样,还不知道买哪个好一点,要是有钱就冲卡了facepalm

马上来

@KKCC 我用过 mac studio 512gb 的版本,LLM Studio 启动串行执行效果还可以(用 mlx-community/minimax-m2.1-8bit-gs32),速度可以达到 40-80token/s,跑 opencode 的实际体验还是和 opencode 官方的 minimax free zen 差很多,主要是速度上慢,调用本地执行的时间至少是 api 的三倍。生成的 code 理论上是一样的,只是 gpu 限制了执行速度。

OP

@cca23187 差不多,我今天也测试了,我测试下来 qwen-code-next,2 并发,差不多 30token/s😂

都听我说!

不差钱的话,全都买啊。mac studio m3 ultra 要是不搞 512g mem ,意义不大,顶配要 10w ,比 dgx spark 贵太多了。如果预算有限,就 dgx spark 咯?反正现在小模型的智能密度很高了。你要专业性和准确性的话,用 rag 提升,当前 ocr 和 rerank 都发展的不错了。

mac studio m3 ultra 可以串起来,组一个 1T mem 的组合 跑 671B 的 deepseek 。不差钱儿的话,这个肯定更好。

转一下 有个老哥回复的

马上来

实际也只是跑起来,生产不可用,14t/s 的速度需要等太久(0528-8bit)

OP

是的,感觉支撑生产还是不够,钱和性能还是正比关系

前排打手
Guardian

我现在用的就是你说的这款 MS, 但是没跑过大模型, 主要是用来开发, 还没跑满过性能.

image

OP

哇,我刚刚测试跑模型,qwen-code-next,2 并发下,30token/s,和 API 还是没有办法比,不过也确实,价格和性能还是正比的

前排打手
Guardian

用 Ollama 跑吗? 我还没本地跑过, 因为我本身也需要很大的内存来工作 😂

都听我说!

蹲一个 mac 上你用 cpp 还是 vllm 跑的, 我现在拿着 spark 发呆,不知道下一步要干啥了.
我跟我朋友现在都陷入了沉思.

OP

@JoeJoeJoe 用的 LM Studio,他里面有苹果专用的 mlx,方便就这样跑了,能用 API 也挺好的,对数据不敏感的,用 API 不折腾

OP

@diudiuu mac 上用的 LM Studio 跑的,他里面内置有 mlx,方便。兄弟已经买了 spark 吗?买了就部模型用吧,不管使用 ollama 还是 vllm,我看 Spark 桌面就有 NVIDIA 提供的教程网页,跟着弄就完事了,可以多尝试几个模型。

发表一个评论

R保持