DGX Spark 与 MacStudio 怎么选呀

10 条回复
80 次浏览

内容如题,想买一个 AI 设备,小团队就几个人用,目前看了两个设备,DGX Spark 和 MacStudio,计划用于跑大模型,100B 左右的模型这些设备的内存都可以吼得住,但在一些带宽、速率上,不知道这两个设备有没有太大差别。有有经验的大佬指导一下吗?先谢谢大家啦
image.png
image.png

OP

不考虑云,只考虑本地小设备,不考虑买单卡来组装,只考虑一体的主机。

都听我说!

DGX Spark 我选择的这个,现在跑 120b 的模型无压力
这个是 128g cpu 和 gpu 共享,我听说两台机子可以搞 400b 的,只是现在也没有人见过

还是看你需求跑多大的模型,我装的这个模型相当于 4o-mini 的水平

https://2libra.com/post/ai-applications/vc337z0 刚装完,分享下

准备再写一个 openclaw 跟这个配置的文章,目前已经弄好了,通道配置的飞书.

OP

大佬,这个是教程嘛。用起来感觉怎么样呀,和 MacStudio 对比过没有呀。我主要是想着要是 macstudio 不用了还可以干其他的,这个设备要是不用了当个 ARM 的 Linux 服务器感觉用处不大facepalm

都听我说!

@KKCC 这个是 Ubuntu 定制的桌面端, 有桌面端
我也没有对比两个. 也找不到类似的说法,都太贵了,大家都很小心.

我现在这个也是最近趟坑弄好了,目前跑 120b gpt 的没有任何问题

这俩我知道的就是带宽不一样,mac 的 500 多,另外一个 200 多.
fake_sad 不差钱两个都买了,我这个是有人花钱买的..

OP

@diudiuu 你们团队是几个人在使用呀,在一些小型项目上大家一起用的时候速度怎么样。我们团队就是有点缺钱,咸鱼上租了我试了一下 Spark 这个设备,可能因为我一直远程吧,我测试这几天操作体验不太好。我测试的也是 120B,昨天试了一下一个开荒的小型前端项目,我没跑通。你们有实践案例吗?感觉如何,我是在 opencode 里面测试的

都听我说!

@KKCC 我就两个人用,就我使用代码的比较多.

问下你本地模型是怎么搭建的,如果是用 Ollama ,换成我帖子那种方式,Ollama 这个机子搭建本地模型太烂了,我试过上 70b 甚至 8b 的都卡的要死.

OP

@diudiuu 直接官网 ollama 安装的话,跑不在 GPU 上,我也是踩了一圈坑,最后用了 nvidia 官方推荐的方式搞的。暂时不搞了,我们是租了两天进行测试。还没有买设备,现在想知道这个设备对比 macstudio 怎么样,还不知道买哪个好一点,要是有钱就冲卡了facepalm

都听我说!

不差钱的话,全都买啊。mac studio m3 ultra 要是不搞 512g mem ,意义不大,顶配要 10w ,比 dgx spark 贵太多了。如果预算有限,就 dgx spark 咯?反正现在小模型的智能密度很高了。你要专业性和准确性的话,用 rag 提升,当前 ocr 和 rerank 都发展的不错了。

mac studio m3 ultra 可以串起来,组一个 1T mem 的组合 跑 671B 的 deepseek 。不差钱儿的话,这个肯定更好。

转一下 有个老哥回复的

发表一个评论

R保持