【💰】有没有做过智能体的老哥帮我估一下
我司想建设一个智能体数智员工，文档和用户规模不大，配个什么样的服务器比较合适？
我上家公司之前好像是买了一台联想的服务器，配了两张显卡，效果一般。我目前用一台台式机装了相关工具，dify ollama 等等做了最小验证
金币池
💰 208 金币
金币会随着回复数量动态增加，首次回复有概率获得金币池中部分金币奖励。
硬件这个还是联系专业的人员吧
放弃自己配服务器，买云厂商的智能体应用服务
OP
领导一直想买一台服务器，觉得把数据放在本地更安全
配置应该更看重大模型吧？
如果靠远端的大模型，硬件只会有一些存储成本，计算量很小。
OP
那这样的话本地 4090 应该够吧
这种企业化需求估计很难有人愿意分享，企业化的服务最吃的就是经验，经验是精力和金钱堆出来的
感觉还是先自己试试再看
我们买了一张 5070T,现在用着还行。
智能体接 API，做好冗余
不要本地推理
本地搞难出好效果。
尤其是看到你说 4090，实际上拿 5090 来了也就那样
公司想搞的话，看看 A 和 V 吧
OP
其实我也觉得现在效果不会好，但领导不懂，一心想要数据在本地
这种没办法，只能做个 demo 让他自己看
我是来学习大佬经验的
同意楼上, 消费级显卡 (Nvidia X0X0) 也就自己一个人当玩具用用还行, 公司用的话, 还是想办法加钱吧.
或者试试顶配 Mac Studio 串联?
OP
之前也跟他提过自己买服务器效果有限，比现在验证用的台式机要好，但肯定达不到商用那么好。现在最大的风险其实是这领导不懂技术，也比较固执......
遭重啊这
自己搭不如用现成的云吧
老板想要的话，直接上最高配，否则到时候出问题了你说不定还得背锅
本地部署多跑几个人访问就卡得一批，租用显卡放云服务器最合适
OP
我也觉得可以劝劝领导，虽然他大概率听不进去
本地部署不太行 尤其现在参数越来越大
GRDGuardian
我司想建设一个智能体数智员工
会不会搞出来你就要被替代了
OP
直接把我蒸馏
10w 可能都打不住吧，内存条和存储就够一壶了
用现成的解决方案
买一体机，让他们把这个数字员工给做了
充钱吧 能解决一切问题
直接买服务吧
自己运行一个 DeepSeek V4 Flash 级别的大模型大概需要 200G 左右的显存，最便宜的方案是 4 个 48G 的 4090。我不是很确定 4090 跑 DeepSeek V4 Flash 会不会有数据格式上的问题，但如果有问题的话可以选择 DeepSeek V4 Flash W4A*的版本，精度损失比较小，基本是可用的。问题是 48G 的 4090 目前市场上比较少，不一定能找到。如果没货，替代方案是一台 8 卡 5090 的机器。这两种方案都要花大概 30-50 万。还可以买二手的 910B4，应该不会超过 70 万。这些是 5 月底的价格，不知道最近涨价没有。我们是专门给客户提供各种形式的正规的大模型服务的，有需要可以找我们。
OP
谢谢解答，这事儿我得跟领导好好说说
蒸馏一下员工
发表一个评论
R保持
这个我不擅长，楼下的大佬来给解决下