OP
GRDGuardian
哈哈哈 估计节点 ip 不好, 得换个干净点的.
GRDGuardian
Imgur 链接打不开，你就用这个 https://2libra.com/post/browser-extensions/vKwLJtE
OP
GRDGuardian
写了 10000 字左右, 耗费了 24w token 触发了 504, 等了几分钟, 现在又开始了, 哈哈哈哈.
nvidia 实测大善人!
我的热榜站就是全部用的 nvidia 的，每天消耗几十亿 token，哈哈哈。他这个每天晚上 12 点半左右开始速度是最快的，白天速度就会降下来
你只要 rpm 控制在 40 左右，应该就没问题，出现 504 一般是白天高峰期原因，不是你消耗量或者速率问题
OP
GRDGuardian
我这个请求的应该是很慢, 哈哈哈哈. 真大善人!!!
目前的话，这几个模型可以换着试一试，看哪个效果好
想知道这种连续的长上下文是通过什么方式可以弄
摘要+检索，拙见
每次给他发已经完成的内容的大概总结，是这意思吧
展开 1 条评论
OP
GRDGuardian
目前的大模型基本都是 128k 的输入, 也就是能看到十几万个字的上下文.
所以一章我限制了 3000 字左右, 每次会调用前两章的内容, 保持上下文连贯.
还有一个大纲用来全局记忆, 还有一些其他的 AI 角色负责评审啥的, 但是目前还不是很顺利, 还是会出现一些幻觉之类的.
正在参考 clawdbot 的实现, 但是感觉 clawdbot 的实现也会出现长上下文吃记忆的现象, 正在想办法处理掉.
大概就是下面这么个流程:
OP
GRDGuardian
@tgmeng-com 开源应该没啥问题, 大善人都会跟进的.
展开 6 条评论
感谢分享
发表一个评论
R保持
图片破了。。。