OP
Guardian
哈哈哈 估计节点 ip 不好, 得换个干净点的.
Guardian
Imgur 链接打不开，你就用这个 https://2libra.com/post/browser-extensions/vKwLJtE
OP
Guardian
写了 10000 字左右, 耗费了 24w token 触发了 504, 等了几分钟, 现在又开始了, 哈哈哈哈.
nvidia 实测大善人!
我的热榜站就是全部用的 nvidia 的，每天消耗几十亿 token，哈哈哈。他这个每天晚上 12 点半左右开始速度是最快的，白天速度就会降下来
你只要 rpm 控制在 40 左右，应该就没问题，出现 504 一般是白天高峰期原因，不是你消耗量或者速率问题
OP
Guardian
我这个请求的应该是很慢, 哈哈哈哈. 真大善人!!!
目前的话，这几个模型可以换着试一试，看哪个效果好
想知道这种连续的长上下文是通过什么方式可以弄
摘要+检索，拙见
每次给他发已经完成的内容的大概总结，是这意思吧
@tgmeng-com 是的，大差不差
OP
Guardian
目前的大模型基本都是 128k 的输入, 也就是能看到十几万个字的上下文.
所以一章我限制了 3000 字左右, 每次会调用前两章的内容, 保持上下文连贯.
还有一个大纲用来全局记忆, 还有一些其他的 AI 角色负责评审啥的, 但是目前还不是很顺利, 还是会出现一些幻觉之类的.
正在参考 clawdbot 的实现, 但是感觉 clawdbot 的实现也会出现长上下文吃记忆的现象, 正在想办法处理掉.
大概就是下面这么个流程:
图 1 里面各个 ai 角色，是按顺序，对上一个 ai 角色输出的结果再处理一下，是这样吗
OP
Guardian
@tgmeng-com 不是 大概是按照下面的那个详情图上方的顺序 就是一个来回反馈的机制.
但是目前调试的还不太好, 估计得删掉几个角色, 还在优化
我现在热榜站比较痛苦的一个点就是，想做全天的日报总结，但是每天全网的热点有四五万条，上下文塞不下，所以目前就是针对各个分类下的热点分别做总结。比如科技分类 5000 条热点，总结一篇文章，财经分类 6000 条热点，总结一篇文章。没法一次性做全网综合总结。
如果第一次先按各个分类总结十篇文章，再用 ai 对这十篇文章做一次总结的话，我担心他会出现丢失某些重要信息的情况，比如多分类同时出现这种问题。
OP
Guardian
OP
Guardian
@tgmeng-com 刚看到 deepseek v4, 网传 1M 上下文, 可以期待一下.
@JoeJoeJoe 1 是他要真的支持真的百万
2 是在支持百万的情况下，对 json 的支持要足够好
3 是大善人老黄要部署他
OP
Guardian
@tgmeng-com 开源应该没啥问题, 大善人都会跟进的.
英伟达虽然慢点，但是免费还要啥自行车呢
Guardian
写得好的话，可以开始在 2 站连载了
发表一个评论
R保持
图片破了。。。