【💰】有没有 skill 迭代的评测环境推荐?

17 条回复
84 次浏览

目前是看到了
https://github.com/anthropics/skills/tree/main/skills/skill-creator
https://github.com/alibaba/skill-up
https://github.com/microsoft/waza

我的想法是

image

然后让 agent 写了一版评测环境,但是太复杂了,很多 agent 人格/判定程序/测试用例,看不懂。而且测试用例包含 试卷+答案,不限制 sub-agent 权限的话直接就透题了。

问问大家意见。

金币池
💰 795 金币

金币会随着回复数量动态增加,首次回复有概率获得金币池中部分金币奖励。

幸运儿

讨论具体的评测任务吧,不然太宽泛了。你可以大致看懂每个模块的功能,先跑起来,再看看要怎么改。

种子用户
OP

先定义测试集,一套试卷(输入 AAA,输出 BBB-标准答案)
然后 评测 AI 拿着 AAA+SKILL+AGENT 跑出的 CCC 去和 BBB 对比

全勤

目前是让 Claude Opus 直接生成,生成过程会输入正反例子,以及一些标准化要求。 后续使用再微调。

先把答案和判分程序移出被测 agent 能读的目录,只交题目、收结果再判分。光在提示词里写“别看答案”不够。

幸运儿

好想法,学到了两个子 agent 对比,哈哈哈哈哈哈哈哈哈哈

评价 Skill 的好坏,进行 AB 测试,有太多的不确定性,skill 也差异很大,确实不容易,我们还是实际工程中由人来判断改进 skill.

发表一个评论

R保持