【💰】有没有 skill 迭代的评测环境推荐?

26 条回复
112 次浏览

目前是看到了
https://github.com/anthropics/skills/tree/main/skills/skill-creator
https://github.com/alibaba/skill-up
https://github.com/microsoft/waza

我的想法是

image

然后让 agent 写了一版评测环境,但是太复杂了,很多 agent 人格/判定程序/测试用例,看不懂。而且测试用例包含 试卷+答案,不限制 sub-agent 权限的话直接就透题了。

问问大家意见。

金币池
💰 217 金币

金币会随着回复数量动态增加,首次回复有概率获得金币池中部分金币奖励。

幸运儿

讨论具体的评测任务吧,不然太宽泛了。你可以大致看懂每个模块的功能,先跑起来,再看看要怎么改。

种子用户
OP

先定义测试集,一套试卷(输入 AAA,输出 BBB-标准答案)
然后 评测 AI 拿着 AAA+SKILL+AGENT 跑出的 CCC 去和 BBB 对比

展开 1 条评论
全勤

目前是让 Claude Opus 直接生成,生成过程会输入正反例子,以及一些标准化要求。 后续使用再微调。

2Libra 一周年!

先把答案和判分程序移出被测 agent 能读的目录,只交题目、收结果再判分。光在提示词里写“别看答案”不够。

都听我说!

好想法,学到了两个子 agent 对比,哈哈哈哈哈哈哈哈哈哈

评价 Skill 的好坏,进行 AB 测试,有太多的不确定性,skill 也差异很大,确实不容易,我们还是实际工程中由人来判断改进 skill.

混沌

没太看明白,测试的话是基于项目需求的测试么?感觉楼主发的更像是自训练?

种子用户
OP

测试不基于项目需求。
可能是基于常用开发流程,编排工作流等。看 agent 是否遵循,不遵循就再改提示词

发表一个评论

R保持