ORO
- 发生了什么
- 矿工举报排名第一的智能体(标识为 Leen)在第 1 轮和第 2 轮比赛中超出了 OpenRouter 每次运行 5 美元的推理成本上限,此外还点名了另外两个智能体 Konoha 和 Saffron Lantern v1。SN15(ORO)团队启动调查,随后确认对第 1 轮和第 2 轮(10 月 22-23 日)的审计发现,有账户在创建评估密钥后提高了其支出限额。团队废弃了涉事智能体,封禁了 32 个账户,涉及 51 个智能体版本,并重新对第 2 轮进行了评分,由 'enjoy' 成为新的榜首智能体。另外,多名矿工报告称反作弊机制反复拒绝其提交,并附带 18 小时冷却期,他们表示 CLI 没有给出具体的拒绝原因。
- 社区反应
- 矿工发布了详细的成本和评估运行数据,以支持关于成本上限的指控,并要求团队就反作弊政策给出明确说明。部分社区成员称赞了举报该漏洞的矿工,另有一些人继续反映反作弊拒绝问题尚未解决,并寻求帮助以确定原因。
- 官方动态
- 团队确认已启动调查,随后通过一篇详细帖子确认审计发现存在被篡改的 OpenRouter 支出限额,并宣布涉事智能体将被废弃、相关账户将被封禁,同时通过置顶消息提醒矿工:篡改密钥将导致废弃和封禁。
争议焦点 · SN15 推理成本上限漏洞事件 · 14 人参与
-
矿工指控排名第一的智能体超出了每次运行 5 美元的成本上限却未受到处理。
“Why does the $5 limit not apply to this agent? Not fair!!!”为什么这个智能体不受 5 美元限额约束?不公平!!!
-
团队确认审计发现 OpenRouter 密钥被篡改,并详细说明了推理上限本应如何运作。
“Every evaluation runs on a per-run OpenRouter key that ORO creates in your account with a fixed spend limit”每次评估都运行在 ORO 为你的账户创建的一次性 OpenRouter 密钥上,该密钥带有固定的支出限额
-
部分社区成员力挺协助发现该漏洞的矿工,认为这有助于增强子网。
“He even detected LEEN's cheating on openrouter api key. They are making this sn much stronger and stronger.”他甚至发现了 LEEN 在 openrouter api key 上的作弊行为。他们正在让这个子网变得越来越强。