Hugging Faceは、AI研究の再現性に関する課題を検証するため、コミュニティを巻き込んだハッカソンを実施しました。
この「ICML 2026 Open Reproductions challenge」は、2026年7月15日から8月2日まで開催されました。
この挑戦では、参加者は自らが開発したコーディングエージェントを用い、ICML 2026で採択された論文の主張を一つずつ再現することを試みました。
ICML 2026は、前年比で約2倍に増加した23,918件の投稿から6,352件が採択されるなど、論文数が急増する傾向にあります。
この増加は、AIエージェントが実験の実行や論文執筆を迅速化している一因と見られています。
しかし、レビュー能力がそれに追いついていない現状があり、一部の査読者からは「すべての証明を注意深く確認しなかったため、信頼度スコアが低くなった」といった指摘も見られます。
このハッカソンでは、参加者たちはICML 2026の採択論文6,341件から、エージェントが検証可能な具体的な科学的主張を抽出し、それをターゲットとしました。
コミュニティの多様なエージェントフレームワークや計算リソースを活用し、結果として2,226本の論文の再現ログブックが6,816件公開されました。
これは、会議採択論文の約3分の1に相当します。
この取り組みは、AIエージェントが論文の読解、コード生成、実験実行、結果報告といったプロセスを短時間で並行して実行できることを示しています。
Hugging Faceは、この結果から、エージェントが研究実験を担う時代において、人間がどのような役割を果たすのかという点について考察しています。
この記事は元情報をAIで日本語に要約したものです。全文翻訳ではなく、人手による完全な検証を保証しません。詳しくは原文をご覧ください。