SWE-Bench Pro
Scale AI社が構築した、AIコーディングエージェントの能力を測定するベンチマーク。41のリポジトリから抽出したGitHubの実際のIssueに基づく1,865個のタスクを収録し、データ汚染対策としてコピーレフトライセンスのコードと非公開の商用コードベースを使用する。
Scale AI社が構築した、AIコーディングエージェントの能力を測定するベンチマーク。41のリポジトリから抽出したGitHubの実際のIssueに基づく1,865個のタスクを収録し、データ汚染対策としてコピーレフトライセンスのコードと非公開の商用コードベースを使用する。