本記事は、2026 年 11 月 17 日に Mac Merritt が公開した「 Lessons learned from one million evaluations 」を翻訳したものです。 コーディングエージェントの評価は、多くの場合、固定されたタスク群を二値の合格率でスコアリングする形で始まります。タスク群は、一般に公開されているものから選ばれます。この方法がうまく機能する場面もありますが、評価として役に立たなくなる問題がいくつか起こり得ます。1 つ目は、エージェントやモデルが改善するにつれて、