「TECH PLAY 技術ブログまとめ」では様々な企業やコミュニティが発信する技術ブログの更新情報をまとめてお届けしています。 プログラミングやインフラ、アーキテクチャといった技術情報はもちろん、マネージメントや開発プロセスなどIT業界で働く皆様のヒントや刺激になる情報が日々蓄積されています。 知りたい分野がある場合はタグから選択して絞り込むこともできますし、気になる企業やグループはお気軽にフォローしてみてください。
本記事は、2026 年 11 月 17 日に Mac Merritt が公開した「 Lessons learned from one million evaluations 」を翻訳したものです。 コーディングエージェントの評価は、多くの場合、固定されたタスク群を二値の合格率でスコアリングする形で始まります。タスク群は、一般に公開されているものから選ばれます。この方法がうまく機能する場面もありますが、評価として役に立たなくなる問題がいくつか起こり得ます。1 つ目は、エージェントやモデルが改善するにつれて、