概要 LLM as a Judgeとは? なぜLLM as a Judgeが注目されているのか? LLM as a Judgeのプロセス プロンプト設計の詳細 モデル選択の詳細 後処理の詳細 LLM as a Judgeの適用シナリオ 評価パフォーマンス改善戦略 LLM評価者の評価 課題と今後の展望 結論 余談 概要 2025年1月10日に行われたキャディ機械学習勉強会でのLLM as a Judgeに関するレビュー論文の紹介と議論を踏まえ、本記事は A Survey on LLM-as-a-Ju
2 月 20 日の AWS Developer Day にぜひご参加ください! このバーチャルイベントは、開発者とチームが最先端でありながら責任ある 生成 AI を開発ライフサイクル全体に組み込み、イノベーションを加速できるようにすることを目的としています。 基調講演では、AWS Evangelism の Vice President である Jeff Barr が、生成 AI に基づく次世代のソフトウェア開発、この変化する環境で成功するために必要なスキル、今後どのように進化していくかに関する考えを語りま