LLM as a Judge とは、AI・エージェントの回答品質を自動的に評価する手法の一つで、大規模言語モデル（LLM）を「評価者」として活用し、人手による評価コストを大幅に削減しながら、一貫した基準で大量のテストケースを継続的に評価する方法です。 現在、生成AI（LLM）を自社の業務プロセスや自社プロダクトへ組み込む企業が急速に増えています。しかし、検証を進める中で多くの開発現場が直面するのが「AIの品質管理（QA）の難しさ」という壁です。 AIが出力する結果の妥当性をどう判断し、どのように安定性を担

1. はじめに 今年、AWS（Amazon Web Services）がAgentic Football Cupを発表しました。これまでにもDeepLens、DeepRacerやAI Leagueなど技術の可能性を体感できるサービスを出してきているAWSらしいサービスとなります。 AWS Summitでブースが出ていたので、担当者の方にいろいろと話を伺ってきましたので、紹介いたします。ただし、本サービスはワークショップは各地域で提供されているようですが、一般公開はされていないため、サービスを体感できるまで

はじめに こんにちは。データシステム部・MA推薦ブロックの住安（ @kosuke_sumiyasu ）です。 私たちのチームは、ZOZOTOWNのメール・LINE・プッシュ通知といったマーケティングオートメーション（MA）の推薦システムを開発・運用しています。目指しているのは、ユーザーひとりひとりに最適な配信を届けることです。 ZOZOTOWNで本番運用されている推薦モデルは、価格・ブランド・カテゴリ・カラーといった テーブル特徴量 のみを学習に用いていました。そのため、商品画像が持つ視覚情報（シルエット

はじめに   ABEMA の Data Platform チームに所属している河野です。 ...

リアルタイム分析、バッチ処理、ビデオエンコーディング、科学モデリング、CPU ベースの機械学習推論など、計算量の多いワークロードを実行する場合、パフォーマンスのあらゆるパーセンテージポイントが重要になります。チェックでのコストを抑えながら、vCPU あたりのスループットが高く、メモリアクセスが速く、ネットワーク帯域幅が大きいインスタンスが必要です。 2026 年6 月 30 日、 AWS Graviton5 プロセッサを搭載した Amazon Elastic Compute Cloud (Amazon E

SAP Analytics Cloud「Just Ask」を試してみた 〜自然言語でBI分析はどこまで実用的か〜 はじめに BIツールを導入しても、 「作られたレポートしか見られない」 「欲しい情報を得るたびに分析担当へ依頼が必要」 「結局Excelへ出力して加工している」 といった課題は少なくありません。 SAP Analytics Cloud（SAC）には、自然言語で質問するとグラフを自動生成する「Just Ask」機能があります。 今回は、この機能を実際の業務データを想定したモデルで検証し、 どの程

レコメンドや最適化の仕事は、モデルの精度を上げることだと思われがちです。しかし、実サービスではそれだけで価値になるとは限りません。ユーザー体験を良くしたい。セッション数を伸ばしたい。広告収益も維持した...

テスターの信頼構築——再現性のあるパターン バグを報告した。正確に書いた。でも開発者の反応は「ふーん」の一言で終わった——テスターなら、一度はこの経験があるんじゃないでしょうか。 問題は、報告の質ではありません。あなたの話を、開発者は聞いていますか？ 戦略的思考の前提には、「この人の意見は聞く価値がある」と開発者に思われている状態が必要です。これがなければ、どんなに鋭い分析も、どんなに正確なリスク予測も、チームには届きません。 この記事では、テスターが開発者からの信頼を獲得するための、再現性の高いパターン

はじめに こんにちは。Research Engineerの髙瀬です。 最近のAI開発では、モデルが生成したテキストの品質を人間が手動でチェックする代わりに、別のLLM（大規模言語モデル）に採点させる「LLM-as-a-Judge」という手法が広く使われるようになっています。 以前の記事でも、LLM-as-a-JudgeをGPT-4とChatGPTで実際のタスクに適用し、「実務採用前に精度検証をすること」の重要性を紹介しました。 tech.revcomm.co.jp 今回はその一歩先の問いを扱います。 「評

ども！最近、スライドをAIと一緒にレビューし続けている龍ちゃんです。 正直に言うと、セミナー資料づくりは全然得意じゃないです。話の組み立ても見せ方も、上手い人にはぜんぜんかなわない。だからこそ、自分が作ったスライドはAIにレビューさせて、自分では気づけない穴を埋めるようにしてます。専門外のことほど、AIのチェックを最初から仕組みとして組み込んでおきたいんですよね。 で、最初にやったのが「1体のAIに全部やらせる」でした。結果、時間だけがかかって前に進みませんでした。 AIに「レビューして」と丸投げすると、

最初はちょっとした好奇心のつもりだった ChatGPT や Claude の笑いのセンスは、ぼくとは合わない気がする。特に Claude とは、普段は友達のように分かり合えているのに、大喜利では全然分かり合えない。けれど本当はできるはずなんだ。そういう素朴な気持ちから全ては始まった。 当時は、 Claude の Agent skills が無茶苦茶盛り上がっていた。 Skills を作れば、 Claude は何の専門家にでもなれる。それなら大喜利のプロにだってなれるはずだ。 Chain of Though

１．はじめに 金融イノベーション本部の神田です。 先日サンフランシスコで開催されたDatabricksの年次カンファレンス「Data + AI Summit 2026」に参加しました。オープンテーブルフォーマット（以下OTFと記載）のApache Iceberg（以下、Iceberg）およびDelta Lake（以下、Delta）のバージョンアップに関するセッションに参加しましたので、そのレポートをさせていただきます。 ＜参加したセッション＞ https://www.databricks.com/data

LINEヤフーの技術カンファレンス「Tech-Verse 2026」の公式記事です。こんにちは。AIエージェントで分析を「ひとつなぎ」にするプロジェクト「PJ One Piece」のプロダクトマネージ...

はじめに 今後のAI時代に必要な「抽象を扱う力」とは 今後のAI時代において、抽象という領域を扱う能力は非常に大事なっていくと言われています。生成AIはコードやテストケースなど、それらを作る具体の作業を代替しつつあるためです。 しかし、私の感覚を正直に言うと、「抽象を扱う力が重要」というのはその通りですが、ちょっと言い足りない気がしています。 というのも、実はAIは抽象化がかなり得意です。大量の具体例から共通項を抜き出して概念化する作業はむしろ人間より速いのです。そのため、「抽象化できる人が強い」という単

こんにちは。クラウドエース株式会社 第一開発部の阿部です。Zenn 初投稿です。 同じ第一開発部の喜村さんが公開した Cloud Armor の誤検知をクエリで炙り出してチューニングする を読んで、Log Explorer で AND NOT を積み重ねながら誤検知を洗い出す手法を実践しました。この手法は 見落としが起きにくく、優れた方法 だと感じています。 ただ、規模が大きいログを手作業で回し続けるのは想像以上に大変で、「前処理だけでも自分用に楽にできないか」と考えました。そこで Cursor を相棒に