1. はじめに 生成AIアプリケーションを評価する際、回答が正しいかどうかだけを確認していないでしょうか。 実際に生成AIやAIエージェントを運用する場合は、回答品質に加えて、次のような観点も必要です。 応答にどれくらい時間がかかるか トークンやコストがどれくらい発生するか ツールを正しく選択できているか ツール実行に失敗した場合、最終回答がその結果と整合しているか 評価に利用するLLM Judge自体を信頼できるか 今回は、AWS Samplesで公開されているsample-gen-ai-evaluations-workshopを実行し、生成AIの評価をどのように分解して考えれ

1. はじめに ! 要約/結論 Amazon Bedrock Agents は Amazon Bedrock Agents Classic に名称変更され、メンテナンスに移行しました（既存利用者は継続利用可） Bedrock Agents Classicの代替としてAmazon Bedrock AgentCore上に新しいAIエージェントを構築する場合、AgentCore Harness（設定中心）とAgentCore Runtime（コード中心）が主な選択肢になります。 本記事では AgentCore Harness を実際にデプロイし、Memory・ログ・exportによる A

1. はじめに 2026年7月28日、Kiro IDE 1.0.242が公開されました。 今回のアップデートでは、主に以下の機能が追加・改善されています。 エディタの右クリックメニューにKiroサブメニューを追加 エラーや警告に対するAsk Kiro to Fixを追加 Agent Hookをフォームから作成できるガイド付きUIを追加 ベースとなるCode OSSをv1.108.2へ更新 IDEの表示言語に応じた応答やチャット履歴を改善 本記事では、AWS CDKのTypeScriptプロジェクトを使い、次の開発ループを検証します。 IDEが型エラーを検出 ↓ Ask Kir

はじめに データマネジメントPF統括部の平尾です。 大規模・長時間のバッチ処理を実行する時、AWS（EC2）の利用料は高額になりやすいです。 コスト削減策として、AWSの未使用EC2キャパシティ（AWSが各リージョン内のAZごとに提供できる、インスタンスタイプ別のコンピュートリソース量）を低コストで利用できるスポットインスタンスの活用を検討することが多いと思います。 一方で、AWS側のキャパシティ状況によってインスタンスが中断される可能性があるため、特に大規模・長時間の処理への適用が難しいという特性があります。 本記事では、大規模なバッチ処理を実行するのに適したAWS Batchとい

1. はじめに 2026年7月13日、OpenAIのGPT-5.6 Sol、Terra、LunaがAmazon Bedrockで一般提供されました。 さらに2026年7月24日には、AWSから次の内容を含む実践手順が公開されています。 https://aws.amazon.com/jp/blogs/machine-learning/get-started-with-openai-gpt-5-6-sol-terra-and-luna-on-amazon-bedrock/ OpenAI Responses APIを使った最初の推論 reasoning effortの指定 ツール呼び出し

1. はじめに AIコーディングエージェントの活用範囲は、コード生成だけでなく、AWS（Amazon Web Services）環境の調査、構築、障害対応にも広がりつつあります。 例えば、AIエージェントに次のようなAWS関連の作業を依頼することが考えられます。 AWS環境の設定やログを確認し、問題の原因を調査する 複数のAWSサービスにまたがる構成を確認する 指定された要件に沿ってAWSリソースを作成する 設定不備を修正し、AWSリソースを期待する状態へ変更する ただし、AIエージェントが「原因を特定しました」「修正しました」と回答しただけでは、実際の調査結果やAWSリソースの

1. はじめに 生成AIやAIエージェントの活用が広がる中で、ソフトウェア開発の現場でもAI活用が進んでいます。 これまでは、コーディング支援、テストコード生成、ドキュメント作成、コードレビュー補助など、開発工程の一部にAIを使うケースが多かったと思います。 一方で、AWS Summit Japan 2026の各セッションを見ても、最近は「AIでコードを書く」だけでなく、要件定義、設計、実装、テスト、デプロイ、運用まで含めて、開発ライフサイクル全体をAI前提で見直す流れとなっています。 その文脈で重要になるのが、AI-DLC（AI-Driven Development Lifecyc

1. はじめに 前回の記事では、AWS AI League Community Editionの全体像と、利用できる主な機能を紹介しました。 https://zenn.dev/nttdata_tech/articles/402acac4a19180 今回は、Amazon EC2をデプロイ端末として利用し、Community Editionを自身のAWSアカウントへ構築します。 本記事のゴールは、AWS CDKによるデプロイを完了し、ブラウザからCommunity Editionへログインできることを確認するところまでです。 実際のAgentic AIやファインチューニングの操作は、次

1. はじめに 以前、以下の記事でAWS AI Leagueについて紹介しました。 https://zenn.dev/nttdata_tech/articles/a907eb00cbbe4b AWS AI Leagueは、競技形式で生成AIの技術を学ぶプログラムです。主に、次の2つのテーマが用意されています。 Amazon SageMaker AIを利用したモデルのファインチューニング Amazon Bedrock AgentCoreを利用したAgentic AI Agentic AIチャレンジでは、AIエージェントがマップ上を移動し、コインの取得や質問への回答などを行いながら、

1. はじめに 生成AIやAIエージェントを業務で活用する動きが広がる中で、最近は「AIエージェントをどう作るか」だけでなく、AIエージェントをどう本番運用するかが重要なテーマになってきています。 PoCでは、LLMにツールを呼び出させたり、RAGと組み合わせたりすることで、比較的短期間で動くものを作ることができます。 一方で、本番利用を考えると、次のような課題が出てきます。 エージェントをどこで安全に実行するのか ユーザーやエージェントの認証・認可をどう扱うのか 外部SaaSや社内APIへのアクセス権限をどう制御するのか データ、ナレッジ、ツール、業務ルールをAIが理解・活用しや

1. はじめに 生成AIやAIエージェントの活用が広がる中で、最近は「AIエージェントをどう作るか」だけでなく、AIエージェントをどう安全に業務へ組み込むかが重要なテーマになってきています。 従来の生成AIセキュリティでは、プロンプトインジェクション、ハルシネーション、不適切な出力、機密情報の漏えいといった、モデルの入出力に関する論点が中心でした。 しかし、AIエージェントでは状況が少し変わります。 AIエージェントは、単に回答を生成するだけではありません。外部APIを呼び出し、SaaSにアクセスし、データベースを検索し、チケットを作成し、場合によっては業務システムに対して操作を行い

1. はじめに AIコーディングエージェントを組織で利用する場合、単に利用環境を提供するだけでなく、次のような情報も把握したくなります。 どのモデルが、どの程度利用されているか トークンやコストがどれくらい発生しているか ユーザーや部門ごとの利用状況に偏りがないか コード編集やGitコミットなどの開発作業につながっているか 2026年7月20日、AWS（Amazon Web Services）がAmazon CloudWatchにCoding Agent Insightsを追加したことを発表しました。 https://aws.amazon.com/jp/about-aws/wha

はじめに 2026年6月8日〜10日、ニューヨークのJavits Centerで開催された「DASH 2026」に参加してきました。 1日目はPartner企業向けのPartner Summitに参加し、Datadogをお客様の環境にどう導入し、活用してもらうかといった話を中心に聞くことができました。 メインとなる後半2日間では、Keynoteや各種セッション、展示ブースを回りました。今年のDASHでは、「AI for Datadog」と「Datadog for AI」の2つが大きなテーマになっていました。 この記事では、現地で感じたこと、印象に残ったセッション、そして自分なりに持ち

1. はじめに 前回の記事では、AWS（Amazon Web Services） Samplesで公開されている sample-agent-cost-bench を使い、Kiro CLI上で複数モデルを比較しました。 https://zenn.dev/nttdata_tech/articles/130bd43f48e425 前回利用したのは model-compare です。これは、同じCLI上で複数のモデルを比較し、成功率・コスト・実行時間を確認するためのモードです。 今回はその続きとして、agent-cost-bench のもう1つの比較モードである cli-compare を試

はじめに（本記事の趣旨） 近年、製造業や重要インフラにおいて、OT（Operational Technology）システムのサイバーセキュリティ対策が求められています。 その中で、「何から始めるべきか」という問いに対して、最初のステップとして「資産の可視化」が挙げられることが多くあります。 しかし、「資産の可視化」と言っても、具体的に何をどこまで実施すればよいのかは必ずしも明確ではありません。OTセキュリティにおける資産管理とは何を指し、どのように整理していくべきかを考えることが重要です。 本記事では、OTセキュリティにおける資産管理を検討する上で参考となるガイダンスのひとつとして、

1. はじめに AIコーディングエージェントの活用が広がる中で、開発現場では次のような問いが増えてきました。 Kiro、Claude Code、GitHub Copilot、Codexなど、どのツールを選ぶべきか 同じツールでも、どのモデルを使うべきか 高性能なモデルを使うコストは、品質向上に見合っているのか チームや案件全体に展開したとき、費用対効果をどのように説明するのか AIコーディングエージェントは、単純に「一番賢いモデルを使えばよい」というものではありません。 簡単な修正であれば軽量なモデルで十分な場合もあります。一方で、既存コードベースをまたぐ修正や、IaCの変更など

はじめに こんにちは。NTTデータでデータサイエンティストを務めております@tamurayuc20ndです。 本記事では、DataRobot社が提供するAIアクセラレータの一つである「MLflowエクスペリメントの追跡」を題材に、PapermillによるNotebookの自動実行と、MLflowによる実験管理の仕組みを解説します。 単にテンプレートを動かすだけではなく、自分のユースケースに合わせてどこを修正すればよいかという観点で整理している点が本記事の主眼です。 Notebookベースで機械学習の試行錯誤を進めている方や、実験条件と結果を後から振り返りやすくしたい方の参考になれば幸

1. はじめに 生成AIやAIエージェントを業務で活用する際、モデルの学習時点以降の情報を扱いたいケースがあります。 たとえば、最新のAWS（Amazon Web Services）アップデート、製品ドキュメントの更新、ニュース、競合サービスの情報などを扱いたい場合、モデルの内部知識だけでは不十分です。 一方で、金融・公共などデータガバナンスが厳しい領域では、AIエージェントにWeb検索機能を持たせる際に、以下のような点が課題になります。 ユーザーのプロンプトや検索クエリが外部の検索APIに送信されないか 外部検索APIのAPIキーや認証情報をどう管理するか Web検索機能のために

NTTデータの奥村です。AWS（Amazon Web Services）のマルチアカウント環境でセキュリティ統制を設計するとき、私がいつも頭を悩ませるテーマがあります。どこまで Control Tower の Control Catalog を使い、どこから各サービス側の管理機能に任せるべきなのか、というものです。今回はこのテーマについて現時点での私の見解を紹介したいと思います。 登場する管理主体 話を始める前に、今回出てくる管理主体、つまりコントロールを実際に管理する仕組みやサービスを説明します。 1 つ目が、AWS Control Tower と AWS Control Cata

はじめに 「50万円以上の申請はいくつありますか？」 「承認済みの購買申請を一覧表示してください」 「今月申請されたデータを確認したい」 このような業務データの確認を、毎回SQLで行うのは手間がかかります。特に、SQLに慣れていない利用者にとって、データベースに蓄積された情報を自由に活用することは簡単ではありません。 本記事では、Oracle Alloy環境上のAutonomous DatabaseとSelect AIを利用し、業務テーブルに対して自然言語で問い合わせできるデータ分析アプリケーションを試作します。（もちろんOCI上でも動作します） アプリケーションはPythonのWe