私はデータサイエンティストとして、機械学習の経験がないビジネスアナリスト、マーケティングアナリスト、データアナリスト、データアナリスト、データエンジニアが、それぞれの分野の専門家である機械学習（ML）を利用できるようにするという課題を直接経験してきました。だからこそ、 Amazon Q Developer が Amazon SageMaker Canvas で利用できるようになったという 12 月 4 日の Amazon Web Services (AWS) の発表に特に興奮しています。私が注目したのは、Amazon Q Developer が ML の専門知識とビジネスニーズを結び付け、組織間で ML にアクセスしやすくする方法です。 Amazon Q Developer は、ドメインの専門家が ML の専門知識を持っていなくても、自然言語による対話を通じて正確で本番品質の ML モデルを構築できるよう支援します。Amazon Q Developer は、こうしたユーザーのビジネス上の問題を分析してデータを分析し、カスタム ML モデルを構築するためのステップバイステップのガイダンスを提案することで、こうしたユーザーを導きます。ユーザーのデータを変換して異常を取り除き、カスタム ML モデルを構築して評価して最適なモデルを推奨すると同時に、ガイド付き ML ワークフローのすべてのステップをユーザーが制御および可視化できるようにします。これにより、組織は市場投入までの時間を短縮しながら、より迅速にイノベーションを起こすことができます。また、ML の専門家への依存度も下がるため、専門家はより複雑な技術的課題に集中できます。 たとえば、マーケティングアナリストが「住宅の特性と過去の販売データを使用して住宅販売価格を予測したい」と言うと、Amazon Q Developer がこれを一連の ML ステップに変換して、関連する顧客データを分析し、複数のモデルを構築し、最適なアプローチを推奨します。 実際の動作 Amazon Q Developer を使い始めるには、「 Amazon SageMaker Canvas の使用開始 」ガイドに従って Canvas アプリケーションを起動します。このデモでは、自然言語の指示を使用して、マーケティングチームと財務チームの住宅価格を予測するモデルを作成します。SageMaker Canvas ページから Amazon Q を選択し、次に [ 新しい会話を始める ] を選択します。 新しい会話では、次のように書いています。 私はアナリストで、マーケティングチームと財務チームの住宅価格を予測する必要があります。 次に、Amazon Q Developer が問題を説明し、適切な ML モデルタイプを推奨します。また、必要なデータセットの特性を含むソリューション要件についても概説しています。次に、Amazon Q Developer が、 データセットをアップロードする か、 ターゲット列を選択する かを尋ねてきます。これを選択してデータセットをアップロードします。 次のステップでは、Amazon Q Developer が、住宅に関する関連情報、現在の住宅価格、リグレッションモデルのターゲット変数を含むデータセット要件を一覧表示します。次に、[ データセットをアップロードしたい ]、[ 既存のデータセットを選択する ]、[ 新しいデータセットを作成する ]、[ ターゲット列を選択したい ] などの次のステップが推奨されました。このデモでは、 canvas-sample-housing.csv サンプルデータセット を既存のデータセットとして使用します。 データセットを選択して読み込んだ後、Amazon Q Developer はそれを分析し、リグレッションモデルのターゲット列として median_house_value を提案します。[ 「median_house_value」を予測したい] 列 を選択して同意します。 次のステップに進み、Amazon Q Developer は、median_house_value を予測するためにどのデータセットの特徴（「location」、「housing_median_age」、「total_rooms」など）を使用するかを詳細に説明します。 モデルトレーニングに進む前に、データ品質について質問します。良いデータがなければ、信頼できるモデルを構築できないからです。Amazon Q Developer が私のデータセット全体の品質インサイトを返してくれました。 データ品質をより深く理解するために、個々の機能とその分布について具体的な質問をすることができます。 驚いたことに、前の質問を通じて、「世帯」列には極値間のばらつきが大きく、モデル予測精度に影響を与える可能性があることがわかりました。そこで、Amazon Q Developer にこの外れ値の問題を修正するよう依頼します。 変換が完了したら、Amazon Q Developer がこの変更を行うためにどのような手順を踏んだかを尋ねることができます。舞台裏では、Amazon Q Developer が SageMaker Canvas のデータ準備機能 を使用して高度なデータ準備手順を適用しています。これらの手順を確認して確認できるので、プロセスを視覚化して複製し、モデルのトレーニング用に準備された最終データセットを取得できます。 データ準備の手順を確認したら、[ トレーニングジョブの開始 ] を選択します。 トレーニングジョブが開始されると、会話の進行状況と作成されたデータセットを確認できます。 データサイエンティストである私は、Amazon Q Developer を使用して、分類モデルの混同行列や精度再現スコア、リグレッションモデルの二乗平均平方根誤差 (RMSE) などの詳細なメトリクスを確認できることに特に感謝しています。これらは、モデルのパフォーマンスを評価し、データ主導の意思決定を行う際に私が常に重視している重要な要素です。技術チームが必要とする深さを維持しながら、信頼を築き、適切なガバナンスを実現するために、技術者以外のユーザーにもわかりやすい方法で提示されているのを見るのは新鮮です。 これらのメトリックスにアクセスするには、[ マイモデル ] または Amazon Q 会話メニューから新しいモデルを選択します。 概要 – このタブには、 カラム影響分析 が表示されます。この場合、私のモデルに影響を与える主な要因として median_income  が浮かび上がってきます。 スコアリング – このタブには、RMSE メトリクスを含むモデル精度のインサイトが表示されます。 詳細メトリクス – このタブには、詳細なモデル評価のための詳細な メトリックテーブル 、 残差 、 エラー密度 が表示されます。 これらの指標を確認してモデルのパフォーマンスを検証したら、ML ワークフローの最終段階に進むことができます。 予測 – [ 予測 ] タブを使用してモデルをテストし、実際のパフォーマンスを検証できます。 デプロイ – エンドポイントデプロイメントを作成して、モデルを本番環境で使用できるようにすることができます。 これにより、これまで DevOps に関する豊富な知識が必要だったデプロイプロセスが、ビジネスアナリストが自信を持って処理できる簡単な操作に簡素化されます。 知っておくべきこと Amazon Q Developer は、組織全体で機械学習を民主化します。 ML であらゆるスキルレベルを強化 – Amazon Q Developer が SageMaker Canvas で利用できるようになり、ML の経験がないビジネスアナリスト、マーケティングアナリスト、データプロフェッショナルが、ガイド付きの ML ワークフローを通じてビジネス上の問題のソリューションを作成できるようになりました。データ分析、モデルの選択からデプロイまで、ユーザーは自然言語を使用してビジネス上の問題を解決できるため、データサイエンティストなどの機械学習の専門家への依存度が減り、組織は市場投入までの時間を短縮してイノベーションを加速できます。 ML ワークフローの合理化 – SageMaker Canvas の Amazon Q Developer を利用すると、ユーザーはガイド付きの透明なワークフローを通じてデータを準備し、ML モデルを構築、分析、デプロイできます。Amazon Q Developer が提供する高度なデータ準備機能と AutoML 機能により、ML の民主化が可能になり、ML の専門家でなくても高精度の ML モデルを作成できます。 ML ワークフローを完全に可視化 – Amazon Q Developer は、基盤となるコードや、データ変換ステップ、モデルの説明可能性、精度測定などの技術的アーティファクトを生成することで、完全な透明性を実現します。これにより、ML の専門家を含む部門横断的なチームが必要に応じてモデルを確認、検証、更新できるようになり、安全な環境でのコラボレーションが容易になります。 在庫状況 – Amazon Q Developer は現在 Amazon SageMaker Canvas でプレビューリリース中です。 価格 – Amazon Q Developer Pro 利用枠 と Amazon Q Developer 無料利用枠 のどちらのユーザーも、追加費用なしで Amazon Q Developer を SageMaker Canvas で利用できるようになりました。ただし、 SageMaker Canvas ワークスペース インスタンスなどのリソースや、モデルの構築やデプロイに使用されるリソースには標準料金が適用されます。詳細な価格情報については、 Amazon SageMaker Canvas 料金表 を参照してください。 開始方法の詳細については、 Amazon Q Developer 製品のウェブページ を参照してください。 – Eli 原文は こちら です。

12 月 4 日、 Amazon Bedrock Guardrails の画像サポートによるマルチモーダル毒性検出のプレビューについて発表します。この新機能は、テキストに加えて望ましくない画像コンテンツを検出して除外するため、 生成 AI アプリケーションにおけるユーザーエクスペリエンスの向上とモデル出力の管理に役立ちます。 Amazon Bedrock Guardrails では、望ましくないコンテンツをフィルタリングし、個人を特定できる情報 (PII) を編集し、コンテンツの安全性とプライバシーを強化することで、生成 AI アプリケーションの保護手段を実装できます。拒否されたトピック、コンテンツフィルター、ワードフィルター、PII 再編集、文脈的根拠チェック、および自動推論チェック（プレビュー）のポリシーを設定し、特定のユースケースと責任ある AI ポリシーに合わせてセーフガードを調整できます。 今回のリリースにより、Amazon Bedrock Guardrails の既存のコンテンツフィルターポリシーを使用して、憎悪、侮辱、性的、暴力などのカテゴリーにわたる有害な画像コンテンツを検出してブロックできるようになりました。アプリケーションのニーズに合わせて、しきい値を低いものから高いものまで設定できます。 この新しい画像サポートは、画像データをサポートする Amazon Bedrock のすべての 基盤モデル (FM) と、お客様が用意したカスタムファインチューニングモデルすべてで機能します。テキストと画像のモダリティ全体で一貫した保護レイヤーが提供されるため、責任ある AI アプリケーションの構築が容易になります。 KONE の副社長で戦略的パートナーシップの責任者である Tero Hottinen は、次のユースケースを想定しています。 KONE は、継続的な評価の中で、生成 AI アプリケーションを保護するうえで Amazon Bedrock Guardrails が重要なコンポーネントである可能性を認識しています。特に、関連性やコンテキストに基づくグラウンディングチェック、マルチモーダル保護の観点からもそうです。同社は、製品設計図とマニュアルをアプリケーションに統合することを想定しています。マルチモーダルコンテンツのより正確な診断と分析を可能にする上で、Amazon Bedrock Guardrails が重要な役割を果たしています。 その仕組みは次のとおりです。 マルチモーダル毒性検出の実例 開始するには、 AWS マネジメントコンソール でガードレールを作成し、テキストまたは画像データ、あるいはその両方にコンテンツフィルタを設定します。 AWS SDK を使用してこの機能をアプリケーションに統合することもできます。 ガードレールの作成 コンソール で Amazon Bedrock に移動し、 ガードレール を選択します。そこから、新しいガードレールを作成し、既存のコンテンツフィルターを使用して、テキストデータに加えて画像データを検出してブロックできます。[ コンテンツフィルターの設定 ] の [ 憎悪 ]、[ 侮辱 ]、[ 性的 ]、[ 暴力 ] のカテゴリーは、テキストまたは画像コンテンツ、あるいはその両方に設定できます。 不正行為 と プロンプト攻撃 のカテゴリーは、テキストコンテンツのみに設定できます。 使用するコンテンツフィルターを選択して設定したら、ガードレールを保存して、安全で責任ある生成 AI アプリケーションの構築に使用を開始できます。 コンソールで新しいガードレールをテストするには、ガードレールを選択して [ テスト ] を選択します。モデルを選択して呼び出してガードレールをテストする方法と、Amazon Bedrock Guardrails の独立した ApplyGuardail API を使用してモデルを呼び出さずにガードレールをテストする方法の 2 つがあります。 ApplyGuardrail API を使用すると、処理または結果をユーザーに提供する前に、アプリケーションフローの任意の時点でコンテンツを検証できます。また、この API を使用して、基盤となるインフラストラクチャに関係なく、任意のセルフマネージド（カスタム）またはサードパーティの FM の入力と出力を評価できます。たとえば、API を使用して Amazon SageMaker でホストされている Meta Llama 3.2 モデルや、ラップトップで実行されている Mistral NeMo モデルを評価できます。 モデルを選択して呼び出してガードレールをテスト Anthropic’s Claude 3.5 Sonnet など、画像の入力または出力をサポートするモデルを選択してください。プロンプトフィルターと応答フィルターが画像コンテンツで有効になっていることを確認します。次に、プロンプトを表示し、画像ファイルをアップロードして、[ 実行 ] を選択します。 私の例では、Amazon Bedrock Guardrails が介入しました。詳細については、[ トレースを表示 ] を選択してください。 ガードレールトレースは、インタラクション中に安全対策がどのように適用されたかを記録します。Amazon Bedrock Guardrails が介入したかどうか、および入力 (プロンプト) と出力 (モデル応答) の両方でどのような評価が行われたかがわかります。私の例では、コンテンツフィルターが画像内の侮辱を高い信頼度で検出したため、入力プロンプトをブロックしていました。 モデルを呼び出さずにガードレールをテスト コンソールで、モデルを呼び出さずにガードレールをテストするには、[ ガードレールの独立型 API を使用 ] を選択します。入力プロンプトを検証するか、モデルで生成された出力の例を検証するかを選択します。次に、前の手順を繰り返します。プロンプトフィルターと応答フィルターが画像コンテンツに対して有効になっていることを確認し、検証するコンテンツを指定して、[ 実行 ] を選択します。 デモ用に同じ画像と入力プロンプトを再利用したところ、Amazon Bedrock Guardrails が再び介入してくれました。詳細を確認するには、もう一度 [ トレースを表示 ] を選択してください。 プレビューに参加しましょう 画像サポート付きのマルチモーダル毒性検出は、本日、米国東部 (バージニア北部、オハイオ)、米国西部 (オレゴン)、アジア太平洋 (ムンバイ、ソウル、シンガポール、東京)、ヨーロッパ (フランクフルト、アイルランド、ロンドン)、および AWS GovCloud (米国西部) の AWS リージョン で Amazon Bedrock Guardrails のプレビュー版をご利用いただけます。詳細については、 Amazon Bedrock Guardrails をご覧ください。 Amazon Bedrock コンソール でマルチモーダル毒性検出コンテンツフィルターを今すぐ試して、ご意見をお聞かせください。 フィードバックは、 AWS re:Post for Amazon Bedrock にご送信いただくか、または通常の AWS サポートの担当者を通じてお寄せください。 –  Antje 原文は こちら です。

12 月 4 日、 Amazon Bedrock は、 生成 AI によるデータ分析の方法を効率化する 4 つの拡張機能を導入しました。 Amazon Bedrock データオートメーション (プレビュー) – Amazon Bedrock のフルマネージド機能で、ドキュメント、画像、オーディオ、ビデオなどの非構造化されたマルチモーダルコンテンツから貴重な洞察を効率的に生成できます。Amazon Bedrock を使用すると、自動化された インテリジェントドキュメント処理 (IDP) 、メディア分析、および 検索拡張生成 (RAG) ワークフローを迅速かつ費用対効果の高い方法で構築できます。インサイトには、重要な瞬間のビデオ要約、不適切な画像コンテンツの検出、複雑な文書の自動分析などが含まれます。アウトプットをカスタマイズして、特定のビジネスニーズに合わせてインサイトを調整できます。Amazon Bedrock データオートメーションは、スタンドアロン機能として使用することも、RAG ワークフローのナレッジベースを設定する際のパーサーとしても使用できます。 Amazon Bedrock ナレッジベースはマルチモーダルデータを処理するようになりました –ドキュメントや画像内のテキスト要素とビジュアル要素の両方を処理するアプリケーションの構築に役立つように、Amazon Bedrock データオートメーションを使用してドキュメントを解析するか、パーサーとして 基盤モデル (FM) を使用するようにナレッジベースを設定できます。マルチモーダルデータ処理により、画像とテキストの両方に埋め込まれた情報を含むナレッジベースから得られる回答の正確性と関連性を高めることができます。 Amazon Bedrock ナレッジベースで GraphRAG がサポートされるようになりました (プレビュー) – 現在、初めてフルマネージド型の GraphRAG 機能が提供されるようになりました。GraphRAG は、RAG 技術とグラフを組み合わせて使用することで、エンドユーザーにより正確で包括的な応答を提供することにより、生成 AI アプリケーションを強化します。 Amazon Bedrock Knowledge Base が構造化データ取得をサポートするようになりました – この機能により、ナレッジベースがデータウェアハウスとデータレイクの自然言語クエリをサポートするようになりました。これにより、アプリケーションは会話型インターフェイスを通じてビジネスインテリジェンス (BI) にアクセスし、重要なエンタープライズデータを含めることで応答の精度を向上させることができます。Amazon Bedrock ナレッジベースは、構造化データが存在する場所からネイティブにクエリを実行できる、完全マネージド型のすぐに使用できる、業界初の完全管理型の RAG ソリューションの 1 つです。この機能は、データソース間のデータサイロを解消し、生成 AI アプリケーションの構築を 1 か月以上かかっていたものから数日間に短縮するのに役立ちます。 これらの新機能により、構造化データソースと非構造化データソースから情報を処理、理解、取得できる包括的な AI アプリケーションを簡単に構築できます。たとえば、自動車保険会社は Amazon Bedrock データオートメーションを使用して請求裁定ワークフローを自動化することで、自動車保険請求の処理にかかる時間を短縮し、請求部門の生産性を向上させることができます。 同様に、メディア企業はテレビ番組を分析し、シーンの概要、業界標準の広告分類法（IAB）、企業ロゴなど、スマートな広告掲載に必要なインサイトを引き出すことができます。メディア制作会社は、シーンごとの概要を作成し、重要な瞬間をビデオアセットに取り込むことができます。金融サービス会社は、チャートや表を含む複雑な財務文書を処理し、GraphRAG を使用してさまざまな金融機関間の関係を理解することができます。これらの企業はすべて、構造化データ検索を使用してデータウェアハウスにクエリを実行すると同時に、ナレッジベースから情報を取得できます。 これらの機能をもっと細かく見ていきましょう。 Amazon Bedrock データオートメーションのご紹介 Amazon Bedrock データオートメーションは、ドキュメント、画像、ビデオ、オーディオファイルなどのマルチモーダルで構造化されていないコンテンツから貴重な洞察を抽出するプロセスを簡素化する Amazon Bedrock の機能です。 Amazon Bedrock データオートメーションは、開発者が単一のインターフェイスでマルチモーダルコンテンツを処理するために使用できる統一された API 主導型のエクスペリエンスを提供するため、複数の AI モデルやサービスを管理および調整する必要がなくなります。Amazon Bedrock データオートメーションでは、視覚的な根拠や信頼性スコアなどの保護機能が組み込まれているため、抽出されたインサイトの正確性と信頼性が高まり、エンタープライズワークフローへの統合が容易になります。 Amazon Bedrock データオートメーションは 4 つのモダリティ (ドキュメント、画像、ビデオ、オーディオ) をサポートしています。アプリケーションで使用すると、すべてのモダリティが同じ非同期推論 API を使用し、結果が Amazon Simple Storage Service (Amazon S3) バケットに書き込まれます。 各モダリティについて、処理のニーズに基づいて出力を構成し、次の 2 種類の出力を生成できます。 標準出力 – 標準出力では、入力データ型に関連する定義済みのデフォルトのインサイトが得られます。例としては、文書の意味表現、シーンごとのビデオの要約、オーディオトランスクリプトなどがあります。抽出したいインサイトは、わずか数ステップで設定できます。 カスタム出力 – カスタム出力では、「ブループリント」と呼ばれるアーティファクトを使用して抽出ニーズを柔軟に定義および指定し、ビジネスニーズに合わせたインサイトを生成できます。生成された出力を、データベースやその他のアプリケーションなどのダウンストリームシステムと互換性のある特定の形式またはスキーマに変換することもできます。 標準出力は、すべての形式 (オーディオ、ドキュメント、画像、ビデオ) で使用できます。プレビュー中は、カスタム出力はドキュメントと画像でのみ使用できます。 標準出力設定とカスタム出力設定の両方をプロジェクトに保存して、Amazon Bedrock データオートメーション推論 API で参照できます。プロジェクトは、処理されたファイルごとに標準出力とカスタム出力の両方を生成するように構成できます。 標準出力とカスタム出力の両方で文書を処理する例を見てみましょう。 Amazon Bedrock データオートメーションを使用する Amazon Bedrock コンソール のナビゲーションペインで [ データオートメーション ] を選択します。ここでは、いくつかのサンプルユースケースでこの機能がどのように機能するかを確認できます。 次に、ナビゲーションペインの [ データオートメーション ] セクションで [ デモ ] を選択します。この機能を試すには、提供されているサンプル文書のいずれかを使用するか、自分で作成した文書をアップロードします。たとえば、出生証明書を処理する必要があるアプリケーションを作成しているとしましょう。 まず、出生証明書をアップロードして標準出力結果を確認します。初めてドキュメントをアップロードするときに、アセットを保存する S3 バケットを作成するかどうかを確認するメッセージが表示されます。標準出力を見ると、いくつかの簡単な設定で結果を調整できます。 [ カスタム出力 ] タブを選択します。文書はサンプルブループリントの 1 つで認識され、情報が複数のフィールドから抽出されます。 アプリケーションのほとんどのデータはそこにありますが、いくつかのカスタマイズが必要です。たとえば、出生証明書が発行された日付（ 2022 年 6 月 10 日 ）は、文書内の他の日付とは異なる形式になっています。また、証明書を発行した州と、子供の姓が母親または父親の姓と一致するかどうかを示すいくつかの旗も必要です。 前のブループリントのほとんどのフィールドは、 Explicit 抽出タイプを使用しています。つまり、ドキュメントからそのまま抽出されます。 特定の形式の日付が必要な場合は、 Inferred 抽出タイプを使用して新しいフィールドを作成し、文書の内容から始めて結果をフォーマットする方法についての説明を追加できます。推定抽出を使用して、日付形式や社会保障番号 (SSN) 形式などの変換を実行したり、たとえば今日の日付に基づいて個人が 21 歳以上かどうかを確認する検証を実行したりできます。 サンプルブループリントは編集できません。[ ブループリントの複製 ] を選択して編集可能な新しいブループリントを作成し、[ フィールド ] ドロップダウンから [ フィールドを追加 ] を選択します。 抽出タイプが Inferred の 4 つのフィールドと、次の手順を追加します。 出生証明書が MM/DD/YYYY 形式で発行された日付 出生証明書を発行した州 ChildLastName は FatherLastName と等しいか ChildLastName は MotherLastName と等しいか 最初の 2 つのフィールドは文字列で、最後の 2 つのフィールドはブール値です。 新しいフィールドを作成したら、以前にアップロードしたドキュメントに新しいブループリントを適用できます。 [ 結果を取得 ] を選択し、結果の新しいフィールドを探します。必要に応じてフォーマットされた日付、2つのフラグ、および州が表示されます。 アプリケーションのニーズに合わせたこのカスタムブループリントを作成したので、プロジェクトに追加できます。パスポートのブループリント、出生証明書のブループリント、請求書のブループリントなど、処理したいさまざまなドキュメントタイプのプロジェクトに、複数のブループリントを関連付けることができます。ドキュメントを処理する際、Amazon Bedrock データオートメーションは各ドキュメントをプロジェクト内の設計図と照合して、関連情報を抽出します。 新しいブループリントを最初から作成することもできます。その場合は、まずプロンプトが表示され、アップロードされたドキュメントで見つかると思われるフィールドを宣言し、正規化または検証を実行できます。 Amazon Bedrock データオートメーションは、オーディオファイルとビデオファイルも処理できます。たとえば、 AWS の AI およびデータ担当副社長 Swami Sivasubramanian による基調講演のビデオをアップロードしたときの標準出力は次のとおりです。 出力を取得するには数分かかります。結果には、ビデオ全体の要約、シーンごとの要約、およびビデオ中に表示されるテキストが含まれます。ここから、オプションを切り替えて、完全なオーディオトランスクリプト、コンテンツモデレーション、または インタラクティブ広告局（IAB） の分類基準を設定できます。 また、Amazon Bedrock データオートメーションをパーサーとしてナレッジベースを作成して、視覚的に豊かなドキュメントや画像から洞察を抽出し、検索や応答を生成することもできます。次のセクションでそれを見てみましょう。 Amazon Bedrock ナレッジベースでのマルチモーダルデータ処理の使用 マルチモーダルデータ処理サポートにより、アプリケーションは文書内のテキスト要素とビジュアル要素の両方を理解できます。 マルチモーダルデータ処理では、アプリケーションがナレッジベースを使用して次のことを行うことができます。 既存のテキストサポートに加えて、ビジュアル要素から回答を取得します。 テキストとビジュアルデータの両方を含むコンテキストに基づいて回答を生成します。 元の文書のビジュアル要素を参照するソースアトリビューションを提供してください。 Amazon Bedrock コンソールでナレッジベースを作成するときに、 解析戦略 として Amazon Bedrock データオートメーション を選択できるようになりました。 パーサーとして Amazon Bedrock データオートメーション を選択すると、Amazon Bedrock データオートメーションが視覚的に豊富なコンテンツからのインサイトの抽出、変換、生成を処理し、Amazon Bedrock ナレッジベースが取り込み、取得、モデルレスポンスの生成、ソースアトリビューションを管理します。 あるいは、既存の 基盤モデルをパーサー オプションとして使用することもできます。このオプションにより、Anthropic’s Claude 3.5 Sonnet がパーサーとしてサポートされるようになりました。デフォルトのプロンプトを使用することも、特定のユースケースに合わせて変更することもできます。 次のステップでは、Amazon Bedrock ナレッジベースがナレッジベースのデータソースに私のドキュメントから抽出した画像を保存するために使用する、Amazon S3 上の マルチモーダルストレージ の保存先を指定します。これらの画像は、ユーザークエリに基づいて取得し、応答を生成するために使用し、応答に引用することができます。 ナレッジベースを使用する場合、Amazon Bedrock データオートメーションまたは FM がパーサーとして抽出した情報を使用して、視覚要素に関する情報を取得したり、チャートや図を理解したり、テキストコンテンツとビジュアルコンテンツの両方を参照する応答を提供したりします。 Amazon Bedrock ナレッジベースでの GraphRAG の使用 散在するデータソースから洞察を抽出することは、RAG アプリケーションにとって大きな課題であり、関連する応答を生成するには、これらのデータソース全体で多段階の推論が必要になります。例えば、顧客は生成 AI を搭載した旅行アプリケーションに、美味しいシーフードレストランも提供している、自宅所在地からの直行便がある家族向けのビーチ目的地を特定するよう依頼する可能性があります。そのためには、他の家族で楽しんだことのある適切なビーチを特定し、それを飛行ルートと照合し、評価の高い地元のレストランを選択するための連携したワークフローが必要です。従来の RAG システムでは、情報が異なるソースに存在し、相互にリンクされていないため、これらすべての要素を統合してまとまりのある推奨事項にするのが難しい場合があります。 ナレッジグラフは、エンティティ間の複雑な関係を構造化された方法でモデル化することで、この課題に対処できます。ただし、グラフを作成してアプリケーションに統合するには、多大な専門知識と労力が必要です。 Amazon Bedrock ナレッジベースでは、RAG 技術とグラフを組み合わせてエンドユーザーにより正確で包括的な応答を提供することで、生成 AI アプリケーションを強化する初のフルマネージド型 GraphRAG 機能が提供されるようになりました。 ナレッジベースを作成するときに、データベースとして Amazon Neptune Analytics を選択し、基盤となるデータ、エンティティ、およびそれらの関係のベクトルおよびグラフ表現を自動的に生成することで、わずか数ステップで GraphRAG を有効にできるようになりました。これにより、開発作業は数週間からわずか数時間に短縮されます。 新しいナレッジベースの作成を開始します。 ベクトルデータベースセクション では、新しいベクターストアを作成するときに、 Amazon Neptune Analytics (GraphRAG) を選択します。新しいグラフを作成したくない場合は、既存のベクトルストアを用意して、リストから Neptune Analytics グラフを選択できます。GraphRAG は、 Anthropic’s Claude 3 Haiku を使用して、ナレッジベース用のグラフを自動的に作成します。 ナレッジベースの作成が完了すると、Amazon Bedrock は関連する概念とドキュメントをリンクしたグラフを自動的に作成します。知識ベースから情報を取得する際、GraphRAG はこれらの関係を調べて、より包括的で正確な回答を提供します。 Amazon Bedrock ナレッジベースでの構造化データ取得の使用 構造化されたデータ検索により、データベースとデータウェアハウスの自然言語クエリが可能になります。たとえば、あるビジネスアナリストが「前四半期で最も売れた製品は何でしたか？」と尋ねるかもしれません。そして、システムは Amazon Redshift データベースに格納されているデータウェアハウスに適切な SQL クエリを自動的に生成して実行します。 ナレッジベースを作成するときに、 構造化データストア を使用できるようになりました。 ナレッジベースの名前と説明を入力します。 データソースの詳細 では、 Amazon Redshift を クエリエンジン として使用しています。ナレッジベースのリソースを管理するための新しい AWS Identity and Access Management (IAM) サービスロールを作成し、[ 次へ ] を選択します。 接続オプション と使用する ワークグループ で Redshift サーバーレス を選択します。Amazon Redshift でプロビジョニングされたクラスターもサポートされています。 認証 には以前に作成した IAM ロールを使用します。ストレージメタデータは、 AWS Glue データカタログ を使用して管理することも、Amazon Redshift データベース内で直接管理することもできます。リストからデータベースを選択します。 ナレッジベースの構成では、クエリの最大期間を定義したり、テーブルや列へのアクセスを含めたり除外したりできます。自然言語からのクエリ生成の精度を向上させるために、オプションでテーブルと列の説明と、質問をデータベースの SQL クエリに変換する方法の実用的な例を示す、厳選されたクエリのリストを追加できます。[ 次へ ] を選択し、設定を確認して、ナレッジベースの作成を完了します 数分後、ナレッジベースの準備が整います。同期が完了すると、Amazon Bedrock ナレッジベースがクエリの結果を生成、実行、フォーマット処理するので、構造化データへの自然言語インターフェイスを簡単に構築できます。構造化データを使用してナレッジベースを呼び出す場合、SQL を生成するか、データを取得するか、または自然言語でデータを要約するように求めるだけで済みます。 知っておくべきこと これらの新機能は現在、次の AWS リージョン でご利用いただけます。 Amazon Bedrock データオートメーションは、米国西部 (オレゴン) でプレビュー版として提供されています。 Amazon Bedrock データオートメーションをパーサーとして使用した Amazon Bedrock ナレッジベースでのマルチモーダルデータ処理サポートは、米国西部 (オレゴン) でプレビュー段階にあります。パーサーとしての FM は、Amazon Bedrock ナレッジベースが提供されているすべてのリージョンで利用できます。 Amazon Bedrock ナレッジベースの GraphRAG は、Amazon Bedrock ナレッジベースと Amazon Neptune Analytics が提供されているすべての商用リージョンでプレビュー版としてご利用いただけます。 構造化データの取得は、Amazon Bedrock ナレッジベースが提供されているすべての商用地域の Amazon Bedrock ナレッジベースで利用できます。 Amazon Bedrock ではいつものように、使用状況に応じて料金が決まります。 Amazon Bedrock データオートメーションでは、画像ごと、ドキュメントの場合はページごと、オーディオまたはビデオの場合は 1 分ごとに課金されます。 Amazon Bedrock ナレッジベースでのマルチモーダルデータ処理は、Amazon Bedrock データオートメーションまたは FM をパーサーとして使用した場合に基づいて課金されます。 Amazon Bedrock ナレッジベースで GraphRAG を使用しても追加料金は発生しませんが、ベクトルストアとして Amazon Neptune Analytics を使用する場合は料金が発生します。詳細については、 Amazon Neptune の料金表をご覧ください。 Amazon Bedrock ナレッジベースで構造化データ取得を使用する場合は追加料金がかかります。 料金に関する詳細については、「 Amazon Bedrock の料金 」を参照してください。 各機能は個別に使用することも、組み合わせて使用することもできます。これらを組み合わせることで、AI を使用してデータを処理するアプリケーションを簡単かつ迅速に構築できます。開始するには、 Amazon Bedrock コンソール にアクセスしてください。詳細については、 Amazon Bedrock のドキュメント にアクセスし、 AWS re:Post for Amazon Bedrock にフィードバックを送信してください。 community.aws では、詳しい技術コンテンツを検索し、ビルダーコミュニティが Amazon Bedrock を使用する方法を見出すことができます。これらの新機能で何を構築するのか教えてくださいね! – Danilo 原文は こちら です。

Amazon Bedrock は 12 月 4 日、 生成 AI アプリケーションのコストとレイテンシーの削減に役立つ 2 つの機能をプレビュー版で導入しました。 Amazon Bedrock インテリジェントプロンプトルーティング – モデルを呼び出すときに、同じモデルシリーズの 基盤モデル (FM) を組み合わせて使用することで、品質とコストを最適化できるようになりました。たとえば、 Anthropic’s Claude モデルシリーズでは、Amazon Bedrock はプロンプトの複雑さに応じて Claude 3.5 Sonnet と Claude 3 Haiku の間でリクエストをインテリジェントにルーティングできます。同様に、Amazon Bedrock はリクエストを Meta Llama 3.1 70B と 8B の間でルーティングできます。プロンプトルーターは、応答の質とコストを最適化しながら、各リクエストに対してどのモデルが最高のパフォーマンスを提供するかを予測します。これは、単純なクエリをより小さく、より速く、より費用対効果の高いモデルで処理でき、複雑なクエリをより高性能なモデルにルーティングできるカスタマーサービスアシスタントなどのアプリケーションに特に役立ちます。インテリジェントプロンプトルーティングは、精度を損なうことなくコストを最大 30% 削減できます。 Amazon Bedrock はプロンプトキャッシュをサポートするようになりました – 複数のモデル呼び出しにわたって、頻繁に使用されるコンテキストをプロンプトにキャッシュできるようになりました。これは、ユーザーが同じドキュメントについて複数の質問をするドキュメント Q&A システムや、コードファイルのコンテキストを管理する必要があるコーディングアシスタントなど、同じコンテキストを繰り返し使用するアプリケーションに特に役立ちます。キャッシュされたコンテキストは、アクセスするたびに最大 5 分間使用できます。Amazon Bedrock のプロンプトキャッシュにより、サポートされているモデルのコストを最大 90% 削減し、レイテンシーを最大 85% 削減できます。 これらの機能により、レイテンシーを低減し、パフォーマンスとコスト効率のバランスを取ることが容易になります。それでは、これらをアプリケーションでどのように使用できるかを見てみましょう。 コンソールでの Amazon Bedrock インテリジェントプロンプトルーティングの使用 Amazon Bedrock インテリジェントプロンプトルーティングは、高度なプロンプトマッチングとモデル理解技術を使用して、すべてのリクエストにおける各モデルのパフォーマンスを予測し、応答の質とコストを最適化します。プレビュー中は、 Anthropic’s Claude および Meta Llama モデルシリーズのデフォルトのプロンプトルーターを使用できます。 インテリジェントなプロンプトルーティングには、 AWS マネジメントコンソール 、 AWS コマンドラインインターフェイス (AWS CLI) 、 AWS SDK からアクセスできます。 Amazon Bedrock コンソール では、ナビゲーションペインの [ 基盤モデル ] セクションの [ プロンプトルーター ] を選択します。 詳細情報を得るには、 Anthropic プロンプトルーター のデフォルトルーターを選択します。 プロンプトルーターの設定から、 クロスリージョン推論プロファイル を使用して Claude 3.5 Sonnet と Claude 3 Haiku の間でリクエストをルーティングしていることがわかります。ルーティング基準は、ランタイムにルーター内部モデルによって予測された各プロンプトの最大モデルの応答と最小モデルの応答の品質差を定義します。フォールバックモデルは、選択したモデルのどれも望ましいパフォーマンス基準を満たさない場合に使用されるもので、Anthropic’s Claude 3.5 Sonnet です。 プロンプトルーターを使用してチャットするには [ プレイグラウンドで開く ] を選択し、次のプロンプトを入力します。 アリスには N 人の兄弟がいて、彼女には M 人の姉妹もいます。アリスの兄弟に姉妹は何人いますか？ 結果はすぐに提供されます。右側の新しい ルーターメトリック アイコンを選択して、プロンプトルーターでどのモデルが選択されたかを確認します。今回は、質問がかなり複雑なので、Anthropic’s Claude 3.5 Sonnet が使われました。 ここで、同じプロンプトルーターに簡単な質問をします。 「hello world」プログラムの目的を1行で説明してください。 今回は、Anthropic’s Claude 3 Haiku がプロンプトルーターに選ばれました。 メタプロンプトルーター を選択して構成を確認します。フォールバックとして、70B モデルを使用した Llama 3.1 70B および 8B のクロスリージョン推論プロファイルを使用しています。 プロンプトルーターは、 Amazon Bedrock ナレッジベース や Amazon Bedrock エージェント など、他の Amazon Bedrock 機能と統合されているほか、 評価を実行する 場合にも統合されます。たとえば、ここでは、私のユースケースでは、プロンプトルーターを別のモデルまたはプロンプトルーターと比較するのに役立つモデル評価を作成します。 アプリケーションでプロンプトルーターを使用するには、プロンプトルーターの Amazon リソースネーム (ARN) を Amazon Bedrock API のモデル ID として設定する必要があります。この仕組みが AWS CLI と AWS SDK でどのように機能するかを見てみましょう。 AWS CLI での Amazon Bedrock インテリジェントプロンプトルーティングの使用 Amazon Bedrock API はプロンプトルーターを処理するように拡張されました。たとえば、 ListPromptRouters を使用して AWS リージョンの既存のプロンプトルートを一覧表示できます。 aws bedrock list-prompt-routers 出力には、コンソールで見たものと似た、既存のプロンプトルータの概要が表示されます。 前のコマンドの全出力は次のとおりです。 { "promptRouterSummaries": [ { "promptRouterName": "Anthropic Prompt Router", "routingCriteria": { "responseQualityDifference": 0.26 }, "description": "Routes requests among models in the Claude family", "createdAt": "2024-11-20T00:00:00+00:00", "updatedAt": "2024-11-20T00:00:00+00:00", "promptRouterArn": "arn:aws:bedrock:us-east-1:123412341234:default-prompt-router/anthropic.claude:1", "models": [ { "modelArn": "arn:aws:bedrock:us-east-1:123412341234:inference-profile/us.anthropic.claude-3-haiku-20240307-v1:0" }, { "modelArn": "arn:aws:bedrock:us-east-1:123412341234:inference-profile/us.anthropic.claude-3-5-sonnet-20240620-v1:0" } ], "fallbackModel": { "modelArn": "arn:aws:bedrock:us-east-1:123412341234:inference-profile/us.anthropic.claude-3-5-sonnet-20240620-v1:0" }, "status": "AVAILABLE", "type": "default" }, { "promptRouterName": "Meta Prompt Router", "routingCriteria": { "responseQualityDifference": 0.0 }, "description": "Routes requests among models in the LLaMA family", "createdAt": "2024-11-20T00:00:00+00:00", "updatedAt": "2024-11-20T00:00:00+00:00", "promptRouterArn": "arn:aws:bedrock:us-east-1:123412341234:default-prompt-router/meta.llama:1", "models": [ { "modelArn": "arn:aws:bedrock:us-east-1:123412341234:inference-profile/us.meta.llama3-1-8b-instruct-v1:0" }, { "modelArn": "arn:aws:bedrock:us-east-1:123412341234:inference-profile/us.meta.llama3-1-70b-instruct-v1:0" } ], "fallbackModel": { "modelArn": "arn:aws:bedrock:us-east-1:123412341234:inference-profile/us.meta.llama3-1-70b-instruct-v1:0" }, "status": "AVAILABLE", "type": "default" } ] } GetPromptRouter とプロンプトルータ ARN を使用すると、特定のプロンプトルータに関する情報を取得できます。たとえば、Meta Llama モデルシリーズの場合: aws bedrock get-prompt-router --prompt-router-arn arn:aws:bedrock:us-east-1:123412341234:default-prompt-router/meta.llama:1 { "promptRouterName": "Meta Prompt Router", "routingCriteria": { "responseQualityDifference": 0.0 }, "description": "Routes requests among models in the LLaMA family", "createdAt": "2024-11-20T00:00:00+00:00", "updatedAt": "2024-11-20T00:00:00+00:00", "promptRouterArn": "arn:aws:bedrock:us-east-1:123412341234:default-prompt-router/meta.llama:1", "models": [ { "modelArn": "arn:aws:bedrock:us-east-1:123412341234:inference-profile/us.meta.llama3-1-8b-instruct-v1:0" }, { "modelArn": "arn:aws:bedrock:us-east-1:123412341234:inference-profile/us.meta.llama3-1-70b-instruct-v1:0" } ], "fallbackModel": { "modelArn": "arn:aws:bedrock:us-east-1:123412341234:inference-profile/us.meta.llama3-1-70b-instruct-v1:0" }, "status": "AVAILABLE", "type": "default" } Amazon Bedrock でプロンプトルーターを使用するには、API コールを行うときにプロンプトルーター ARN をモデル ID として設定しました。たとえば、ここでは AWS CLI と Amazon Bedrock Converse API で Anthropic プロンプトルーターを使用しています。 aws bedrock-runtime converse \ --model-id arn:aws:bedrock:us-east-1:123412341234:default-prompt-router/anthropic.claude:1 \ --messages '[{ "role": "user", "content": [ { "text": "Alice has N brothers and she also has M sisters.How many sisters does Alice’s brothers have?" } ] }]' \ 出力には、プロンプトルーターを使用した呼び出しには、実際に使用されたモデルを示す新しい トレース セクションが含まれます。この場合は、Anthropic’s Claude 3.5 Sonnet です。 { "output": { "message": { "role": "assistant", "content": [ { "text": "To solve this problem, let's think it through step-by-step:\n\n1) First, we need to understand the relationships:\n - Alice has N brothers\n - Alice has M sisters\n\n2) Now, we need to consider who Alice's brothers' sisters are:\n - Alice herself is a sister to all her brothers\n - All of Alice's sisters are also sisters to Alice's brothers\n\n3) So, the total number of sisters that Alice's brothers have is:\n - The number of Alice's sisters (M)\n - Plus Alice herself (+1)\n\n4) Therefore, the answer can be expressed as: M + 1\n\nThus, Alice's brothers have M + 1 sisters." } ] } }, . . . "trace": { "promptRouter": { "invokedModelId": "arn:aws:bedrock:us-east-1:123412341234:inference-profile/us.anthropic.claude-3-5-sonnet-20240620-v1:0" } } } AWS SDK による Amazon Bedrock インテリジェントプロンプトルーティングの使用 AWS SDK をプロンプトルーターで使用することは、以前のコマンドラインエクスペリエンスと似ています。モデルを呼び出すときに、モデル ID をプロンプトモデル ARN に設定しました。たとえば、次の Python コードでは、 ConverseStream API でメタラマルーターを使用しています。 import json import boto3 bedrock_runtime = boto3.client( "bedrock-runtime", region_name="us-east-1", ) MODEL_ID = "arn:aws:bedrock:us-east-1:123412341234:default-prompt-router/meta.llama:1" user_message = "Describe the purpose of a 'hello world' program in one line." messages = [ { "role": "user", "content": [{"text": user_message}], } ] streaming_response = bedrock_runtime.converse_stream( modelId=MODEL_ID, messages=messages, ) for chunk in streaming_response["stream"]: if "contentBlockDelta" in chunk: text = chunk["contentBlockDelta"]["delta"]["text"] print(text, end="") if "messageStop" in chunk: print() if "metadata" in chunk: if "trace" in chunk["metadata"]: print(json.dumps(chunk['metadata']['trace'], indent=2)) このスクリプトは、応答テキストとトレースの内容を応答メタデータに出力します。この単純なリクエストに対して、プロンプトルーターはより高速で手頃なモデルを選択しました。 「Hello World」プログラムは、プログラミング言語の基本的な構文と機能を示す基本的な例となるシンプルな入門プログラムで、通常は開発環境が正しく設定されていることを確認するために使用されます。 { "promptRouter": { "invokedModelId": "arn:aws:bedrock:us-east-1:123412341234:inference-profile/us.meta.llama3-1-8b-instruct-v1:0" } } AWS SDK でのプロンプトキャッシュの使用 Amazon Bedrock Converse API ではプロンプトキャッシュを使用できます。キャッシュするコンテンツにタグを付けて初めてモデルに送信すると、モデルは入力を処理し、中間結果をキャッシュに保存します。同じコンテンツを含む後続のリクエストでは、モデルは前処理された結果をキャッシュから読み込み、コストと待ち時間の両方を大幅に削減します。 プロンプトキャッシュは、いくつかの手順でアプリケーションに実装できます。 プロンプトの中で頻繁に再利用される部分を特定します。 新しい cachePoint ブロックを使用して、これらのセクションをメッセージのリストにキャッシュするようにタグ付けします。 レスポンスメタデータの使用状況セクションで、キャッシュの 使用状況 とレイテンシーの改善を監視してください。 ドキュメントを操作するときのプロンプトキャッシュの実装例を次に示します。 まず、 AWS のウェブサイトから 3 つの意思決定ガイドを PDF 形式でダウンロードします 。これらのガイドは、お客様のユースケースに合った AWS サービスを選択するのに役立ちます。 次に、Python スクリプトを使用して、ドキュメントについて 3 つの質問をします。このコードでは、モデルとの会話を処理する converse() 関数を作成します。この関数を初めて呼び出すときに、ドキュメントのリストと cachePoint ブロックを追加するためのフラグを含めます。 import json import boto3 MODEL_ID = "us.anthropic.claude-3-5-sonnet-20241022-v2:0" AWS_REGION = "us-west-2" bedrock_runtime = boto3.client( "bedrock-runtime", region_name=AWS_REGION, ) DOCS = [ "bedrock-or-sagemaker.pdf", "generative-ai-on-aws-how-to-choose.pdf", "machine-learning-on-aws-how-to-choose.pdf", ] messages = [] def converse(new_message, docs=[], cache=False): if len(messages) == 0 or messages[-1]["role"] != "user": messages.append({"role": "user", "content": []}) for doc in docs: print(f"Adding document: {doc}") name, format = doc.rsplit('.', maxsplit=1) with open(doc, "rb") as f: bytes = f.read() messages[-1]["content"].append({ "document": { "name": name, "format": format, "source": {"bytes": bytes}, } }) messages[-1]["content"].append({"text": new_message}) if cache: messages[-1]["content"].append({"cachePoint": {"type": "default"}}) response = bedrock_runtime.converse( modelId=MODEL_ID, messages=messages, ) output_message = response["output"]["message"] response_text = output_message["content"][0]["text"] print("Response text:") print(response_text) print("Usage:") print(json.dumps(response["usage"], indent=2)) messages.append(output_message) converse("Compare AWS Trainium and AWS Inferentia in 20 words or less.", docs=DOCS, cache=True) converse("Compare Amazon Textract and Amazon Transcribe in 20 words or less.") converse("Compare Amazon Q Business and Amazon Q Developer in 20 words or less.") スクリプトは、呼び出しごとに応答と 使用状況カウンター を出力します。 ドキュメントの追加: bedrock-or-sagemaker.pdf ドキュメントの追加: generative-ai-on-aws-how-to-choose.pdf ドキュメントの追加: machine-learning-on-aws-how-to-choose.pdf 応答テキスト: AWS Trainium は機械学習トレーニングに最適化されており、AWS Inferentia は低コストで高性能な機械学習推論向けに設計されています。 使用方法: { "inputTokens": 4, "outputTokens": 34, "totalTokens": 29879, "cacheReadInputTokenCount": 0, "cacheWriteInputTokenCount": 29841 } 応答テキスト: Amazon Textract はドキュメントからテキストとデータを抽出し、Amazon Transcribe はオーディオファイルまたはビデオファイルからオーディオをテキストに変換します。 使用方法: { "inputTokens": 59, "outputTokens": 30, "totalTokens": 29930, "cacheReadInputTokenCount": 29841, "cacheWriteInputTokenCount": 0 } 応答テキスト: Amazon Q Business はエンタープライズデータを使用して質問に回答し、Amazon Q Developer は AWS のアプリケーションとサービスの構築と運用を支援します。 使用方法: { "inputTokens": 108, "outputTokens": 26, "totalTokens": 29975, "cacheReadInputTokenCount": 29841, "cacheWriteInputTokenCount": 0 } レスポンスの 使用状況 セクションには、 cacheReadInputTokenCount と cacheWriteInputTokenCount という 2 つの新しいカウンターが含まれています。呼び出しのトークンの総数は、入力トークンと出力トークンの合計に、キャッシュに読み書きされたトークンを加えたものです。 呼び出しのたびに、メッセージのリストが処理されます。最初の呼び出しのメッセージには、ドキュメント、最初の質問、およびキャッシュポイントが含まれます。キャッシュポイントより前のメッセージは現在キャッシュにないため、キャッシュに書き込まれます。 使用状況 カウンターによると、29,841 個のトークンがキャッシュに書き込まれています。 "cacheWriteInputTokenCount": 29841 次の呼び出しでは、前の応答と新しい質問がメッセージのリストに追加されます。 cachePoint の前のメッセージは変更されず、キャッシュ内にあります。 予想どおり、 使用状況 カウンターから、以前に書き込まれたのと同じ数のトークンがキャッシュから読み取られることがわかります。 "cacheReadInputTokenCount": 29841 私のテストでは、最初の呼び出しと比較して、次の呼び出しが完了するまでにかかる時間が 55% 短くなりました。ユースケース（キャッシュされたコンテンツが多い場合など）にもよりますが、プロンプトキャッシュによってレイテンシが最大 85% 改善されます。 モデルによっては、メッセージのリストに複数のキャッシュポイントを設定できます。ユースケースに適したキャッシュポイントを見つけるには、さまざまな構成を試して、報告された使用状況への影響を確認してください。 知っておくべきこと Amazon Bedrock インテリジェントプロンプトルーティングは、米国東部 (バージニア北部) および米国西部 (オレゴン) の AWS リージョン で 12 月 4 日プレビュー版をご利用いただけます。プレビュー中は、デフォルトのプロンプトルーターを使用できます。プロンプトルーターを使用しても追加料金はかかりません。選択したモデルの費用を支払います。プロンプトルーターは、 評価の実行 、 ナレッジベースの使用 、 エージェントの設定など 、他の Amazon Bedrock 機能とともに使用できます。 プロンプトルーターが使用する内部モデルはプロンプトの複雑さを理解する必要があるため、インテリジェントプロンプトルーティングは現在英語プロンプトのみをサポートしています。 Amazon Bedrock によるプロンプトキャッシュのサポートは、米国西部 (オレゴン) で Anthropic’s Claude 3.5 Sonnet V2 と Claude 3.5 Haiku のプレビュー版が提供されています。米国東部 (バージニア北部) では Amazon Nova Micro、Amazon Nova Lite、および Amazon Nova Pro のプロンプトキャッシュも利用できます。 プロンプトキャッシュを使用すると、キャッシュ読み取りは、キャッシュされていない入力トークンと比較して 90% 割引されます。キャッシュストレージに追加のインフラストラクチャ料金はかかりません。Anthropic モデルを使用する場合、キャッシュに書き込まれたトークンには追加料金がかかります。Amazon Nova モデルでは、キャッシュ書き込みに追加コストはかかりません。詳細については、 Amazon Bedrock の料金 をご覧ください。 プロンプトキャッシュを使用する場合、コンテンツは最大 5 分間キャッシュされ、キャッシュヒットするたびにカウントダウンがリセットされます。プロンプトキャッシュは、 クロスリージョン推論 を透過的にサポートするために実装されています。これにより、アプリケーションでは、クロスリージョン推論の柔軟性を利用して、プロンプトキャッシュによるコスト最適化とレイテンシーのメリットを享受できます。 これらの新機能により、費用対効果が高く高性能な生成 AI アプリケーションを簡単に構築できます。リクエストをインテリジェントにルーティングし、頻繁に使用されるコンテンツをキャッシュすることで、アプリケーションのパフォーマンスを維持し、さらに向上させると同時に、コストを大幅に削減できます。 これらの新機能の詳細を確認して今すぐ使用を開始するには、 Amazon Bedrock のドキュメント にアクセスし、 AWS re:Post for Amazon Bedrock にフィードバックを送信してください。 community.aws では、詳しい技術コンテンツを検索し、ビルダーコミュニティが Amazon Bedrock を使用する方法を見出すことができます。 – Danilo 原文は こちら です。

12 月 4 日、 Amazon Bedrock Marketplace をご紹介します。この新しい機能を使用することで、お客様は、 Amazon Bedrock を通じて 100 を超える人気、新興、専門の 基盤モデル (FM) にアクセスできます。このリリースにより、IBM や Nvidia などのエンタープライズプロバイダーの新しいモデル、韓国語処理用の Upstages の Solar Pro やタンパク質研究用の Evolutionary Scale の ESM3 などの専門モデル、および Anthropic や Meta などのプロバイダーの Amazon Bedrock 汎用 FM を見つけて、テストし、デプロイできるようになりました。 Amazon Bedrock Marketplace でデプロイされたモデルには、サーバーレスモデルと同じ標準 API を通じてアクセスでき、Converse API と互換性のあるモデルの場合は、 Amazon Bedrock のエージェント や Amazon Bedrock のナレッジベース などのツールで使用できます。 生成 AI が組織の仕組みを変え続ける中、特定のドメイン、言語、またはタスク向けに最適化された専門モデルの必要性が高まっています。しかし、これらのモデルを見つけて評価することは困難でコストがかかる場合があります。さまざまなサービスでモデルを見つけ、アプリケーションで使用するために抽象化を構築し、複雑なセキュリティとガバナンスのレイヤーを作成する必要があります。Amazon Bedrock Marketplace は、特殊な FM と汎用 FM の両方にアクセスするための単一のインターフェイスを提供することで、これらの課題に対処します。 Amazon Bedrock Marketplace の使用 使用を開始するには、Amazon Bedrock コンソールで、ナビゲーションペインの [基盤モデル] セクションで [モデルカタログ] を選択します。ここで、特定のユースケースまたは言語に役立つモデルを検索できます。検索結果には、サーバーレスモデルと Amazon Bedrock Marketplace で使用可能なモデルの両方が含まれます。プロバイダー、モダリティ (テキスト、画像、音声など)、またはタスク (分類やテキスト要約など) で結果をフィルタリングできます。 カタログには、コンテキスト適応型小規模言語モデル (SLM) を構築する Arcee AI や、多言語モデルを提供する Widn.AI などの組織が提供するモデルが含まれています。 例えば、 IBM Granite モデルに興味がある場合は、 IBM Data and AI のモデルを検索します。 エンタープライズアプリケーション向けに設計された言語モデルである Granite 3.0 2B Instruct を選択します。モデルを選択すると、モデルの詳細ページが開き、モデルの特徴、料金、サンプル API コールを含む使用方法など、モデルプロバイダーからの詳細情報を確認できます。 この特定のモデルにはサブスクリプションが必要なので、 [サブスクリプションオプションを表示] を選択します。 サブスクリプションダイアログから、料金と法的な注意事項を確認します。 [料金の詳細] には、プロバイダーが設定したソフトウェア料金が表示されます。このモデルでは、デプロイされたインフラストラクチャのほかに、追加コストは発生しません。 Amazon SageMaker インフラストラクチャのコストは別途請求され、「 Amazon SageMaker pricing 」でご確認いただけます。 このモデルで続行するには、 [サブスクライブ] を選択します。 サブスクリプションが完了すると (通常は数分かかります)、モデルをデプロイできます。 [デプロイの詳細] で、デフォルト設定と推奨インスタンスタイプを使用します。 オプションの [高度な設定] を展開します。ここでは、 仮想プライベートクラウド (VPC) にデプロイするか、デプロイによって使用される AWS Identity and Access Management (IAM) サービスロールを指定するかを選択できます。Amazon Bedrock Marketplace は、モデルの重みが保存されている Amazon Simple Storage Service (Amazon S3) バケットにアクセスするためのサービスロールを自動的に作成しますが、既存のロールを使用することもできます。 デフォルト値をそのままにして、デプロイを完了します。 数分後、デプロイは [稼働中] となり、ナビゲーションペインから [Marketplace デプロイ] ページに移動して確認できます。 そこで、エンドポイントを選択して詳細を表示し、インスタンスの数などの設定を編集できます。デプロイをテストするために、 [プレイグラウンドで開く] を選択して、詩を書くように指示します。 デプロイされたエンドポイントがリストされる新しい [Marketplace] カテゴリを使用して、 [プレイグラウンド] の [チャット/テキスト] ページからモデルを選択することもできます。 同様に、 [モデルを選択] を選択し、 [Marketplace] モデルエンドポイントを選択することで、 Amazon Bedrock のエージェント 、 Amazon Bedrock のナレッジベース 、 Amazon Bedrock Prompt Management 、 Amazon Bedrock のガードレール 、 モデル評価 などの他のツールでモデルを使用できます。 ここで使用したモデルは Text-to-Text ですが、Amazon Bedrock Marketplace を使用して、さまざまなモダリティのモデルをデプロイできます。例えば、 Stability AI の Stable Diffusion 3.5 Large をデプロイした後、Amazon Bedrock の イメージプレイグラウンド で簡単なテストを実行できます。 これで、デプロイしたモデルを Amazon Bedrock InvokeModel API を通じて使用できるようになりました。モデルをデプロイすると、エンドポイントの Amazon リソースネーム (ARN) をモデル ID として使用して、 AWS コマンドラインインターフェイス (AWS CLI) および任意の AWS SDK で使用できます。 チャット向けにチューニングされた Text-to-Text モデルの場合、モデルの違いを抽象化し、単一のパラメータ変更でモデルを切り替えることを可能にする Amazon Bedrock Converse API を使用することもできます。 知っておくべきこと Amazon Bedrock Marketplace は、次の AWS リージョン でご利用いただけます: 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (オレゴン)、アジアパシフィック (ムンバイ)、アジアパシフィック (ソウル)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (東京)、カナダ (中部)、欧州 (フランクフルト)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、南米 (サンパウロ)。 Amazon Bedrock Marketplace では、サードパーティーのモデルプロバイダーにソフトウェア料金を支払うほか (前の例のように料金がかからない場合もあります)、モデルエンドポイントのために選択したインスタンスのタイプと数に基づいてホスティング料金をお支払いいただきます。 新しいモデルの閲覧は、 Amazon Bedrock コンソールのモデルカタログ を使用して開始してください。また、 Amazon Bedrock Marketplace ドキュメント にアクセスし、 AWS re:Post for Amazon Bedrock にフィードバックをぜひお寄せください。 community.aws では、詳細な技術コンテンツを見つけたり、ビルダーコミュニティが Amazon Bedrock をどのように使用しているかを確認したりできます。 – Danilo 原文は こちら です。

12 月 4 日、データサイエンティストがタイムラインと予算内で大規模な 基盤モデル (FM) をトレーニングし、コンピューティングの可用性に基づいてトレーニングプロセスを管理する数週間の労力を節約するのに役立つ、 Amazon SageMaker HyperPod の柔軟なトレーニングプランの一般提供の開始を発表しました。 AWS re:Invent 2023 では、 SageMaker HyperPod をご紹介 しました。これを使用することで、FM のトレーニング時間を最大 40% 短縮できるほか、事前設定された分散トレーニングライブラリと組み込みの回復力を使用して、数千のコンピューティングリソースを並行してスケールできます。ほとんどの生成 AI モデル開発タスクでは、高速コンピューティングリソースが並列で必要です。お客様は、タイムラインと予算の制約内でトレーニングを完了するために、コンピューティングリソースに適時にアクセスすることに苦労しています。 12 月 4 日の発表により、トレーニングに必要な高速コンピューティングリソースを見つけ、最適なトレーニングプランを作成し、コンピューティングリソースの可用性に応じて、さまざまなキャパシティブロックにまたがってトレーニングワークロードを実行できます。数ステップで、トレーニングの完了日、予算、コンピューティングリソースの要件を特定し、最適なトレーニングプランを作成して、手動による介入なしで、フルマネージドトレーニングジョブを実行できます。 SageMaker HyperPod のトレーニングプランが実際に機能している様子 使用を開始するには、 Amazon SageMaker AI コンソール に移動し、左側のナビゲーションペインで [トレーニングプラン] を選択して、 [トレーニングプランを作成] を選択します。 例えば、SageMaker HyperPod クラスターのために希望するトレーニングの日時 (10 日間)、インスタンスタイプと数 (16 個の ml.p5.48xlarge ) を選択し、 [トレーニングプランを検索] を選択します。 SageMaker HyperPod は、2 つの 5 日間のセグメントに分割されたトレーニングプランを提案します。これには、プランの前払い料金の合計が含まれます。 このトレーニングプランを受け入れる場合は、次のステップでトレーニングの詳細を追加し、プランの [作成] を選択します。 トレーニングプランを作成すると、トレーニングプランのリストが表示されます。トレーニングプランを作成したら、12 時間以内にプランについての前払い料金を支払う必要があります。1 つのプランは [アクティブ] 状態で、既に開始されており、すべてのインスタンスが使用されています。2 つ目のプランは後で開始するように [スケジュール済み] になっていますが、プランの開始時に自動的に開始されるジョブを既に送信できます。 [アクティブ] ステータスのコンピューティングリソースは SageMaker HyperPod で使用可能であり、使用可能な状態で一時停止が発生してもその後に自動的に再開され、プランの終了時に終了します。現在実行中の最初のセグメントがあり、現在のセグメントの後に実行するためにキューに入れられた別のセグメントがあります。 これは、SageMaker AI がインスタンスの中断を処理し、手動介入なしでトレーニングを続行する SageMaker AI のマネージドスポットトレーニング に似ています。詳細については、「Amazon SageMaker AI デベロッパーガイド」の「 SageMaker HyperPod training plans 」にアクセスしてください。 今すぐご利用いただけます Amazon SageMaker HyperPod トレーニングプランは、米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (オレゴン) の AWS リージョンでご利用いただけるようになりました。 ml.p4d.48xlarge 、 ml.p5.48xlarge 、 ml.p5e.48xlarge ,  ml.p5en.48xlarge 、 ml.trn2.48xlarge インスタンスがサポートされています。Trn2 および P5en インスタンスは、米国東部 (オハイオ) リージョンでのみご利用いただけます。詳細については、 SageMaker HyperPod の製品ページ と SageMaker AI の料金ページ にアクセスしてください。 Amazon SageMaker AI コンソール で HyperPod トレーニングプランをお試しいただき、 AWS re:Post for SageMaker AI に、または通常の AWS サポートの連絡先を通じて、フィードバックをぜひお寄せください。 – Channy 原文は こちら です。

12 月 4 日、 Amazon SageMaker HyperPod タスクガバナンスの一般提供の開始を発表しました。これは、トレーニング、ファインチューニング、推論などの 生成 AI モデル開発タスク全体で GPU と Tranium の使用率を簡単かつ一元的に管理し、最大化するための新しいイノベーションです。 お客様から、生成 AI プロジェクトへの投資が急速に増加しているものの、限られたコンピューティングリソースを効率的に割り当てることにおいて課題に直面しているとの報告を受けています。リソース割り当てについての動的で一元化されたガバナンスが不足すると、一部のプロジェクトではリソースが十分に活用されず、他のプロジェクトでは停滞してしまい、非効率が生じます。この状況では、絶えず計画し直さなければならないという負担が管理者に生じ、データサイエンティストやデベロッパーの作業が遅れ、AI イノベーションの実現に遅れが生じ、リソースの非効率的な使用によるコスト超過が発生します。 SageMaker HyperPod タスクガバナンスを使用すると、コンピューティングリソースの活用不足によるコスト超過を回避しながら、AI イノベーションのための市場投入までの時間を短縮できます。管理者は、いくつかのステップを実行することで、プロジェクトの予算とタスクの優先度に基づいてコンピューティングリソースの割り当てを管理するクォータを設定できます。データサイエンティストやデベロッパーは、モデルトレーニング、ファインチューニング、評価などのタスクを作成できます。SageMaker HyperPod は、割り当てられたクォータ内でこれらのタスクを自動的にスケジュールして実行します。 SageMaker HyperPod タスクガバナンスはリソースを管理し、高優先度タスクにすぐに対応する必要がある場合に、低優先度タスクからコンピューティングを自動的に解放します。これは、低優先度のトレーニングタスクを一時停止し、チェックポイントを保存して、後でリソースが使用可能になったときに再開することで行われます。さらに、チームのクォータ内のアイドルコンピューティングは、別のチームの待機タスクを加速するために自動的に使用できます。 データサイエンティストとデベロッパーは、タスクキューを継続的にモニタリングし、保留中のタスクを表示して、必要に応じて優先順位を調整できます。また、管理者は、スケジュールされたタスクとコンピューティングリソースの使用状況をチームとプロジェクト全体でモニタリングおよび監査することもできます。その結果、割り当てを調整してコストを最適化し、組織全体でリソースの可用性を改善できます。このアプローチにより、リソースの効率を最大化しながら、重要なプロジェクトを適時に完了できます。 SageMaker HyperPod タスクガバナンスの開始方法 タスクガバナンスは、 HyperPod の Amazon EKS クラスター のために使用できます。クラスターのプロビジョニングと管理については、 Amazon SageMaker AI コンソール の [HyperPod クラスター] の下にある [クラスター管理] をご覧ください。管理者は、このコンソールを通じて HyperPod クラスターの操作とスケーリングを効率化できます。 HyperPod クラスターを選択すると、クラスターの詳細ページに新しい [ダッシュボード] 、 [タスク] 、および [ポリシー] タブが表示されます。 1.新しいダッシュボード 新しいダッシュボードでは、クラスターの使用率、チームベース、およびタスクベースのメトリクスの概要を確認できます。 まず、すべてのインスタンスグループにわたる GPU、vCPU、メモリ使用率などの重要なコンピューティングリソースのポイントインタイムとトレンドベースの両方のメトリクスを表示できます。 次に、チーム固有のリソース管理に関する包括的なインサイトを得て、チーム全体におけるコンピューティング割り当てに照らして GPU 使用率を重点的に確認できます。チームとクラスターインスタンスグループのカスタマイズ可能なフィルターを使用して、タスクのために割り当てられた GPU/CPU、借りた GPU/CPU、GPU/CPU 使用率などのメトリクスを分析できます。 実行中、保留中、およびプリエンプトされたタスクの数、ならびに平均タスク実行時間と待機時間などのメトリクスを使用して、タスクのパフォーマンスとリソース割り当ての効率を評価することもできます。SageMaker HyperPod クラスターのリソースとソフトウェアコンポーネントに関する包括的なオブザーバビリティを得るには、 Amazon CloudWatch Container Insights または Amazon Managed Grafana と統合できます。 2.クラスターポリシーを作成して管理する タスクの優先順位付けと公平なリソース割り当てを有効にするために、重要なワークロードを優先し、コンピューティング割り当てで定義されたチーム間でアイドルコンピューティングを配分するクラスターポリシーを設定できます。 クラスターの設定で優先度クラスと借りたコンピューティングの公平な共有を設定するには、 [クラスターポリシー] セクションで [編集] を選択します。 キューで待機しているタスクが、タスクの優先順位付けでどのように受け入れられるかを定義できます: [先着順] (デフォルト) または [タスクのランク付け] 。[タスクのランク付け] を選択すると、キューで待機しているタスクは、このクラスターポリシーで定義されている優先順位で受け入れられます。同じ優先度クラスのタスクは、先着順で実行されます。 また、アイドルコンピューティングをチーム間で割り当てる方法も設定できます: [先着順] または [公平な共有] (デフォルト)。公平な共有の設定により、チームは割り当てられた重みに基づいてアイドルコンピューティングを借りることができます。この重みは、相対コンピューティング割り当てで設定されます。これにより、すべてのチームがアイドルコンピューティングを公平に共有して、待機中のタスクを高速化できます。 [ポリシー] ページの [コンピューティング割り当て] セクションでは、コンピューティング割り当てを作成および編集して、チーム間でコンピューティングリソースを配分したり、アイドル状態のコンピューティングをチームが貸し借りできるようにする設定を有効にしたりできるほか、自らの低優先度のタスクのプリエンプションを設定し、チームに公平な共有の重みを割り当てることもできます。 [チーム] セクションでチーム名を設定すると、データサイエンスチームと機械学習 (ML) チームが使用できる、対応する Kubernetes 名前空間が作成されます。未使用のキャパシティをチーム間でより公平に配分するために公平な共有の重みを設定し、タスクの優先度に基づいてプリエンプションオプションを有効にして、優先度の高いタスクが優先度の低いタスクをプリエンプトできるようにすることができます。 [コンピューティング] セクションでは、インスタンスタイプのクォータを追加してチームに割り当てることができます。さらに、クラスターでまだ使用できないインスタンスタイプのクォータを割り当てて、将来の拡張に備えることもできます。 チームが未使用のキャパシティを他のチームに貸し出すことを許可することで、アイドル状態のコンピューティングリソースを共有できるようにすることができます。この借用モデルは相互的です。チームがアイドル状態のコンピューティングを借りることができるのは、自らの未使用のリソースを他のチームと共有する意思がある場合のみです。また、チームが割り当てられたクォータを超えてコンピューティングリソースを借りられるようにする借用制限を指定することもできます。 3.SageMaker HyperPod クラスターでトレーニングタスクを実行する データサイエンティストは、 HyperPod コマンドラインインターフェイス (CLI) コマンドを使用して、トレーニングジョブを送信し、チームに割り当てられたクォータを使用できます。HyperPod CLI を使用すると、ジョブを開始し、割り当てを持つ、対応する名前空間を指定できます。 $ hyperpod start-job --name smpv2-llama2 --namespace hyperpod-ns-ml-engineers Successfully created job smpv2-llama2 $ hyperpod list-jobs --all-namespaces { "jobs": [ { "Name": "smpv2-llama2", "Namespace": "hyperpod-ns-ml-engineers", "CreationTime": "2024-09-26T07:13:06Z", "State": "Running", "Priority": "fine-tuning-priority" }, ... ] } [タスク] タブでは、クラスター内のすべてのタスクを確認できます。各タスクの優先度とキャパシティニーズはポリシーに応じて異なります。優先度のより高い別のタスクを実行すると、既存のタスクが一時停止され、その別のタスクが最初に実行されます。 では、優先度の低いタスクの実行中に優先度の高いトレーニングタスクが追加された場合に何が起こるかを示すデモ動画を見てみましょう。 詳細については、「Amazon SageMaker AI デベロッパーガイド」の「 SageMaker HyperPod task governance 」にアクセスしてください。 今すぐご利用いただけます Amazon SageMaker HyperPod タスクガバナンスは、米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (オレゴン) の AWS リージョンでご利用いただけるようになりました。HyperPod タスクガバナンスは追加コストなしでご利用いただけます。詳細については、 SageMaker HyperPod の製品ページ にアクセスしてください。 Amazon SageMaker AI コンソール で HyperPod タスクガバナンスをお試しいただき、 AWS re:Post for SageMaker に、または通常の AWS サポートの連絡先を通じて、フィードバックをぜひお寄せください。 – Channy P.S.HyperPod テスト環境の作成に貢献してくれた AWS の Senior Generative AI Specialist Solutions Architect である Nisha Nadkarni に特に感謝します。 原文は こちら です。

本ブログは、株式会社 NTT ドコモ(以下、ドコモ)の 周成氏, 宮木健一郎氏, 小柳歩巴氏と Amazon Web Services Japan が共同で執筆しました。 本ブログでは、ドコモ がマーケティング分析をスケールさせるために Amazon QuickSight の ピクセルパーフェクトレポート の機能を使った事例をご紹介します。 背景 : ファンプロファイリングとは ドコモ は、そのビジネス規模から多様で大量のデータを保持しています。そして、それらのデータを活用してユーザーを深く理解し、ターゲティングの最適化をするために、 顧客理解エンジン「docomo Sense」 (以下、Sense)と呼ばれるシステムを開発しています。例えば、Sense では緯度経度を直接指定して、指定したエリアに滞在したユーザー群（集団）の特徴を分析することができます。これは新規店舗の位置を検討しているマーケターにとって非常に有用な情報です。 Sense の機能の一つに、ファンプロファイリング分析という機能があります。これは、データ利用に同意を得たユーザーの位置情報や商品の購買履歴などを活用し、あるアーティストやある商品のファンの特徴を可視化するものです。特徴とは、訪問場所、興味関心領域、アプリ利用、性年代などを含みます。既存のファンを分析することで、新規顧客獲得や優良顧客化に向けた施策に活用することができます。 図1. ファンプロファイリング分析のイメージ 初期のソリューションとその課題 このファンプロファイリング分析は、AWS サービスを用いて行われています。初期の頃は、図2のように、 AWS Batch 内でファンプロファイリングの処理を行い、その結果を Amazon QuickSight を用いて手動で可視化していました。 図2. 初期のファンプロファイリングアーキテクチャ 最終的に QuickSight で可視化されるアウトプットのイメージが図3です。 図3. ファンプロファイリングの可視化レポートイメージ 当時はリクエストが少数だったため、リクエストのたびに手動で実行していました。しかし、当機能の利用者が増加し、1日10件近いリクエストが来るようになると、手動対応では間に合わなくなり、システムの自動化が必要となりました。 自動化されたソリューション : QuickSight ピクセルパーフェクトレポート 本システムでは、自動化を目的として、QuickSightのピクセルパーフェクトレポート機能を活用しました。ピクセルパーフェクトレポートは、QuickSight上で可視化した分析結果をCSVまたはPDF形式で出力する機能です。これにより、印刷や配布に適した形で分析結果を共有することが可能になります。また、APIを利用することで、特定のS3バケットにレポートを出力でき、QuickSightのアクセス権を持つユーザー以外にもレポートを共有できます。 図4のように下記の流れでレポートを作成します。  Amazon S3 にある csv データから QuickSight のData Set を作成 テンプレートを用いてダッシュボードを作成 ピクセルパーフェクトレポートを利用し、ダッシュボードをPDFとして出力し、S3 に保存 図4. ピクセルパーフェクトレポート 機能によるレポート作成の流れ 全体の流れを表したのが図5になります。全体のワークフローは Amazon Managed Workflows for Apache Airflow (Amazon MWAA) で管理しています。 利用者が所定の S3 バケットに入力のためのファイルをアップロードします AWS Batch が利用者の入力をもとに分析結果を作成し、S3 バケットに保存します AWS Batch が QuickSight に PDF 作成のリクエストを送信します 図4に示した流れで可視化の PDF を作成し、S3 バケットに保存します 図5. ファンプロファイリングの全体の流れ 以下は今回のソリューションによる工夫のポイントです。 1. 複数タスクの並列化 複数のタスクが並列で実行されるため、相互に影響が出ないように工夫が必要となります。今回は、データソースの作成、データの加工、可視化、PDFへの変換といった複数のタスクを、一意の識別子を渡して処理することで、処理を分離し、並列化できるようにしました。これにより、処理時間が短縮されました。 2. データライフサイクル管理の自動化 一般的には、データソースやデータセット、ダッシュボードを残して中身を更新することが多いですが、本システムでは、データが毎日更新されるため、すべてを新たに作成する方式を採用しています。この方法により、データ更新時の管理負担が軽減され、効率的な運用が実現します。さらに、不要なリソースの蓄積を防ぐため、データライフサイクル管理を適用し、ストレージコストも削減できました。これにより、システムの安定性と効率性も向上しました。 成果 本システムを導入することで、従来の手動作業による時間と労力の負担が自動化によって大幅に軽減され、可視化件数が大幅に増加しました。自動化の結果、手動作業は完全にゼロになり、1レポートの作成にかかる全体の実行時間が約1時間から10分に短縮されました。また、ピクセルパーフェクトレポート機能とAWS APIを活用することで、データの格納からPDFへの変換までの一連の作業を自動化し、大規模な対応が可能となりました。その結果、従来の手動対応では月間数件の可視化件数であったところが、自動化により月間数百件の出力を実施できるようになりました。 開発を手がけた ドコモ サービスイノベーション部顧客理解 AI 担当の澤田流布一氏は、今回の取組に対して次のようにコメントしています。 「私たちは、プロダクトの提供を小さく始めて試行錯誤を高速で繰り返し、利用者の声を聞きながら大きくしていくというやり方を大切にしています。その際、小規模で機能提供している際には課題にならなかった部分が徐々に顕在化してくることが多く、今回はその課題を AWS の機能により上手に解決できました。プロダクト成長段階に応じて機能が使い分けられるのも AWS の豊富な機能提供のおかげですので、今後も上手に活用させていただきながら機能と運用の両面の質が向上するような開発を行なっていきたいと考えております。」 まとめ 本ブログでは、ドコモ がファンプロファイリングというマーケティング分析において、QuickSight の ピクセルパーフェクトレポートの機能を用いて自動化と利用者管理の簡素化を実現した方法をご紹介しました。他の AWS ユーザーの皆様にもこの使い方が参考になれば幸いです。 著者について 近藤健二郎 AWS Japan 合同会社 技術統括本部 ストラテジックインダストリー技術本部 ソリューションアーキテクト 周成 NTT ドコモ Data Scientist 2021~現在 デジタルマーケティングツール開発/広告配信の最適化開発（NTTドコモ サービスイノベーション部） 宮木健一郎 NTT ドコモ Principal Data Scientist 2018~現在 デジタルマーケティングツール開発/レコメンドエンジン開発（NTTドコモ サービスイノベーション部） 小柳歩巴 NTT ドコモ Data Scientist 2019~2023 データ活用を軸にした新規事業開発（NTT東日本） 2023~現在 デジタルマーケティングツール開発/サーバーサイド開発（NTTドコモ サービスイノベーション部）

本稿は、2024年10月2日に Microsoft Workloads on AWS で公開された “ How to optimize costs for Microsoft workloads on AWS ” を翻訳したものです。 Microsoft on AWS Cost Optimization (MACO) 推奨ガイド は、 Amazon Web Services (AWS) 上の新規および既存の Microsoft ワークロードの最適化に役立つように設計されたコスト最適化戦略のガイドです。ビジネス目標を達成する、コスト効率とパフォーマンス効率の高いワークロードを構築および自動化するための、基礎的なトレーニング、コスト最適化手法、リファレンス アーキテクチャを提供します。 MACO 推奨ガイドは 42 人の業界専門家によって作成され、AWS で実行されている Microsoft ワークロードにコスト最適化をどのように適用できるかの実例を提供しています。 なぜ MACO 推奨ガイドが必要なのでしょうか？今日の競争の激しいビジネス環境では、多くの企業がコスト最適化の方法を探しているかもしれません。 AWS では、 Well-Architected Framework の柱の 1 つにコストの最適化があります。私たちは、AWS 上の Microsoft ベースのアプリケーション (またはワークロード) が最もコスト効率の高いクラウド中心の設計パターンを使用していることを確認する一貫した方法が重要であることを理解しています。クラウドに移行する際の初期の導入戦略においては、機能への影響を避けるためにワークロードへの変更を最小限に抑えるリフトアンドシフトが多く採用されています。コストに関する懸念に対処するために、AWS のドキュメントやブログにアクセスしてガイダンスを求めたことがあるかもしれません。従うべき一貫したフレームワークがなければ、独自のコスト分析を実施し、変更を加える必要があり、それは非常に困難な道のりだったかもしれません。MACO 推奨ガイドは、コスト最適化の目標を達成するために参照する、一貫したフレームワークを提供します。 AWS への移行中において Microsoft ワークロードのコストを最適化するにはどうすればよいでしょうか？ コストの最適化は継続的かつ反復的なプロセスであり、ワークロードが稼働状態でも、ワークロードを移行中でも、実践することが可能です。コスト最適化ツールとして AWS Optimization and Licensing Assessment(OLA) を利用すると、オンプレミスから AWS に移行するワークロードを最適化する方法を決定することができます。この無料プログラムにより、新規と既存の両方のお客様が、ワークロードの適切なサイズ設定を行ってリソース効率を向上させることで、オンプレミス環境とクラウド環境を評価および最適化できるようになります。 OLA は、実際のリソース使用量 (CPU、メモリ、ディスク)、サードパーティ製品のライセンス、およびアプリケーションの依存関係を分析します。収集されたデータに基づき分析された情報は、クラウド移行の意思決定を行うのに役立ちます。 OLA を実行するにはさまざまなオプションがあります。既に使用中のモニタリング ツールを活用して、AWS が分析するためのデータをフラットファイルにて提供することも、 Migration Evaluator を使用して、ワークロードの最も完全な分析データを収集することも可能です。 Migration Evaluator は、オペレーティング システム エージェントを使用して、14 ～ 30 日間の使用状況データを収集します。これにより、AWS はアプリケーションの使用パターンに基づいたインスタンスのサイジングを推奨できるようになります。データが収集されると、移行を開始する前に、環境に関する調査結果と推奨事項を詳細に記載した包括的なレポートを受け取ることができます。 Parsons Corporation は、Migration Evaluator や AWS Optimization and Licensing Assessment (OLA) などのツールを使用して AWS への移行を行いました。その結果、現在のオンプレミス環境が可視化され、クラウド内のワークロードのサイズを適切に設定することで、ライセンスの最適化、ダウンタイムの削減、コンピューティング コストの削減の機会が特定されました。 Windows Server と SQL Server のワークロードを AWS に移行した後、Parsons は年間運用コストを 35% 削減することができました。全体として、AWS への移行により、Parsons はシステムの稼働時間を増やし、コストを管理しやすくし、新しいサービスの開発を数か月から数日にスピードアップして、さらなるイノベーションを促進することができました。 プロセス全体の詳細については、MACO 推奨ガイドの OLA セクション を参照してください。サンプルレポートや、ワークロードの分析に使用できるデータ収集方法の詳細についてもご覧いただけます。 AWS 上で実行されている既存の Microsoft ワークロードのコストを最適化するにはどうすればよいでしょうか？ MACO 推奨ガイドには、AWS で実行されている既存の Microsoft ワークロードに適用できる 40 を超えるコスト最適化の推奨事項が記載されています。しかし、既存のワークロードのコスト最適化を開始するための最良の方法としては、多くの場合、適切なサイジングとコンピューティングコストの削減が最も効果的となります。 AWS 最適化とライセンス評価により、AWS 環境のコスト効率を向上させます。 OLA は、実際のリソース使用率、サードパーティ製品のライセンス、アプリケーションの依存関係に基づいて、既存の AWS 環境を評価および最適化するために使用することもできます。既存のデプロイメント、アプリケーションのパフォーマンスを理解することで、AWS はリソースの適切なサイズを推奨事項として提供します。これにより、アプリケーションリソースの需要に合わせてコストを削減するための明確なロードマップが提供され、必要最低限のコスト支出を実現することができます。 AWS Compute Optimizer を使用して、コンピューティング ワークロードの適切なサイズを設定します。 AWS Compute Optimizer は、コストを削減し、パフォーマンスを向上させるために、ワークロードに対してより効率的な AWS コンピューティング リソースの推奨を行います。推奨事項を作成するために、既存の Amazon EC2 インスタンスの構成と使用率のメトリクスを分析します。分析されたデータは、既存のワークロードに最適な Amazon EC2 インスタンス タイプを推奨するために使用されます。 MACO 推奨ガイドでは、これらの AWS Compute Optimizer の推奨結果を改善する方法についての情報を提供します。 EC2 の適正化セクション では、お客様が AWS Compute Optimizer の推奨事項を使用して、EC2 インスタンスに Amazon CloudWatch エージェントをインストールしてメモリ使用率のメトリクスを収集し、コスト削減を平均 327% 改善する方法を示します。 また、AWS Compute Optimizerは、Amazon EC2で稼働するMicrosoft SQL Serverにおいて、ライセンス込み(license-included) およびライセンス持ち込み (BYOL) に関わらず、SQL Serverエディションのダウングレード機会を自動的に特定し、Microsoft SQL Serverのライセンスコストを最大74%削減する方法を提示します。 Savings Plans を使用して、定常状態のコンピューティングコストを削減します 。ワークロードのサイズが適切に調整されたら、 Savings Plans を使用して、Amazon EC2、 AWS Lambda 、 AWS Fargate 、 Amazon SageMaker の定常状態の使用におけるコンピューティングコストを節約できます。 Savings Plan は、オンデマンド価格と比較してコストを削減できる柔軟な価格モデルを提供します。 1 年または 3 年間にわたる特定の使用量をお約束いただくことで、割引きを受けることができます。 AWS Cost Optimization Hub を使用して最適化プロセスを簡素化します。 Savings Plans の推奨事項と AWS Compute Optimizer によるサイジング推奨事項を簡略化して表示するには、 AWS Cost Optimization Hub にアクセスしてください。 Cost Optimization Hub を使用すると、ダッシュボードを通じて、組織内の AWS アカウントおよび AWS リージョン全体にわたる AWS コスト最適化の推奨事項を簡単に特定、フィルタリング、統合することが可能となります。 MACO 推奨ガイドを使用して、テクノロジー固有の最適化手法を確認します。 適切なサイズ設定が完了し、他のコスト削減方法を探している場合は、MACO 推奨ガイドの .NET applications 、 Windows containers 、 SQL Server  、 Active Directory 、 Storage を参照ください。 できる限りの最適化を行いました。次はどうすればよいでしょうか？ 繰り返しのコスト最適化手法を使用することにより、最終的には、既存のアプリケーション構造の範囲内で完全に最適化された状態になるでしょう。アプリケーションのライフサイクルがこの時点に達した場合、さらに最適化するための次のステップとしてはモダナイゼーションが考えられます。 モダナイゼーションは、アプリケーションコード、インフラストラクチャ、データベースに及ぶ幅広いトピックです。 AWS は、ワークロードをさらに最適化するためにこれらの各領域でアプリケーションをモダナイズするのに役立つツールとサービスを提供しており、MACO 推奨ガイドではこれらのトピックについても詳しく説明しています。 .NET ワークロードの場合、 クロスプラットフォーム .NET へのモダナイゼーション を実現することで、アプリケーションを Linux オペレーティングシステム上で実行できるようになり、Windows Server ライセンスの削減に繋がります。 Windows Server のライセンスコストを削減すると、サーバーあたりのトータルコストを 25% 以上削減できます。さらに、Linux 上で実行される .NET アプリケーションは、同世代の x86 プロセッサよりも 45% 優れた価格パフォーマンスを実現 する AWS Graviton ARM プロセッサを利用できます。 .NET リファクタリング向けAWSツールキット は、開発者が .NET Framework アプリケーションを AWS 上のクラウドベースの代替案にリファクタリングするために必要なプロセスを迅速化するのに役立つ支援ツールです。 beIN Media Group Company の Digiturk は、従来の .NET Framework モノリシック アプリケーションを AWS 上の .NET マイクロサービス アーキテクチャにモダナイゼーションすることができ、65% のコスト削減を達成しました。 AWS パートナーの Kloia の支援により、Windows のライセンス コストを削減し、俊敏性を高め、モノリシック アーキテクチャによって引き起こされるスケーラビリティのボトルネックを取り除くことができました。 SQL Server ワークロードには追加のライセンスコストが必要ですが、多くのオープンソースデータベースやPurpose-built database では必要ありません。 AWS は、フロントエンドアプリケーションの変更を減らしながら SQL Server からオープンソースのリレーショナル データベースに移行したいと考えているお客様向けに、 Babelfish for Aurora PostgreSQL を提供しています。 こちらのMACO 推奨ガイド に記載されているように、Amazon EC2 の SQL Server Enterprise エディションから Aurora PostgreSQL に切り替えると、最大 70% のコストを削減できます。 BMC Software は、Microsoft SQL Server から Amazon Aurora に移行することで、データベースのワークロードをモダナイゼーションしました。この取り組みにより、AWS インフラストラクチャのコストが 42% 削減され、SQL Server のライセンス コストが削減され、データベース チームの生産性が 60% 以上向上しました。 ワークロードのモダナイゼーションを検討する準備ができている場合は、 Windows モダナイゼーション のページ にアクセスするか、アカウントチームに相談してください。 まとめ コストが最適化されたワークロードは、すべてのリソースを最大限に活用し、可能な限り低価格で目的を達成し、機能要件を満たします。ワークロードのコスト最適化について詳しく話し合う準備ができている場合は、MACO チームに対象分野の専門家が対応します。 AWS アカウントチームに連絡して、今すぐコスト最適化の取り組みを始めてください。 AWS には、他のクラウドプロバイダーよりもはるかに多くのサービスとそのサービス内の機能があり、既存のアプリケーションをクラウドに移行し、想像できるほぼすべてのものをより速く、簡単に、よりコスト効率よく構築できます。望むビジネス成果を推進するために必要なインフラストラクチャを Microsoft アプリケーションに提供します。 Microsoft ワークロードの追加のガイダンスとオプションについては、 .NET on AWS および AWS Database のブログを参照してください。今すぐ移行とモダナイゼーションの取り組みを始めたい場合は、 お問い合わせ ください。 著者について Chase Lindeman Chase Lindeman は、AWSのシニアスペシャリストソリューションアーキテクトであり、Microsoft テクノロジーに 20 年以上の経験があります。移行、コストの最適化、インフラストラクチャアーキテクチャを専門とし、AWS 上で Microsoft ワークロードを実行する専門知識を持っています。   Ali Alzand Ali は、AWSの Microsoft スペシャリスト ソリューション アーキテクトであり、世界中の顧客が Microsoft ワークロードを移行、モダナイゼーション、最適化することでクラウドの力を最大限に活用できるよう支援しています。クラウド運用を専門とし、Systems Manager、Amazon EC2 Windows、EC2 Image Builder などの AWS サービスを活用してクラウド変革を推進しています。仕事以外では、アウトドアを探索したり、週末に友達とバーベキューのためにグリルを焚いたり、さまざまな料理を試食したりすることを楽しんでいます。   Adilson Lopes Adilson Lopes は、AWS 上の Microsoft ワークロードの世界的な Go-To-Market スペシャリストです。 Adilson は、Microsoft テクノロジーをサポートするクラウド コンピューティングの 9 年以上の経験があります。現在の役割では、運用効率とコスト効率を達成しながら、顧客が AWS でインフラストラクチャのワークロードを移行およびモダナイゼーションできるよう支援することに重点を置いています。   Kevin Sookhan Kevin Sookhan は、AWS 上の Microsoft ワークロードを専門とする Microsoft スペシャリスト ソリューション アーキテクトです。Microsoft テクノロジーに 20 年以上携わった経験があり、Windows インフラストラクチャ、Active Directory、ストレージなどのトピックを専門としています。   Rob Higareda Rob Higareda は、AWS 上の Microsoft ワークロードのプリンシパル スペシャリスト ソリューション アーキテクトです。 Rob は、Microsoft テクノロジーのシステムエンジニアとして 20 年以上の経験を持ち、AWS に入社しました。彼は主に AWS で連邦政府の顧客と協力し、AWS 上の Microsoft ワークロードのセキュリティとインフラストラクチャ設計に重点を置いています。   翻訳は、カスタマーソリューションマネージャの大東が担当しました。

12 月 3 日、データ、分析、AI の統合プラットフォームである次世代の Amazon SageMaker を発表しました。Amazon SageMaker には、広く採用されている AWS の機械学習と分析機能が統合されています。中核となるのは SageMaker Unified Studio (プレビュー) です。これは、データ探索、準備と統合、ビッグデータ処理、高速 SQL 分析、モデル開発とトレーニング、生成 AI アプリケーション開発のための単一のデータおよび AI 開発環境です。この発表には、データレイクとデータウェアハウス全体のデータを統合する機能である Amazon SageMaker Lakehouse が含まれています。これにより、強力な分析や、人工知能と機械学習 (AI/ML) アプリケーションを単一のデータのコピー上で構築できます。 これらの発表に加えて、Amazon SageMaker Lakehouse のデータカタログとアクセス許可機能を発表できることを嬉しく思います。これにより、データソースへの接続、検索、アクセス権限の管理を一元的に行えるようになります。 現代の組織は、さまざまなシステムにデータを保存し、特定のユースケースや拡張要件に合わせて最適化しています。その結果、データレイク、データウェアハウス、データベース、ストリーミングサービス間でデータサイロ化が発生することがよくあります。アナリストやデータサイエンティストは、これらの多様なソースのデータに接続して分析しようとするときに、課題に直面します。データソースごとに専用のコネクターをセットアップし、複数のアクセスポリシーを管理する必要があります。また、多くの場合、データのコピーに頼る必要があり、これはコストの増加やデータの一貫性の低下につながります。 この新機能は、一般的なデータソースへの接続、カタログ化、権限の適用、データを SageMaker Lakehouse と Amazon Athena を通じて分析できるようにするプロセスを簡素化することで、これらの課題に対処します。 AWS Glue データカタログ は、場所に関係なく、すべてのデータソースの単一のメタデータストアとして使用できます。これにより、利用可能なすべてのデータを一元的に表示できます。 データソース接続は一度作成すれば再利用できるため、接続を繰り返し設定する必要はありません。データソースに接続すると、データベースとテーブルが自動的にカタログ化され、 AWS Lake Formation に登録されます。カタログを作成したら、それらのデータベースとテーブルへのアクセスをデータアナリストに許可します。これにより、データアナリストは各データソースに接続する個別の手順を踏む必要がなく、組み込みのデータソースシークレットを把握する必要もありません。Lake Formation の権限を使用して、データレイク、データウェアハウス、オンライントランザクション処理 (OLTP) データソースにわたる、きめ細かなアクセス制御 (FGAC) ポリシーを定義できるため、Athena でクエリを実行する際に一貫した適用が可能になります。データは元の場所に残るため、コストと時間のかかるデータ転送や複製が不要になります。データカタログで既存のデータソース接続を作成または再利用し、 Amazon Simple Storage Service (Amazon S3) 、 Amazon Redshift 、 Amazon Aurora 、 Amazon DynamoDB (プレビュー) 、Google BigQuery などを含む複数のデータソースへの 組み込みコネクター を設定できます。 Athena と Lake Formation の統合を開始する この機能を紹介するために、Amazon DynamoDB をデータソースとして組み込んだ事前設定済みの環境を使用します。機能を効果的に実証するため、適切なテーブルとデータを使用して環境をセットアップします。このデモンストレーションでは、SageMaker Unified Studio (プレビュー) インターフェイスを使用します。 まず、Amazon SageMaker ドメインを通じて SageMaker Unified Studio (プレビュー) にアクセスします。ここで、共有ワークスペースとして機能するプロジェクトを作成および管理できます。これらのプロジェクトにより、チームメンバーは共同でデータを操作し、ML モデルを開発できるようになります。プロジェクトを作成すると、AWS Glue データカタログのデータベースが自動的にセットアップされ、Redshift Managed Storage (RMS) データのカタログが確立され、必要な権限がプロビジョニングされます。 プロジェクトを管理するには、 [すべてのプロジェクトを閲覧] を選択して既存のプロジェクトの包括的なリストを表示するか、 [コピーを作成] を選択して新しいプロジェクトを作成できます。私は既存の 2 つのプロジェクトを使用します。管理者がすべてのデータへのフルアクセス権を持つセールスグループと、アナリストが制限されたデータアクセス権限で作業を行うマーケティングプロジェクトです。この設定は、管理者アクセスレベルと制限付きユーザーアクセスレベルの違いを効果的に示しています。 このステップでは、ターゲットデータソースである Amazon DynamoDB のフェデレーションカタログを設定します。左側のナビゲーションペインの [データ] に移動し、 + (プラス) 記号を選択して、 [データを追加] を選択します。 [接続を追加] を選択し、 [次へ] を選択します。 [Amazon DynamoDB] を選択し、 [次へ] を選択します。 詳細を入力して [データを追加] を選択します。これで、SageMaker Lakehouse で Amazon DynamoDB フェデレーションカタログが作成されました。ここで管理者はリソースポリシーを使用してアクセスを許可します。この環境では既にリソースポリシーを設定済みです。それでは、SageMaker Unified Studio (プレビュー) でのきめ細かなアクセス制御の仕組みについて説明します。 まず、管理者が顧客データを管理し、フルアクセスできる sales-group プロジェクトを選択します。このデータセットには、郵便番号、顧客 ID、電話番号などのフィールドが含まれています。このデータを分析するには、 [Athena を使用してクエリ] を使用することで、クエリを実行します。 [Athena を使用してクエリ] を選択すると、クエリエディタが自動的に起動し、レイクハウスに対して SQL クエリを作成して実行できるワークスペースが表示されます。この統合クエリ環境により、データの探索と分析をシームレスに行うことができます。 第 2 部では、 [marketing-project] に切り替えて、アナリストがクエリを実行したときにどのような体験をするかを表示し、きめ細かなアクセス制御許可が設定されていて機能していることを確認します。 第 2 部では、 [marketing-project] 環境に切り替えて、アナリストの視点を示します。これにより、きめ細かなアクセス制御権限が適切に実装され、データアクセスが意図したとおりに効果的に制限されていることを確認できます。クエリ例を通じて、アナリストが確立されたセキュリティ管理の対象でありながら、データを操作する方法を観察できます。 [Athena を使用してクエリ] オプションを使用し、テーブルで SELECT ステートメントを実行してアクセス制御を確認します。結果から、予想どおり zipcode 列と cust_id 列しか表示できず、 phone 列は設定された許可に基づき制限されたままであることを確認しました。 Amazon SageMaker Lakehouse のこれらの新しいデータカタログとアクセス許可機能により、データエコシステム全体でデータの整合性とコンプライアンスを維持しながら、データ運用の合理化、セキュリティガバナンスの強化、AI/ML 開発の加速を行うことが可能になります。 今すぐご利用いただけます Amazon SageMaker Lakehouse のデータカタログとアクセス許可は、統合カタログに接続するときにフェデレーテッドクエリによるインタラクティブな分析を簡素化し、複数のデータソースにわたるデータカタログとアクセス権限により、データレイク、データウェアハウス、OLTP データソース全体にわたってきめ細かなセキュリティポリシーを一元的に定義して適用し、高パフォーマンスのクエリエクスペリエンスを実現します。 この機能は、米国東部 (バージニア北部)、米国西部 (オレゴン)、米国東部 (オハイオ)、欧州 (アイルランド)、アジアパシフィック (東京) の AWS リージョンでご利用いただけます。 この新機能の使用を開始するには、 Amazon SageMaker Lakehouse のドキュメントをご覧ください。 – Esra 原文は こちら です。

12 月 3 日、アプリケーションからのゼロ ETL 統合のための Amazon SageMaker Lakehouse と Amazon Redshift のサポートの一般提供を発表しました。 Amazon SageMaker Lakehouse は、 Amazon Simple Storage Service (Amazon S3) データレイクと Amazon Redshift データウェアハウスにわたるすべてのデータを統合し、単一のデータのコピーでの強力な分析と AI/ML アプリケーションの構築を支援します。SageMaker Lakehouse では、Apache Iceberg と互換性のあるすべてのツールとエンジンを使用して、その場でデータに柔軟にアクセスし、クエリを実行できます。ゼロ ETL は、AWS によるフルマネージド型の統合のセットです。一般的な取り込みとレプリケーションのユースケース向けに ETL データパイプラインを構築する必要性を最小限に抑えます。Salesforce、SAP、Zendesk などのアプリケーションからのゼロ ETL 統合を使用すると、データパイプラインの構築にかかる時間を削減し、Amazon SageMaker Lakehouse と Amazon Redshift のすべてのデータに対して統合分析を実行することに集中できます。 組織がますます多様化するデジタルシステムに依存している今、データの断片化は重要な課題となっています。貴重な情報は、データベース、アプリケーション、その他のプラットフォームを含む複数のリポジトリに分散していることがよくあります。データの可能性を最大限に活用するには、企業はこれらのさまざまなソースへのアクセスと統合を可能にする必要があります。この課題に対応するために、ユーザーはデータパイプラインを構築し、複数のアプリケーションから一元化されたデータレイクやデータウェアハウスにデータを抽出してロード (EL) することができます。ゼロ ETL を使用すると、カスタマーサポート、関係管理、エンタープライズリソースプランニング (ERP) アプリケーションからの貴重なデータを、データレイクやデータウェアハウスに効率的にレプリケートし、分析や AI/ML に活用できるため、データパイプラインの設計、構築、テストに必要となる何週間分ものエンジニアリング作業を削減できます。 前提条件 AWS Glue データカタログ と AWS Lake Formation を通じて設定された Amazon SageMaker Lakehouse カタログ。 データが保存される Amazon S3 向けに設定された AWS Glue データベース。 データソースへの接続に使用する、 AWS シークレットマネージャーのシークレット 。認証情報には、アプリケーションへのサインインに使用するユーザー名とパスワードが含まれている必要があります。 使用する Amazon SageMaker Lakehouse ジョブまたは Amazon Redshift ジョブ用の AWS Identity and Access Management (IAM) ロール。ロールは、Amazon S3 や AWS Secrets Manager など、ジョブによって使用されるすべてのリソースへのアクセス許可を付与する必要があります。 目的のアプリケーションへの有効な AWS Glue 接続。 仕組み – Glue 接続の前提条件の作成 まず、 AWS Glue コンソール を使用して接続を作成します。データソースとして Salesforce 統合を選択しました。 次に、接続に使用する Salesforce インスタンスの場所と、その他の必要な情報を指定します。必ず .force.com ではなく、 .salesforce.com ドメインを使用してください。ユーザは、Salesforce アクセストークンを通じて取得される JSON Web トークン (JWT) と、ブラウザ経由の OAuth ログインの 2 つの認証方法のいずれかを選択できます。 すべての情報を確認し、 [接続を作成] を選択します。 ポップアップ (ここには表示されていません) から Salesforce インスタンスにサインインすると、接続が正常に作成されます。 仕組み – ゼロ ETL 統合の作成 接続できたので、左側のナビゲーションパネルから [ゼロ ETL 統合] を選択してから、 [ゼロ ETL 統合を作成] を選択します。 まず、統合のソースタイプ (この場合は Salesforce) を選択します。これにより、最近作成した接続を使用できるようになります。 次に、AWS Glue のターゲットデータベースにレプリケートするオブジェクトをデータソースから選択します。 オブジェクトを追加する過程で、データとメタデータの両方をすばやくプレビューして、正しいオブジェクトを選択していることを確認できます。 ゼロ ETL 統合はデフォルトで、60 分ごとにソースからターゲットにデータを同期します。ただし、頻繁な更新が不要な場合は、この間隔を変更してレプリケーションのコストを削減できます。 確認して、 [統合を作成して起動] を選択します。 ソース (Salesforce インスタンス) のデータが、私の AWS アカウントのターゲットデータベース salesforcezeroETL にレプリケートされました。この統合には 2 つのフェーズがあります。フェーズ 1: 初期ロードでは、選択したオブジェクトのすべてのデータが取り込まれます。これらのオブジェクト内のデータのサイズによっては、15 分から数時間かかる場合があります。フェーズ 2: 増分ロードは、変更 (新しいレコード、更新されたレコード、削除されたレコードなど) を検出し、それらをターゲットに適用します。 前に選択した各オブジェクトは、データベース内のそれぞれのテーブルに格納されています。ここから、データソースからレプリケートされた各オブジェクトの テーブルデータ を表示できます。 最後に、Salesforce のデータのビューを次に示します。Salesforce で新しいエンティティが作成されたり、既存のエンティティが更新または変更されたりすると、データの変更は AWS Glue のターゲットに自動的に同期されます。 今すぐご利用いただけます アプリケーションからのゼロ ETL 統合のための Amazon SageMaker Lakehouse と Amazon Redshift のサポートは、米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (オレゴン)、アジアパシフィック (香港)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (東京)、欧州 (フランクフルト)、欧州 (アイルランド)、欧州 (ストックホルム) の AWS リージョン でご利用いただけるようになりました。料金の情報は、 AWS Glue の料金ページ をご覧ください。 詳細については、「 AWS Glue ユーザーガイド 」をご覧ください。フィードバックは、 AWS re:Post for AWS Glue に送信するか、AWS サポートの通常の連絡先を通じてお寄せください。今すぐ新しい ゼロ ETL 統合 を作成することから始めましょう。 –  Veliswa 原文は こちら です。

12 月 3 日、Amazon SageMaker Lakehouse の一般提供をお知らせできたことを大変嬉しく思います。これは Amazon Simple Storage Service (Amazon S3) データレイクと Amazon Redshift データウェアハウス全体のデータを統合する機能で、強力な分析や、人工知能と機械学習 (AI/ML) アプリケーションを単一のデータのコピー上に構築するのに役立ちます。SageMaker Lakehouse は次世代 Amazon SageMaker の一部です。Amazon SageMaker はデータ、分析、AI の統合プラットフォームで、広く採用されている AWS の機械学習と分析機能を統合し、分析と AI の統合エクスペリエンスを提供します。 お客様はデータをもっと活用したいと考えています。分析ジャーニーをより迅速に進めるために、データの保存に適したストレージとデータベースを選択しています。データはデータレイク、データウェアハウス、さまざまなアプリケーションに分散しているため、データサイロ化が進み、アクセスや利用が困難になっています。この断片化は、重複したデータコピーや複雑なデータパイプラインにつながり、ひいては組織のコストを増大させます。さらに、データを保存する方法と場所によって選択肢が限られるため、お客様は特定のクエリエンジンとツールを使用するしかありません。この制限により、希望どおりにデータを処理することができなくなります。しかも、データへのアクセスに一貫性がないため、お客様が情報に基づくビジネス上の意思決定を行うことが困難になります。 SageMaker Lakehouse は、お客様が Amazon S3 データレイクと Amazon Redshift データウェアハウス全体でデータを統合できるようにすることで、これらの課題に対処します。Apache Iceberg と互換性のあるすべてのエンジンとツールを使用して、その場でデータへのアクセスとクエリを柔軟に行うことができます。SageMaker Lakehouse では、きめ細かな権限を一元的に定義して複数の AWS サービスに適用できるため、データ共有とコラボレーションが簡単になります。SageMaker レイクハウスにデータを取り込むのは簡単です。既存のデータレイクやデータウェアハウスのデータにシームレスにアクセスできるだけでなく、 Amazon Aurora 、 Amazon RDS for MySQL 、 Amazon DynamoDB などのオペレーショナルデータベースや、Salesforce や SAP などのアプリケーションからもゼロ ETL を使用できます。SageMaker レイクハウスは既存の環境に適合します。 SageMaker Lakehouse の使用を開始する このデモンストレーションでは、複数の AWS データソースを含む事前設定済みの環境を使用します。Amazon SageMaker Unified Studio (プレビュー) コンソールに移動します。このコンソールでは、すべてのデータと AI の統合開発エクスペリエンスが提供されます。Unified Studio を使用すると、使い慣れた AWS ツールを分析や AI/ML に使用しながら、SageMaker Lakehouse を通じてさまざまなソースからのデータにシームレスにアクセスして、クエリを実行できます。 ここで、共有ワークスペースとして機能するプロジェクトを作成および管理できます。これらのプロジェクトにより、チームメンバーは共同作業、データ処理、AI モデルの共同開発を行うことができます。プロジェクトを作成すると、AWS Glue データカタログのデータベースが自動的にセットアップされ、Redshift Managed Storage (RMS) データのカタログが確立され、必要な権限がプロビジョニングされます。新しいプロジェクトを作成することから始めることも、既存のプロジェクトを続行することもできます。 新しいプロジェクトを作成するには、 [プロジェクトを作成] を選択します。 レイクハウスを構築して操作するためのプロジェクトプロファイルオプションは 2 つあります。1 つ目は データ分析と AI-ML モデルの開発 です。ここではデータを分析して、 Amazon EMR 、 AWS Glue 、Amazon Athena、Amazon SageMaker AI、SageMaker Lakehouse を利用した ML と生成 AI モデルを構築できます。2 つ目は SQL 分析 です。SQL を使用して SageMaker Lakehouse 内のデータを分析できます。このデモでは、 SQL 分析 を進めます。 [プロジェクト名] フィールドにプロジェクト名を入力し、 [プロジェクトプロファイル] で [SQL 分析] を選択します。 [続行] を選択します。 すべてのパラメータの値を [ツール] に入力します。値を入力して [Lakehouse] データベースを作成します。値を入力して [Redshift サーバーレス] リソースを作成します。最後に、 [Lakehouse カタログ] にカタログの名前を入力します。 次のステップでは、リソースを確認して [プロジェクトを作成] を選択します。 プロジェクトが作成されたら、プロジェクトの詳細を確認します。 ナビゲーションペインの [データ] に移動し、+ (プラス) 記号を選択して [データを追加] します。 [カタログを作成] を選択して新しいカタログを作成し、 [データを追加] を選択します。 RMS カタログを作成したら、ナビゲーションペインで [ビルド] を選択し、 [データ分析と統合] で [クエリエディタ] を選択して RMS カタログにスキーマを作成し、テーブルを作成してから、サンプル売上データを含むテーブルをロードします。 指定されたセルに SQL クエリを入力した後、右のドロップダウンメニューから [データソースを選択] を選択して Amazon Redshift データウェアハウスへのデータベース接続を確立します。この接続により、クエリを実行してデータベースから目的のデータを取得できます。 データベース接続が正常に確立されたら、 [すべて実行] を選択してすべてのクエリを実行し、すべての結果が表示されるまで実行の進行状況をモニタリングします。 このデモンストレーションでは、事前設定済みのカタログをさらに 2 つ使用します。カタログは、スキーマやテーブルなどの Lakehouse オブジェクト定義を整理するコンテナです。1 つ目は Amazon S3 データレイクカタログ ( test-s3-catalog ) で、詳細な取引情報や統計情報を含む顧客レコードを保存します。2 つ目は、顧客離脱データの保存と管理に特化したレイクハウスカタログ ( churn_lakehouse ) です。この統合により、顧客行動と顧客離脱予測を同時に分析できる統合環境が構築されました。 ナビゲーションペインで [データ] を選択し、 [Lakehouse] セクションでカタログを見つけます。SageMaker Lakehouse には、 [Athena を使用してクエリ] 、 [Redshift を使用してクエリ] 、 [Jupyter Lab Notebook で開く] など、複数の分析オプションが用意されています。 [Jupyter Lab Notebook を開く] オプションを使用する場合は、プロジェクトを作成するときに [データ分析と AI-ML モデル開発] プロファイルを選択する必要があることに注意してください。  [Jupyter Lab Notebook で開く] を選択すると、EMR 7.5.0 経由の Apache Spark または AWS Glue 5.0 を使用して SageMaker Lakehouse を操作できます。Iceberg REST カタログを設定することで、データレイクやデータウェアハウス全体のデータを統一された方法で処理できるようになります。 Jupyter Lab Notebook を使用したクエリ方法を次に示します。 続けて [Athena を使用してクエリ] を選択します。このオプションを使用すると、Amazon Athena のサーバーレスクエリ機能を使用して、SageMaker Lakehouse 内で売上データを直接分析できます。  [Athena を使用してクエリ] を選択すると、 クエリエディタ が自動的に起動し、レイクハウスに対して SQL クエリを作成して実行できるワークスペースが表示されます。この統合クエリ環境は、生産性を向上させる構文強調表示やオートコンプリート機能を備えているため、データの探索と分析をシームレスに行うことができます。 [Redshift を使用してクエリ] オプションを使用して、レイクハウスに対して SQL クエリを実行することもできます。 SageMaker Lakehouse は、最新のデータ管理と分析のための包括的なソリューションを提供します。SageMaker Lakehouse は、複数のソースにわたるデータへのアクセスを統合し、幅広い分析と ML エンジンをサポートして、きめ細かなアクセス制御を提供することで、データアセットを最大限に活用できるよう支援します。SageMaker Lakehouse は、Amazon S3 のデータレイク、Amazon Redshift のデータウェアハウス、運用データベースやアプリケーションのいずれを扱う場合でも、イノベーションを推進し、データ主導の意思決定を行うために必要となる柔軟性とセキュリティを提供します。何百ものコネクタを使用して、さまざまなソースからのデータを統合できます。さらに、サードパーティーのデータソース全体にわたる統合クエリ機能を使用し、その場でデータにアクセスしてクエリを実行できます。 今すぐご利用いただけます SageMaker Lakehouse には、 AWS マネジメントコンソール 、API、 AWS コマンドラインインターフェイス (AWS CLI) 、 AWS SDK からアクセスできます。 AWS Glue データカタログ と AWS Lake Formation からアクセスすることもできます。SageMaker Lakehouse は、米国東部 (バージニア北部)、米国西部 (オレゴン)、米国東部 (オハイオ)、欧州 (アイルランド)、欧州 (フランクフルト)、欧州 (ストックホルム)、アジアパシフィック (シドニー)、アジアパシフィック (香港)、アジアパシフィック (東京)、アジアパシフィック (シンガポール) の AWS リージョン でご利用いただけます。 料金の情報については、 Amazon SageMaker の料金 をご覧ください。 Amazon SageMaker Lakehouse の詳細や、データ分析と AI/ML ワークフローを簡素化する方法については、 Amazon SageMaker Lakehouse のドキュメントをご覧ください。 – Esra 原文は こちら です。

サーバーレスの NoSQL データベースである Amazon DynamoDB は、100 万人を超えるお客様が低レイテンシーで大規模なアプリケーションを構築するために使用している、信頼度の高いソリューションです。データが増加するにつれて、組織は DynamoDB に保存されることが多い運用データから貴重なインサイトを引き出す方法を常に模索しています。しかし、Amazon DynamoDB のこのデータを分析と機械学習 (ML) のユースケースで最大限に活用するために、お客様はカスタムデータパイプラインを構築することがよくあります。これは時間のかかるインフラストラクチャタスクであり、コアビジネスに独自の価値をもたらすことはほとんどありません。 12 月 3 日より、Amazon DynamoDB ゼロ ETL 統合を Amazon SageMaker Lakehouse と統合することで、DynamoDB テーブルの容量を消費することなく、数回クリックするだけで分析と ML ワークロードを実行できるようになりました。Amazon SageMaker Lakehouse は、Amazon S3 データレイクと Amazon Redshift データウェアハウスにわたるすべてのデータを統合し、単一のデータコピーに基づいて強力な分析と AI/ML アプリケーションを構築するのに役立ちます。 ゼロ ETL は、ETL データパイプラインを構築する必要性を排除または最小限に抑える統合セットです。このゼロ ETL 統合により、データパイプラインの構築と維持に必要なエンジニアリング作業の複雑さが軽減されます。これは、本番環境のワークフローに影響を与えることなく、Amazon DynamoDB の運用データに対して分析および機械学習ワークロードを実行しているユーザーにとってメリットがあります。 使用を開始する 次のデモでは、Amazon SageMaker Lakehouse が管理する Amazon Simple Storage Service データレイクを使用して、Amazon DynamoDB 内のデータのゼロ ETL 統合を設定する必要があります。ゼロ ETL 統合を設定する前に、完了しておくべき前提条件があります。セットアップ方法の詳細については、この Amazon DynamoDB ドキュメント ページを参照してください。 前提条件をすべて満たしたら、この統合を開始できます。 AWS Glue コンソールに移動し、 [データ統合と ETL] で [ゼロ ETL 統合] を選択します。次に、 [ゼロ ETL 統合を作成] を選択します。 ここには、データソースを選択するオプションがあります。 [Amazon DynamoDB] を選択し、 [次へ] を選択します。 次に、ソースとターゲットの詳細を設定する必要があります。 [ソースの詳細] セクションで、Amazon DynamoDB テーブルを選択します。 [ターゲットの詳細] セクションで、AWS Glue データカタログで設定した S3 バケットを指定します。 この統合をセットアップするには、AWS Glue に必要な許可を付与する IAM ロールが必要です。IAM アクセス許可の設定に関するガイダンスについては、 Amazon DynamoDB ドキュメント を参照してください。また、AWS Glue データカタログのリソースポリシーをまだ設定していない場合は、 [修正する] を選択して必要なリソースポリシーを自動的に追加できます。 ここには、出力を設定するオプションがあります。 [データパーティショニング] では、パーティショニングに DynamoDB テーブルキーを使用するか、カスタムパーティションキーを指定できます。設定が完了したら、 [次へ] を選択します。 [修正する] チェックボックスを選択したので、次のステップに進む前に、必要な変更を確認して [続行] を選択する必要があります。 次のページでは、データ暗号化を柔軟に設定できます。 AWS Key Management Service (AWS KMS) またはカスタム暗号化キーを使用できます。次に、統合に名前を割り当て、 [次へ] を選択します。 最後のステップでは、設定を確認する必要があります。問題がなければ、 [次へ] を選択して ゼロ ETL 統合を作成します。 最初のデータインジェストが完了すると、ゼロ ETL 統合を使用できるようになります。完了時間は、ソース DynamoDB テーブルのサイズによって異なります。 左側のナビゲーションパネルの [データカタログ] の下の [テーブル] に移動すると、 [スキーマ] などの詳細が表示されます。このゼロ ETL 統合では、内部で Apache Iceberg を使用して、DynamoDB データ内のデータ形式と構造に関連するデータ形式と構造を Amazon S3 に変換します。 最後に、すべてのデータが S3 バケットで利用可能であることがわかります。 このゼロ ETL 統合により、データ移動の複雑さと運用上の負担が大幅に軽減されるため、パイプラインの管理ではなくインサイトの抽出に集中できます。 今すぐご利用いただけます この新しいゼロ ETL 機能は、米国東部 (バージニア北部、オハイオ)、米国西部 (オレゴン)、アジアパシフィック (香港、シンガポール、シドニー、東京)、欧州 (フランクフルト、アイルランド、ストックホルム) の AWS リージョンでご利用いただけます。 Amazon SageMaker Lakehouse と Amazon DynamoDB ゼロ ETL 統合を使用してデータ分析ワークフローを合理化する方法をご覧ください。使用を開始する方法の詳細については、 Amazon DynamoDB ドキュメント ページを参照してください。 構築がうまくいきますように。 –  Donnie 原文は こちら です。

12 月 3 日、データ、分析、AI の統合プラットフォームである次世代の Amazon SageMaker を発表しました。Amazon SageMaker には、広く採用されている AWS の機械学習と分析機能が統合されています。この発表には、データと AI アセットの管理を合理化する一連の機能である Amazon SageMaker Data and AI Governance が含まれています。 データチームは、組織全体でデータや AI モデルを見つけ、アクセスし、共同作業を行う際に、しばしば課題に直面します。関連アセットを発見し、その背景を理解して、適切なアクセスを取得するプロセスは複雑で時間がかかり、生産性とイノベーションを妨げる可能性があります。 SageMaker Data and AI Governance は、データと AI アセットのカタログ化、発見、管理を一元的に行うことで、包括的な機能セットを提供します。 Amazon DataZone 上に構築された SageMaker Catalog を中心としており、Amazon SageMaker Unified Studio (プレビュー) からアクセスできる一元化されたリポジトリを提供しています。カタログは SageMaker プラットフォームに直接組み込まれ、既存の SageMaker ワークフローやツールとシームレスに統合できるため、エンジニア、データサイエンティスト、アナリストは、高度な検索機能を通じて承認されたデータやモデルを安全に見つけて使用できます。SageMaker プラットフォームを使用すると、ユーザーはガードレールを使用して AI モデルを保護し、責任ある AI ポリシーを実装できます。 SageMaker の主なデータおよび AI ガバナンス機能は次のとおりです。 エンタープライズ対応ビジネスカタログ – ビジネスコンテキストを追加し、組織内の全員がデータと AI アセットを検出できるようにするために、自動メタデータ生成を使用してカタログをカスタマイズできます。自動メタデータ生成では、機械学習 (ML) を使用して、データアセットと、それらのアセット内の列のビジネス名を自動的に生成します。メタデータのキュレーション機能が改善され、複数のビジネス用語集の用語をアセットにアタッチしたり、用語集の用語をアセット内の個別の列にアタッチしたりできるようになりました。 データおよび AI ワーカー向けのセルフサービス – データの自律性を提供して、ユーザーがデータを公開および利用できるようにするために、API を使用してあらゆるタイプのアセットをカスタマイズし、カタログに取り込むことができます。データパブリッシャーは、サポートされているデータソースからデータソースを実行したり、手動でファイルを公開したりすることで、メタデータの検出を自動化できます。また、データセットがカタログに取り込まれると、生成 AI が生成するデータ記述を使用してメタデータを自動的に充実させることができます。その後、データ利用者はファセット検索を使用して、データをすばやく見つけて理解し、アクセスを要求できます。 データとツールへのアクセスの簡素化 – ビジネス目的に基づいてデータと AI アセットを管理するために、プロジェクトはビジネスユースケースベースの論理コンテナとして機能します。プロジェクトを作成し、特定のビジネスユースケースに基づいてユーザー、データ、分析ツールをグループ化して共同作業できます。プロジェクト内では、分析および AI ツールやストレージなどの必要なインフラストラクチャをプロジェクトメンバーに提供する環境を作成して、プロジェクトメンバーが新しいデータを簡単に生成したり、アクセス権のあるデータを利用したりできるようにすることができます。これは、ニーズに応じて複数の機能や分析ツールを同じプロジェクトに追加することを支援します。 統制されたデータとモデル共有 – データプロデューサーは、コンシューマーがアクセスをリクエストし、データ所有者が承認することを可能にするサブスクリプション承認ワークフローを使用して、データへのアクセスを所有および管理します。公開時にアセットにアタッチされるサブスクリプション条件を設定したり、AWS マネージドのデータレイクと Amazon Redshift のサブスクリプション付与のフルフィルメントを自動化したりできるようになりました (他のソースのために Amazon EventBridge イベントを利用してカスタマイズすることもできます)。 すべてのアプリケーションでの一貫したレベルの AI 安全性の実現 – Amazon Bedrock Guardrails は、ユースケース固有のポリシーに基づいてユーザー入力と基盤モデル (FM) の応答を評価するのに役立ち、基盤となる基盤モデルに関係なく追加の保護手段を提供します。AWS AI ポートフォリオには、TensorFlow Hub、PyTorch Hub、Hugging Face、MxNet GluonCV などのモデルハブからの事前トレーニング済みのモデルを含む、何百もの組み込みアルゴリズムが用意されています。SageMaker Python SDK を使用して組み込みアルゴリズムにアクセスすることもできます。組み込みアルゴリズムは、データ分類 (画像、テキスト、表) や感情分析などの一般的な ML タスクに対応します。 既存のプロセスとのシームレスな統合のため、SageMaker Data and AI Governance は API サポートを提供し、プログラムによるアクセスによるセットアップと構成を可能にします。 Amazon SageMaker Data and AI Governance の使用方法 このデモンストレーションでは、事前設定済みの環境を使用します。Amazon SageMaker Unified Studio (プレビュー) コンソールに移動します。このコンソールでは、すべてのデータと AI ユースケースの統合開発エクスペリエンスが提供されます。ここで、共有ワークスペースとして機能するプロジェクトを作成および管理できます。これらのプロジェクトにより、チームメンバーは共同でデータを操作し、ML モデルを開発できるようになります。 まず、ナビゲーションバーの [管理] メニューから始めましょう。 ドメインユニットおよび認可ポリシーと呼ばれる新しいデータガバナンス機能により、ビジネスユニットレベルおよびチームレベルの組織を作成し、ビジネスニーズに合わせてポリシーを管理できます。ドメインユニットを追加すると、ビジネスユニットまたはチームに関連するデータアセットやプロジェクトを整理、作成、検索、検索できます。認可ポリシーを使用すると、プロジェクトと用語集を作成するためのアクセスポリシーを設定できます。 ドメインユニットは、データアセットの公開や Amazon SageMaker 内のコンピューティングリソースの利用などの重要なアクションに対するセルフサービスガバナンスにも役立ちます。プロジェクトを選択し、左側のナビゲーションペインの [データソース] タブに移動します。このセクションを使用して、データアセットをビジネスデータカタログに公開するための新しいデータソースを追加したり、既存のデータソースを管理したりして、すべてのユーザーが検索できるようにすることができます。 トップページに戻り、 [データカタログ] を選択することで引き続き確認を続けます。データカタログは、ユーザーが組織内の複数のデータソースから利用可能なすべてのデータアセットを検索および検索できる一元化されたハブとして機能します。このカタログは、 Amazon Simple Storage Service (Amazon S3) 、 Amazon Redshift 、 AWS Glue など、さまざまなデータソースに接続します。 セマンティック検索機能を使用すると、自然言語クエリを使用して関連するデータアセットを迅速かつ効率的に見つけることができるため、データ発見がより直感的になります。 検索データ 領域に領域に イベント を入力します。 AWS Glue テーブルや Amazon Redshift などのアセットタイプに基づいてフィルターを適用できます。 Amazon Q Developer 統合により、会話型言語を使用してデータを操作できるため、ユーザーはデータアセットを簡単に見つけて理解できるようになります。「イベントに関連するデータセットを表示」や「収益に関連するデータセットを表示」などのサンプルコマンドを使用できます。 詳細ビューには、AI が生成した説明、データ品質指標、データリネージなど、各データセットに関する包括的な情報が表示され、データの内容と出所を理解するのに役立ちます。 サブスクリプションプロセスには制御されたアクセスメカニズムが実装されており、ユーザーはデータアクセスの必要性を正当化して、適切なデータガバナンスとセキュリティを確保する必要があります。 [サブスクライブ] を選択してアクセスをリクエストします。 ポップアップウィンドウで、プロジェクトを選択し、「アクセスが必要」などのリクエストの理由を入力して、[リクエスト] を選択します。リクエストはデータ所有者に送信されます。 この最後のステップでは、構造化された承認ワークフローを通じてデータアクセスが適切に管理され、データセキュリティとコンプライアンス要件が維持されます。所有者の承認プロセス中、データ所有者は通知を受け取り、アクセスの承認または拒否を選択する前にリクエストの詳細を確認できます。その後承認されると、リクエスト者はデータテーブルにアクセスできるようになります。 今すぐご利用いただけます Amazon SageMaker Data and AI Governance は、データと AI アセット管理の改善を検討している組織に大きなメリットをもたらします。このソリューションは、構造化された承認ワークフローを通じてセキュリティとコンプライアンスを提供すると同時に、データと AI アセットのカタログ化、発見、管理のための包括的な機能を提供することで、データサイエンティスト、エンジニア、アナリストがリソースの発見とアクセスにおける課題を克服するのに役立ちます。 料金の情報については、 Amazon SageMaker の料金 をご覧ください。 Amazon SageMaker データと AI ガバナンスの使用を開始するには、 Amazon SageMaker ドキュメント をご覧ください。 – Esra 原文は こちら です。

12 月 3 日、2024 年 6 月の プレビューリリース に続き、 Amazon DataZone でのデータリネージの一般公開についてお知らせできることを嬉しく思います。この機能は、データ、分析、AI の統合プラットフォームである次世代の Amazon SageMaker のカタログ機能の一部としても拡張されています。 従来、ビジネスアナリストはデータの出所を検証するために手作業による文書化や個人的なつながりに頼っていたため、このプロセスには一貫性がなく、時間がかかっていました。データエンジニアは、特にセルフサービス分析の採用が増えるにつれて、データアセットに対する変更の影響を評価するのに苦労してきました。さらに、データガバナンスチームは、慣行の実施やデータ移動に関する監査人の問い合わせへの対応において、困難に直面しています。 Amazon DataZone のデータリネージは、自社のデータを戦略的分析に使用することで、競争力を維持しようとする組織が直面する課題に対処します。データアセットの視覚的かつ追跡可能な履歴を提供することで、データの信頼性と検証を強化し、ビジネスアナリストが手作業で調査しなくてもデータの出所をすばやく理解できるようになります。データエンジニアにとっては、アセット間の関係を明確に示し、データフローを簡単に追跡できるため、影響分析とトラブルシューティングが容易になります。 この機能は、データ移動を包括的に把握できるようにすることで、データガバナンスとコンプライアンスの取り組みをサポートし、ガバナンスチームがコンプライアンスの問い合わせに迅速に対応して、データポリシーを適用できるようにします。これにより、データの発見と理解が深まり、消費者はデータアセットのコンテキストと関連性をより効率的に把握できるようになります。さらに、データリネージは、変更管理の改善、データリテラシーの向上、データ重複の削減、チーム間のコラボレーションの強化に役立ちます。これらの課題に取り組むことで、Amazon DataZone のデータリネージは、組織がより信頼性が高く、効率的で規制に準拠したデータエコシステムを構築することを支援し、最終的にはより効果的なデータ主導の意思決定を可能にします。 自動リネージキャプチャは、Amazon DataZone のデータリネージの主要な機能であり、 AWS Glue と Amazon Redshift からリネージ情報を自動的に収集してマッピングすることに重点を置いています。この自動化により、正確で最新のリネージ情報を維持するために必要な手作業を大幅に削減できます。 Amazon DataZone でデータリネージの使用を開始する データプロデューサーとドメイン管理者は、まず AWS Glue データカタログ と Amazon Redshift ソースのデータソースのジョブを Amazon DataZone で実行して、ソースカタログから定期的にメタデータを収集するように設定します。さらに、データプロデューサーは、スケジューラ、ウェアハウス、分析ツール、SQL エンジンなどの既存のパイプラインコンポーネントからの OpenLineage 互換イベントを受け入れる API を使用してカスタムリネージノードを作成し、データセット、ジョブ、実行に関するデータを直接 Amazon DataZone API エンドポイントに送信することで、プログラムでリネージ情報をハイドレイトできます。情報が送信されると、Amazon DataZone はリネージモデルの入力を開始し、それらをカタログ化済みのアセットにマッピングします。新しいリネージイベントがキャプチャされると、Amazon DataZone はキャプチャ済みのイベントのバージョンを保持するので、ユーザーは必要に応じて以前のバージョンに移動できます。 消費者の視点から見ると、リネージュは 3 つのシナリオで役立ちます。まず、アセットを閲覧しているビジネスアナリストは、Amazon DataZone ポータルにアクセスしてアセットを名前で検索し、関心のあるアセットを選択して詳細を調べることができます。まず、 [ビジネスメタデータ] タブに詳細が表示され、すぐ隣のタブに移動します。リネージを表示するには、アナリストは [リネージ] タブに移動してアップストリームノードの詳細を表示し、ソースを検索できます。アナリストには、1 レベルのアップストリームとダウンストリームを使用してそのアセットのリネージが表示されます。ソースを取得するには、アナリストはアップストリームを選択し、アセットのソースにたどり着くことができます。アナリストは、これが正しいアセットであると確信したら、そのアセットをサブスクライブして、作業を続けることができます。 次に、データに関する問題が報告された場合 (ダッシュボードに顧客数の大幅な増加が予想外に表示された場合など)、データエンジニアは Amazon DataZone ポータルを使用して、関連するアセットの詳細を見つけて調べることができます。アセットの詳細ページで、データエンジニアは [リネージ] タブに移動して、対象アセットのアップストリームノードの詳細を表示します。エンジニアは、各ノードの詳細、スナップショット、各テーブルノード間の列マッピング、その間で実行されたジョブを詳しく調べたり、ジョブ実行で実行されたクエリを確認したりできます。この新しいテーブルが以前のジョブ実行のスナップショットに含まれていないことに気付いたデータエンジニアは、この情報を使用して、パイプラインに新しい入力テーブルが追加され、顧客数が増加したことを確認できます。これにより、新しいソースが追加され、ダッシュボードに表示されるデータが正確であることが明確になります。 最後に、監査人からの質問に回答したいスチュワードは、問題のアセットに移動して、そのアセットの [リネージ] タブに移動できます。スチュワードはアップストリームのグラフをたどってデータの出所を確認すると、そのデータが 2 つの異なるチーム (2 つの異なるオンプレミスデータベースなど) からのものであることを理解します。これらのチームには、パイプラインがマージされるまで独自のパイプラインがあります。スチュワードは、リネージグラフを適切に操作しながら、列を展開して、変換プロセス中に機密性の高い列が削除されるようにしたり、詳細について監査人に適時に回答したりできます。 Amazon DataZone がリネージコレクションを自動化する方法 Amazon DataZone ではリネージイベントの自動キャプチャが可能になり、データプロデューサーと管理者は AWS Glue と Amazon Redshift リソース全体にわたるデータ関係と変換の追跡を効率化できるようになりました。一部のジョブまたは接続はテスト用であり、リネージをキャプチャする必要がない場合があるため、AWS Glue と Amazon Redshift からのリネージイベントの自動キャプチャを許可するには、オプトインする必要があります。統合されたエクスペリエンスが利用できるため、サービスでは、構成設定でリネージイベントの収集と Amazon DataZone への直接送信にオプトインするオプションが提供されるようになります。 これらのイベントでは、列定義によるテーブル作成、スキーマの変更、集計やフィルタリングを含む変換クエリなど、テーブルやその他のオブジェクトに対して実行するさまざまなデータ変換操作をキャプチャする必要があります。これらのリネージイベントを処理エンジンから直接取得することで、Amazon DataZone は一貫性のある正確なデータリネージ情報の基盤を構築できます。これにより、データ作成者は、より広範なビジネスデータカタログ機能の一部として、リネージデータをさらにキュレーションできるようになります。 管理者は、組み込みの DefaultDataLake または DefaultDataWarehouse ブループリントを設定するときにリネージを有効にできます。 データプロデューサーは、データソースの実行を設定しながら、自動リネージのステータスを確認できます。 最近、次世代の Amazon SageMaker がリリースされたことで、 Amazon SageMaker Unified Studio (プレビュー) のカタログ機能の 1 つとしてデータリネージを利用できるようになりました。データユーザーは接続を使用してリネージを設定できます。その構成により、プラットフォーム内のリネージのキャプチャが自動化され、すべてのユーザーがデータを参照および理解できるようになります。次世代 Amazon SageMaker のデータリネージは次のように表示されます。 今すぐご利用いただけます この機能の使用を開始すると、データエコシステムに関するより深いインサイトが得られ、より多くの情報に基づくデータ主導の意思決定が可能になります。 データリネージは、Amazon DataZone が一般提供されているすべての AWS リージョン でご利用いただけます。Amazon DataZone ドメインをプロビジョニングできるリージョンの一覧については、「 AWS サービス (リージョン別) 」にアクセスしてください。 データリネージのコストは、ストレージ使用量と API リクエストによって異なります。これらは Amazon DataZone の料金モデルに既に含まれています。詳細については、「 Amazon DataZone の料金 」にアクセスしてください。 Amazon DataZone のデータリネージの使用を開始するには、「 Amazon DataZone ユーザーガイド 」をご覧ください。 – Esra 原文は こちら です。

12 月 3 日、データ、分析、AI の統合プラットフォームである、次世代の Amazon SageMaker についてお知らせします。まったく新しい SageMaker には、データ探索、準備と統合、ビッグデータ処理、高速 SQL 分析、 機械学習 (ML) モデルの開発とトレーニング、 生成 AI アプリケーション開発に必要なほとんどすべてのコンポーネントが含まれています。 現在の Amazon SageMaker は Amazon SageMaker AI に名称変更されました。SageMaker AI は次世代 SageMaker に統合されるだけでなく、AI および ML モデルの大規模な構築、トレーニング、デプロイに特に注力したいと考えているユーザー向けのスタンドアロンサービスとしても利用できます。 新しい Amazon SageMaker のハイライト 中核となるのは、単一のデータおよび AI 開発環境である SageMaker Unified Studio (プレビュー) です。現在の Amazon Athena 、 Amazon EMR 、 AWS Glue 、 Amazon Redshift 、 Amazon Managed Workflows for Apache Airflow (MWAA) 、既存の SageMaker Studio の幅広いスタンドアロンの「スタジオ」、クエリエディタ、ビジュアルツールの機能とツールがまとめられています。また、生成 AI アプリケーションを構築およびカスタマイズするために、Amazon Bedrock Studio のアップデートバージョンである Amazon Bedrock IDE (プレビュー) を統合しました。さらに、 Amazon Q は SageMaker のワークフロー全体にわたって AI による支援を提供します。 主な機能は次のとおりです。 Amazon SageMaker Unified Studio (プレビュー) – 分析と AI のためのすべてのデータとツールを単一の環境で構築できます。 Amazon SageMaker Lakehouse – Amazon SageMaker Lakehouse を使用して、 Amazon Simple Storage Service (Amazon S3) データレイク、Amazon Redshift データウェアハウス、サードパーティーとフェデレーテッドデータソースのデータを統合します。 データと AI ガバナンス – Amazon DataZone 上に構築された Amazon SageMaker Catalog を使用して、データと AI を安全に発見、管理し、共同作業を行うことができます。 データ処理 – Amazon Athena、Amazon EMR、AWS Glue のオープンソースフレームワークを使用して、分析と AI のためのデータを分析、準備、統合します。 モデル開発 – Amazon SageMaker AI でフルマネージド型のインフラストラクチャ、ツール、ワークフローを使用して、ML と 基盤モデル (FM) を構築、トレーニング、デプロイします。 生成 AI アプリケーション開発 – Amazon Bedrock を使用して、生成 AI アプリケーションを構築およびスケールします。 SQL 分析 – 最もコストパフォーマンスに優れた SQL エンジンである Amazon Redshift を使用して、インサイトを得ることができます。 この投稿では、新しい SageMaker Unified Studio エクスペリエンスと、データ処理、モデル開発、生成 AI アプリ開発を開始する方法を簡単にご紹介します。 Amazon SageMaker Unified Studio (プレビュー) での作業 SageMaker Unified Studio では、使い慣れた AWS ツールを使用してデータを発見し、活用することで、データ分析、データ処理、モデルトレーニング、生成 AI アプリ構築などのエンドツーエンドの開発ワークフローを、単一の管理環境で完了できます。 統合型の SQL エディタでは、複数のソースからデータをクエリできます。また、視覚的な抽出、変換、ロード (ETL) ツールにより、データ統合と変換のワークフローの作成が簡素化されます。新しい統合型 Jupyter Notebook によって、さまざまなコンピューティングサービスやクラスター間でのシームレスな作業が可能になります。新たに組み込まれたデータカタログ機能により、組織全体のデータや AI アセットの検索、アクセス、クエリが可能になります。Amazon Q は開発ライフサイクル全体のタスクを合理化するために統合されています。 個々の機能をさらに詳しく見ていきましょう。 データ処理 SageMaker は SageMaker Lakehouse と統合されており、統一されたエクスペリエンスでデータを分析、準備、統合、調整することができます。 提供された接続オプションを使用して、さまざまなソースからのデータを統合および処理できます。 まず、SageMaker Unified Studio でプロジェクトを作成し、 SQL 分析 または データ分析と AI-ML モデル開発 のプロジェクトプロファイルを選択します。プロジェクトは、同僚と共同作業したり、データを共有したり、ツールを使用して安全な方法でデータを操作したりする場所です。SageMaker のプロジェクトプロファイルは、新しいプロジェクトを作成するときにプロビジョニングされる事前設定済みのリソースとツールのセットを定義します。プロジェクトの左側のメニューで [データ] を選択し、データソースの追加を開始します。 組み込みの SQL クエリエディタを使用すると、データレイク、データウェアハウス、データベース、およびアプリケーションに保存されているデータを SageMaker Unified Studio 内で直接クエリできます。SageMaker Unified Studio のトップメニューで [ビルド] を選択し、 [クエリエディタ] を選択して開始します。また、その際には Amazon Q で自然言語を使用して SQL クエリを作成してみてください。 また、組み込みのビジュアル ETL ツールを確認し、視覚的なドラッグアンドドロップインターフェイスを使用して、データ統合と変換のワークフローを作成することもおすすめします。トップメニューで [ビルド] を選択し、 [ビジュアル ETL フロー] を選択して開始します。 Amazon Q が有効になっている場合は、生成 AI を使用してフローを作成することもできます。Visual ETL には、データワークフローを合理化するためのさまざまなデータコネクター、事前構築済みの変換、およびスケジューリング、モニタリング、データプレビューなどの機能が備わっています。 モデルの開発 SageMaker Unified Studio には、ML ライフサイクル全体のインフラストラクチャ、ツール、ワークフローを提供する SageMaker AI の機能が含まれています。トップメニューで [ビルド] を選択すると、データ準備、モデルトレーニング、実験追跡、パイプライン作成、オーケストレーション用のツールにアクセスできます。これらのツールは、モデルのデプロイと推論、機械学習操作 (MLOps) の実装、モデルのモニタリングと評価、ガバナンスとコンプライアンスにも使用できます。 モデル開発を開始するには、 データ分析と AI-ML モデル開発 プロジェクトプロファイルを使用して、SageMaker Unified Studio でプロジェクトを作成し、新しい統合 Jupyter Notebook を試してみてください。トップメニューで [ビルド] を選択し、 [JupyterLab] を選択します。新しい統合ノートブックを使用すると、さまざまなコンピューティングサービスやクラスター間でシームレスに作業できます。これらのノートブックでは、ワークスペースを離れることなく環境を切り替えることができるため、モデル開発プロセスが合理化されます。 Amazon Q Developer を使用して、モデル開発プロセス全体を通してコード生成、デバッグ、最適化などのタスクを支援することもできます。 生成 AI アプリ開発 新しい Amazon Bedrock IDE を使用して、Amazon SageMaker Unified Studio 内で生成 AI アプリケーションを開発しましょう。Amazon Bedrock IDE には、FM および Amazon Bedrock Knowledge Bases 、 Amazon Bedrock Guardrails 、 Amazon Bedrock Agents 、 Amazon Bedrock Flows などの高度な機能を使用して、生成 AI アプリケーションを構築およびカスタマイズするためのツールが含まれており、お客様の要件と責任ある AI ガイドラインに沿った、カスタマイズされたソリューションを作成できます。 SageMaker Unified Studio のトップメニューで [Discover] を選択すると、Amazon Bedrock のモデルを閲覧したり、モデルのプレイグラウンドをテストしたりできます。 生成 AI アプリケーション開発 プロファイルを使用してプロジェクトを作成し、生成 AI アプリケーションの構築を開始します。 SageMaker Unified Studio のトップメニューで [ビルド] を選択し、 [チャットエージェント] を選択します。 Amazon Bedrock IDE では、数回クリックするだけで独自のデータソースからチャットエージェントを構築し、ナレッジベースを作成できるため、 検索拡張生成 (RAG) が可能になります。ガードレールを追加して安全な AI インタラクションを促進し、あらゆるシステムと統合する関数を作成できます。組み込みのモデル評価機能により、チームと協力しながら AI アプリケーションのパフォーマンスをテストして最適化できます。確定的な 生成 AI を活用したワークフローのフローを設計し、準備ができたら、アプリケーションやプロンプトをドメイン内で共有したり、エクスポートしてどこにでもデプロイしたりできます。その間、プロジェクトやドメインアセットの管理を維持できます。 Amazon SageMaker のすべての機能の詳細については、「 SageMaker Unified Studio ユーザーガイド 」を参照してください。 開始方法 SageMaker Unified Studio の使用を開始するには、管理者はいくつかのセットアップのステップを完了する必要があります。これには、 AWS IAM アイデンティティセンター のセットアップ、必要な仮想プライベートクラウド (VPC) や AWS Identity and Access Management (IAM) ロールの設定、SageMaker ドメインの作成、Amazon Q Developer Pro の有効化が含まれます。IAM Identity Center の代わりに、IAM フェデレーションを通じて SAML を設定して、ユーザー管理を行うこともできます。 環境が設定されると、ユーザーは提供された SageMaker Unified Studio ドメイン URL を使用してシングルサインオンでサインインします。さまざまなユースケースに合わせて事前設定されたプロジェクトプロファイルを選択して、チームメンバーと共同作業するプロジェクトを作成できます。各プロジェクトは Git リポジトリに接続してバージョン管理を行います。また、すぐに開始できるように統合された Jupyter Notebook の例も含まれています。 詳細なセットアップ手順については、「 SageMaker Unified Studio 管理者ガイド 」を参照してください。 今すぐご利用いただけます 次世代の Amazon SageMaker は、現在、米国東部 (バージニア北部、オハイオ)、米国西部 (オレゴン)、アジアパシフィック (東京)、欧州 (アイルランド) の AWS リージョンでご利用いただけます。Amazon SageMaker Unified Studio と Amazon Bedrock IDE は現在、これらの AWS リージョンでプレビュー版としてご利用いただけます。今後の更新については、 全リージョンのリスト をご確認ください。 価格情報については、 Amazon SageMaker の料金 と Amazon Bedrock の料金 をご覧ください。詳細については、 Amazon SageMaker 、 SageMaker Unified Studio 、 Amazon Bedrock IDE をご覧ください。 既存の Amazon Bedrock Studio プレビュードメインは 2025 年 2 月 28 日まで利用できますが、新しいワークスペースを作成することはできません。Bedrock IDE の高度な機能を体験するには、「 管理者ガイド 」の手順に沿って新しい SageMaker ドメインを作成してください。 新しい Amazon SageMaker を今すぐ コンソール で試して、ご意見をお聞かせください。 ぜひお試しいただき、 AWS re:Post for Amazon SageMaker 宛てに、または通常の AWS サポートの連絡先を通じて、フィードバックをお寄せください。 –  Antje 原文は こちら です。

Amazon Q Business は、さまざまなビジネスアプリケーションの生産性を向上させるように設計された生成 AI 搭載アシスタントで、2024年の初めに 一般提供 が開始されました。Amazon Q Business はリリース以来、従業員の生産性向上の課題に取り組むお客様を支援してきました。 この記事では、Amazon Q Business に関する発表が 2 つあります。 Amazon Q Business での AI を活用したワークフローの自動化 (近日公開予定) 50 以上のアクション統合のサポート (一般提供済み) まず、Amazon Q Business からのこれらの新しい発表を確認しましょう。 Amazon Q Business での AI を活用したワークフローの自動化 (近日公開予定) 組織は、正確で反復可能な実行を必要とする複雑なワークフローを、数千とは言わないまでも、何百件も処理しています。これらのワークフローの自動化は、多くの場合数か月もの時間がかかるプロセスで、専門知識が必要でした。その結果、潜在的に価値のあるビジネスプロセスの多くがいまだに手作業で処理されており、非効率化や機会の逸失につながっています。 Amazon Q Business では近日中に、複雑なビジネスワークフローの作成と保守を簡素化する新機能が登場します。 この機能を使用すると、必要な作業内容を自然言語で説明したり、標準操作手順 (SOP) をアップロードしたり、実行中のプロセスのビデオを録画したりするだけで済みます。Amazon Q Business は生成 AI を使用して、入力内容から詳細なワークフロープランを数分で自動的に作成します。次に、推奨ワークフローを使用して、レビュー、テスト、変更、または承認を行うことができます。 自動車保険請求処理の例について考えてみましょう。このプロセスでは通常、手動で請求メールを読み、添付ファイルを確認し、システムで請求を作成します。Amazon Q Business の新機能によって、このワークフローをより効率的に作成できるようになり、ワークフローの作成に通常伴う時間と複雑さが軽減されます。 まず、関連する SOP をアップロードします。 ワークフロー作成プロセス中に、Amazon Q Business は、ワークフロー設計を完了するために必要な追加情報を明確化および収集するために質問することがあります。 提供された入力に基づいて、Amazon Q Business は初期ワークフローテンプレートを生成します。自動化の作成者として、視覚的なドラッグアンドドロップインターフェイスを使用してこのワークフローをカスタマイズし、サポートされているサードパーティーアプリケーションと統合してテストすることができます。ワークフローには、API コール、自動 UI アクション、実行ロジック、AI エージェント、ヒューマンインザループステップなどを含めることができ、幅広い業界やビジネス機能にわたるあらゆるビジネスプロセスの固有のニーズに応えることができます。 完了したら、ワークフローを公開して、スケジュールどおりに実行するか、特定のトリガーに応じて実行するように設定できます。公開したら、機能豊富なモニタリングダッシュボードを使用して、パフォーマンスを積極的に追跡できます。このダッシュボードには分析機能が組み込まれており、公開されているすべてのワークフローの実行と効率に関する詳細なインサイトを提供します。 Amazon Q Business は、ワークフローを実行する際、何千ものウェブサイトやデスクトップアプリケーションでトレーニングを受けた UI エージェントを使用して、ページレイアウトの変更や予期しないポップアップウィンドウに、リアルタイムかつシームレスに対応します。Amazon Q Business では、UI 自動化、API 統合、ワークフローオーケストレーションが 1 つのシステムに組み込まれているため、完全なエンタープライズワークフロー自動化システムを作成するために複数の製品やサービスを統合する必要がなくなります。 50 以上のアクション統合のサポート Amazon Q Business プラグインを使用すると、サードパーティーのアプリに接続し、サポートされているサードパーティーのサービスに関連する特定のタスクを、ウェブエクスペリエンスチャット内で直接実行する柔軟性が得られます。これらのプラグインには、Amazon Q Business の機能である Amazon Q Apps からアクセスできます。この機能は、タスクを合理化して生産性を高める AI 搭載アプリの制作に役立ちます。さらに、ワークフロー自動化機能が起動すると、これらのプラグインをワークフローに直接統合できるようになります。 この発表では、50 以上のアクション統合と 11 の人気のあるビジネスアプリケーションを備えた、すぐに使えるプラットフォームライブラリを紹介します。これらのビジネスアプリケーションには、Microsoft Teams、PagerDuty Advance、Salesforce、ServiceNow などが含まれます。 新しい統合を開始するには、既存のアカウントから Amazon Q Business にアクセスし、新しいプラグインとアクション統合をご確認ください。 これらの統合により、Amazon Q Business ウェブアプリケーション内の複数のアプリケーションでさまざまなタスクを実行できます。 Salesforce で新しい商談を作成する必要があるとします。まず、Amazon Q Business ウェブアプリケーションを開きます。 次に、Amazon Q Business プラグインを起動して、 [商談を作成] アクションを選択します。 次に、Amazon Q Business に商談レコードの作成を依頼します。 アクションプラグインでさらに情報が必要な場合は、さらに情報を収集するように求められます。 Amazon Q Business プラグインは、Salesforce アクションプラグインを使用して自動的にレコードを作成します。 ここから、商談レコードを取引先に関連付けるなど、追加のタスクを実行できます。 Amazon Q Business の使用を今すぐ開始する 現在、新しい Amazon Q Business プラグインは、Amazon Q Business を利用できるすべての AWS リージョンでご利用いただけます。Amazon Q Business のワークフローをオーケストレーションする新機能は、間もなくプレビュー版で利用可能になります。 Amazon Q Business で組織の生産性とイノベーションを向上させましょう。開始方法の詳細については、 Amazon Q Business のドキュメント ページをご覧ください。 構築がうまくいきますように。 –  Donnie 原文は こちら です。

Amazon Q Business は、リリース以来、企業のデータや情報に基づいてより良い意思決定を行えるように支援する生成 AI 搭載アシスタントを使用して、従業員の生産性を向上させています。また、従業員は独立系ソフトウェアベンダー (ISV) が提供するさまざまなソフトウェアアプリケーションを使用して、タスクを実行しています。多くの ISV はユーザーの生産性を高めることを目的として独自の生成 AI 機能を開発していますが、多くの場合、ISV は自社のアプリケーション内のデータに限定されているため、エンドユーザーはタスクを完了するために依然としてアプリケーション間を移動しています。 12 月 3 日、ISV 向けの Amazon Q Business の新機能を発表できたことを嬉しく思います。ISV は Amazon Q インデックスと統合して、単一の API を通じて複数のソースからデータを取得し、Amazon Q 埋め込みアシスタントの設計をカスタマイズできるようになりました。 これらの新機能により、ISV やアプリケーション開発者は、Amazon Q Business の機能で生成 AI ロードマップを加速させながら、複数の Software as a Service (SaaS) アプリケーションにわたるエンタープライズナレッジとユーザーコンテキストの両方を活用し、パーソナライズされた AI を活用したエクスペリエンスをアプリケーションに迅速にデプロイできます。 Amazon Q インデックスを使用して、追加データで生成 AI 機能を強化 この新機能により、ISV はアプリケーションの外部からコンテンツやコンテキストにアクセスできるようになり、希望の大規模言語モデル (LLM) を使用して既存の生成 AI と検索拡張生成 (RAG) ワークフローを補完しながら、より豊かな体験を構築し、エンゲージメントとリテンションを向上させることができます。重要なのは、顧客がインデックスの完全な所有権を維持し、どのアプリケーションがデータにアクセスできるかを完全に制御できることです。 ソフトウェアプロバイダーは、Amazon Q Business にアプリケーションを登録して、インデックス化されたデータへのアクセスを顧客に許可できるようにします。検証後、ソフトウェアプロバイダーはこの追加データを使用して組み込みの生成 AI 機能を強化し、よりパーソナライズされた顧客対応を提供できます。詳細については、 ソフトウェアプロバイダー向けの Amazon Q インデックス のウェブページをご覧ください。 ISV が Amazon Q インデックスとの統合を完了したら、この新しいクロスアプリケーションエクスペリエンスを使用するよう顧客を誘導する方法が 2 つあります。 ISV のアプリケーションを通じたオンボーディング – 顧客は ISV のプラットフォームを通じてプロセスを開始します。ISV は、各顧客に代わって Amazon Q Business アプリケーションとインデックスを作成します。次に、顧客は ISV に認証情報を提供して、追加のデータソースを接続します。このシナリオでは、ISV がオンボーディングエクスペリエンスとユーザーインターフェイスを完全に制御できるものとします。 AWS マネジメントコンソールによるオンボーディング – 顧客は AWS コンソールから Amazon Q Business アプリケーションを直接作成し、そこでデータソースを接続して、ISV にインデックスへのアクセス許可を付与できます。認証済みの ISV は、Amazon Q Business コンソールで「データアクセサー」として一覧表示されます。この検証ステータスは、ISV が上記の必要な検証プロセスを完了し、カスタマーエクスペリエンスを開始する準備ができたときに付与されます。 次に、顧客が検証済みの ISV に既存のインデックスへのアクセス許可を付与するプロセスの概要を説明します。 顧客がアプリケーションを作成してインデックスを追加すると、検証済みの ISV にアクセス許可を付与できます。これを行うには、左側のナビゲーションパネルで [データアクセサー] を選択し、 [データアクセサーを追加] を選択します。 [データアクセサーを追加] ページには、検証済みのすべての ISV アプリケーションのリストが表示されます。 ISV アプリケーションを選択したら、顧客は ISV がアクセスできるデータを設定します。また、顧客は、どのユーザーに ISV の更新済み機能へのアクセスを許可するかも選択できます。 アクセス権を付与したら、顧客は ISV の管理コンソールで Amazon Q Business アプリケーションをリンクして、設定を完了する必要があります。完了すると、ISV は SearchRelevantContent API を使用して指定されたインデックスからデータの取得を開始し、インデックスからデータを取得することで生成 AI 機能を強化できます。この API を使用するサンプルコードスニペットを次に示します。 import boto3 import pprint qbiz = boto3.client("qbusiness", region_name="us-east-1", **credentials) Q_BIZ_APP_ID = ${Q_BIZ_APP_ID} Q_RETRIEVER_ID = ${Q_RETRIEVER_ID} Q_DATA_SOURCE_ID = ${Q_DATA_SOURCE_ID} search_params = { 'applicationId': Q_BIZ_APP_ID, 'contentSource': { 'retriever': { 'retrieverId': Q_RETRIEVER_ID } }, 'queryText': 'Order coffee API', 'maxResults': 5, 'attributeFilter': { 'documentAttributeFilter': { 'andAllFilters': [{ 'equalsTo': { 'name': '_data_source_id', 'value': { 'stringValue': DATA_SOURCE_ID } } }] } } } search_response = qbiz.search_relevant_content(**search_params) 埋め込みアシスタントのデザインのカスタマイズ Amazon Q 埋め込み は、ユーザーインターフェイスに AI 搭載アシスタントを組み込むことで、ISV が Amazon Q Business をエンドユーザーに展開できるようにするための機能です。この機能は、ISV ユーザーが文書の要約や質問への回答などのさまざまなタスクを完了するのに役立ちます。 ソフトウェアプロバイダーは、Amazon Q が埋め込まれた埋め込み可能な生成 AI アシスタントのユーザーインターフェイス (UI) を、自社のブランドに合わせてカスタマイズできるようになりました。はじめに、左側のナビゲーションパネルで [Amazon Q Embedded] を選択し、 [ウェブ体験をカスタマイズ] を選択します。 このページで [テーマ] を選択し、アシスタント名、ウェルカムメッセージ、配色、ロゴの設定など、生成 AI アシスタント UI のルックアンドフィールのカスタマイズを開始します。 今すぐご利用いただけます Amazon Q インデックスとカスタマイズ可能な UI が埋め込まれた Amazon Q は、現在、米国東部 (バージニア北部) と米国西部 (オレゴン) の AWS リージョンで一般提供されており、他の AWS リージョンでも間もなく利用できるようになります。 ISV は Amazon Q Business の機能を使用して、強力な AI 機能でユーザーエクスペリエンスを革新および強化できるようになりました。ISV がアプリケーションを強化できる方法について詳しくは、 ソフトウェアプロバイダー向けの Amazon Q Business ページ をご覧ください。 コーディングをお楽しみください! –  Donnie 原文は こちら です。

2023 年の AWS re:Invent では、 Amazon Q Developer をプレビュー しました。Amazon Q Developer は、 Visual Studio 、 Visual Studio Code 、 JetBrains IDE 、 Eclipse (プレビュー)、 JupyterLab 、 Amazon EMR Studio 、または AWS Glue Studio などの統合開発環境 (IDE) 全体でソフトウェアを設計、構築、テスト、デプロイ、保守するための 生成 AI 搭載アシスタントです。 Amazon Q Developer は、 AWS マネジメントコンソール 、 AWS コンソールモバイルアプリケーション 、 Amazon CodeCatalyst 、 AWS サポート 、 AWS ウェブサイト 、または AWS Chatbot が設定された Slack および Microsoft Teams 経由で使用することもできます。 イノベーションのペースが迅速 だったため、4 月に Amazon Q Developer の 一般提供を発表 し、 AWS コマンドラインインターフェイス (AWS CLI) 、 Amazon SageMaker Studio 、 AWS CloudShell のサポートや、IDE での シームレスなコーディング操作のためのインラインチャット などの機能をさらに追加しました。また、AWS は Gartner 初の Magic Quadrant for AI Code Assistants の リーダーに選出 されました。 Amazon Q Developer には、シンプルなプロンプトを使用して、コメントや既存のコードに基づくリアルタイムでのコードの提案、単一のプロンプト ( /dev ) からの新しいプロジェクトのブートストラップ、Amazon Q Developer の変換機能 ( /transform ) を使用したレガシー Java アプリケーションのアップグレードと変換プロセスの自動化、プライベートリポジトリからのカスタマイズされた推奨コードの安全な生成、AWS アカウントで実行されているリソースの迅速な把握を実行できるエージェントがあります。 12 月 3 日、Amazon Q Developer エージェントの機能を拡張しました。その目的は、1) コードベース内のドキュメント ( /doc ) の強化、2) セキュリティとコード品質の問題を検出して解決するためのコードレビューのサポート (/review )、3) 目的の IDE または最も人気のあるエンタープライズ DevOps プラットフォームの 1 つである GitLab Duo with Amazon Q (プレビュー) でのソフトウェア開発ライフサイクル全体にわたるユニットテストの自動生成とテストカバレッジの向上 ( /test ) です。 Amazon Q Developer Agent for Software Development 機能の使用を開始する すべての新機能の使用を開始するには、お気に入りの IDE 用の 最新の Amazon Q IDE 拡張機能 をインストールします。Amazon Q Developer の無料利用枠または Pro ティアにサインインし、IDE でプロジェクトを開きます。 AWS ビルダー ID で 無料利用枠 の認証を行うことも、 AWS IAM アイデンティティセンター を使用して Pro ティア の認証を行うこともできます。 1.コードベースのドキュメントの強化 これで、お使いの IDE のコードベースに関する readme やデータフロー図などの包括的なドキュメントを生成できるようになりました。Amazon Q Developer が手間のかかる文書化作業を処理するため、ソフトウェアエンジニアリングのベストプラクティスに基づいた品質を維持しながら、コードの設計と作成に注力できます。 IDE でドキュメントを開始するには、チャットパネルを開いて「 /doc 」と入力します。 これで、プロジェクト内の README を作成したり、既存の README を更新したりできるようになりました。ソースファイルのスキャン、ナレッジグラフの作成、ソースファイルの要約、ドキュメントの生成を行います。完了したら、作成された REAME ファイルをチェックアウトし、 [承認] を選択してこのドキュメントをコードエディタで使用します。 2.コード品質問題の検出と解決のためのコードレビューのサポート コードスメル、アンチパターン、命名規則違反、潜在的なバグ、論理エラー、コードの重複、貧弱な文書やセキュリティの脆弱性、IDE または GitLab リポジトリ全体にわたる AWS のベストプラクティスなど、さまざまなコード品質の問題を特定して解決できます。 この自動コードレビュープロセスにより、開発チームは時間を大幅に節約し、生産性を向上させ、コード品質の一貫性を維持できるようになるため、最終的にはセキュリティ標準とベストプラクティスを順守しながら、より迅速な機能リリースを実現できます。 IDE でコードレビューを開始するには、チャットパネルを開いて「 /review 」と入力します。 Amazon Q Developer は、コードをコミットする前に、プロジェクトまたはお客様が選択した特定のファイルを確認して問題を特定し、検出結果のリストを提供します。お客様は Amazon Q でフォローアップして解決策を見つけ、オンデマンドのコード修正をインラインで生成します。完了したら、コードの問題に対する推奨コード修正を確認し、 [修正を承認] を選択して、コードエディタで変更を適用します。 3.ユニットテストの自動生成とテストカバレッジの向上 テストケースの特定からプロジェクトファイル向けのユニットテストの作成まで、ユニットテストプロセスを自動化できます。ユニットテストでは、境界条件、NULL 値、off-by-1 のケース、複数の入力タイプのチェックなどの基本的なケースを生成できます。 IDE でユニットテストワークフローを開始するには、チャットパネルを開いて「 /test 」と入力します。 Amazon Q Developer は、特定のソースファイルでユニットテストを生成し、該当のテストファイルに配置して、テストエラーをセルフデバッグします。完了したら、 [差分を表示] を選択して、生成されたユニットテストをコードエディタで確認します。その後、生成されたユニットテストを承認または拒否できます。 今すぐご利用いただけます ソフトウェア開発用の 3 つの新しい Amazon Q Developer エージェント機能が、Amazon Q Developer が利用可能なすべての AWS リージョンで利用できるようになりました。 詳細については、 Amazon Q Developer の製品ページ と、 AWS DevOps と開発者の生産性ブログ チャンネルの最新のブログ記事をご覧ください。私のチームは、 Amazon Q デベロッパーセンター と Community.aws で、ソフトウェア開発者のジョブ理論 (Jobs-To-Be-Done) を直接サポートし、生成 AI によって実現および強化される、Amazon Q Developer 関連のコンテンツを作成することにも焦点を当てています。 AWS ビルダー ID を使用して、 お気に入りの IDE で Amazon Q Developer エージェントの新しい機能を試し、 AWS re:Post for Amazon Q Developer にフィードバックを送信するか、通常の AWS サポートの連絡先を通じてフィードバックを送信してください。 – Channy 原文は こちら です。

はじめに コンタクトセンターを運用している企業では、生成 AI の力を活用して、ユーザー体験とエージェントの生産性を向上させることを検討しているかもしれません。エージェントアシストやインテリジェントボットなどの機能は、コンタクトセンターの AI を活用した改革の結果として注目を集めています。 当社のお客様の多くはすでに、解決までの時間短縮と運用効率の最適化のために、主要なカスタマーサポートチャネルとして音声自動応答システム (IVR) やインテリジェント仮想アシスタント (IVA) を使用しています。そして、AI 主導の顧客対応と人間のエージェント主導の対応とのシームレスな統合を模索しているお客様も増えています。これにより、自動化のスピードと人間のエージェントによるパーソナライズされた体験の適切なバランスを保ちながら、強力なカスタマーケアソリューションを提供することができます。ますます一般的になっているユースケースは、 Amazon Web Services (AWS) のクラウドコンタクトセンターソリューションである Amazon Connect を、AI と人間の連携のために既存の IVA または IVR システムと統合することです。 このブログ記事では、 AI を活用した IVR システムと IVA を Amazon Connect とシームレスに統合することで、企業が顧客体験をさらに向上させる方法について探ります。このような統合の主な利点や、AI を活用したアシスタントと人間のエージェント間のシームレスな連携を可能にするアーキテクチャパターンについて詳しく見ていきます。顧客により多くの統合オプションを提供したいサードパーティプロバイダーの方も、既存のカスタマーサービス業務をモダナイズしたいと考えている方も、この記事はコンタクトセンターにおける AI と人間のコラボレーション力を高めるための洞察と戦略を提供します。 Amazon Connect と AI を活用した IVR/IVA の統合 以下は、インテリジェントアシスタントを Amazon Connect と統合する際に使用できる 2 つの一般的なパターンです： AI ベースのアシスタントが必要に応じてシームレスに音声通話を人間のエージェントに引き継ぐことを可能にします。これにより、顧客は基本的な問い合わせに対して AI 仮想アシスタントとやり取りできる一方で、人間のエージェントへのスムーズな移行が可能になります。AI アシスタントから収集した完全なコンテキストと顧客情報をもって、スムーズな移行を確保し、繰り返しを避け、解決プロセスをさらに迅速化します。 サードパーティのアプリケーションやツールを Amazon Connect Agent Workspace に統合します。これは、サードパーティのソースやカスタムビルドからの、カスタム機能やインサイトを Amazon Connect Agent Workspace にシームレスに統合し、追加の機能や情報を提供したい場合に役立ちます。CRM システム、ナレッジベース、注文管理プラットフォームなど、さまざまなアプリケーションを統一されたインターフェースに統合することができ、エージェントが複数のシステムを切り替えることなく効率的に作業できるようになります。 アーキテクチャパターン AI を活用した IVR/IVA と Amazon Connect 間のシームレスな統合に関わる主なアーキテクチャパターンをいくつか詳しく見ていきましょう。 パターン 1：サードパーティアシスタントから Amazon Connect へのインタラクション移行 a. 主要な機能 主要な統合パターンの 1 つは、音声とチャットの両方で AI を活用したセルフサービスから人間のエージェントへのスムーズな移行を促進することです。発信者が「エージェントと話したい」と要求した場合、彼らはシームレスで継続的なインタラクションを期待します。会話を引き継ぐエージェントに、顧客を最適にサポートするためのタイムリーで実用的な情報が提供されることが重要です。効果的な引き継ぎを確実にするために必要な主要な機能は次のとおりです： 仮想アシスタントをホストしているシステムから Amazon Connect の問い合わせを開始します。 エージェントのワークスペースには、名前やアカウントデータなどの顧客情報が表示されるべきです。アシスタントは移行時に識別情報を提供する必要があります。できれば、エージェントは Amazon Connect チャネルから問い合わせが発生した場合と同じレベルの顧客情報にアクセスできるようにすべきです。また、ワークスペースには移行前のやり取りに関する洞察も提供されるべきです。最低限、これには会話の書き起こし、メタデータ（日付、時刻、所要時間）、および前処理を通じて抽出された意味のあるデータが含まれるべきです。これには、会話のトーン、顧客の問題の説明、提案された解決策などが含まれ、エージェントが次のステップを素早く特定し、発信者の体験を向上させることができます。 b. アーキテクチャの概要 図：サードパーティの IVA/IVR から Amazon Connect への移行 – ソリューションアーキテクチャ 以下はアーキテクチャと情報の流れの説明です： 顧客はサードパーティの IVA/IVR アプリとやり取りします。顧客がエージェントとの会話を要求すると、その要求は Amazon API Gateway に送信されます。Amazon API Gateway は、会話のトランスクリプトを保存する API（”/store”）、トランスクリプトを処理して関連情報を抽出する API（”/process”）、Amazon Connect で新しいコンタクトを開始する API（”/start-contact”）にリクエストをルーティングします。 “/store” API エンドポイントは会話のトランスクリプトを受け取り、 AWS Lambda 関数を使用して Amazon S3 バケットに保存します。 “/process” API エンドポイントは、Amazon S3 に保存された会話トランスクリプトを処理する別の Lambda 関数をトリガーします。この AWS Lambda 関数は、 Amazon Bedrock 、 Amazon Transcribe 、 Amazon Comprehend などの AI サービスを利用して、トランスクリプトから関連情報を抽出することができます。 抽出された情報は Amazon DynamoDB に保存されます。ユースケースによっては、他のタイプのデータストアが使用される場合もあります。 会話のインサイトデータが準備されると、第三者アプリは “/start-contact” API エンドポイントを呼び出し、これが Amazon Connect API を呼び出して Amazon Connect インスタンスを通じて顧客とのライブエージェントのやり取りを開始します。この手順の詳細については、以降のセクションで説明します。 Amazon Connect インスタンスは、新しいコンタクト（テキストまたは音声）を開始するリクエストを受け取ります。 エージェントがサポートケースを確認し、自分に割り当てると、顧客の要求に関連するすべての情報にアクセスできるようになります。Amazon Connect Agent Workspace の柔軟な統合機能を使用して、顧客はチャットや通話の要約、導き出されたインサイトなどの重要なデータを表示できます。 エージェントは会話の詳細とトランスクリプトから抽出された関連情報を確認し、キューからサポートケースを取得できます。最初のチャネルに応じて、やり取りは新しい着信チャットまたは新しい音声通話になる可能性があります。 音声とチャットの全体的なアーキテクチャは同等ですが、各チャネルには特有のニュアンスがあり、Amazon Connectの特徴的な機能を活用しています。 c. 音声チャンネル 音声対応のアシスタントの場合、シンプルな移行戦略はコールバックのスケジューリングです。サードパーティアプリケーションは発信者からコールバックの詳細を収集し、リクエストを承認した後、インタラクションの移行フローを開始できます。コールバックには複数の利点があります： サードパーティアシスタントから Amazon Connect への移行中の顧客の待ち時間を最小限に抑えます。音声トランスクリプトの生成と処理には時間がかかる可能性があり、電話中に発信者が我慢できない可能性があるためです。ケースを担当するエージェントが顧客とやり取りする前に、利用可能な情報を確認する十分な時間を確保できます。 これを実現するために、Amazon Connect は CreateCallbackContact などの自動コールバックフローを構築するための多数の Action API を提供しています。サンプルのコールバックソリューションについては、 発信者スケジュールコールバックのブログ を参照してください。 d. チャットチャネル チャットアシスタントの場合、戦略はチャットボットの基盤となるソリューションに大きく依存します。 カスタムビルドの AI 搭載チャットボットを使用する場合 IVA がカスタムチャットプラットフォーム上に構築されている場合、上記のソリューションで説明した API を使用して Amazon Connect のチャット機能と統合することができます。この場合、ソリューションの重要なコンポーネントの 1 つは StartChatContact API で、これによって顧客との新しいチャットを開始するフローを開始できます。フローでアクセス可能なカスタム属性を渡すこともできます。例えば、顧客情報やチャット記録データへのアクセスを提供する一意の引き継ぎ識別子を渡すことができます。 サンプルコードと技術アーキテクチャについては、 Amazon Connect Chat UI Examples リポジトリ を参照してください。 Amazon Lex チャット UI を使用する場合 IVA が Amazon Lex にて構築されている場合、Amazon Lex と Amazon Connect の間のネイティブ統合を活用して、統一されたチャット体験を作成できます。このアプローチでは、Amazon Lex の会話機能を活用しながら、必要に応じて人間のエージェントにシームレスにチャットを移行することができます。Amazon Lex のデフォルトインテント機能により、生成 AI でチャット体験を強化することができ、人間のエージェントを関与させる前に自動化レイヤーを追加することができます。 QnABot がこのようなソリューションの良い例です。 パターン 2: サードパーティアプリケーション（3P アプリ）の統合 Amazon Connect Agent Workspace に、サードパーティアプリケーション（3P アプリ）や独自のカスタムビルドされた生成 AI を活用したソリューションを統合することで、エージェントの体験をさらに豊かにすることができます。 Agent Workspace にサードパーティアプリケーション（3P アプリ）を統合することは、Amazon Connect のネイティブな機能であり、エージェントの生産性と顧客体験を向上させる強力な方法です。重要なビジネスアプリケーション、データ、機能を単一のインターフェースに統合することで、エージェントは複数のシステムを切り替えることなく、必要な情報にすべてアクセスできます。このスムーズなアクセスにより、問題解決の迅速化、一次解決率の向上、より良い顧客体験につながります。 Amazon Connect と 3P アプリの統合には、いくつかのアプローチがあります。AWS Marketplace では、簡単に導入・設定できる事前構築された 3P アプリ統合を提供しています。あるいは、カスタム統合を構築したい企業は、プラットフォームの安定した API を活用して、外部アプリケーションをプログラムで統合し、エージェントインターフェース内でその機能を表示することができます。例えば、iframe を使用してサードパーティの Web アプリケーションを Agent Workspace に直接埋め込み、シームレスな視覚的統合を実現できます。 Amazon Connect と統合される 3P アプリの一般的な例には、CRM システム、ナレッジベース、注文管理プラットフォーム、カスタムの社内アプリケーションなどがあります。これらの重要なツールとデータソースを統合することで、企業は必要なすべての情報とアクションに単一のワークスペースからアクセスできる、合理化されたエージェントワークフローを作成できます。これにより、平均処理時間や一次解決率などの主要メトリクスに大きな影響を与えることができます。 事前構築された統合以外にも、企業は Amazon Connect の柔軟性を活用して、独自ツールや AI を活用したアシスタントを含む、独自のカスタムアプリケーションやサービスを構築・統合することができます。これにより、ユニークなビジネスニーズやワークフローに合わせた真にカスタマイズされたエージェント体験を実現し、生産性と卓越した顧客サービスを新たなレベルに引き上げることができます。 図: Amazon Connect Agent Workspace からサードパーティアプリケーションにアクセス まとめとアクションの提案 AI を活用した仮想アシスタントと Amazon Connect の統合は、カスタマーサービス業務を向上させるための魅力的なソリューションを提供します。AI 主導のやり取りからライブエージェントへのシームレスな移行と、完全なコンテキストの転送により、企業は卓越した体験を提供し、エージェントの効率を高めることができます。このアプローチにより、解決率の向上、エージェントが関連情報を事前に受け取ることによる満足度の向上、そしてサードパーティアプリケーションとカスタム AI サービスをエージェントワークスペース内に統合することによる生産性の向上が可能になります。コンタクトセンター業務を最適化する組織にとって、この AI と人間の協働モデルは、AI の速度とスケーラビリティをライブエージェントの専門知識と組み合わせて活用する戦略的な機会を提供します。 より詳細を学んで始めるには、次のリソースを参照してください： Connect API に関するドキュメント サードパーティーアプリケーションのエージェントワークスペースとの統合 Connect におけるサードパーティアプリケーションに関するドキュメント Amazon Connect ウェブページ Amazon Connect でカスタマーサービス体験を変革する準備はできましたか？ お問い合わせください。 著者について Aarushi Karandikar は Amazon Web Services (AWS) のソリューションアーキテクトで、エンタープライズ ISV の顧客にクラウドジャーニーに関する技術的なガイダンスを提供する責任を担っています。彼女は UC Berkeley でデータサイエンスを学び、生成 AI 技術を専門としています。   Guy Bachar はニューヨークを拠点とする AWS のシニアソリューションアーキテクトで、キャピタルマーケットの顧客のクラウド変革ジャーニーを支援することを専門としています。彼の専門分野は、アイデンティティ管理、セキュリティ、ユニファイドコミュニケーションです。   Narcisse Zekpa はボストンを拠点とするシニアソリューションアーキテクトです。彼は米国北東部の顧客が AWS クラウド上で革新的でスケーラブルなソリューションを通じてビジネス変革を加速するのを支援しています。彼は、高度な分析と AI を使用して組織がビジネスを変革できるようにすることに情熱を注いでいます。Narcisse が構築作業をしていないときは、家族と過ごしたり、旅行したり、ランニングをしたり、料理をしたり、バスケットボールをしたりすることを楽しんでいます。 Sarah Patrick は Amazon Web Services (AWS) のソリューションアーキテクトで、SMBエンゲージの顧客がクラウドコンピューティングサービスを活用するのを支援しています。Sarah はメリーランド大学で情報科学とビジネス分析を学びました。現在、彼女は顧客がコンタクトセンターのニーズに Amazon Connect を実装する初期段階をガイドしています。 Agnel Joseph は Amazon Web Services のプロフェッショナルサービスのコンサルタントです。彼は Amazon Connect でスケーラブルなコンタクトセンターソリューションを展開するお客様を支援することにフォーカスしています。彼は技術者であり学生でもあり、学習と新しいプロダクトを作ることが好きです。 翻訳はソリューションアーキテクトの濱上が担当しました。原文は こちら です。