12 月 4 日、 Buy with AWS を発表しました。これは、 AWS パートナー サイトから AWS Marketplace で入手可能なソリューションを検索および購入する新しい方法です。Buy with AWS を使用すると、 Amazon Web Services (AWS) 外のウェブサイトでの製品調達プロセスを迅速化および合理化できます。この機能では、AWS アカウントを使用して、パートナーのウェブサイトからソリューションを検索、試用、購入することができます。 AWS Marketplace は、パートナーが提供するクラウドソリューションを検索、購入、デプロイ、管理するための厳選されたデジタルストアです。Buy with AWS は、必要なときに必要な場所で適切なパートナーソリューションを見つけて調達することが容易になる AWS Marketplace へのもう 1 つのステップです。AWS Marketplace のソリューションは、統合された AWS サービスコンソールから利便性の高い方法で検索および購入できますが、パートナーのウェブサイトで検索して購入することも可能になりました。 クラウドソリューションの発見と評価を加速 AWS 以外のウェブ上でソリューションを探すとき、AWS Marketplace から購入できるパートナーのソリューションを見つけることができるようになりました。 パートナーサイトを参照するときに「Available in AWS Marketplace」の製品を探し、無料トライアルへのすばやいアクセス、デモのリクエスト、カスタム価格の問い合わせを行って評価プロセスを加速できます。 例えば、 Wiz がクラウドのセキュリティ要件にどのように役立つかを評価するとします。Wiz のウェブサイトを閲覧すると、「 Connect Wiz with Amazon Web Services (AWS) 」というページが見つかります。 [Try with AWS] を選択します。サインインしていない場合は、AWS アカウントにサインインするよう要求されます。その後、無料トライアルにサインアップするための Wiz と AWS の共同ブランドページが表示されます。 表示される発見エクスペリエンスは、購入元のパートナーウェブサイトのタイプに応じて異なります。Wiz は、独立系ソフトウェアベンダーが Buy with AWS をどのように実装できるかを示す一例です。次に、独自のストアフロントを運営している AWS Marketplace チャネルパートナー (リセラー) の例を見てみましょう。 AWS Marketplace の製品リストが掲載されている Bytes のストアフロント にアクセスします。Bytes サイトには、フィルターを適用して AWS Marketplace で入手可能な厳選された製品リストから検索できるオプションがあります。 Fortinet の [View Details] を選択すると、AWS からのプライベートオファーをリクエストする [Request Private Offer] のオプションが表示されます。 ここに見られるように、チャネルパートナーのサイトでは、AWS Marketplace で入手可能な厳選された製品リストの閲覧、製品のフィルタリングに加えて、AWS アカウントを使用してカスタム価格をリクエストすることができます。 AWS パートナーサイトの製品調達を合理化する ここまで、Buy with AWS を使用して Wiz の無料トライアルにアクセスし、Bytes ストアフロントを閲覧してプライベートオファーをリクエストするというシームレスな体験を紹介しました。 今度は、私が開発中のアプリケーションで Databricks を試してみたいと思います。Databricks のウェブサイトから Databricks のトライアル にサインアップします。 [Upgrade] を選択すると、Databricks が AWS Marketplace で入手可能であることがわかります。AWS で購入する [Buy with AWS] のオプションが表示されます。 [Buy with AWS] を選択します。AWS アカウントにサインインすると、Databricks と AWS Marketplace の共同ブランドの調達ページが表示されます。 共同ブランドの調達ページで購入を完了し、Databricks アカウントの設定を行います。 この例で見られたように、複数のベンダーの調達プロセスを管理するという課題に対処する必要はありませんでした。また、営業担当者と話す必要や、請求システムで新しいベンダーのオンボーディングを行う必要もありませんでした。仮に請求システムでオンボーディングを行った場合、複数の承認が必要になり、プロセス全体が遅れてしまいます。 AWS Marketplace を介して一元化された請求と特典にアクセスする Buy with AWS での購入は AWS Marketplace を通して処理され、AWS Marketplace で管理されるため、統合された AWS の請求、一元的なサブスクリプション管理、コスト最適化ツールへのアクセスなど、購入後の AWS Marketplace のメリットもあります。 例えば、 AWS Billing and Cost Management から、Buy with AWS での購入を含むすべての AWS 購入を 1 つのダッシュボードで一元管理できます。組織での AWS 購入のすべての請求書に簡単にアクセスして処理できます。また、サブスクリプションの管理と AWS Marketplace からの購入を行うには、有効な AWS Identity and Access Management (IAM) アクセス許可 が必要です。 AWS Marketplace は、請求処理を簡素化するだけでなく、組織の購買権限とサブスクリプションアクセスを一元的に可視化して管理できるようになるので、購買に関するガバナンスを維持するためにも役立ちます。柔軟な価格設定、コストの透明性、AWS コスト管理ツールで予算を管理できます。 パートナーにとっての Buy with AWS Buy with AWS では、AWS Marketplace で製品を販売または再販するパートナーは、自社のウェブサイトで顧客に新しいソリューション発見と購入のエクスペリエンスを提供できます。パートナーは、「Buy with AWS」、「Try free with AWS」、「Request private offer」、「Request demo」などの行動の呼びかけ (CTA) ボタンをウェブサイトに追加することで、顧客の製品評価と購入までのプロセスを短縮できます。 パートナーは、 AWS Marketplace API を統合することで、AWS Marketplace カタログの製品の表示、顧客による製品のソートとフィルター、プライベートオファーの合理化を行うことができます。Buy with AWS を実装するパートナーは、AWS Marketplace のクリエイティブリソースやメッセージングリソースにアクセスして、独自のウェブ体験を構築するためのガイダンスを利用できます。Buy with AWS を実装するパートナーは、メトリクスにアクセスしてエンゲージメントとコンバージョンパフォーマンスに関するインサイトを取得できます。 AWS Marketplace 管理ポータルの Buy with AWS オンボーディングガイド には、パートナーが Buy with AWS の利用を開始する方法が詳しく説明されています。 詳細情報 Buy with AWS のページ にアクセスして詳細を確認し、Buy with AWS を提供するパートナーサイトを参照してください。 ウェブサイトで Buy with AWS を使用して製品を販売または再販する方法の詳細については、以下をご覧ください。 Buy with AWS の出品者向けページ AWS Marketplace 管理ポータルの Buy with AWS オンボーディングガイド – Prasad 原文は こちら です。

12 月 4 日、 Amazon SageMaker HyperPod レシピ の一般提供が開始されたことをお知らせいたします。このレシピは、あらゆるスキルセットのデータサイエンティストや開発者が、 基盤モデル (FM) のトレーニングと微調整を数分で開始できるようにすると同時に、最先端のパフォーマンスを実現します。 Llama 3.1 405B 、 Llama 3.2 90B 、 Mixtral 8x22B など、一般公開されている人気の FM をトレーニングおよび微調整するための最適化されたレシピをご利用いただけるようになりました。 AWS re:Invent 2023 では、FM のトレーニングにかかる時間を最大 40% 短縮し、事前設定された分散トレーニングライブラリと並行して 1,000 個を超えるコンピューティングリソース全体でのスケールリングを可能にする、 SageMaker HyperPod を発表 しました。SageMaker HyperPod を使用すると、トレーニングに必要な高速コンピューティングリソースを見つけ、最適なトレーニングプランを作成し、コンピューティングリソースの可用性に応じて、さまざまなキャパシティブロックにまたがってトレーニングワークロードを実行できます。 SageMaker HyperPod レシピには AWS でテストされたトレーニングスタックが含まれているため、さまざまなモデル構成を試す面倒な作業を省くことができ、何週間にもわたる反復的な評価とテストが不要になります。レシピは、トレーニングデータセットの読み込み、分散トレーニング手法の適用、障害からの迅速な回復のためのチェックポイントの自動化、エンドツーエンドのトレーニングループの管理など、いくつかの重要なステップを自動化します。 レシピを変更するだけで、GPU ベースと Trainium ベースのインスタンスの切り替えがシームレスに行え、トレーニングパフォーマンスをさらに最適化し、コストを削減できます。SageMaker HyperPod または SageMaker トレーニングジョブでは、本稼働のワークロードを簡単に実行できます。 SageMaker HyperPod レシピの実践 はじめに、 SageMaker HyperPod レシピの GitHub リポジトリ にアクセスして、一般公開されている人気の FM 用トレーニングレシピを参照します。 簡単なレシピパラメータを編集して、クラスター構成のインスタンスタイプやデータセットの場所を指定するだけで、1 行のコマンドでレシピを実行し、最先端のパフォーマンスを実現できます。 リポジトリの複製後、レシピの config.yaml ファイルを編集して、モデルとクラスタータイプを指定する必要があります。 $ git clone --recursive https://github.com/aws/sagemaker-hyperpod-recipes.git $ cd sagemaker-hyperpod-recipes $ pip3 install -r requirements.txt. $ cd ./recipes_collections $ vim config.yaml レシピは、 Slurm を使用した SageMaker HyperPod 、 Amazon Elastic Kubernetes Service (Amazon EKS) を使用した SageMaker HyperPod 、 SageMaker トレーニングジョブ をサポートしています。例えば、クラスタータイプ (Slurm オーケストレーター)、モデル名 (Meta Llama 3.1 405B 言語モデル)、インスタンスタイプ ( ml.p5.48xlarge )、そしてトレーニングデータ、結果、ログなどを保存するデータロケーションを設定できます。 defaults: - cluster: slurm # サポート: slurm / k8s / sm_jobs - recipes: fine-tuning/llama/hf_llama3_405b_seq8k_gpu_qlora # トレーニングするモデルの名前 debug: False # ランチャーの設定をデバックする場合は True に設定 instance_type: ml.p5.48xlarge # またはその他のサポートされているクラスターインスタンス base_results_dir: # 結果、チェックポイント、ログなどを保存する場所 必要な場合、この YAML ファイルのモデル固有のトレーニングパラメータを調整できます。このパラメータには、アクセラレータデバイスの数、インスタンスタイプ、トレーニング精度、並列化とシャーディングの手法、オプティマイザー、 TensorBoard による実験をモニタリングするためのログ記録など、最適な構成の概要が記載されています。 run: name: llama-405b results_dir: ${base_results_dir}/${.name} time_limit: "6-00:00:00" restore_from_path: null trainer: devices: 8 num_nodes: 2 accelerator: gpu precision: bf16 max_steps: 50 log_every_n_steps: 10 ... exp_manager: exp_dir: # TensorBoard ログ記録の場所 name: helloworld create_tensorboard_logger: True create_checkpoint_callback: True checkpoint_callback_params: ... auto_checkpoint: True # 自動チェックポイント用 use_smp: True distributed_backend: smddp # 最適化された集団通信 # 事前トレーニング済みのモデルからトレーニングを開始 model: model_type: llama_v3 train_batch_size: 4 tensor_model_parallel_degree: 1 expert_model_parallel_degree: 1 # その他のモデル固有のパラメータ Slurm を使用した SageMaker HyperPod でこのレシピを実行するには、 クラスターのセットアップ手順 に従って SageMaker HyperPod クラスターを準備する必要があります。 次に、SageMaker HyperPod ヘッドノードに接続し、Slurm コントローラーにアクセスして、編集したレシピをコピーします。続いて、ヘルパーファイルを実行して、ジョブの Slurm 送信スクリプトを生成します。このスクリプトは、トレーニングジョブの開始前に内容を検査するためのドライランに使用できます。 $ python3 main.py --config-path recipes_collection --config-name=config トレーニングが完了すると、トレーニングされたモデルは自動的に割り当てられたデータロケーションに保存されます。 Amazon EKS を使用した SageMaker HyperPod でこのレシピを実行するには、GitHub リポジトリからレシピを複製し、要件をインストールして、ノートパソコンでレシピ ( cluster: k8s ) を編集します。次に、ノートパソコンと実行中のEKS クラスター間のリンクを作成し、続いて HyperPod コマンドラインインターフェイス (CLI) を使用して、レシピを実行します。 $ hyperpod start-job –recipe fine-tuning/llama/hf_llama3_405b_seq8k_gpu_qlora \ --persistent-volume-claims fsx-claim:data \ --override-parameters \ '{ "recipes.run.name": "hf-llama3-405b-seq8k-gpu-qlora", "recipes.exp_manager.exp_dir": "/data/<your_exp_dir>", "cluster": "k8s", "cluster_type": "k8s", "container": "658645717510.dkr.ecr.<region>.amazonaws.com/smdistributed-modelparallel:2.4.1-gpu-py311-cu121", "recipes.model.data.train_dir": "<your_train_data_dir>", "recipes.model.data.val_dir": "<your_val_data_dir>", }' SageMaker Python SDK を使用して SageMaker トレーニングジョブでレシピを実行することもできます。次の例では、トレーニングレシピをオーバーライドして、SageMaker トレーニングジョブで PyTorch トレーニングスクリプトを実行しています。 ... recipe_overrides = { "run": { "results_dir": "/opt/ml/model", }, "exp_manager": { "exp_dir": "", "explicit_log_dir": "/opt/ml/output/tensorboard", "checkpoint_dir": "/opt/ml/checkpoints", }, "model": { "data": { "train_dir": "/opt/ml/input/data/train", "val_dir": "/opt/ml/input/data/val", }, }, } pytorch_estimator = PyTorch( output_path=<output_path>, base_job_name=f"llama-recipe", role=<role>, instance_type="p5.48xlarge", training_recipe="fine-tuning/llama/hf_llama3_405b_seq8k_gpu_qlora", recipe_overrides=recipe_overrides, sagemaker_session=sagemaker_session, tensorboard_output_config=tensorboard_output_config, ) ... トレーニングの進行に伴い、モデルチェックポイントは Amazon Simple Storage Service (Amazon S3) に保存され、完全に自動化されたチェックポイント機能により、トレーニング障害やインスタンスの再起動からの迅速な復旧が可能になります。 今すぐ利用可能 Amazon SageMaker HyperPod レシピが SageMaker HyperPod レシピの GitHub リポジトリ で入手可能になりました。詳細については、 SageMaker HyperPod の製品ページ と「 Amazon SageMaker AI デベロッパーガイド 」をご覧ください。 SageMaker HyperPod レシピをお試しいただき、 AWS re:Post for SageMaker 宛てに、または通常の AWS サポートの連絡先を通じて、フィードバックをお寄せください。 – Channy 原文は こちら です。

この記事は、「 Use AWS services to build secure, resilient, and global OT and IT networks 」を翻訳したものです。 エネルギー企業は事業領域において多数の制御・運用技術 (OT)、情報技術 (IT)、および OT 資産を展開しています。SCADA (監視制御および データ収集) システム、OPC UA サーバー、PLC、IoT デバイス、ヒストリアンなどは、AWS のエネルギー業界のお客さまが利用している最も著名な OT 資産の一部です。これらの OT 資産は、エネルギー産業だけに限らず、石油・ガス、再生可能エネルギー、製造業、自動車産業、建設業など、他業界でも大きな存在感があります。 OT とは、バックグラウンドで動作する機械、ハードウェア、デバイス、センサーなどを指します。OT 資産は、多くの場合、目的特化型で作られ、時には数十年という長期間使用され、カスタムプロトコル (200 種類以上) で通信し、重要資産を制御するため、重要インフラとしてしばしば言及されます。発電所、変電所、変圧器、送電網などがその例です。一方、IT は、データの可用性、セキュリティ、可観測性、トレーサビリティ、分析、認可されたアクセス、ニアリアルタイムの状態監視、人工知能/機械学習 (AI/ML) などの必要なツールを提供する役割を担っています。 組織の成功のためには、OT と IT が互いを補完し、シナジーを生む必要があります。しかしながら、特に OT/IT インフラストラクチャをクラウド上に展開する際、エネルギー業界のお客さまは危険と隣り合わせの様々な課題を抱えながら取り組みを進めているのが現状です。規制コンプライアンス(NERC CIP: 北米電力信頼度協会の重要インフラ防護基準)、サイバーセキュリティ、レジリエンス、接続性、さらには時として文化的偏見などが、OT と IT の統合に関してお客さまが直面する最も一般的な課題です。 お客さまとの対話の中で、私たちが常に目にするのは、産業用 OT/IT/IoT ワークロードで唯一共通することは、一貫性の欠如であるということです。デバイス、プロトコル、OEM、エッジ構成など、あらゆるものがそれぞれの仕様を持ちます。エネルギー企業は、OT 資産から絶え間なく発生するデータフローを取り込み、正規化/コンテキスト化し、解釈し、最終的にはインテリジェントな意思決定を行うための、堅牢で安全かつスケーラブルなメカニズムを必要としています。 OT/IT 統合に AWS を活用する エネルギー業界のお客さまが IT、OT、サイバーセキュリティに AWS を活用できる主なユースケースには、以下が含まれます(ただしこれらに限定されるものではありません): IT ヒストリアンのモダナイゼーション ( AWS 上での AVEVA PI System の活用 など) (訳者注: AWS 上での AVEVA PI System のホスティングについて詳しく知りたい方は Guidance for Hosting AVEVA PI System on AWS もご覧ください) 100 % のデータ所有権を実現する産業用 IoT データレイク ニアリアルタイムの状況認識、監視、制御 ( AWS IoT や Esri ArcGIS Velocity を使った公益施設のリアルタイムなダッシュボードと分析 など) 分析、レポーティング、高度な AI/ML 活用 予知保全 出力制御、スケジューリング、ディスパッチ管理 OT データとシームレスに連携し、インテリジェントな意思決定を促進する、安全なグローバル IT ネットワークの構築 昨年、 AWS 上の再生可能エネルギーデータレイクおよび分析のためのソリューション ガイダンスをリリースしました。このソリューションは、インドの Greenko グループ が 2,200 基の風力タービンの AWS 上での監視と分析に活用されています。(詳細は こちら をご覧ください)。このソリューションガイダンスは、再生可能エネルギー以外にも、SCADA システム、PLC、IoT デバイスなどの OT システムを活用する石油・ガスや従来型のエネルギー発電・運用事業者にも等しく適用可能です。 OT デバイス、プロトコル、エッジ構成からの解放 (つまり、クラウドへの接続性やデータ転送時・保存時のセキュリティを気にすることなく、あらゆる産業用デバイスを自由に選択できること) 様々な OT 資産 (SCADA システム、OPC UA サーバー、PLC、IoT デバイス、ヒストリアンなど) をシームレスかつ迅速にオンボーディングできる、安全なグローバル OT ネットワークの構築 エッジ側の OT 資産に加えた変更がクラウド上のアプリケーションにリアルタイムで可視化され、その逆も可能なエッジ駆動のアーキテクチャ エッジでのコンピューティングおよび ML 機能を含む、クラウドからエッジへの互換性の提供 サイバーセキュリティ Purdue モデル (ネットワークレイヤーでの分離と OT/IT 資産間のトラフィック分離に関するレファレンス) に基づくクラウド上のグローバル OT/IT セキュアインフラストラクチャの構築 エッジからクラウドまで一切のインターネットを経由しない 100 % プライベートネットワーク カスタムルールに基づく通信パケットの詳細検査 サイバーインシデント発生時の影響範囲の最小化 侵害されたネットワークやアプリケーションの迅速な隔離 1 か所から全ネットワークを管理することによるネットワーク複雑性の低減 Purdue モデルに基づくセキュア OT/IT インフラの AWS を活用した構築 Purdue Enterprise Reference Architecture (PERA) の一部として開発された Purdue モデル は、産業制御システム (ICS) ネットワークアーキテクチャを構築するための一般的な標準となっています。このモデルでは OT、IT、セキュリティ、外部ネットワーク接続、それぞれに対して、分離されたネットワークセグメントを構築することを推奨しており、OT/IT ネットワークインフラストラクチャの開発にも適用できます。 上記の課題に対処し、お客さまのニーズに応えるため、AWS は AWS Cloud WAN を使用した産業用資産向けの安全なグローバル OT/IT ネットワークの構築方法に関する ホワイトペーパー を公開しました。AWS Cloud WAN を使えば、データセンターやお客さま拠点、 Amazon Virtual Private Cloud (Amazon VPC) を簡単に接続し、仮想ネットワーク環境を完全に制御できます。AWS Cloud WAN では、お客様が選択したローカルネットワークプロバイダーを経由して AWS に接続し、中央集権型のダッシュボードとネットワークポリシーを使って、複数の拠点をさまざまな種類の方法で接続する統合ネットワークを作成できます。これにより、さまざまなテクノロジーを使用する異なるネットワークを個別に構成・管理する必要がなくなります。AWS Cloud WAN では、オンプレミスと AWS ネットワーク全体の健全性、セキュリティ、パフォーマンスを可視化できる包括的なビューが生成されます。 本ブログは、ソリューションアーキテクトの高橋が翻訳しました。原文は こちら です。 著者について Avneet Singh Avneet は Amazon Web Services のエネルギー分野における EMEA 地域のプリンシパルスペシャリストソリューションアーキテクトです。オランダのアムステルダムを拠点に、エネルギー業界向けの堅牢なクラウドネイティブソリューションの構築において AWS のリーダーシップ確立に責任を負っています。Avneet は公益事業会社で 15 年以上の経験があり、スマートメーター、請求、インボイス、規制コンプライアンスに至るメーターからキャッシュサイクル全体にわたる技術ソリューションプロジェクトに成功しています。Avneet は IoT、データ分析、再生可能エネルギーの最適化に強い関心を持っています。彼は「AWS上の再生可能エネルギーデータレイクおよび分析」ソリューションガイダンスの著者です。NAMER および EMEA、APJ 地域の世界中の再生可能エネルギー事業者と積極的に協力し、AWS クラウド上で次世代の再生可能エネルギーソリューションを開発しています。 Abhishek Naik Abhishek は AWS for Energy における電力・公益事業担当ソリューションアーキテクトグループを率いるシニアマネージャーです。15 年以上にわたりインフラストラクチャの設計・構築とプロダクトソリューションのリーディングを行ってきた経験があります。アビシェックは、テクノロジーを活用してお客さまの事業成果の加速と事業運営の脱炭素化をサポートしています。お客さまが AWS 上で成功を収められるよう、技術的なガイダンスと専門知識を提供し、設計からプロジェクト実装までをリードしています。仕事以外では、Abhishek はアウトドアでの活動を楽しんでいます。 Yashar Araghi Yashar は AWS のシニアソリューションアーキテクトです。20 年以上にわたり、インフラストラクチャとアプリケーションセキュリティソリューションの設計と構築の経験があります。政府、教育、金融、エネルギー・公益事業など、様々な業界のお客さまと協力してきました。AWS での過去 5 年間、ヤシャルはお客さまがセキュリティ、信頼性、パフォーマンス、コスト最適化されたクラウドソリューションを設計、構築、運用できるよう支援してきました。

この記事は、「 Iberdrola reduces incidents at power distribution facilities using AWS IoT and edge services 」を翻訳したものです。 Iberdrola は、発電、配電、商業化の分野でグローバルリーダーであり、風力発電と再生可能エネルギーの先駆者です。i-DE は Iberdrola のスペインとポルトガルの電力配電網を担当する部門で、様々な性質の数百万にわたる資産を管理・運用しており、各資産の健全性と全体の配電パフォーマンスとの相関関係を把握するのが難しい状況にあります。この記事では、i-DE のイノベーションチームが開発した資産管理プラットフォーム「SmartPoint」について説明します。SmartPoint は、電線支持塔/電柱、変電所、配電用変電所、送電線、現場作業員など、さまざまなコンポーネントの健全性をモニタリングするためのものです。 i-DE のビジネス課題 電力配電網を所有する i-DE は、以下のように様々な資産の種類を効率的に管理するための技術的ソリューションを導入するなかで、さまざまな課題に直面してきました。例えば以下のような課題があります。 変電所 は、電力システムの重要な構成要素であり、電圧を変換し、信頼性の高い電力供給を確保します。施設内の資産は屋外に曝されているため、物理的な脅威や異常を検出するためのビデオ分析が必要です。固定カメラで資産への画角を確保するには、多くの補助的なカメラが必要となりますが、死角はどうしても発生します。 配電用変電所 は、送電線から低電圧に変圧し、配電に適した電圧に変換する施設です。この種の設備では、煙、侵入、温度、浸水などの様々な環境変数を監視するために、従来のセンサーからのデータの監視を実装することがキーとなる要件となります。 送電線と配電線 は、電力を供給するための重要なインフラストラクチャです。これらには、火災を検出するためのビデオ分析と、植生に起因するリスクを検出するための衛星画像の活用が必要です。 電線支持塔と電柱 は、電線を保持し支える物理的な構造物です。これらの資産には、地滑りに起因する傾斜変化などのさまざまなパラメータを測定するための最新の IoT (モノのインターネット) センサーが組み込まれています。さらに、火災発生時の早期検知のため、IoT サーモカメラが配備されています。 現場作業員 は、電力網のインフラストラクチャの保守と修理を担当しています。現場作業の安全確保を目的として、SmartPoint では、転倒検知、ジオフェンシング、変電所内での位置制御、スマートキーなどのセンサーの使用が可能になります。 要約すると、i-DE は、このような多様な資産からデータを一元的に収集し、異常を検知し、インシデントを報告し、現場の作業員と協力して修復するためのプラットフォームを必要としています。 SmartPoint に求められる機能要件 i-DE は、従来のセンサーと最新の IoT センサーの両方に接続でき、ビデオから洞察を得て異常を検出し対応できるソリューションを探していました。Web アプリを通じて、Iberdrola 社の運用担当者は、変電所で発生するイベントについてアラートを受け取る必要があります。その一方で、プラットフォームは、イベントに関連するシステムのデータの相関分析、クロス分析を実施し、現場の運用担当者が問題を解決するためのインシデント報告レポートを提供します。 図 1. SmartPoint のアラートダッシュボード したがって、プラットフォームはデータを 2 つの異なる方法で表示する必要があります。1 つ目は、リアルタイムで発生するイベントのアラートという形式です。2 つ目は、資産の現在の状態を反映するためにオンデマンドで更新可能なチャートです。さらに、変電所のパフォーマンスに関しての KPI がありますが、これを分析・可視化するためには、設備の複数の要素間の相関関係を得る必要があります。 図 2. 視覚的な異常の検出 図 3. 勾配計のチャート これを実現するため、Iberdrola 社と AWS ソリューションアーキテクトは、以下の設計原則を定義しました デバイス接続の標準化とクロスプラットフォーム互換性 : 新しいユースケースはすべて、SmartPoint にシームレスに接続できる必要があります。そのため、SmartPoint は MQTT やその他の業界標準プロトコルのコネクタをサポートが求められ、Iberdrola 社は調達時に製造業者にリストを提示したり、機器開発チームと共有したりできます 目的別のデータリポジトリ : SmartPoint は、さまざまなプロトコルを使って変電所の制御システムとテレメトリシステムに接続し、データとイベントを、特定のデータ駆動型のユースケースに対応できる最適なクラウド上のデータリポジトリにルーティングする必要があります。IoT ユースケースのためのリアルタイムクエリ可能なデータベースと、ビジネスインテリジェンスやデータサイエンス目的でクエリ可能な中央データリポジトリが必要です。これらを適切に疎結合化することにより、プラットフォームはコスト効率よく分析ユースケースをサポートでき、必要な場合にのみ本番データベースを使用することで実行時のパフォーマンスを確保できます スケーラビリティ : AWS クラウド上でサーバーレスサービスのみを使用することで、市場投入までの期間短縮、運用負荷の軽減、プラットフォームの総コストの削減が可能になります。サーバーレスは、インフラストラクチャ管理の複雑さを排除しながら、重要な時にサービス品質を保証できるため、コスト効率の良いスケーリング戦略となります 直観性 : これにより、UX/UI チームは、デザインとユーザビリティのベストプラクティスに従って、バックエンドやデータチームから独立して作業を行うことができ、Iberdrola 社の運用担当者がプラットフォームの機能を最大限に活用できるようになります。SmartPoint のフロントエンドホスティングは、バックエンドインフラストラクチャから完全に分離されているため、フロントエンド開発者は、ユーザビリティをテストし、より直観的な体験に向けて自律的に変更を展開し、反復できます 拡張性と将来性 : このプラットフォームでは、デジタルツイン、VR/AR、生成 AI、BIM (ビルディングインフォメーションモデリング)、量子コンピューティングなどの新しいワークフローを簡単に統合し、有効化できる必要があります ソリューション概要 これらの設計原則を定義した上で、Iberdrola は SmartPoint を作成しました。これは AWS IoT スタックを使用して、さまざまなフィールド機器やセンサーに接続できます。次に、取り込まれたデータに基づいてリアルタイムで動作するためのストリーミング分析を適用し、さらなる分析のためにデータを目的別のデータリポジトリに永続化します。これにより、ビジネスインテリジェンスとデータサイエンス機能が可能になります。SmartPoint のデータパイプラインは、デバイスが追加され続ける中でシステムのスケーラビリティとパフォーマンスを保証するために、AWS サーバーレスサービスを使用しています。設置する機器の性質と数から、エッジコンピューティング機能を使用してセンサーからユニットデータを取得し、必要に応じて現場で判断を下します。これらのエッジゲートウェイは、northbound 方向(エッジからクラウドへ)のテレメトリ収集トラフィックと、southbound 方向(クラウドからエッジへ)のビジネスルール・更新プログラムなどの管理トラフィックの両方で SmartPoint との接続が必要です。 図 4. SmartPoint のアーキテクチャ プラットフォームのアーキテクチャは、すべてのタイプのアセットに対して同じ接続性とデータ処理パイプラインを使用するように設計されました。 MQTT 対応のセンサーが AWS IoT Core ブローカーにメッセージをパブリッシュするためのサブスクライブ MQTT をサポートしていないレガシーセンサーからの読み取りを行い、読み取り値をAWS IoT Core に注入してすべてのデバイスの統合ビューを作成するための、スケジューリングされた拡張可能な AWS Lambda にコーディングされた同期ロジック スタートアップパートナーの Star Robotics によって導入された、自律ロボット上で実行される機械学習ビデオ推論機能。この機能により、i-DE は異常を検出し、イベントを MQTT ブローカーにパブリッシュし、業界をリードする拡張性、データ可用性、セキュリティ、およびパフォーマンスを備えた AWS オブジェクトストレージサービスである Amazon Simple Storage Service (S3) にオブジェクト (画像とビデオ) をアップロードできます。デバイスソフトウェアの構築、デプロイ、および管理のためのオープンソースエッジランタイムとクラウドサービスである AWS IoT Greengrass が、Over-the-Air (OTA) デプロイメントと共に、ロボットのビデオ推論と自律ナビゲーションランタイムプロセスで使用されています。詳細は次のセクションを参照してください ルールにより、トピックメッセージを目的に合わせたデータ永続化サービスにルーティング 履歴ストレージ、分析、および、機械学習の適用のためのイベントの生データの S3 バケットへの保存機能 AWS Glue は生のイベントに対して Extract、Transform、Load (ETL) ジョブを実行し、 Amazon Athena でサーバーレスでクエリできるようにし、SQL アドホックで Amazon S3 に直接クエリできるようにし、 Amazon QuickSight BI ダッシュボードにデータを供給します。このスタックにより、複数のシステムの相関関係が確立され、配電設備全体のパフォーマンスのベンチマークが確立され、ビジネス意思決定をサポートします。さらに、これはリアルタイムな本番環境用途向けに、専用のトランザクションデータベースに影響を与えることなく行われます Amazon IoT Events は、プロセスとデバイスの状態を検出するために複数のソースからデータを取り込みます。これは、障害や運用の変更に対してアラームをトリガーし、運用のパフォーマンスと品質を可視化し、より長い時間ウィンドウ同士を相関させることで、より複雑なパターンを認識するために使用されます フロントエンドは Angular で構築され、S3 バケットにデプロイされ、 Amazon CloudFront のコンテンツ配信ネットワークを通して提供されます バックエンドはサーバーレスアプリケーションとして定義され、イベントがリアルタイムでユーザーアプリケーションで利用可能になるようにキーバリューペアデータベースである Amazon DynamoDB に永続化されます。また、低レイテンシーで SQL を使ってセンサーデータに対してローリングタイムウィンドウでクエリできるマネージド時系列データベースである Amazon Timestream にも永続化されます。バックエンドとやり取りする API は Amazon API Gateway によってサーバーレスでホストされ、セキュアな認証は Amazon Cognito によって有効化されています エッジでのビデオ推論 Star Robotics はスペインのスタートアップ企業で、さまざまな用途や業界向けにカスタマイズされたソリューションを構成するため、メカニクス、エレクトロニクス、自律ナビゲーション、人工知能 (AI) のモジュール技術を提供しています。SmartPoint は、Star Robotics によって可能になったインテリジェントな監視および詳細検査タスクの 2 段階検出ソリューションを使用しています。初期の推論段階では、Nvidia Edge ツールと AWS IoT Greengrass を Amazon SageMaker でクラウド上で学習されたモデルの OTA 配信と組み合わせており、完全に管理されたインフラストラクチャ、ツール、ワークフローを使用して ML モデルを構築、学習、デプロイするのに AWS サービスを利用しています。 このアプローチにより、ロボットに搭載された 360 度カメラモジュールからキャプチャされたデータに対する即時の推論が可能になり、迅速かつローカライズされた意思決定が保証されます。 図 5. ロボットを介した 360 度ビュー 異常が検出されると、アラートが生成され、AWS IoT Core を介してクラウドへ送信されます。そこで IoT ルールがメッセージを処理し、DynamoDB と Timestream に保存します。同時に、イベントが発生すると、PTZ カメラ (Pan-Tilt-Zoom、Pan: 左右方向にカメラレンズの向きを動かせる、Tilt: 上下方向にカメラレンズの向きを動かせる、Zoom: 映像をズームイン/ズームアウトできる) がターゲットを捉え、複数の画像を撮影し、S3 のメディア保存用バケットにアップロードします。クラウド上の 2 番目の推論段階がトリガーされ、結果がユーザーレビュー用のアプリケーションバックエンドに送信されます。 図 6. ロボットによる人物検知 このデュアル階層の推論パイプラインを実装することで、プラットフォームはエッジコンピューティングの俊敏性とクラウドベースの分析の深さの両方を確保しています。さらに、このアプローチにより、ユーザーフィードバックと以前のアラートからの誤検知 (False Positive) フィードバックを組み込んで、システムの精度を時間の経過とともに洗練させることができます。 結果と効果 SmartPoint をプロダクション環境に導入したことで、配送施設で報告された事故が 40 % 減少し、以下のカテゴリーで i-DE 事業運営に大きな影響がありました。 事故発生時の施設への移動回数が 50 % 減少 ジオフェンシング(特定エリアに仮想的な境界を作り、位置情報をもとに境界の出入りの際にアクションを実行する仕組みのこと)と位置情報追跡ソリューションを使用することで、危険エリアへの不正アクセスが 30 % 減少 スマートキーの導入により、施設への不正アクセスがほぼゼロに 現場のカメラやロボットを使った日常点検により、環境上の脅威を早期に検知できるようになり、主要変電所での熱故障が 50 % 減少 火災検知器、転倒検知器、その他のセンサーを導入したことで、緊急時の電力供給停止時間が短縮 追加リソース 詳細を知りたい場合は、 AWS Solutions for Energy をご覧いただき、運用上の優秀性と持続可能性の向上に役立ててください。また、 AWS IoT と Edge Computing を活用して、リアルタイムデータと予測分析を行うことができます。スマートでより効率的なエネルギー未来への第一歩を踏み出すには、 AWS Energy Experts にご連絡ください。 本ブログは、ソリューションアーキテクトの高橋が翻訳しました。原文は こちら です。 著者について Luis Conde Luis Conde は、2010 年から i-DE Grupo Iberdrola 社で IT 技術者として働いています。新しい技術が私たちの生活をどのように改善できるかを常に考えており、セキュリティを確保し、日常業務を簡単にすることを心がけています。2022 年からは、グローバル・スマート・グリッド・イノベーション・ハブのデジタル・ラボの責任者を務めており、VR/AR、IoT、ロボット工学などの新しい技術が扱われています。そこでは、i-DE の資産の全体像を把握するためにさまざまなセンサーやデータソースを1つのプラットフォームに統合する方法を検討するブレインストーミングセッションの結果、SmartPoint が生まれました。 Andrés Hernández Acevedo Andrés Hernández Acevedo – 2020 年から AWS スタートアップでソリューションアーキテクトとして活動しています。エッジコンピューティング、産業用 IoT、製造業、エネルギー、クリーンテックが専門です。彼の得意分野はイノベーションです。技術とインターネットビジネスモデルの両方において、スタートアップのエコシステムが最も好まれる場所です。Andrés は、「日々世界をよりよくすることこそが私たちのミッションだ」と、毎日の一歩一歩すべてで変化を生み出すことを夢見るチームの一員です。

本ブログは 2024 年 11 月 22 日に公開された Blog ”Improve your app authentication workflow with new Amazon Cognito features” を翻訳したものです。 Amazon Cognito は、10 年前に導入されたサービスで、Web およびモバイルアプリケーションにおける Customer Identity and Access Management(CIAM) の実装を支援します。Amazon Cognito は、お客様がアプリケーションにサインイン/サインアップ機能を素早く追加したり、認可のメカニズムで Machine-to-Machine 認証をセキュアに実現したり、 AWS リソースへのロールベースのアクセスを実現したりと、さまざまなユースケースで利用できます。 本日は、Amazon Cognito に対する一連の重要な更新をご紹介できることを喜ばしく思います。これらの機能強化により、より一層アプリケーションの柔軟性が高まり、セキュリティが向上し、ユーザーエクスペリエンスが改善されることを目指しています。 簡単にまとめると次のようになります: 人気のあるアプリケーションフレームワークとの統合をサポートを含む、開発者向けの新しいコンソール体験を通じてすぐに始めることができるようになりました Managed Login の導入 – Cognito が管理し、すぐに利用できる サインイン/サインアップページと、カスタマイズオプションのセットが刷新されました Amazon Cognito がパスワードレスログイン、パスキー認証をサポートするようになりました 価格体系の選択肢が充実しました: Lite、Essentials、Plus の各プランで、ユースケースに合わせて選択できます 新しくなった開発者向けのコンソール体験 Amazon Cognito は、クイックウィザードとユースケース別の推奨事項を備えたストリームラインされた開始体験を提供するようになりました。この新しいアプローチにより、設定を行い、エンドユーザーに到達するまでの時間が、これまでよりも速く効率的になります。 これは、アプリケーションをすばやく設定するための新しい Amazon Cognito フローです。3 ステップで開始できます: 構築する必要のあるアプリケーションタイプを選択してください アプリケーションタイプに応じて、サインインオプションを構成してください 手順に従って、サインインとサインアップページをアプリケーションと統合してください 次に、 作成 を選択します。 Amazon Cognito はアプリケーションと新しい ユーザープール (認証と認可のためのユーザーディレクトリ) を自動的に作成します。ここから、 ログインページを表示 を選択してサインインページを確認するか、アプリケーションのサンプルコードを使って始めることができます。さらに、Amazon Cognito は主要なアプリケーションフレームワークをサポートしており、標準の OpenID Connect (OIDC) と OAuth のオープンソースライブラリを使ってそれらを統合する詳細な手順を提供しています。 これがアプリケーションの新しい概要ダッシュボードです。ユーザープールダッシュボードでは、 概要 セクションに重要な情報が表示されるようになり、開発を進めるための一連の レコメンデーション も提供されるようになりました。 このページでは、 Managed Login 機能を使って、ユーザーのサインインとサインアップ体験をカスタマイズできます。これは次の新機能の概要を簡単に説明するのに適した導入になります。 Managed Login の導入 Managed Login の導入により、Amazon Cognito にカスタマイズの新しいレベルが加わりました。Managed Login は、企業のための可用性、スケーリング、セキュリティの重荷を肩代わりします。一度統合すれば、新しいセキュリティパッチや将来の機能強化を、さらなるコード変更なしで自動的に取り入れることができます。 この機能を使えば、エンドユーザー向けに、企業のアプリケーションとシームレスに統合された、パーソナライズされたサインアップおよびサインイン体験を作成できます。 Managed Login を使用する前に、ドメインを割り当てる必要があります。これには 2 つの方法があります。Amazon Cognito ドメインのランダムに生成されたサブドメインであるプレフィックスドメインを使用するか、ユーザーに馴染みのあるドメイン名を提供するために独自のカスタムドメインを使用します。 次に、 マネージドログイン または ホストされた UI (クラシック) のいずれかを選択して、 ブランディングバージョン を選択できます。 既存の Amazon Cognito ユーザーの方は、従来の Hosted UI 機能をご存知かもしれません。Managed Login は Hosted UI の改良版で、ユーザープールでのサインアップ、サインイン、さまざまな画面サイズに対応したレスポンシブデザイン、多要素認証、パスワードリセットの機能を備えた新しいウェブインターフェイスのコレクションを提供します。 Managed Login では、新しいブランディングデザイナー (Managed Login アセットとスタイルのノーコードビジュアルエディター) に加え、API 操作のセットを利用したプログラマブルな構成や、AWS CloudFormation による Infrastructure-as-code を介したデプロイを行うことができます。 ブランディングデザイナーを使えば、サインアップ、サインイン、パスワードリカバリー、多要素認証など、ユーザーの全体的な体験のルックアンドフィールをカスタマイズできます。この機能では、リアルタイムでプレビューを確認でき、さまざまな画面サイズやディスプレイモードでプレビューする便利なショートカットが用意されているので、本番環境に反映する前に確認できます。 Managed Login の詳細は、 Managed Login ドキュメント ページをご覧ください。 パスワードレスログインのサポート Managed Login 機能には、パスキー、メール OTP (ワンタイムパスワード)、SMS OTP を使ったサインインなど、パスワードレスの認証方式のための事前構築済みの統合機能も用意されています。パスキーのサポートにより、ユーザーはデバイスにセキュアに保存された暗号化キーを使って認証できるため、従来のパスワードよりも高いセキュリティが実現します。この機能により、WebAuthn 関連のプロトコルを理解・実装する必要なく、シームレスでセキュアな認証方式を導入できます。 従来のパスワードベースのサインインに関連する摩擦を減らすことで、この機能はユーザーのアプリケーションアクセスを簡素化しながら、高いセキュリティ基準を維持します。 パスワードレスログインのサポートの詳細は、 ユーザープールの認証フロー のドキュメントページをご覧ください。 価格体系の選択肢が充実: Lite、Essentials、Plus Amazon Cognito では、ユーザープールの新しい機能プランとして Lite、Essentials、Plus が導入されました。これらのプランは、お客様のさまざまなニーズとユースケースに対応するよう設計されています。Essentials が、お客様が新しくユーザープールを作成する際のデフォルトのプランとなります。この新しい体系により、アプリケーションの要件に最適なオプションを選択でき、必要に応じてプランを切り替えることができるようになりました。 現在のプランを確認するには、アプリケーションダッシュボードから 機能プラン を選択するか、ナビゲーションメニューから 設定 を選択してください。 このページでは、各プランの詳細情報を確認でき、プランのダウングレードまたはアップグレードを選択できます。 各層の概要は次のとおりです: Lite プラン: ユーザー登録、パスワードベースの認証、ソーシャルアイデンティティプロバイダーの統合などの既存の機能がこのプランにパッケージ化されています。既存の Amazon Cognito ユーザーの方は、ユーザープールに変更を加えることなく、これらの機能を引き続き利用できます。 Essentials プラン: 包括的な認証とアクセス制御機能を提供し、数分でアプリケーションに安全でスケーラブルなカスタマイズ可能なサインアップとサインイン体験を実装できます。Lite の全機能に加え、Managed Login とパスキー、メール、SMS を使ったパスワードレスログインのサポート、アクセストークンのカスタマイズ、パスワードの再利用禁止などの機能が含まれます。 Plus プラン: Essentials プランに基づき、高度なセキュリティニーズに対応します。Essentials の全機能に加え、不審なログイン活動に対する脅威保護、侵害された資格情報の検出、リスクベースのアダプティブ認証、脅威分析のためのユーザー認証イベントログの出力などの機能が含まれます。 Lite、Essentials、Plus の各プランの価格は、月間アクティブユーザー数に基づいています。現在 Amazon Cognito の高度なセキュリティ機能(ASF: Advanced Security Feature)を利用しているお客様は、Plus プランをご検討ください。Plus プランには、すべての高度なセキュリティ機能、パスワードレス認証などの追加機能が含まれており、単独の高度なセキュリティ機能を利用する場合と比べて最大 60% のコスト削減が可能です。 これらの新しい価格体系について学びたい場合は、 Amazon Cognito 料金 ページを参照してください。 知っておく必要があること 利用可能なリージョン – Essentials および Plus プランは、 Amazon Cognito が利用可能なすべての AWS リージョン で利用できます (AWS GovCloud (US) リージョンを除く)。 Lite および Essentials プランの無料利用枠 – Lite および Essentials プランのお客様は、自動的に期限が切れることのない毎月の無料利用枠を利用できます。これは、既存および新規の AWS のお客様に対して無期限で利用可能です。無料利用枠の詳細については、 Amazon Cognito 料金 ページをご覧ください。 既存のお客様向けの拡張価格特典 – お客様は、高度なセキュリティ機能 (ASF) を備えていない既存アカウントのユーザープールを Essentials にアップグレードし、2025 年 11 月 30 日まで今までの Cognito ユーザープールと同じ価格で利用できます。対象となるには、2024 年 11 月 22 日午前 10 時 (太平洋標準時) までの過去 12 か月間に、少なくとも 1 人の月間アクティブユーザー (MAU) がアカウントに存在する必要があります。これらのお客様は、2025 年 11 月 30 日までの間、それらのアカウントで Essentials レベルの新しいユーザープールを Cognito ユーザープールと同じ価格で作成することもできます。 これらの更新により、Amazon Cognito を使用して、アプリケーション向けのセキュリティ、スケーラビリティ、カスタマイズ性に優れた認証ソリューションを実装できます。 Happy building, — Donnie Donnie Prakoso Donnie Prakoso は、AWS のソフトウェアエンジニア、自称バリスタ、プリンシパルデベロッパーアドボケイトです。電気通信、銀行からスタートアップまで、テクノロジー業界で 17 年以上の経験があります。彼は現在、開発者がさまざまなテクノロジーを理解し、アイデアを実行に移すのを支援することに注力しています。彼はコーヒーが大好きで、マイクロサービスから AI/ML まで、あらゆるトピックについてのディスカッションが大好きです。 本ブログは Sr. Security Solutions Architect の勝原 達也が翻訳しました。

本ブログは株式会社シスラボ様と Amazon Web Services Japan が共同で執筆いたしました。 みなさん、こんにちは。AWS ソリューションアーキテクトの上野です。 生成 AI の活用シーンが急激に増えてきており、今この瞬間に時代が変化しているのだと感じる毎日です。生成 AI の活用例としては、社内情報を活用したチャットボットや、長い文章や議事録などを要約させるといったお話をよく耳にするかと思います。一方で、Web 上で情報を検索して集めた情報をまとめるという活用例についてはいかがでしょうか。複数の情報を検索することに加えて、全ての情報を整理して見やすい形にまとめるというのは非常に時間がかかる業務かと思います。 本記事では、株式会社シスラボ様が Amazon Bedrock を活用して構築した Marketing AI によって市場調査・分析業務を効率化した事例についてご紹介します。 お客様の状況とサービス構築に至る背景 シスラボ様は、IT ソリューションの企画・立案からシステム導入後のアフターサポートまでを一貫して提供していらっしゃいます。そんなシスラボ様の営業チームでは、新サービスの企画をいくつかのステップで進めていくのですが、最初のステップである市場調査・分析に時間がかかるという課題がありました。具体的には、競合サービスの Web サイトを一つ一つ検索、情報の整理、比較表の作成などの業務に約 2 時間がかかる状況でした。 そこで、Amazon Bedrock を活用し、市場調査・分析業務を効率化するサービスを開発することになりました。 お客様が開発された “Marketing AI” について シスラボ様は、Amazon Bedrock 上で Anthropic 社の Claude モデルを利用するとともに、 Amazon Bedrock Agents を活用し、キーワードを指定するだけで、競合比較表を作成できるサービス “Marketing AI” を開発されました。サービスの軸となっているのはユーザーが入力したキーワードに応じて Web 上の情報を検索し、結果に基づいて回答を生成する機能で、 Amazon Bedrock Agents 及び AWS Lambda が利用されています。 ここで少しだけ生成 AI における Agent について補足をします。Agent は目的達成に向けて必要なタスクを分割し、タスクごとに適切な手段（API など）を呼び出すことで目的を達成しようとします。タスクを実行するための手段（API など）は事前に用意をしておく必要があり、今回のシスラボ様のケースでは、キーワードで Web 検索をして情報を取得する API を AWS Lambda で実装されています。この API を Amazon Bedrock Agents に手段として認識させているため、必要に応じて Web 検索が行えるようになっています。 現時点のシスラボ様の Marketing AI の構成では Web 検索機能のみが用意されている状況ではありますが、Agent を介してタスクを実行させている点が特徴的であり、今後、実現したいことが複雑化してきた際には、手段（API）を増やすことで、Agent に適宜必要な手段を使い分けさせることができる作りになっています。 出力については、営業チームが見やすいように比較表形式にしており、こちらはプロンプトエンジニアリングによって実現されています。よくある出力例としては、シンプルな文章や箇条書きでの要約などがありますが、プロンプト次第で比較表形式でも出力できることがわかる例となっております。開発初期段階では、会話形式で生成 AI と複数回やりとりすることで、比較表形式の結果が出てくる状態だったものの、プロンプトを工夫することで一度のリクエストで比較表形式が出力されるように改善されたとのことです。以下は出力例になりますが、キーワードを入力するだけで、製品ごとの特長や値段が比較表形式で出力されるため、市場調査・分析業務を効率化できることがお分かりいただけるのではないでしょうか。 導入効果 シスラボ様は、約 1 カ月間でサービスを構築されました。体制としてはわずか 3 名で、開発の中心となったのは入社 2 年目のエンジニアの方となります。サービスを利用することで、企画ごとに約 2 時間かかっていた業務が、98.3 % 減の 2 分に短縮することに成功しています。 Web 上の情報を調べて整理するという業務と生成 AI の相性が良いことがよくわかる結果だと思います。また今回は市場調査・分析業務というユースケースでしたが、Web 上の情報検索と情報整理の組み合わせは他のユースケースにも応用しやすいのではないでしょうか。 まとめ 今回は、株式会社シスラボ様の AWS 生成 AI 事例「新サービス企画における市場調査・分析業務を効率化する Marketing AI の開発」についてご紹介いたしました。シスラボ様の今後の展望としては、Marketing AI を正式な自社サービスとして展開していくことと、キーワードやリクエスト内容に応じた適切な検索ワードの設定や任意の出力形式を選択できるなどの機能強化を行うことです。 シスラボ様の事例は Agent を活用したケースということで、必要に応じて Web 上の情報を検索するなど、手段の使い分けを生成 AI 側にまかせたいユースケースをお持ちの方には、ご参考になるのではないでしょうか。 株式会社シスラボ：営業本部 ソリューション営業部 1 課 課長 濱井 啓介 様（右から 2 番目）、営業本部 ソリューション営業部 1 課 課員 佐藤 晃 様（左から 2 番目） Amazon Web Services Japan：アカウントマネージャー 北舘 もも子（左端）、ソリューションアーキテクト 上野 涼平（右端） ソリューションアーキテクト 上野 涼平

Amazon Connect は、あらゆる規模の企業が低コストで優れたカスタマーサービスを提供できる、使いやすいクラウドコンタクトセンターです。今回、構築の簡素化、生成 AI の活用、使いやすいオブザーバビリティなどの新機能が追加され、顧客向けの効果的なセルフサービス体験を作成、管理、最適化することがこれまで以上に容易になりました。 セルフサービスのカスタマーサポート は、企業にとって重要な要素となっています。24 時間 365 日のサポート提供を可能にし、問い合わせ件数を削減し、人間のエージェントが複雑な問題に集中できるようにすることで、顧客満足度と運用効率の向上を実現します。Amazon Connect の新機能は、セルフサービス体験の作成と管理の合理化、変更実装にかかる時間の短縮、包括的な分析による性能の最適化など、主要な課題を単一のアプリケーションで解決します。 本ブログでは、これらの最新機能について詳しく説明し、セルフサービス体験の向上、バーチャルアシスタントの効率的な作成方法、そしてアプリケーション内での分析機能の改善について解説していきます。 Amazon Connect でバーチャルアシスタントを容易に作成 コンタクトセンター管理者は、 Amazon Connect 内で数回クリックするだけでセルフサービス体験を構築、編集、管理できるようになりました。 この機能を通じて、アシスタントが理解できる言語、サポートする問題の種類（インテントとも呼ばれます）、顧客がどのようにインテントを伝えるか（発話とも呼ばれます）、そしてチャットボットや音声ボットが問題に対処するために何を行うか、何を言うかを定義することができます。 バーチャルアシスタントが作成または変更されると、コンタクトセンター管理者はバージョンを作成し、フロー内で使用するエイリアスに割り当てることができます。コンタクトセンターの管理者は Amazon Connect 内の深い会話分析を使用して、顧客がバーチャルアシスタントとどのように関わっているかを理解し、将来の改善に活かすことができます。 生成 AI によるセルフサービスの強化 Amazon Q in Connect は、エージェント支援とセルフサービスを強化する強力な生成 AI 機能の両方を提供します。Amazon Q in Connect は、リアルタイムの補助や推奨アクションを通じてエージェントのサービス提供を支援するだけでなく、 自動化されたセルフサービスを通じて顧客が直接問題を解決できるようサポートします 。 Amazon Connect フローとの統合により、Amazon Q in Connect は音声とチャットの両チャネルでリアルタイムに顧客とコミュニケーションを取ることができます。ナレッジベースから情報提供を行うだけでなく、注文状況の確認、返品の処理、アカウント情報の更新など、顧客に代わってアクションを実行することも可能です。この会話型 AI と自動化されたアクションの組み合わせにより、エージェントの介入なしでより複雑な顧客ニーズに対応できる包括的なセルフサービス体験を実現します。また、追加サポートが必要な場合は、会話の文脈を保持したままスムーズにカスタマーサービスエージェントへ引き継ぐことができ、一貫した顧客体験を提供します。 それでは、Amazon Q in Connect を使用してAmazon Connect のセルフサービス体験を改善する方法を見ていきましょう。 1) Q in Connect による既存体験の強化 Amazon Q in Connect は、ナレッジベースのコンテンツと顧客情報から、より自然で文脈に即した応答を提供することで、既存のセルフサービス体験を強化できます。ボット用の個別の応答テンプレートを維持する代わりに、エージェントが使用するのと同じナレッジベースのコンテンツを活用して、顧客の問い合わせに適切な応答を生成することができます。これにより、セルフサービスとエージェント支援の両チャネルで一貫性を確保しながら、複数のコンテンツソースを管理する負担を軽減できます。 2) プロンプトのカスタマイズによるアシスタントの振る舞い定義とパーソナライゼーションの強化 Amazon Q in Connect のプロンプトカスタマイズ機能を使用すると、バーチャルアシスタントの顧客とのコミュニケーション方法を微調整できます。これには、トーン、言語の複雑さ、ブランドボイスの調整が含まれ、インタラクションが企業の価値観と顧客の期待に沿ったものになるようにします。また、顧客データを活用してより関連性の高いパーソナライズされた応答を提供することも可能です。この機能により、自社の公開 Web サイトをクロールするなどのセルフサービス応答用のナレッジコンテンツと、組織内の SharePoint リポジトリを活用するなどのエージェント支援用のナレッジコンテンツを分けることができます。 3) ガードレールによるワークロードの保護 安全で適切なセルフサービスのインタラクションを確保するため、 Amazon Q in Connect では、ユースケースと責任ある AI ポリシーに基づいてセーフガードを実装するための AI ガードレールをネイティブに設定できます 。これらの企業固有のガードレールにより、Amazon Q in Connect は有害で不適切な応答をフィルタリングし、機密性の高い個人情報を編集し、大規模言語モデル（LLM）のハルシネーションによる誤った情報を制限することができます。 エンドカスタマーのセルフサービスシナリオでは、ガードレールを使用して Amazon Q in Connect の応答を企業関連のトピックに限定し、プロフェッショナルなコミュニケーション基準を維持することができます。また、エージェントが顧客の問題解決に Amazon Q in Connect を活用する際、これらのガードレールによってエージェントへの個人識別情報（PII）の偶発的な露出を防ぐことができます。 オブザーバビリティ、監査性、分析の改善 コンタクトセンターにとって、顧客体験の継続的な向上とセルフサービス率、ボットとの対話時間、適切なエージェントへの初回ルーティング率などの重要業績評価指標（KPI）の最適化は非常に重要です。2024 年 12 月 2 日、Amazon Connect で、エンドツーエンドの自動音声応答（IVR）録音機能と組み込みのセルフサービス分析機能を提供開始しました。これにより、顧客がボットとどのように関わっているかについて、集計レベルと個別の会話の両方で貴重な洞察を得ることができ、今後の顧客体験戦略の改善に活用できます。 1) IVR 録音 お客様は、エージェントと顧客の会話を録音する際に使用するのと同じフローブロック設定を使用して、 自動化されたインタラクションの録音を取得できるようになりました 。自動化されたインタラクションの録音音声は、エージェントと顧客の録音で現在実現されている信頼性と同じで、堅牢なセキュリティとガバナンスコントロールの対象となります。これには、きめ細かなユーザーアクセス制御、お客様所有の S3 バケットへの保存、デフォルト設定としてのエンドツーエンドの暗号化が含まれ、貴重なデータの最高レベルの保護を確保します。 自動化された顧客とのインタラクションが録音されると、音声録音とその文字起こしは問い合わせレコードにシームレスに統合されます。これは、コンタクトセンター管理者が現在顧客とエージェントの録音にアクセスしているのと同じです。この統合により、管理者は自動化されたインタラクションを含むすべてのインタラクションを包括的に把握でき、価値のある通話洞察も得られます。文字起こし機能の追加により、完全な音声録音を聴く必要なく、会話のフローと顧客体験を簡単に分析できる、自動化されたインタラクションの迅速で効率的なレビューが可能になります。 2) Amazon Connect でのセルフサービス分析 Amazon Connect の分析ダッシュボードは、 セルフサービスのインタラクションに関する包括的な洞察を提供し 、組織が顧客のエンゲージメントパターンを深く理解できるようにします。直感的なコンソールインターフェイスを通じて、コンタクトセンター管理者はセルフサービスのパフォーマンス指標を監視し、顧客のインタラクションパスを分析し、詳細な個別の問い合わせレコードを調査することができます。 ダッシュボードのボットエイリアスとバージョンによるフィルタリング機能により、A/B テストとパフォーマンス測定が容易になり、組織はセルフサービス体験を最適化するためのデータドリブンな意思決定を行うことができます。自動化されたインタラクションに関するこの詳細な可視性は、企業が顧客体験戦略を継続的に改善し、セルフサービスの効果を向上させるのに役立ちます。 結論 Amazon Connect のこれらの機能強化により、顧客向けのセルフサービス体験を簡素化し改善する方法が大きく進歩しました。Amazon Connect に直接統合されシンプルになった構築機能、Amazon Q in Connect を通じて強化された生成 AI 機能、そして改善された分析と録音機能により、組織は顧客セルフサービスソリューションを効果的に作成、管理、最適化することができます。お客様はこれらの機能を活用して、セルフサービスのパフォーマンスを向上させ、最終的に時間を節約し、全体的なコンタクトセンターのコストを削減することができます。 — 翻訳はソリューションアーキテクト 新谷 が担当しました。原文は こちら です。

Amazon は、 AWS Education Equity Initiative の一環として、Amazon とパートナーが長年にわたって行ってきた取り組みを基に、最大で 1 億ドルのクラウドテクノロジーと技術リソースを投入して、既存の専任学習組織が新しく革新的なデジタル学習ソリューションを開発することで、より多くの学習者にリーチできるようにしています。 これまでの仕事 AWS と Amazon は長年にわたり、学習と教育に取り組んできました。以下は、私たちがすでに行ったことのサンプルです。 AWS AI & ML 奨学金プログラム – このプログラムは、約 6000 人の学生に 2,800 万ドルの奨学金を授与しました。 機械学習大学 – MLU は、コミュニティカレッジや歴史的に黒人の多い大学（HBCU）がデータ管理、人工知能、機械学習の概念を教えるのに役立つ無料のプログラムを提供しています。このプログラムは、これまでテクノロジー分野で十分な教育を受けておらず、過小評価されてきた学生を支援することにより、機会のギャップを解消することを目的としています。 Amazon フューチャーエンジニア – 2021 年以降、このプログラムを通じて 1150 人の学生に最大 4,600 万ドルの奨学金が授与されています。過去1年間で、210 万人以上の学生が、このプログラムやその他の米国 Amazon 慈善教育プログラムを通じて、1,700 万時間を超える STEM 教育、リテラシー、キャリア探索コースを受講しました。昨年、そのようなセッションで話をすることができましたが、素晴らしい経験でした。 無料のクラウドトレーニング – 2020 年後半に、2025 年までに 2,900 万人が無料のクラウドコンピューティングトレーニングを通じて技術スキルの向上を支援するという目標を設定しました。私たちは一生懸命働き、その目標を1年前に達成しました！ やるべきことはまだまだある このような努力と進歩にもかかわらず、やるべきことはまだまだあります。未来は間違いなく均等に分散されていません。今日、5 億人以上の学生にデジタル学習では連絡が取れません。 生成 AI は、社会志向の教育技術組織、非営利団体、政府がすでに行っている優れた取り組みをさらに発展させることができると私たちは信じています。私たちの目標は、学習者が新しい革新的なデジタル学習システムを構築できるようにすることです。これにより、学習者は業務を拡大し、より多くの対象者にリーチできるようになります。 AWS Education Equity Initiative の立ち上げにより、次世代のテクノロジーパイオニアたちが強力なツールを構築し、基盤モデルを大規模にトレーニングし、AI を活用したティーチングアシスタントを作成できるよう支援したいと考えています。 今後5年間で、最大 1 億ドルのクラウドテクノロジーと包括的な技術アドバイスを提供する予定です。受賞者は、学習管理システム、モバイルアプリ、チャットボット、その他のデジタル学習ツールを構築および拡張できるように、AWS のサービスと技術的な専門知識のポートフォリオを利用できるようになります。申請プロセスの一環として、申請者は、提案したソリューションが、十分なサービスを受けていない地域社会や過小評価されているコミュニティの学生にどのように役立つかを示すよう求められます。 先に述べたように、私たちのパートナーはすでにこの分野で多くの素晴らしい仕事をしています。例: Code.org はすでに AWS を使用して、無料のコンピュータサイエンスカリキュラムを 100 か国以上の数百万人の学生に拡大しています。この取り組みにより、 Amazon Bedrock の活用範囲が広がり、学生プロジェクトの自動評価が可能になり、教育者の時間が解放され、その時間を個別の指導や学習に充てることができます。 ロケットラーニング は、インドの幼児教育に焦点を当てています。彼らは Amazon Q を QuickSight で使用して、300 万人以上の子供たちの学習成果を向上させる予定です。 この取り組みにとても興奮しています。次世代のテクノロジーパイオニアの育成と教育にどのように役立つかを楽しみにしています。 – Jeff ; 原文は こちら です。

みなさん、こんにちは。ソリューションアーキテクトの下佐粉です。 今週も 週刊AWS をお届けします。 先週開催の AWS re:Invent 2024 では新サービス発表やさまざまなブレイクアウトセッションをお届けしましたが、楽しんでいただけたでしょうか？新機能・新サービスについては、先週の 週刊AWS でまとめていますので、まだの方はぜひご覧ください。 また、 AWS re:Invent 2024 の内容をジャンル別に日本語で解説する re:Invent Recap を順次開催していきますので、こちらもぜひご参加ください。まずはキーノートの内容を90分で振り返るオンラインセミナーを今週開催します。下記の日時で同じ内容を3回実施しますので、ご都合の良い日時にご参加ください。 – AWS re:Invent Recap – Keynote 編 > 2024 年 12 月 17 日（火）10:00-11:30 > 2024 年 12 月 19 日（木）14:00-15:30 > 2024 年 12 月 20 日（金）19:00-20:30 それでは、先週の主なアップデートについて振り返っていきましょう。 2024年12月9日週の主要なアップデート 12/9(月) Introducing Amazon EC2 High Memory U7i Instances with 6TiB and 8TiB of memory – AWS Amazon EC2 U7i ファミリーに新しく U7i-6tb(6TiBメモリ) と U7i-8tb(8TiBメモリ) の2つのインスタンスが追加されました。第4世代インテル Xeon スケーラブルプロセッサーを搭載しており、旧世代の EC2 U-1 インスタンスと比較して、パフォーマンスが最大 35% 向上し、価格性能比が最大 15% 向上します。 12/10(火) Amazon Bedrock Guardrails reduces pricing by up to 85% – AWS Amazon Bedrock Guardrails は価格が、最大で85%引き下げされました。Bedrock Guardrailsは自社のポリシーに基づいて、例えば望ましくないコンテンツをフィルタリングしたり、個人情報 を排除したりといった、生成AIアプリケーションの実行を制御するための機能です。Bedrock Guardrailsの概要については Preview発表時のこちらのブログをご覧ください 。 Amazon RDS for SQL Server Supports new custom parameters for native backup and restore – AWS Amazon RDS for SQL Server では、新しいカスタムパラメータを使用してバックアップとリストア時により詳細に制御できるようになりました。新たに追加されたのは、BLOCKSIZE、MAXTRANSFERSIZE、BUFFERCOUNTパラメーターで、これらを調整することで、性能の改善やバックアップデータの互換性を高めることが可能です。 Amazon Simple Email Services (SES) announces Deterministic Easy DKIM – AWS Amazon Simple Email Services (SES) は、Deterministic Easy DKIM (DEED) の提供を開始しました。これは DomainKeys Identified Mail (DKIM) 管理を簡単に利用できるようにする新しい方法です。既存の Easy DKIMでは、IDが検証されたリージョンでDNSルックアップを行う必要がありましたが、DEEDはそれを拡張し、リージョンごとにDNS設定を変更せずに複数のリージョンで同じIDを使用できるようにするものです。 Amazon MQ now supports AWS PrivateLink – AWS Amazon MQ で AWS PrivateLink (インターフェイス VPC エンドポイント) が利用可能になりました。これにより、インターネットゲートウェイを持たないVPC内から、Amazon MQ API に直接接続できるようになります。 12/11(水) Amazon Lex launches new multilingual speech recognition models – AWS AIチャットボットを構築するためのサービス、 Amazon Lex で新しい多言語ストリーミング音声認識モデル (ASR-2.0) が利用可能になりました。新たに、ポルトガル語、カタロニア語、フランス語、イタリア語、ドイツ語、スペイン語をサポートするヨーロッパベースのモデルと、中国語、韓国語、日本語をサポートするアジア太平洋ベースのモデルという2つの特化したモデルが用意され、より高い認識精度を提供します。特に英数字の音声認識に優れているため、たとえば、アカウント番号やシリアル番号といった内容を認識する際に有用です。 Amazon EC2 R8g instances now available in AWS Asia Pacific (Tokyo) – AWS Amazon EC2 R8g インスタンスが東京リージョンで利用可能になりました。AWS Graviton4 プロセッサを搭載しており、AWS Graviton3 ベースのインスタンスと比較してパフォーマンスが最大 30% 向上しています。R8gの詳細については こちらのブログ をご覧ください。 Amazon SageMaker AI announces availability of P5e and G6e instances for Inference – AWS Amazon SageMaker AI で、機械学習の推論に最適化された G6e インスタンス (NVIDIA L40S Tensor Core GPUを搭載) と P5e (NVIDIA H200 Tensor Core GPUを搭載) が利用可能になりました。現在、米国東部 (オハイオ) と米国西部 (オレゴン)リージョン の SageMaker AIで使用できます。利用には AWS Service Quota から利用制限の引き上げ申請が必要です。 AWS Security Hub now supports PCI DSS v4.0.1 standard – AWS AWS Security Hub は、PCI DSS v4.0.1 に準拠した自動セキュリティチェックをサポートするようになりました。PCI DSSは、クレジットカードの情報を安全に取り扱うための一連の規則とガイドラインを提供するコンプライアンスフレームワークです。今回の機能追加でPCI DSS 要件を継続的にチェックする 144 個の自動コントロールが提供されるようになりました。 12/12(木) Amazon EC2 F2 instances, featuring up to 8 FPGAs, are generally available – AWS 最大 8つの FPGA を搭載する Amazon EC2 F2 インスタンスが利用可能になりました。現在、米国東部 (バージニア北部) とヨーロッパ (ロンドン) リージョンで利用可能です。F2 インスタンスは第2世代の FPGA搭載インスタンスです。詳細は こちらのブログ をご覧ください。 AWS Toolkit for Visual Studio Code now includes Amazon CloudWatch Logs Live Tail – AWS AWS Toolkit for Visual Studio Code に Amazon CloudWatch Logs Live Tail の連携機能が追加されました。CloudWatch Logs Live Tailは、ほぼリアルタイムでログを表示し、フィルタリングやハイライト機能で分析を容易にするための機能です。CloudWatch Logs Live Trailの概要については こちらのブログ をご覧ください。 12/13(金) AWS announces new AWS Direct Connect location in Osaka, Japan – AWS 専用線サービス AWS Direct Connect のロケーション(接続口)が、新たに大阪の TELEHOUSE データセンターで提供されるようになりました。大阪ではEquinixデータセンターに続いて2つ目、日本全体では5つ目のロケーションです。 ロケーション一覧 はこちらに情報があります。 Amazon Redshift supports auto and incremental refresh of Materialized Views for zero-ETL integrations – AWS Amazon Redshift でZero-ETL統合で連携した表からマテリアライズドビュー (MV) の差分更新(incremental refresh)に対応しました。これによりMVの更新にかかる時間やコストが最小化されます。差分更新できるMVの定義など注意点については、 こちらのドキュメントをご覧ください 。 Amazon EC2 instances support bandwidth configurations for VPC and EBS – AWS Amazon EC2 C8g, M8g, R8g, X8g インスタンスで利用可能な、インスタンス帯域幅構成（Instance Bandwidth Configurations – IBC）が利用可能になりました。多くのEC2インスタンスはEBSとの通信とVPCへの通信とで2つのネットワーク帯域を持っていますが、これを最大25%の幅で調整して融通可能にするものです。たとえば VPCへの帯域幅を増やすと、その分EBSで利用できる帯域幅が減少します。これにより、ニーズに合わせた柔軟な帯域調整が可能になります。詳細は こちらのドキュメント をご覧ください。 AWS Resource Explorer supports 59 new resource types – AWS AWS Resource Explorer で、新たに 59 種類のリソースタイプをサポートするようになりました。これには Amazon EKS や、Amazon Kendra等が含まれます。AWS Resource Explorer は自分がもつAWS内のリソースを検索・検出するためのサービスです。 私（下佐粉）が週刊AWSを執筆するのはこれが最後です。現在の形で週刊AWSを開始したのは、 2019年5月21日 で、小林と私の2名で書きはじめたのですが、その後メンバーが増え、現在は週刊AWSが(私を除いて)4名、週刊生成AI with AWSが2名の体制で執筆しています。 長く執筆をつづけてきたことで、「週刊AWS、読んでますよ」とお声をかけていただく事も多く、執筆の励みになっていました。改めてお礼申し上げます。 これからも週刊AWSをよろしくお願いいたします。 それでは、また来週！ 著者について 下佐粉 昭(Akira Shimosako) @simosako 2015年より AWS Japan のソリューションアーキテクトとして、主に製造業・金融業のお客様に対し、クラウド活用の技術支援を行ってきました。その後、アナリティクス領域を専門とする部門に異動し、現在はデータレイク・データウェアハウスを専門としてお客様のデータをクラウドで活用することを支援しています。少年時代は 8 Bit パソコンと共に育ったため、その時代の本やアイテムを見かけると、ついつい買ってしまいます。

みなさん、こんにちは。AWS ソリューションアーキテクトの小林です。 12月初頭に開催されたAWS re:Inventのアップデートはチェックしましたか？ AWSブログの日本語版 でも、それぞれの新サービス・新機能を深掘りする記事の和訳版が出ていますので、ぜひご確認ください。今までは独自の仕組みを作る必要があったものが、サービスとして提供されるようになったケースもありますので、お見逃しなく。 それでは、12 月 9 日週の生成AI with AWS界隈のニュースを見ていきましょう。 さまざまなニュース ブログ記事「2025 年に注目のトレンド：小売業界向け生成 AI」を公開 この記事では小売業界のテクノロジートレンドについて、生成AIというキーワードで考えてみたときに注目されるであろうユースケースと、テクノロジーを紹介しています。小売業界に関わる方はもちろんですが、そうでない方も世間のトレンドをつかむという意味では興味深くお読みいただけますので、ぜひどうぞ。 ブログ記事「エージェント AI システムは今日の医療における最も差し迫った 3 つの問題をどのように解決するのか」を公開 GEヘルスケアさんによるゲスト記事の和訳版です。この記事ではGEヘルスケアが考えるエージェントAIシステムの可能性について説明しています。医療事例の解読などの複雑なタスク処理や、複数の診療科・部署にまたがる一貫したケア計画を調整し提供することを、医療従事者にリアルタイムの支援を提供することによって提供側の労力を抑えながら実現するためのアイデアを共有するものです。 ブログ記事「AWS でグラフと生成 AI を活用した製造デジタルスレッドを構築」を公開 さまざまな製造業のお客様が、PLM/ERP/MES/CRMをはじめ他のアプリケーションに保存された、ある意味で分断かしたデータをつなぎ合わせ、有益な情報を見いだす方法を模索しています。そのひとつのアプローチが「デジタルスレッド」という考え方です。この記事では、グラフと生成AIを利用したデジタルスレッドの実現方法を解説しています。 サービスアップデート Amazon Bedrock Guardrailsで最大85%の値下げを発表 Amazon Bedrock Guardrailsで最大85%の値下げを発表しました。コンテンツフィルター機能については1,000テキストユニットあたりの単価が$0.75から80%安価な$0.15になります。また拒否トピック(denined topics)については1,000テキストユニットあたり$1.0から85%安価な$0.15になります。 Amazon Bedrock Guardrailsがスペイン語とフランス語をサポート Amazon Bedrock Guardrailsの多言語対応が始まり、スペイン語とフランス語がでの利用がサポートされました。 Amazon Bedrockのモデル評価機能が欧州(チューリッヒ)リージョンに対応 ルールに基づく評価、人間の判断による評価、LLMによる評価(LLM-as-a-judge)によってモデルを評価し最適なモデルを選択しやすくする、Amazon Bedrockのモデル評価機能(Model Evaluation)が欧州(チューリッヒ)リージョンでもご利用いただけるようになりました。 Amazon SageMaker AIで推論にP5e/G6eインスタンスが利用可能に Amazon SageMaker AI(機械学習のためのフルマネージドサービスであるこれまでのAmazon SageMakerが、Amazon SageMaker AIという名称になっています)で推論ワークロードにP5e/G6eインスタンスをご利用いただけるようになりました。P5eはNVIDIA H200 GPUを搭載しており複雑で大規模なモデルを実行する生成AIアプリケーションに適しています。G6eインスタンスはNVIDIA L40s GPUを搭載し、130億パラメータ規模のLLMをはじめ画像・ビデオ・音声を生成するモデルの実行に向いています。 著者について 小林 正人(Masato Kobayashi) 2013年からAWS Japanのソリューションアーキテクト(SA)として、お客様のクラウド活用を技術的な側面・ビジネス的な側面の双方から支援してきました。2024年からは特定のお客様を担当するチームを離れ、技術領域やサービスを担当するスペシャリストSAチームをリードする役割に変わりました。好きな温泉の泉質は、酸性-カルシウム-硫酸塩泉です。

本記事は、2024年11月21日に公開された Working backwards from generative AI business value in the public sector を翻訳したものです。 生成 AI は、ワークフローの変革やイノベーションの推進を可能にするものとして、様々な業界の様々な組織で想像力をかきたてています。公共部門の組織がこの変革とも言える技術を導入するにあたり、大きな挑戦が浮上しています。それは、具体的な事業目標に基づいて便益の大きいユースケースを特定し、優先順位付けを行い、定量的な成果を出していくことです。 本記事では、公共部門の組織が生成 AI の導入を成功させ、生成 AI の可能性を引き出していく助けとなる Amazon Web Services (AWS) のフレームワークを紹介します。事業戦略と便益評価に基づいた体系的なプロセスに即して進めることで、チームはインパクトの大きいユースケースを優先し、関係者との調整を行い、生成 AI の取組の具体的な便益を把握することができます。 生成 AI の開発の優先付けを事業上の必要性に適合させることに加え、リーダーや技術者は生成 AI が適切なツールであるかどうかを判断するために、その能力を十分に理解する必要があります。 ハーバード・ビジネス・スクールの研究者の研究 によると、生成 AI の技術が適した業務では、熟練労働者のパフォーマンスを40%向上させることができます。一方、生成 AI が現時点での限界を超えて使用された場合では、労働者のパフォーマンスを平均19%低下させます。 提案されたソリューションの、技術と具体的な事業便益の両面についてしっかりと把握していなければ、イノベーションへの投資が限定的なリターンしかもたらさない、もしくはリターンが得られないという判断に至るかもしれません。 AI の導入が成功するかどうかは、組織の目的や要件によって異なる様々な要因に左右されますが、数千社のお客さまを支援する中で、共通の過程を特定しました。 人工知能、機械学習、生成AI向けのAWSクラウド導入フレームワーク(AWS CAF-AI) と呼ぶものです。以下の図は、 AI クラウドトランスフォーメーションのバリューチェーン を示しています。 図 1. AI クラウドトランスフォーメーションのバリューチェーン AI 変革のステップは以下の通りです。 AI で実現できることを理解した上で逆算する 長期的に期待される事業便益（アウトカム）を定義していく 変革の領域を特定していく 変革を進めていくための基礎的な能力を構築していく 以下のセクションでは、金融規制分野の公共部門組織として架空の AnyOrganization を例にして、掘り下げて解説します。 AI で実現できることを理解した上で逆算する AnyOrganization の最高執行責任者 (COO) は最近、公共部門向けの生成 AI を取り上げた AWS のブログ投稿 を読みました。COO は、生成 AI が顧客体験、プロセス改善、従業員生産性といった組織の主要な課題のいくつかに対処できる可能性があると考えています。COOは、チームと協議した上で、既存の目標管理指標の OKR の1つである「機関の審査の対象範囲の拡大」に焦点を当てた概念実証 (POC) プロジェクトの提案を準備します。 長期的に期待される事業便益を定義していく COO は、この PoC を成功させるには、期待される事業便益とその達成方法を正確に把握する必要があることを認識しています。OKR である「機関の審査の対象範囲の改善」は、審査官の人的資源制約が背景にあります。有資格者数が限られているため、審査官は文章の一部しか審査することができません。昨今の金融市場の動向により、AnyOrganization には少ない資源でより多くの成果を上げるという、より高い期待が寄せられています。 AWS のアカウントチーム、IT、そして業務の関係者との協議を経て、COO は生成 AI の新しいソリューションの導入により期待される事業便益として、以下を決定します。 生成 AI を使用して、文書の審査率を20%から100%に増加させます。ただし、人間による審査は従来の20%レベルを維持します。 生成 AI による文書の事前審査を効果的に活用することで、人間による審査は最も関連性の高い20%の文書に絞り込むことができます。それにより、審査官の仕事に対する満足度が向上し、より高度な審査を要する調査結果が50%増加します。 変革の領域を特定していく AnyOrganization の COO は AWS のベストプラクティスをレビューし、AI によるイノベーションから具体的な事業便益を引き出す組織の能力は、以下の4つの変革領域にしっかりと取り組むことから生まれると理解しました。 変革領域 テクノロジー – 開発チームは必要となる AI や ML のツールやサービスを利用できますか？ 既存の手続きで、それらの強力なツールを評価、承認、安全に利用できるようにする用意ができていますか？ プロセス – 新しいテクノロジーを最大限に活用するために、従来からの組織プロセスを進化させる必要がありますか？ 現行のデータ管理の方法は、AI や ML の原動力を生む出すのに十分ですか？ 組織 – ビジネスチームとテクノロジーチームは、AIを原動力として、顧客価値を創出し、戦略的意図を達成するために、どのようにして連携して取り組みますか？ 法務やコンプライアンス部門は、開発チームとの緊密に連携する必要があるでしょうか？ プロダクト – AIの能力を活用した新しいバリュープロポジション（プロダクト、サービス）や収益モデルを創出するために、ビジネスモデルをどのように再考できるでしょうか？ 効率化によって生み出される新たなキャパシティをどこに割り当てるでしょうか？ これらの領域を変革し、AI を活用できるようにするには、ビジネス、人材、ガバナンス、プラットフォーム、セキュリティ、オペレーションにおける基礎的な能力が重要です。 AI ジャーニーを可能にする基礎的な能力 AWS CAF-AI は、AI の導入を成功させるために必要な能力を6つの観点から示しています。 ビジネス – この観点は、AI への投資がデジタルや AI の変革や事業便益の獲得を加速することを確かなものにしていきます。AI を組織の中心的な課題とし、リスクを軽減し、価値提供先へのアウトプットやアウトカムを増大させていく方法を示すことで、効果的な AI 戦略の策定を可能にするものです。 人材 – この観点は、AI のテクノロジーとビジネスをつなぐものであり、変化していくことを前提にして、継続的な成長や学習の文化を育むものです。AWS は生成 AI の知識を向上させる多数の手段を提供しています。 AWS Skill Builder には、生成 AI の無償のオンデマンドコースが様々あります。この記事の読者が特に関心を持たれるのは、 Generative AI Learning Plan for Decision Makers （意思決定者向け生成 AI 学習計画）でしょう。 ガバナンス – この観点は、変革に伴うリスクを最小化しながら組織の便益を最大化するよう、AI の取組を推進していくことに役立つものです。 リスクの性質の変化、つまり AI を開発し適用を拡大していくことに伴うリスクに対応します。 AWS CAF-AI の新しい要素として、AI の責任ある利用を導入しています。 プラットフォーム – この観点は、エンタープライズグレードのスケーラブルなクラウドプラットフォームの構築に役立つもので、AI 対応もしくは AI 搭載のサービスやプロダクトを運用していくことや、新たに独自の AI ソリューションを開発していくこを可能にするものです。AI の開発が一般的な開発とどのように異なるのか、そして開発者がその差異にどのように適応していくかを示します。 セキュリティ – この観点は、データ、そしてクラウドのワークロードの機密性、完全性、可用性を確保していくことに役立つものです。既存のセキュリティのガイダンスを拡張し、AI のシステムに影響を与える攻撃の経路やクラウドでの対応についてどのように考慮すべきかを示します。 オペレーション – この観点は、クラウドサービス、特に AI のワークロードを事業上の要件を満たす水準で提供していくことに役立ちます。AI のワークロードの運用をどのように管理し、持続し、信頼性を確保していくか、ガイダンスを示します。 AWSのアカウントチームは、 AWS Cloud Maturity Assessment (CMA) 、 Experience Based Acceleration (EBA) 、または生成 AI の戦略策定に焦点を当てた Executive Briefing Center (EBC) のセッションなどを通じて、現在の能力を体系的に評価する支援が可能です。 関連情報 The transformative power of generative artificial intelligence for the public sector Get started with generative AI on AWS: A guide for public sector organization (eBook) Breaking barriers and leveraging generative AI to advance the US Federal Government: Insights from AWS executive Yvette Cesario 著者について David Sperry David は、Amazon Web Services (AWS) のカスタマーソリューションマネージャーで、米国の連邦政府の金融分野のお客さまを担当しています。AWS クラウドへの移行を検討しているお客さまを支援しています。また、AWS 内の生成 AI アプリケーションの開発コミュニティのアクティブなメンバーであり、公共部門のお客さまが新しいテクノロジーを活用できるよう支援することに情熱を注いでいます。 Wyatt Sullivan Wyatt は、Amazon Web Services (AWS) のカスタマーソリューションマネージャーで、米国の連邦政府の金融分野のお客さまを担当しています。お客さまが AWS クラウドを活用して目標を達成できるよう支援しています。 Wyatt は、AI/ML や生成 AI の取組を通じて、お客さまが最先端のテクノロジーを活用できるよう支援することに情熱を注いでいます。 翻訳者について 川口 賢太郎・鈴木 香緒莉 川口と鈴木は、プロフェッショナルサービスのシニア CS&O アドバイザリーコンサルタントとアソシエイトアドバイザリーコンサルタントで、デジタル戦略立案とそれに即した組織の変革に注力しています。 CCoE や AI CoE などの xCoE の組成支援などに従事しています。

2024 年 11 月に公開された AWS Black Belt オンラインセミナーの資料及び動画についてご案内させて頂きます。 動画はオンデマンドでご視聴いただけます。 また、過去の AWS Black Belt オンラインセミナーの資料及び動画は「 AWS サービス別資料集 」に一覧がございます。 YouTube の再生リストは「 AWS Black Belt Online Seminar の Playlist 」をご覧ください。 Amazon Elastic Kubernetes Service (Amazon EKS) 入門 AWS 上で Kubernetes を実行できるマネージドサービスである Amazon Elastic Kubernetes Service (Amazon EKS) の概要や基本的な利用方法についてご紹介します。また、Amazon EKS と AWS サービスがどのように統合され運用などに役立てることができるのか解説します。 資料（ PDF ） | 動画（ YouTube ） 対象者 Kubernetes や Amazon EKS に興味があり利用を検討している方 クラウド上の既存ワークロードのコンテナ化を検討している方 オンプレミスの既存コンテナワークロードのクラウド移行を検討している方 本 BlackBelt で学習できること Amazon EKS の概要 Amazon EKS の開始方法 Amazon EKS と AWS サービスの統合 スピーカー 鈴木 祥太 ソリューションアーキテクト AWS IoT Greengrass ベーシック編 AWS IoT Greengrass は、インテリジェント IoT デバイスをより速く構築するためのサービスと、IoT デバイス向けのエッジランタイムです。本セミナーでは、IoT Greengrass の全体像および開発に向けた基本的な機能をご紹介します。 資料（ PDF ）  対象者 IoT 製品やサービスの担当者 これから AWS IoT を用いた製品やサービスの開発を検討されている方 AWS IoT Greengrass をご利用予定の方 AWS IoT Greengrass の全体像を把握したい方 本 BlackBelt で学習できること AWS IoT Greengrass の概要 AWS IoT Greengrass の主な機能 AWS IoT Greengrass の 利用開始方法 スピーカー 原田 裕平 ソリューションアーキテクト Amazon Bedrock Agents 自律型 AI の実現に向けて: 開発・運用編 【Amazon Bedrock Series #04c】 全 3 回にわたる Amazon Bedrock Agents セッションの最終号です。最終号では、デモンストレーションをお見せしながら Amazon Bedrock Agents の開発やデバック方法をお伝えし、開発後の運用に関わる知識や事例について解説しています。 資料（ PDF ） | 動画（ YouTube ） 対象者 Agent 方式と Agent を使用しない対話型との違いを知りたい方 複数タスクを実行する生成 AI アプリケーションを検討中の方 Agent 方式の生成 AI アプリケーションを Managed に運用したい方 Amazon Bedrock をフル活用して Agent 方式を実現されたい方 本 BlackBelt で学習できること 本 BlackBelt により、Agent を Amazon Bedrock Agents で開発する具体的なフローを理解することができ、セキュリティを含む運用監視のポイントを理解することができます。また、事例を知ることで Agent を適用するユースケースを検討することができます。 スピーカー 中島 佑樹 ソリューションアーキテクト SaaS 成功のための基礎戦略と AWS 活用法〜 Technology 基礎編〜 SaaS サービスを開発する際に必要な知識を解説するシリーズです。今回は、これから SaaS ビジネスを立ち上げる方や、既存のパッケージサービスを SaaS 化する際に必要な知識をご紹介します。 資料（ PDF ） | 動画（ YouTube ） 対象者 SaaS についての知識が不安な方 SaaS プロダクトの開発を始める方 パッケージの SaaS 化を検討している方 本 BlackBelt で学習できること SaaS サービスを開発する際に必要な知識を解説するシリーズです。今回は、これから SaaS ビジネスを立ち上げる方や、既存のパッケージサービスを SaaS 化する際に必要な知識をご紹介します。 スピーカー 鄭 宇鎭 ソリューションアーキテクト SaaS 成功のための基礎戦略と AWS 活用法〜 Technology 実践編〜 SaaS サービスを開発する際に必要となる知識を解説するシリーズです。今回は、自社サービスの SaaS 化の検討や顧客向けの提案をする方向けに、アプリケーションプレーンやコントロールプレーンなどの SaaS の構成要素に Dive Deep した内容になっています。 資料（ PDF ） | 動画（ YouTube ） 対象者 SaaS についての基礎知識をつけたい方 自社サービスの SaaS 化を検討されている方 顧客向けに SaaS サービスの構築を提案されたい方 本 BlackBelt で学習できること SaaS におけるマルチテナントアーキテクチャの設計と実装方法について、具体的な手法やモデルを理解し、オンボーディングやテナント管理、ビリング、分析など、SaaS アプリケーションを運用する上で必要な機能の実装方法を学んでいただけます。 スピーカー 柴田 龍平 シニアソリューションアーキテクト 今後の Black Belt オンラインセミナー また、現時点で予定されている今後の Black Belt オンラインセミナーについては以下の通りです。 公開月 タイトル 登壇予定者 2024-12 AWS IAM Access Analyzer クラウドサポートエンジニア 田中 崚 2024-12 Amazon Detective テクニカルアカウントマネージャー 影山 諒 2024-12 AWS Database Migration Service 概要 ソリューションアーキテクト 内山 義夫 2024-12 GuardDuty Runtime Monitoring によるコンテナアプリケーションの脅威検知 クラウドサポートエンジニア 坂下 拓弥 2024-12 Amazon Elastic Block Store(Amazon EBS) 入門編 ソリューションアーキテクト 田中 里絵 2024-12 AWS における Hudi/Iceberg/Delta Lake の 使いどころと違いについて 2024 ソリューションアーキテクト・クラウドサポートエンジニア 疋田 宗太郎・濱岡 洋太・尾崎 太飛 2024-12 Apache Iceberg on AWS の全体像 ソリューションアーキテクト 疋田 宗太郎 2024-12 Amazon VPC Lattice ソリューションアーキテクト 中本 翔太 2024-12 SaaS 成功のための基礎戦略と AWS 活用法　〜 Technology 基礎編 〜 ソリューションアーキテクト 鄭 宇鎭 2025-01 AWS Transit Gateway Deep Dive ソリューションアーキテクト 櫻井 俊和 2025-01 AWS Database Migration Service ベストプラクティス – 計画・検討編 クラウドサポートエンジニア 菅原 照太 2025-01 AWS MGN 大規模移行の計画と実行をお手軽にする便利な機能紹介編 ソリューションアーキテクト 鈴木 槙将  

2024 年 11 月 18日、 Amazon EC2 Auto Scaling でゾーンシフトのサポートを発表 しました。ゾーンシフトを使用すると、Auto Scaling Group (ASG) リソースに影響を与える単一のアベイラビリティーゾーン (AZ) でのアプリケーション障害から迅速に回復できます。この記事では、ASG ゾーンシフトがマルチ AZ のレジリエンス戦略にどのように適合するか、および異なるアーキテクチャでこの機能を使用する際の考慮事項について説明します。 概要 AWS で複数の AZ を使用することは、耐障害性のあるアプリケーションを構築するためのアーキテクチャの ベストプラクティス です。アプリケーションを複数の AZ にデプロイすることで、可用性、耐障害性、およびスケーラビリティが向上します。EC2 Auto Scaling を使用すると、Amazon Elastic Compute Cloud (Amazon EC2) インスタンスを複数の AZ で動的にスケーリングし、不健全な場合は置き換えることで、アプリケーションの可用性と耐障害性をさらに向上させることができます。 AWS の AZ は 障害分離境界 を表しており、これは不適切なデプロイメント、ネットワークの問題、電源喪失、またはオペレーターのエラーなど、様々な原因による障害が単一のAZに封じ込められることを意味します。2023 年に、Amazon Application Recovery Controller (ARC) の一部として、Elastic Load Balancing (ELB) ロードバランサーでトラフィックをシフトすることで、単一 AZ のアプリケーション障害から迅速に回復できるゾーンシフトを開始しました。 EC2 Auto Scaling のゾーンシフトは、単一 AZ 障害に対する回復パターンをすでに実装しているユーザー向けに、この機能を強化します。また、指定した AZ での新規インスタンスの起動を防止することで、ロードバランシングされていないアーキテクチャに対しても回復機能を提供します。ゾーンシフトがない場合、EC2 Auto Scaling は、AZ で一貫した起動失敗を検出すると、ASG に設定された他の AZ でインスタンスを起動しようとします。ただし、 グレー障害 のような特定の状況では、EC2 Auto Scaling が検出しない単一 AZ での起動後の問題を引き起こす可能性があります。 例えば、単一 AZ で正常に起動されたインスタンスが、Amazon S3、Amazon Virtual Private Cloud (Amazon VPC)インターフェースエンドポイントを介して設定ファイルをダウンロードする際に、エラー率が上昇する場合があります。インスタンスはアプリケーションソフトウェアを正しく設定できず、エラーを含むレスポンスを返します。あるいは、単一 AZ 障害によってプロビジョニング後のヘルスチェックに失敗する可能性があります。これにより、EC2 Auto Scaling は障害が発生した AZ でインスタンスを絶えず再作成することになり、アプリケーションは希望する容量よりも少ない状態で実行されることになります。 イベントによる影響を軽減するためにロードバランサーでゾーンシフトを実行することを選択できますが、影響を受けた AZ で新しいインスタンスが引き続き起動され、リクエストを受信しません。アプリケーションアーキテクチャがロードバランサーを使用していない場合でも、EC2 Auto Scaling のゾーンシフトを使用することで、障害が発生したAZでのインスタンス起動を防止することで、単一AZ障害から回復できます。 EC2 Auto Scalingのゾーンシフトを使用した回復 ASG でゾーンシフトを使用するには、新しい ASG を作成する際か、既存の ASG を更新する際に、 AvailabilityZoneImpairmentPolicy パラメータを設定する必要があります。このパラメータには2つのオプションがあります。ゾーンシフトの実行能力を有効または無効にする ZonalShiftEnabled と、 ImpairedZoneHealthCheckBehaviour です。後者のオプションでは、EC2 Auto Scaling によって不健全と識別されたインスタンスを無視するか置換するかを選択できます。まず、スタンドアロン ASG アーキテクチャでゾーンシフトをどのように使用できるかを見てみましょう。 スタンドアロン ASG のゾーンシフト このアーキテクチャは、ELBロードバランサーと統合されていないスタンドアロン ASG を使用します。スタンドアロン ASG を持つワークロードは、通常、スケジュールに基づいてターゲットに対して負荷を生成したり、キューからメッセージを処理したりするイベント駆動の作業を実行します。以下の図のアーキテクチャでは、Amazon Simple Queue Service (Amazon SQS) キューからメッセージを読み取り、メッセージデータに対して処理を実行し、結果を Amazon Aurora データベースに書き込む ASG を使用しています。インスタンスは各 AZ の VPC エンドポイントを使用してAmazon SQS と通信します。メッセージのサイズは様々であるため、インスタンスは処理が完了するまでメッセージの 可視性タイムアウト を更新するハートビートパターンを使用します。EC2 Auto Scaling は、キューの深さに基づいてインスタンスをスケーリングし、メッセージが適時に処理されることを確実にします。 図1 : 3つのAZにデプロイされ、SQSキューからメッセージを処理するEC2インスタンス ネットワークの劣化によって AZ 1 のインスタンスが Aurora データベースへの書き込み時に高いエラー率を経験し、その結果 p50 処理レイテンシーが2倍に増加するというシナリオを考えてみましょう。AZ 1 のインスタンスは、タイムアウトするまでハートビートを続け、メッセージを非表示のままにして、他の正常なインスタンスが作業を引き継ぐことを妨げています。その結果、キューの深さが増加し、EC2 Auto Scalingは以下の図に示すように新しいインスタンスをデプロイします。 図2 : キューの深さの増加に応じてAZ 1に新しいインスタンスを起動するEC2 Auto Scaling 新しいインスタンスは AZ 1 に配置され、他のインスタンスと同じ問題を経験するため、キューの深さと処理レイテンシーを減少させることができません。代わりに、正常に処理されなかったメッセージをさらに consume することで問題を悪化させます。AZ 1 のインスタンスは Unhealthy として認識されなかったため、EC2 Auto Scaling はそれらを置き換えるアクションを取りませんでした。この問題を緩和するために、ASG のゾーンシフトを開始できます。これにより、今後のインスタンス起動は AZ 2 または AZ 3 でのみ行われるようになります。 図 3 : ゾーンシフト後、新しいインスタンスは AZ 2と AZ 3 でのみ EC2 Auto Scaling によって起動される SetInstanceHealth API を使用してインスタンスを不健全とマークする選択肢もあります。これにより EC2 Auto Scaling はこれらのインスタンスを置き換え、追加のレイテンシーとエラーの原因となることを防ぎます。インスタンスのヘルス状態の変更は、更新を伴う操作とみなされ、EC2 Auto Scaling の コントロールプレーン に依存します。そのため、これを回復計画の重要なステップとすることは避けるべきです。障害が収まったと確信できたら、ゾーンシフトをキャンセルでき、EC2 Auto Scaling は自動的に AZ 全体で容量を再バランスします。 ELB を使用する ASG のゾーンシフト このセクションでは、ELBからトラフィックを受けるASGでゾーンシフトを使用する方法を観察します。また、 ImpairedZoneHealthCheckBehavior   がこの状況での回復にどのように影響するかを検討します。このアーキテクチャでは、ASG 内のインスタンスは ELB から HTTP リクエストを受信したときにデータベースからデータを読み取ります。 図4 : ALB、ASG、およびAuroraデータベースを使用して3つのAZにデプロイされた3層アプリケーション このシナリオでは、AZ 1 のインスタンスが EBS ボリュームとの間で増加したレイテンシーを経験し始め、リクエストにエラーで応答し、 EC2 インスタンスステータスチェック に失敗します。最初に影響を緩和するために、ロードバランサーでゾーンシフトを開始してユーザーがエラーを受信することを防ぐことができます。その後、トラフィックを受信していない AZ に新しい容量が起動されることを防ぐために、ASG の ゾーンシフトを開始 できます。 ASG の ImpairedZoneHealthCheckBehavior が IgnoreUnhealthy に設定されている場合、以下の図に示すように、ヘルスチェックに失敗している AZ 1 のインスタンスは EC2 Auto Scaling によって終了されません。これは、AZ 分の容量損失に対処できるように事前にスケールされている場合に役立ちます。EC2 Auto Scaling が追加のインスタンスを起動しようとするのを防ぐことができるためです。また、AZ に容量を残すことで回復をより安全にすることもできます。つまり、障害が収まった後にロードバランサーのゾーンシフトを終了すると、その AZ は直ちにトラフィックの受信を再開できます。 図5 : ALB と ASG でゾーンシフトを実行し、ASG で不健全なインスタンスを無視することを選択 あるいは、オプションを ReplaceUnhealthy に設定することもできます。この場合、EC2 Auto Scaling によって不健全と判断されたインスタンスは置き換えられます。このオプションは、容量の損失に対処するための事前スケーリングがされていない場合に役立ちます。EC2 Auto Scaling は ASGを希望する容量に戻すために、残りの AZ で新しいインスタンスを起動します（以下の図を参照）。ただし、このアプローチにもトレードオフがあります：新しいインスタンスの起動は保証されないため、新しい容量を確保するために時間を要する可能性があります。 図 6 : ALB と ASG でゾーンシフトを実行し、今回は残りの AZ で不健全なインスタンスを置き換える 両方の状況において、 クロスゾーン負荷分散 が有効か無効かを考慮する必要があります。クロスゾーン負荷分散が有効な場合、各インスタンスは AZ に関係なく、ほぼ同等のトラフィックシェアを受け取ります。つまり、ロードバランサーと ASG の両方のゾーンシフトを同時に安全に終了できます。EC2 Auto Scalingが有効な各AZにわたってインスタンスを再バランスする際、それらは同じ割合のトラフィックを受け取ります。 クロスゾーンロードバランシングが無効な場合、AZ 内のインスタンス数に関係なく、各 AZ は同等の割合のトラフィックを受け取ります。不健全なインスタンスの置き換えを選択した場合、またはイベント中に ASG がスケールした場合、AZ 間の容量が不均衡になっている可能性があります。ロードバランサーのゾーンシフトを終了し、EC2 Auto Scaling が容量の再バランスを開始すると、以下の図のような状況に陥る可能性があります。ここでは、単一または少数のインスタンスが圧倒的な割合の負荷を受けることになります。 図7 : 3 つの AZ で容量が不均衡な 3 層アーキテクチャ この不均衡は過負荷のリスクをもたらす可能性があるため、そのリスクを理解していることを確認するために、ゾーンシフトを有効にする際には --skip-zonal-shift-validation パラメータを指定する必要があります。ただし、ロードバランサーの target_group_health.dns_failover.minimum_healthy_targets.count オプションを使用し、AZ に存在すべきインスタンス数を指定することで、不均衡による過負荷の発生を防ぐことができます。3つのAZを使用し、希望する容量が 12 の場合、値を 4（ASGの総容量の 3 分の 1 を表す）に設定する必要があります。これにより、負荷を処理するのに十分な正常な容量がそこに存在するまで、AZ へのトラフィックのルーティングが防止されます。時間の経過とともに ASG がスケールするにつれて、この数値を動的に調整する必要がある場合があります。過去に設定した最小数が、今日の適切な最小数とは限りません。 ゾーンシフトのベストプラクティス ベストプラクティスとして、以下を推奨します： AZ 1 つ分の容量損失に対処できるよう事前にスケールしておく 障害ポリシーを設定して不健全なホストを無視する (`IgnoreUnhealthy` の設定) クロスゾーンロードバランシングを有効にする この構成により、 ゾーンオートシフト も安全に使用できます。ゾーンオートシフトが有効な場合、AWS は単一 AZ に影響を与える障害があることを AWS テレメトリが示すたびに、自動的にゾーンシフトを開始および終了します。これは ELB ロードバランサーのゾーンオートシフトと組み合わせて使用できます。 ゾーンオートシフトを使用しない場合でも、EventBridge の通知を使用してゾーンシフトの判断や自動プロセスの開始に役立てることができます。ゾーンシフトを使用する際の完全なベストプラクティスセットについては、 EC2 Auto Scaling ゾーンシフトのドキュメント を参照してください。 結論 この記事では、マルチ AZ アーキテクチャにおけるレジリエンス強化の一環として、Amazon EC2 Auto Scaling Groups でゾーンシフトを使用することの利点を示しました。ゾーンシフトを使用できるいくつかのシナリオを探索し、ゾーンシフトを安全かつ効果的に使用するためのベストプラクティスを確認しました。ASG でゾーンシフトの使用を開始するには、 ドキュメント を参照してください。 — 翻訳はソリューションアーキテクトの新谷が担当しました。原文は こちら です。

12 月 4 日、 QuickSight の Amazon Q の新機能を発表しました。この機能により、ユーザーはシナリオ分析を実行して複雑な問題の答えをすばやく見つけることができます。この AI 支援データ分析エクスペリエンスは、自然言語プロンプトを使用して、分析アプローチの提案、データの自動分析、推奨アクションによる結果の要約など、詳細なデータ分析を段階的に導き、ビジネスユーザーが複雑な問題に対する答えを見つけるのに役立ちます。この新機能により、スプレッドシートやその他の方法を使用して分析を行うために必要だった面倒で間違いが発生しやすい手作業が何時間も不要になります。実際、QuickSight の Amazon Q を使用すると、ビジネスユーザーは複雑なシナリオ分析をスプレッドシートの最大 10 倍の速さで実行できます。この機能は Amazon QuickSight の既存のデータ Q&A 機能を拡張したもので、ビジネスプロフェッショナルは質問するだけで分析を開始できます。 仕組み ビジネスユーザーは、従来は専門的なトレーニングと、スプレッドシートやその他のツールでデータを分析して対処する必要があった複雑な質問に直面することがよくあります。たとえば、複数の店舗を管理するフランチャイジーだとします。QuickSight の Amazon Q のこの新機能を使用して、「 シカゴの新しい店舗がニューヨークの旗艦店と同様に業績を上げられるようにするにはどうすればよいですか？ 」と疑問に思うかもしれません。その後、Amazon Q はエージェント的なアプローチを用いて、根底にあるビジネス目標の達成に必要な分析アプローチを提案し、データを自動的に分析し、結果を視覚化して推奨アクションとともに提示します。この多段階分析を広大な分析キャンバスで実行できるため、柔軟に変更を加えたり、複数の分析パスを同時に調べたり、時間の経過に伴う状況に適応したりできます。 この新しい分析エクスペリエンスは Amazon QuickSight の一部であり、 Amazon Athena 、 Amazon Aurora 、 Amazon Redshift 、 Amazon Simple Storage Service (Amazon S3) 、 Amazon OpenSearch Service などのソースに接続する QuickSight ダッシュボードから読み取ることができます。具体的には、この新しいエクスペリエンスは QuickSight の Amazon Q の一部であり、データ Q&A などの他のジェネレーティブビジネスインテリジェンス（BI）機能とシームレスに統合できます。また、.csv ファイルまたは単一テーブルの単一シートの .xlsx ファイルをアップロードして、分析に組み込むこともできます。 ここでは、QuickSight の Amazon Q におけるこの新しい分析エクスペリエンスのビジュアルウォークスルーを示します。 顧客向けイベントを計画していて、そのイベントに参加するために登録したすべての人が記載された Excel スプレッドシートを受け取りました。出席者のことをもっと知りたいので、スプレッドシートを分析していくつか質問します。まず、探求したいことを説明することから始めます。 スプレッドシートをアップロードして分析を開始します。まず、イベントに何人の人が登録したかを知りたいです。 聴衆に適したアジェンダをデザインするには、参加するさまざまな役割を理解する必要があります。 + アイコン を選択して、前のブロックのスレッドに沿って質問するための新しいブロックを追加します。 これからももっと質問できます。ただし、データをさらに分析するための質問が提案されているので、ここでその質問の中から 1 つを選択します。このケースでは、現在参加者が少ない企業、つまり出席者が 2 人未満の企業でのマーケティング活動を増やしたいと考えています。 Amazon Q は必要な分析を実行し、進捗状況を常に把握してくれます。プロセスの ステップ 1 では、出席者が 2 人未満の企業を特定し、リストアップします。 ステップ 2 では、マーケティング活動が強化された場合に、各企業からさらに何人の出席者が集まるかを推定します。 ステップ 3 では、マーケティング活動の増加に伴い、出席者総数（増加率を含む）が増加する可能性があることがわかります。 最後に、 ステップ 4 ではさらに踏み込んで、こうしたマーケティング活動の強化において私が優先すべき企業に焦点を当てます。 潜在的な出席者数をさらに増やすために、出席者が 2 人ではなく 3 人未満の企業を特定するように分析を変更したかったのです。右上の AI スパークルアイコン を選択してモーダルを起動し、それを使用してより多くのコンテキストを提供し、前の結果に特定の変更を加えます。 この変更により新しい予測が生まれ、マーケティング活動で検討するか、以前の予測を維持するかを選択できます。 今すぐご利用いただけます QuickSight Pro の Amazon Q ユーザーは、リリース時に米国東部 (バージニア北部) と米国西部 (オレゴン) の AWS リージョン で、この新機能をプレビューで使用できます。QuickSight の 30 日間無料トライアル を今すぐ始めましょう。詳細については、 Amazon QuickSight ユーザーガイド をご覧ください。ご質問は AWS re:Post for Amazon QuickSight 、または通常の AWS サポート窓口までお送りください。 – Veliswa 原文は こちら です。

私はデータサイエンティストとして、機械学習の経験がないビジネスアナリスト、マーケティングアナリスト、データアナリスト、データアナリスト、データエンジニアが、それぞれの分野の専門家である機械学習（ML）を利用できるようにするという課題を直接経験してきました。だからこそ、 Amazon Q Developer が Amazon SageMaker Canvas で利用できるようになったという 12 月 4 日の Amazon Web Services (AWS) の発表に特に興奮しています。私が注目したのは、Amazon Q Developer が ML の専門知識とビジネスニーズを結び付け、組織間で ML にアクセスしやすくする方法です。 Amazon Q Developer は、ドメインの専門家が ML の専門知識を持っていなくても、自然言語による対話を通じて正確で本番品質の ML モデルを構築できるよう支援します。Amazon Q Developer は、こうしたユーザーのビジネス上の問題を分析してデータを分析し、カスタム ML モデルを構築するためのステップバイステップのガイダンスを提案することで、こうしたユーザーを導きます。ユーザーのデータを変換して異常を取り除き、カスタム ML モデルを構築して評価して最適なモデルを推奨すると同時に、ガイド付き ML ワークフローのすべてのステップをユーザーが制御および可視化できるようにします。これにより、組織は市場投入までの時間を短縮しながら、より迅速にイノベーションを起こすことができます。また、ML の専門家への依存度も下がるため、専門家はより複雑な技術的課題に集中できます。 たとえば、マーケティングアナリストが「住宅の特性と過去の販売データを使用して住宅販売価格を予測したい」と言うと、Amazon Q Developer がこれを一連の ML ステップに変換して、関連する顧客データを分析し、複数のモデルを構築し、最適なアプローチを推奨します。 実際の動作 Amazon Q Developer を使い始めるには、「 Amazon SageMaker Canvas の使用開始 」ガイドに従って Canvas アプリケーションを起動します。このデモでは、自然言語の指示を使用して、マーケティングチームと財務チームの住宅価格を予測するモデルを作成します。SageMaker Canvas ページから Amazon Q を選択し、次に [ 新しい会話を始める ] を選択します。 新しい会話では、次のように書いています。 私はアナリストで、マーケティングチームと財務チームの住宅価格を予測する必要があります。 次に、Amazon Q Developer が問題を説明し、適切な ML モデルタイプを推奨します。また、必要なデータセットの特性を含むソリューション要件についても概説しています。次に、Amazon Q Developer が、 データセットをアップロードする か、 ターゲット列を選択する かを尋ねてきます。これを選択してデータセットをアップロードします。 次のステップでは、Amazon Q Developer が、住宅に関する関連情報、現在の住宅価格、リグレッションモデルのターゲット変数を含むデータセット要件を一覧表示します。次に、[ データセットをアップロードしたい ]、[ 既存のデータセットを選択する ]、[ 新しいデータセットを作成する ]、[ ターゲット列を選択したい ] などの次のステップが推奨されました。このデモでは、 canvas-sample-housing.csv サンプルデータセット を既存のデータセットとして使用します。 データセットを選択して読み込んだ後、Amazon Q Developer はそれを分析し、リグレッションモデルのターゲット列として median_house_value を提案します。[ 「median_house_value」を予測したい] 列 を選択して同意します。 次のステップに進み、Amazon Q Developer は、median_house_value を予測するためにどのデータセットの特徴（「location」、「housing_median_age」、「total_rooms」など）を使用するかを詳細に説明します。 モデルトレーニングに進む前に、データ品質について質問します。良いデータがなければ、信頼できるモデルを構築できないからです。Amazon Q Developer が私のデータセット全体の品質インサイトを返してくれました。 データ品質をより深く理解するために、個々の機能とその分布について具体的な質問をすることができます。 驚いたことに、前の質問を通じて、「世帯」列には極値間のばらつきが大きく、モデル予測精度に影響を与える可能性があることがわかりました。そこで、Amazon Q Developer にこの外れ値の問題を修正するよう依頼します。 変換が完了したら、Amazon Q Developer がこの変更を行うためにどのような手順を踏んだかを尋ねることができます。舞台裏では、Amazon Q Developer が SageMaker Canvas のデータ準備機能 を使用して高度なデータ準備手順を適用しています。これらの手順を確認して確認できるので、プロセスを視覚化して複製し、モデルのトレーニング用に準備された最終データセットを取得できます。 データ準備の手順を確認したら、[ トレーニングジョブの開始 ] を選択します。 トレーニングジョブが開始されると、会話の進行状況と作成されたデータセットを確認できます。 データサイエンティストである私は、Amazon Q Developer を使用して、分類モデルの混同行列や精度再現スコア、リグレッションモデルの二乗平均平方根誤差 (RMSE) などの詳細なメトリクスを確認できることに特に感謝しています。これらは、モデルのパフォーマンスを評価し、データ主導の意思決定を行う際に私が常に重視している重要な要素です。技術チームが必要とする深さを維持しながら、信頼を築き、適切なガバナンスを実現するために、技術者以外のユーザーにもわかりやすい方法で提示されているのを見るのは新鮮です。 これらのメトリックスにアクセスするには、[ マイモデル ] または Amazon Q 会話メニューから新しいモデルを選択します。 概要 – このタブには、 カラム影響分析 が表示されます。この場合、私のモデルに影響を与える主な要因として median_income  が浮かび上がってきます。 スコアリング – このタブには、RMSE メトリクスを含むモデル精度のインサイトが表示されます。 詳細メトリクス – このタブには、詳細なモデル評価のための詳細な メトリックテーブル 、 残差 、 エラー密度 が表示されます。 これらの指標を確認してモデルのパフォーマンスを検証したら、ML ワークフローの最終段階に進むことができます。 予測 – [ 予測 ] タブを使用してモデルをテストし、実際のパフォーマンスを検証できます。 デプロイ – エンドポイントデプロイメントを作成して、モデルを本番環境で使用できるようにすることができます。 これにより、これまで DevOps に関する豊富な知識が必要だったデプロイプロセスが、ビジネスアナリストが自信を持って処理できる簡単な操作に簡素化されます。 知っておくべきこと Amazon Q Developer は、組織全体で機械学習を民主化します。 ML であらゆるスキルレベルを強化 – Amazon Q Developer が SageMaker Canvas で利用できるようになり、ML の経験がないビジネスアナリスト、マーケティングアナリスト、データプロフェッショナルが、ガイド付きの ML ワークフローを通じてビジネス上の問題のソリューションを作成できるようになりました。データ分析、モデルの選択からデプロイまで、ユーザーは自然言語を使用してビジネス上の問題を解決できるため、データサイエンティストなどの機械学習の専門家への依存度が減り、組織は市場投入までの時間を短縮してイノベーションを加速できます。 ML ワークフローの合理化 – SageMaker Canvas の Amazon Q Developer を利用すると、ユーザーはガイド付きの透明なワークフローを通じてデータを準備し、ML モデルを構築、分析、デプロイできます。Amazon Q Developer が提供する高度なデータ準備機能と AutoML 機能により、ML の民主化が可能になり、ML の専門家でなくても高精度の ML モデルを作成できます。 ML ワークフローを完全に可視化 – Amazon Q Developer は、基盤となるコードや、データ変換ステップ、モデルの説明可能性、精度測定などの技術的アーティファクトを生成することで、完全な透明性を実現します。これにより、ML の専門家を含む部門横断的なチームが必要に応じてモデルを確認、検証、更新できるようになり、安全な環境でのコラボレーションが容易になります。 在庫状況 – Amazon Q Developer は現在 Amazon SageMaker Canvas でプレビューリリース中です。 価格 – Amazon Q Developer Pro 利用枠 と Amazon Q Developer 無料利用枠 のどちらのユーザーも、追加費用なしで Amazon Q Developer を SageMaker Canvas で利用できるようになりました。ただし、 SageMaker Canvas ワークスペース インスタンスなどのリソースや、モデルの構築やデプロイに使用されるリソースには標準料金が適用されます。詳細な価格情報については、 Amazon SageMaker Canvas 料金表 を参照してください。 開始方法の詳細については、 Amazon Q Developer 製品のウェブページ を参照してください。 – Eli 原文は こちら です。

12 月 4 日、 Amazon Bedrock Guardrails の画像サポートによるマルチモーダル毒性検出のプレビューについて発表します。この新機能は、テキストに加えて望ましくない画像コンテンツを検出して除外するため、 生成 AI アプリケーションにおけるユーザーエクスペリエンスの向上とモデル出力の管理に役立ちます。 Amazon Bedrock Guardrails では、望ましくないコンテンツをフィルタリングし、個人を特定できる情報 (PII) を編集し、コンテンツの安全性とプライバシーを強化することで、生成 AI アプリケーションの保護手段を実装できます。拒否されたトピック、コンテンツフィルター、ワードフィルター、PII 再編集、文脈的根拠チェック、および自動推論チェック（プレビュー）のポリシーを設定し、特定のユースケースと責任ある AI ポリシーに合わせてセーフガードを調整できます。 今回のリリースにより、Amazon Bedrock Guardrails の既存のコンテンツフィルターポリシーを使用して、憎悪、侮辱、性的、暴力などのカテゴリーにわたる有害な画像コンテンツを検出してブロックできるようになりました。アプリケーションのニーズに合わせて、しきい値を低いものから高いものまで設定できます。 この新しい画像サポートは、画像データをサポートする Amazon Bedrock のすべての 基盤モデル (FM) と、お客様が用意したカスタムファインチューニングモデルすべてで機能します。テキストと画像のモダリティ全体で一貫した保護レイヤーが提供されるため、責任ある AI アプリケーションの構築が容易になります。 KONE の副社長で戦略的パートナーシップの責任者である Tero Hottinen は、次のユースケースを想定しています。 KONE は、継続的な評価の中で、生成 AI アプリケーションを保護するうえで Amazon Bedrock Guardrails が重要なコンポーネントである可能性を認識しています。特に、関連性やコンテキストに基づくグラウンディングチェック、マルチモーダル保護の観点からもそうです。同社は、製品設計図とマニュアルをアプリケーションに統合することを想定しています。マルチモーダルコンテンツのより正確な診断と分析を可能にする上で、Amazon Bedrock Guardrails が重要な役割を果たしています。 その仕組みは次のとおりです。 マルチモーダル毒性検出の実例 開始するには、 AWS マネジメントコンソール でガードレールを作成し、テキストまたは画像データ、あるいはその両方にコンテンツフィルタを設定します。 AWS SDK を使用してこの機能をアプリケーションに統合することもできます。 ガードレールの作成 コンソール で Amazon Bedrock に移動し、 ガードレール を選択します。そこから、新しいガードレールを作成し、既存のコンテンツフィルターを使用して、テキストデータに加えて画像データを検出してブロックできます。[ コンテンツフィルターの設定 ] の [ 憎悪 ]、[ 侮辱 ]、[ 性的 ]、[ 暴力 ] のカテゴリーは、テキストまたは画像コンテンツ、あるいはその両方に設定できます。 不正行為 と プロンプト攻撃 のカテゴリーは、テキストコンテンツのみに設定できます。 使用するコンテンツフィルターを選択して設定したら、ガードレールを保存して、安全で責任ある生成 AI アプリケーションの構築に使用を開始できます。 コンソールで新しいガードレールをテストするには、ガードレールを選択して [ テスト ] を選択します。モデルを選択して呼び出してガードレールをテストする方法と、Amazon Bedrock Guardrails の独立した ApplyGuardail API を使用してモデルを呼び出さずにガードレールをテストする方法の 2 つがあります。 ApplyGuardrail API を使用すると、処理または結果をユーザーに提供する前に、アプリケーションフローの任意の時点でコンテンツを検証できます。また、この API を使用して、基盤となるインフラストラクチャに関係なく、任意のセルフマネージド（カスタム）またはサードパーティの FM の入力と出力を評価できます。たとえば、API を使用して Amazon SageMaker でホストされている Meta Llama 3.2 モデルや、ラップトップで実行されている Mistral NeMo モデルを評価できます。 モデルを選択して呼び出してガードレールをテスト Anthropic’s Claude 3.5 Sonnet など、画像の入力または出力をサポートするモデルを選択してください。プロンプトフィルターと応答フィルターが画像コンテンツで有効になっていることを確認します。次に、プロンプトを表示し、画像ファイルをアップロードして、[ 実行 ] を選択します。 私の例では、Amazon Bedrock Guardrails が介入しました。詳細については、[ トレースを表示 ] を選択してください。 ガードレールトレースは、インタラクション中に安全対策がどのように適用されたかを記録します。Amazon Bedrock Guardrails が介入したかどうか、および入力 (プロンプト) と出力 (モデル応答) の両方でどのような評価が行われたかがわかります。私の例では、コンテンツフィルターが画像内の侮辱を高い信頼度で検出したため、入力プロンプトをブロックしていました。 モデルを呼び出さずにガードレールをテスト コンソールで、モデルを呼び出さずにガードレールをテストするには、[ ガードレールの独立型 API を使用 ] を選択します。入力プロンプトを検証するか、モデルで生成された出力の例を検証するかを選択します。次に、前の手順を繰り返します。プロンプトフィルターと応答フィルターが画像コンテンツに対して有効になっていることを確認し、検証するコンテンツを指定して、[ 実行 ] を選択します。 デモ用に同じ画像と入力プロンプトを再利用したところ、Amazon Bedrock Guardrails が再び介入してくれました。詳細を確認するには、もう一度 [ トレースを表示 ] を選択してください。 プレビューに参加しましょう 画像サポート付きのマルチモーダル毒性検出は、本日、米国東部 (バージニア北部、オハイオ)、米国西部 (オレゴン)、アジア太平洋 (ムンバイ、ソウル、シンガポール、東京)、ヨーロッパ (フランクフルト、アイルランド、ロンドン)、および AWS GovCloud (米国西部) の AWS リージョン で Amazon Bedrock Guardrails のプレビュー版をご利用いただけます。詳細については、 Amazon Bedrock Guardrails をご覧ください。 Amazon Bedrock コンソール でマルチモーダル毒性検出コンテンツフィルターを今すぐ試して、ご意見をお聞かせください。 フィードバックは、 AWS re:Post for Amazon Bedrock にご送信いただくか、または通常の AWS サポートの担当者を通じてお寄せください。 –  Antje 原文は こちら です。

12 月 4 日、 Amazon Bedrock は、 生成 AI によるデータ分析の方法を効率化する 4 つの拡張機能を導入しました。 Amazon Bedrock データオートメーション (プレビュー) – Amazon Bedrock のフルマネージド機能で、ドキュメント、画像、オーディオ、ビデオなどの非構造化されたマルチモーダルコンテンツから貴重な洞察を効率的に生成できます。Amazon Bedrock を使用すると、自動化された インテリジェントドキュメント処理 (IDP) 、メディア分析、および 検索拡張生成 (RAG) ワークフローを迅速かつ費用対効果の高い方法で構築できます。インサイトには、重要な瞬間のビデオ要約、不適切な画像コンテンツの検出、複雑な文書の自動分析などが含まれます。アウトプットをカスタマイズして、特定のビジネスニーズに合わせてインサイトを調整できます。Amazon Bedrock データオートメーションは、スタンドアロン機能として使用することも、RAG ワークフローのナレッジベースを設定する際のパーサーとしても使用できます。 Amazon Bedrock ナレッジベースはマルチモーダルデータを処理するようになりました –ドキュメントや画像内のテキスト要素とビジュアル要素の両方を処理するアプリケーションの構築に役立つように、Amazon Bedrock データオートメーションを使用してドキュメントを解析するか、パーサーとして 基盤モデル (FM) を使用するようにナレッジベースを設定できます。マルチモーダルデータ処理により、画像とテキストの両方に埋め込まれた情報を含むナレッジベースから得られる回答の正確性と関連性を高めることができます。 Amazon Bedrock ナレッジベースで GraphRAG がサポートされるようになりました (プレビュー) – 現在、初めてフルマネージド型の GraphRAG 機能が提供されるようになりました。GraphRAG は、RAG 技術とグラフを組み合わせて使用することで、エンドユーザーにより正確で包括的な応答を提供することにより、生成 AI アプリケーションを強化します。 Amazon Bedrock Knowledge Base が構造化データ取得をサポートするようになりました – この機能により、ナレッジベースがデータウェアハウスとデータレイクの自然言語クエリをサポートするようになりました。これにより、アプリケーションは会話型インターフェイスを通じてビジネスインテリジェンス (BI) にアクセスし、重要なエンタープライズデータを含めることで応答の精度を向上させることができます。Amazon Bedrock ナレッジベースは、構造化データが存在する場所からネイティブにクエリを実行できる、完全マネージド型のすぐに使用できる、業界初の完全管理型の RAG ソリューションの 1 つです。この機能は、データソース間のデータサイロを解消し、生成 AI アプリケーションの構築を 1 か月以上かかっていたものから数日間に短縮するのに役立ちます。 これらの新機能により、構造化データソースと非構造化データソースから情報を処理、理解、取得できる包括的な AI アプリケーションを簡単に構築できます。たとえば、自動車保険会社は Amazon Bedrock データオートメーションを使用して請求裁定ワークフローを自動化することで、自動車保険請求の処理にかかる時間を短縮し、請求部門の生産性を向上させることができます。 同様に、メディア企業はテレビ番組を分析し、シーンの概要、業界標準の広告分類法（IAB）、企業ロゴなど、スマートな広告掲載に必要なインサイトを引き出すことができます。メディア制作会社は、シーンごとの概要を作成し、重要な瞬間をビデオアセットに取り込むことができます。金融サービス会社は、チャートや表を含む複雑な財務文書を処理し、GraphRAG を使用してさまざまな金融機関間の関係を理解することができます。これらの企業はすべて、構造化データ検索を使用してデータウェアハウスにクエリを実行すると同時に、ナレッジベースから情報を取得できます。 これらの機能をもっと細かく見ていきましょう。 Amazon Bedrock データオートメーションのご紹介 Amazon Bedrock データオートメーションは、ドキュメント、画像、ビデオ、オーディオファイルなどのマルチモーダルで構造化されていないコンテンツから貴重な洞察を抽出するプロセスを簡素化する Amazon Bedrock の機能です。 Amazon Bedrock データオートメーションは、開発者が単一のインターフェイスでマルチモーダルコンテンツを処理するために使用できる統一された API 主導型のエクスペリエンスを提供するため、複数の AI モデルやサービスを管理および調整する必要がなくなります。Amazon Bedrock データオートメーションでは、視覚的な根拠や信頼性スコアなどの保護機能が組み込まれているため、抽出されたインサイトの正確性と信頼性が高まり、エンタープライズワークフローへの統合が容易になります。 Amazon Bedrock データオートメーションは 4 つのモダリティ (ドキュメント、画像、ビデオ、オーディオ) をサポートしています。アプリケーションで使用すると、すべてのモダリティが同じ非同期推論 API を使用し、結果が Amazon Simple Storage Service (Amazon S3) バケットに書き込まれます。 各モダリティについて、処理のニーズに基づいて出力を構成し、次の 2 種類の出力を生成できます。 標準出力 – 標準出力では、入力データ型に関連する定義済みのデフォルトのインサイトが得られます。例としては、文書の意味表現、シーンごとのビデオの要約、オーディオトランスクリプトなどがあります。抽出したいインサイトは、わずか数ステップで設定できます。 カスタム出力 – カスタム出力では、「ブループリント」と呼ばれるアーティファクトを使用して抽出ニーズを柔軟に定義および指定し、ビジネスニーズに合わせたインサイトを生成できます。生成された出力を、データベースやその他のアプリケーションなどのダウンストリームシステムと互換性のある特定の形式またはスキーマに変換することもできます。 標準出力は、すべての形式 (オーディオ、ドキュメント、画像、ビデオ) で使用できます。プレビュー中は、カスタム出力はドキュメントと画像でのみ使用できます。 標準出力設定とカスタム出力設定の両方をプロジェクトに保存して、Amazon Bedrock データオートメーション推論 API で参照できます。プロジェクトは、処理されたファイルごとに標準出力とカスタム出力の両方を生成するように構成できます。 標準出力とカスタム出力の両方で文書を処理する例を見てみましょう。 Amazon Bedrock データオートメーションを使用する Amazon Bedrock コンソール のナビゲーションペインで [ データオートメーション ] を選択します。ここでは、いくつかのサンプルユースケースでこの機能がどのように機能するかを確認できます。 次に、ナビゲーションペインの [ データオートメーション ] セクションで [ デモ ] を選択します。この機能を試すには、提供されているサンプル文書のいずれかを使用するか、自分で作成した文書をアップロードします。たとえば、出生証明書を処理する必要があるアプリケーションを作成しているとしましょう。 まず、出生証明書をアップロードして標準出力結果を確認します。初めてドキュメントをアップロードするときに、アセットを保存する S3 バケットを作成するかどうかを確認するメッセージが表示されます。標準出力を見ると、いくつかの簡単な設定で結果を調整できます。 [ カスタム出力 ] タブを選択します。文書はサンプルブループリントの 1 つで認識され、情報が複数のフィールドから抽出されます。 アプリケーションのほとんどのデータはそこにありますが、いくつかのカスタマイズが必要です。たとえば、出生証明書が発行された日付（ 2022 年 6 月 10 日 ）は、文書内の他の日付とは異なる形式になっています。また、証明書を発行した州と、子供の姓が母親または父親の姓と一致するかどうかを示すいくつかの旗も必要です。 前のブループリントのほとんどのフィールドは、 Explicit 抽出タイプを使用しています。つまり、ドキュメントからそのまま抽出されます。 特定の形式の日付が必要な場合は、 Inferred 抽出タイプを使用して新しいフィールドを作成し、文書の内容から始めて結果をフォーマットする方法についての説明を追加できます。推定抽出を使用して、日付形式や社会保障番号 (SSN) 形式などの変換を実行したり、たとえば今日の日付に基づいて個人が 21 歳以上かどうかを確認する検証を実行したりできます。 サンプルブループリントは編集できません。[ ブループリントの複製 ] を選択して編集可能な新しいブループリントを作成し、[ フィールド ] ドロップダウンから [ フィールドを追加 ] を選択します。 抽出タイプが Inferred の 4 つのフィールドと、次の手順を追加します。 出生証明書が MM/DD/YYYY 形式で発行された日付 出生証明書を発行した州 ChildLastName は FatherLastName と等しいか ChildLastName は MotherLastName と等しいか 最初の 2 つのフィールドは文字列で、最後の 2 つのフィールドはブール値です。 新しいフィールドを作成したら、以前にアップロードしたドキュメントに新しいブループリントを適用できます。 [ 結果を取得 ] を選択し、結果の新しいフィールドを探します。必要に応じてフォーマットされた日付、2つのフラグ、および州が表示されます。 アプリケーションのニーズに合わせたこのカスタムブループリントを作成したので、プロジェクトに追加できます。パスポートのブループリント、出生証明書のブループリント、請求書のブループリントなど、処理したいさまざまなドキュメントタイプのプロジェクトに、複数のブループリントを関連付けることができます。ドキュメントを処理する際、Amazon Bedrock データオートメーションは各ドキュメントをプロジェクト内の設計図と照合して、関連情報を抽出します。 新しいブループリントを最初から作成することもできます。その場合は、まずプロンプトが表示され、アップロードされたドキュメントで見つかると思われるフィールドを宣言し、正規化または検証を実行できます。 Amazon Bedrock データオートメーションは、オーディオファイルとビデオファイルも処理できます。たとえば、 AWS の AI およびデータ担当副社長 Swami Sivasubramanian による基調講演のビデオをアップロードしたときの標準出力は次のとおりです。 出力を取得するには数分かかります。結果には、ビデオ全体の要約、シーンごとの要約、およびビデオ中に表示されるテキストが含まれます。ここから、オプションを切り替えて、完全なオーディオトランスクリプト、コンテンツモデレーション、または インタラクティブ広告局（IAB） の分類基準を設定できます。 また、Amazon Bedrock データオートメーションをパーサーとしてナレッジベースを作成して、視覚的に豊かなドキュメントや画像から洞察を抽出し、検索や応答を生成することもできます。次のセクションでそれを見てみましょう。 Amazon Bedrock ナレッジベースでのマルチモーダルデータ処理の使用 マルチモーダルデータ処理サポートにより、アプリケーションは文書内のテキスト要素とビジュアル要素の両方を理解できます。 マルチモーダルデータ処理では、アプリケーションがナレッジベースを使用して次のことを行うことができます。 既存のテキストサポートに加えて、ビジュアル要素から回答を取得します。 テキストとビジュアルデータの両方を含むコンテキストに基づいて回答を生成します。 元の文書のビジュアル要素を参照するソースアトリビューションを提供してください。 Amazon Bedrock コンソールでナレッジベースを作成するときに、 解析戦略 として Amazon Bedrock データオートメーション を選択できるようになりました。 パーサーとして Amazon Bedrock データオートメーション を選択すると、Amazon Bedrock データオートメーションが視覚的に豊富なコンテンツからのインサイトの抽出、変換、生成を処理し、Amazon Bedrock ナレッジベースが取り込み、取得、モデルレスポンスの生成、ソースアトリビューションを管理します。 あるいは、既存の 基盤モデルをパーサー オプションとして使用することもできます。このオプションにより、Anthropic’s Claude 3.5 Sonnet がパーサーとしてサポートされるようになりました。デフォルトのプロンプトを使用することも、特定のユースケースに合わせて変更することもできます。 次のステップでは、Amazon Bedrock ナレッジベースがナレッジベースのデータソースに私のドキュメントから抽出した画像を保存するために使用する、Amazon S3 上の マルチモーダルストレージ の保存先を指定します。これらの画像は、ユーザークエリに基づいて取得し、応答を生成するために使用し、応答に引用することができます。 ナレッジベースを使用する場合、Amazon Bedrock データオートメーションまたは FM がパーサーとして抽出した情報を使用して、視覚要素に関する情報を取得したり、チャートや図を理解したり、テキストコンテンツとビジュアルコンテンツの両方を参照する応答を提供したりします。 Amazon Bedrock ナレッジベースでの GraphRAG の使用 散在するデータソースから洞察を抽出することは、RAG アプリケーションにとって大きな課題であり、関連する応答を生成するには、これらのデータソース全体で多段階の推論が必要になります。例えば、顧客は生成 AI を搭載した旅行アプリケーションに、美味しいシーフードレストランも提供している、自宅所在地からの直行便がある家族向けのビーチ目的地を特定するよう依頼する可能性があります。そのためには、他の家族で楽しんだことのある適切なビーチを特定し、それを飛行ルートと照合し、評価の高い地元のレストランを選択するための連携したワークフローが必要です。従来の RAG システムでは、情報が異なるソースに存在し、相互にリンクされていないため、これらすべての要素を統合してまとまりのある推奨事項にするのが難しい場合があります。 ナレッジグラフは、エンティティ間の複雑な関係を構造化された方法でモデル化することで、この課題に対処できます。ただし、グラフを作成してアプリケーションに統合するには、多大な専門知識と労力が必要です。 Amazon Bedrock ナレッジベースでは、RAG 技術とグラフを組み合わせてエンドユーザーにより正確で包括的な応答を提供することで、生成 AI アプリケーションを強化する初のフルマネージド型 GraphRAG 機能が提供されるようになりました。 ナレッジベースを作成するときに、データベースとして Amazon Neptune Analytics を選択し、基盤となるデータ、エンティティ、およびそれらの関係のベクトルおよびグラフ表現を自動的に生成することで、わずか数ステップで GraphRAG を有効にできるようになりました。これにより、開発作業は数週間からわずか数時間に短縮されます。 新しいナレッジベースの作成を開始します。 ベクトルデータベースセクション では、新しいベクターストアを作成するときに、 Amazon Neptune Analytics (GraphRAG) を選択します。新しいグラフを作成したくない場合は、既存のベクトルストアを用意して、リストから Neptune Analytics グラフを選択できます。GraphRAG は、 Anthropic’s Claude 3 Haiku を使用して、ナレッジベース用のグラフを自動的に作成します。 ナレッジベースの作成が完了すると、Amazon Bedrock は関連する概念とドキュメントをリンクしたグラフを自動的に作成します。知識ベースから情報を取得する際、GraphRAG はこれらの関係を調べて、より包括的で正確な回答を提供します。 Amazon Bedrock ナレッジベースでの構造化データ取得の使用 構造化されたデータ検索により、データベースとデータウェアハウスの自然言語クエリが可能になります。たとえば、あるビジネスアナリストが「前四半期で最も売れた製品は何でしたか？」と尋ねるかもしれません。そして、システムは Amazon Redshift データベースに格納されているデータウェアハウスに適切な SQL クエリを自動的に生成して実行します。 ナレッジベースを作成するときに、 構造化データストア を使用できるようになりました。 ナレッジベースの名前と説明を入力します。 データソースの詳細 では、 Amazon Redshift を クエリエンジン として使用しています。ナレッジベースのリソースを管理するための新しい AWS Identity and Access Management (IAM) サービスロールを作成し、[ 次へ ] を選択します。 接続オプション と使用する ワークグループ で Redshift サーバーレス を選択します。Amazon Redshift でプロビジョニングされたクラスターもサポートされています。 認証 には以前に作成した IAM ロールを使用します。ストレージメタデータは、 AWS Glue データカタログ を使用して管理することも、Amazon Redshift データベース内で直接管理することもできます。リストからデータベースを選択します。 ナレッジベースの構成では、クエリの最大期間を定義したり、テーブルや列へのアクセスを含めたり除外したりできます。自然言語からのクエリ生成の精度を向上させるために、オプションでテーブルと列の説明と、質問をデータベースの SQL クエリに変換する方法の実用的な例を示す、厳選されたクエリのリストを追加できます。[ 次へ ] を選択し、設定を確認して、ナレッジベースの作成を完了します 数分後、ナレッジベースの準備が整います。同期が完了すると、Amazon Bedrock ナレッジベースがクエリの結果を生成、実行、フォーマット処理するので、構造化データへの自然言語インターフェイスを簡単に構築できます。構造化データを使用してナレッジベースを呼び出す場合、SQL を生成するか、データを取得するか、または自然言語でデータを要約するように求めるだけで済みます。 知っておくべきこと これらの新機能は現在、次の AWS リージョン でご利用いただけます。 Amazon Bedrock データオートメーションは、米国西部 (オレゴン) でプレビュー版として提供されています。 Amazon Bedrock データオートメーションをパーサーとして使用した Amazon Bedrock ナレッジベースでのマルチモーダルデータ処理サポートは、米国西部 (オレゴン) でプレビュー段階にあります。パーサーとしての FM は、Amazon Bedrock ナレッジベースが提供されているすべてのリージョンで利用できます。 Amazon Bedrock ナレッジベースの GraphRAG は、Amazon Bedrock ナレッジベースと Amazon Neptune Analytics が提供されているすべての商用リージョンでプレビュー版としてご利用いただけます。 構造化データの取得は、Amazon Bedrock ナレッジベースが提供されているすべての商用地域の Amazon Bedrock ナレッジベースで利用できます。 Amazon Bedrock ではいつものように、使用状況に応じて料金が決まります。 Amazon Bedrock データオートメーションでは、画像ごと、ドキュメントの場合はページごと、オーディオまたはビデオの場合は 1 分ごとに課金されます。 Amazon Bedrock ナレッジベースでのマルチモーダルデータ処理は、Amazon Bedrock データオートメーションまたは FM をパーサーとして使用した場合に基づいて課金されます。 Amazon Bedrock ナレッジベースで GraphRAG を使用しても追加料金は発生しませんが、ベクトルストアとして Amazon Neptune Analytics を使用する場合は料金が発生します。詳細については、 Amazon Neptune の料金表をご覧ください。 Amazon Bedrock ナレッジベースで構造化データ取得を使用する場合は追加料金がかかります。 料金に関する詳細については、「 Amazon Bedrock の料金 」を参照してください。 各機能は個別に使用することも、組み合わせて使用することもできます。これらを組み合わせることで、AI を使用してデータを処理するアプリケーションを簡単かつ迅速に構築できます。開始するには、 Amazon Bedrock コンソール にアクセスしてください。詳細については、 Amazon Bedrock のドキュメント にアクセスし、 AWS re:Post for Amazon Bedrock にフィードバックを送信してください。 community.aws では、詳しい技術コンテンツを検索し、ビルダーコミュニティが Amazon Bedrock を使用する方法を見出すことができます。これらの新機能で何を構築するのか教えてくださいね! – Danilo 原文は こちら です。

Amazon Bedrock は 12 月 4 日、 生成 AI アプリケーションのコストとレイテンシーの削減に役立つ 2 つの機能をプレビュー版で導入しました。 Amazon Bedrock インテリジェントプロンプトルーティング – モデルを呼び出すときに、同じモデルシリーズの 基盤モデル (FM) を組み合わせて使用することで、品質とコストを最適化できるようになりました。たとえば、 Anthropic’s Claude モデルシリーズでは、Amazon Bedrock はプロンプトの複雑さに応じて Claude 3.5 Sonnet と Claude 3 Haiku の間でリクエストをインテリジェントにルーティングできます。同様に、Amazon Bedrock はリクエストを Meta Llama 3.1 70B と 8B の間でルーティングできます。プロンプトルーターは、応答の質とコストを最適化しながら、各リクエストに対してどのモデルが最高のパフォーマンスを提供するかを予測します。これは、単純なクエリをより小さく、より速く、より費用対効果の高いモデルで処理でき、複雑なクエリをより高性能なモデルにルーティングできるカスタマーサービスアシスタントなどのアプリケーションに特に役立ちます。インテリジェントプロンプトルーティングは、精度を損なうことなくコストを最大 30% 削減できます。 Amazon Bedrock はプロンプトキャッシュをサポートするようになりました – 複数のモデル呼び出しにわたって、頻繁に使用されるコンテキストをプロンプトにキャッシュできるようになりました。これは、ユーザーが同じドキュメントについて複数の質問をするドキュメント Q&A システムや、コードファイルのコンテキストを管理する必要があるコーディングアシスタントなど、同じコンテキストを繰り返し使用するアプリケーションに特に役立ちます。キャッシュされたコンテキストは、アクセスするたびに最大 5 分間使用できます。Amazon Bedrock のプロンプトキャッシュにより、サポートされているモデルのコストを最大 90% 削減し、レイテンシーを最大 85% 削減できます。 これらの機能により、レイテンシーを低減し、パフォーマンスとコスト効率のバランスを取ることが容易になります。それでは、これらをアプリケーションでどのように使用できるかを見てみましょう。 コンソールでの Amazon Bedrock インテリジェントプロンプトルーティングの使用 Amazon Bedrock インテリジェントプロンプトルーティングは、高度なプロンプトマッチングとモデル理解技術を使用して、すべてのリクエストにおける各モデルのパフォーマンスを予測し、応答の質とコストを最適化します。プレビュー中は、 Anthropic’s Claude および Meta Llama モデルシリーズのデフォルトのプロンプトルーターを使用できます。 インテリジェントなプロンプトルーティングには、 AWS マネジメントコンソール 、 AWS コマンドラインインターフェイス (AWS CLI) 、 AWS SDK からアクセスできます。 Amazon Bedrock コンソール では、ナビゲーションペインの [ 基盤モデル ] セクションの [ プロンプトルーター ] を選択します。 詳細情報を得るには、 Anthropic プロンプトルーター のデフォルトルーターを選択します。 プロンプトルーターの設定から、 クロスリージョン推論プロファイル を使用して Claude 3.5 Sonnet と Claude 3 Haiku の間でリクエストをルーティングしていることがわかります。ルーティング基準は、ランタイムにルーター内部モデルによって予測された各プロンプトの最大モデルの応答と最小モデルの応答の品質差を定義します。フォールバックモデルは、選択したモデルのどれも望ましいパフォーマンス基準を満たさない場合に使用されるもので、Anthropic’s Claude 3.5 Sonnet です。 プロンプトルーターを使用してチャットするには [ プレイグラウンドで開く ] を選択し、次のプロンプトを入力します。 アリスには N 人の兄弟がいて、彼女には M 人の姉妹もいます。アリスの兄弟に姉妹は何人いますか？ 結果はすぐに提供されます。右側の新しい ルーターメトリック アイコンを選択して、プロンプトルーターでどのモデルが選択されたかを確認します。今回は、質問がかなり複雑なので、Anthropic’s Claude 3.5 Sonnet が使われました。 ここで、同じプロンプトルーターに簡単な質問をします。 「hello world」プログラムの目的を1行で説明してください。 今回は、Anthropic’s Claude 3 Haiku がプロンプトルーターに選ばれました。 メタプロンプトルーター を選択して構成を確認します。フォールバックとして、70B モデルを使用した Llama 3.1 70B および 8B のクロスリージョン推論プロファイルを使用しています。 プロンプトルーターは、 Amazon Bedrock ナレッジベース や Amazon Bedrock エージェント など、他の Amazon Bedrock 機能と統合されているほか、 評価を実行する 場合にも統合されます。たとえば、ここでは、私のユースケースでは、プロンプトルーターを別のモデルまたはプロンプトルーターと比較するのに役立つモデル評価を作成します。 アプリケーションでプロンプトルーターを使用するには、プロンプトルーターの Amazon リソースネーム (ARN) を Amazon Bedrock API のモデル ID として設定する必要があります。この仕組みが AWS CLI と AWS SDK でどのように機能するかを見てみましょう。 AWS CLI での Amazon Bedrock インテリジェントプロンプトルーティングの使用 Amazon Bedrock API はプロンプトルーターを処理するように拡張されました。たとえば、 ListPromptRouters を使用して AWS リージョンの既存のプロンプトルートを一覧表示できます。 aws bedrock list-prompt-routers 出力には、コンソールで見たものと似た、既存のプロンプトルータの概要が表示されます。 前のコマンドの全出力は次のとおりです。 { "promptRouterSummaries": [ { "promptRouterName": "Anthropic Prompt Router", "routingCriteria": { "responseQualityDifference": 0.26 }, "description": "Routes requests among models in the Claude family", "createdAt": "2024-11-20T00:00:00+00:00", "updatedAt": "2024-11-20T00:00:00+00:00", "promptRouterArn": "arn:aws:bedrock:us-east-1:123412341234:default-prompt-router/anthropic.claude:1", "models": [ { "modelArn": "arn:aws:bedrock:us-east-1:123412341234:inference-profile/us.anthropic.claude-3-haiku-20240307-v1:0" }, { "modelArn": "arn:aws:bedrock:us-east-1:123412341234:inference-profile/us.anthropic.claude-3-5-sonnet-20240620-v1:0" } ], "fallbackModel": { "modelArn": "arn:aws:bedrock:us-east-1:123412341234:inference-profile/us.anthropic.claude-3-5-sonnet-20240620-v1:0" }, "status": "AVAILABLE", "type": "default" }, { "promptRouterName": "Meta Prompt Router", "routingCriteria": { "responseQualityDifference": 0.0 }, "description": "Routes requests among models in the LLaMA family", "createdAt": "2024-11-20T00:00:00+00:00", "updatedAt": "2024-11-20T00:00:00+00:00", "promptRouterArn": "arn:aws:bedrock:us-east-1:123412341234:default-prompt-router/meta.llama:1", "models": [ { "modelArn": "arn:aws:bedrock:us-east-1:123412341234:inference-profile/us.meta.llama3-1-8b-instruct-v1:0" }, { "modelArn": "arn:aws:bedrock:us-east-1:123412341234:inference-profile/us.meta.llama3-1-70b-instruct-v1:0" } ], "fallbackModel": { "modelArn": "arn:aws:bedrock:us-east-1:123412341234:inference-profile/us.meta.llama3-1-70b-instruct-v1:0" }, "status": "AVAILABLE", "type": "default" } ] } GetPromptRouter とプロンプトルータ ARN を使用すると、特定のプロンプトルータに関する情報を取得できます。たとえば、Meta Llama モデルシリーズの場合: aws bedrock get-prompt-router --prompt-router-arn arn:aws:bedrock:us-east-1:123412341234:default-prompt-router/meta.llama:1 { "promptRouterName": "Meta Prompt Router", "routingCriteria": { "responseQualityDifference": 0.0 }, "description": "Routes requests among models in the LLaMA family", "createdAt": "2024-11-20T00:00:00+00:00", "updatedAt": "2024-11-20T00:00:00+00:00", "promptRouterArn": "arn:aws:bedrock:us-east-1:123412341234:default-prompt-router/meta.llama:1", "models": [ { "modelArn": "arn:aws:bedrock:us-east-1:123412341234:inference-profile/us.meta.llama3-1-8b-instruct-v1:0" }, { "modelArn": "arn:aws:bedrock:us-east-1:123412341234:inference-profile/us.meta.llama3-1-70b-instruct-v1:0" } ], "fallbackModel": { "modelArn": "arn:aws:bedrock:us-east-1:123412341234:inference-profile/us.meta.llama3-1-70b-instruct-v1:0" }, "status": "AVAILABLE", "type": "default" } Amazon Bedrock でプロンプトルーターを使用するには、API コールを行うときにプロンプトルーター ARN をモデル ID として設定しました。たとえば、ここでは AWS CLI と Amazon Bedrock Converse API で Anthropic プロンプトルーターを使用しています。 aws bedrock-runtime converse \ --model-id arn:aws:bedrock:us-east-1:123412341234:default-prompt-router/anthropic.claude:1 \ --messages '[{ "role": "user", "content": [ { "text": "Alice has N brothers and she also has M sisters.How many sisters does Alice’s brothers have?" } ] }]' \ 出力には、プロンプトルーターを使用した呼び出しには、実際に使用されたモデルを示す新しい トレース セクションが含まれます。この場合は、Anthropic’s Claude 3.5 Sonnet です。 { "output": { "message": { "role": "assistant", "content": [ { "text": "To solve this problem, let's think it through step-by-step:\n\n1) First, we need to understand the relationships:\n - Alice has N brothers\n - Alice has M sisters\n\n2) Now, we need to consider who Alice's brothers' sisters are:\n - Alice herself is a sister to all her brothers\n - All of Alice's sisters are also sisters to Alice's brothers\n\n3) So, the total number of sisters that Alice's brothers have is:\n - The number of Alice's sisters (M)\n - Plus Alice herself (+1)\n\n4) Therefore, the answer can be expressed as: M + 1\n\nThus, Alice's brothers have M + 1 sisters." } ] } }, . . . "trace": { "promptRouter": { "invokedModelId": "arn:aws:bedrock:us-east-1:123412341234:inference-profile/us.anthropic.claude-3-5-sonnet-20240620-v1:0" } } } AWS SDK による Amazon Bedrock インテリジェントプロンプトルーティングの使用 AWS SDK をプロンプトルーターで使用することは、以前のコマンドラインエクスペリエンスと似ています。モデルを呼び出すときに、モデル ID をプロンプトモデル ARN に設定しました。たとえば、次の Python コードでは、 ConverseStream API でメタラマルーターを使用しています。 import json import boto3 bedrock_runtime = boto3.client( "bedrock-runtime", region_name="us-east-1", ) MODEL_ID = "arn:aws:bedrock:us-east-1:123412341234:default-prompt-router/meta.llama:1" user_message = "Describe the purpose of a 'hello world' program in one line." messages = [ { "role": "user", "content": [{"text": user_message}], } ] streaming_response = bedrock_runtime.converse_stream( modelId=MODEL_ID, messages=messages, ) for chunk in streaming_response["stream"]: if "contentBlockDelta" in chunk: text = chunk["contentBlockDelta"]["delta"]["text"] print(text, end="") if "messageStop" in chunk: print() if "metadata" in chunk: if "trace" in chunk["metadata"]: print(json.dumps(chunk['metadata']['trace'], indent=2)) このスクリプトは、応答テキストとトレースの内容を応答メタデータに出力します。この単純なリクエストに対して、プロンプトルーターはより高速で手頃なモデルを選択しました。 「Hello World」プログラムは、プログラミング言語の基本的な構文と機能を示す基本的な例となるシンプルな入門プログラムで、通常は開発環境が正しく設定されていることを確認するために使用されます。 { "promptRouter": { "invokedModelId": "arn:aws:bedrock:us-east-1:123412341234:inference-profile/us.meta.llama3-1-8b-instruct-v1:0" } } AWS SDK でのプロンプトキャッシュの使用 Amazon Bedrock Converse API ではプロンプトキャッシュを使用できます。キャッシュするコンテンツにタグを付けて初めてモデルに送信すると、モデルは入力を処理し、中間結果をキャッシュに保存します。同じコンテンツを含む後続のリクエストでは、モデルは前処理された結果をキャッシュから読み込み、コストと待ち時間の両方を大幅に削減します。 プロンプトキャッシュは、いくつかの手順でアプリケーションに実装できます。 プロンプトの中で頻繁に再利用される部分を特定します。 新しい cachePoint ブロックを使用して、これらのセクションをメッセージのリストにキャッシュするようにタグ付けします。 レスポンスメタデータの使用状況セクションで、キャッシュの 使用状況 とレイテンシーの改善を監視してください。 ドキュメントを操作するときのプロンプトキャッシュの実装例を次に示します。 まず、 AWS のウェブサイトから 3 つの意思決定ガイドを PDF 形式でダウンロードします 。これらのガイドは、お客様のユースケースに合った AWS サービスを選択するのに役立ちます。 次に、Python スクリプトを使用して、ドキュメントについて 3 つの質問をします。このコードでは、モデルとの会話を処理する converse() 関数を作成します。この関数を初めて呼び出すときに、ドキュメントのリストと cachePoint ブロックを追加するためのフラグを含めます。 import json import boto3 MODEL_ID = "us.anthropic.claude-3-5-sonnet-20241022-v2:0" AWS_REGION = "us-west-2" bedrock_runtime = boto3.client( "bedrock-runtime", region_name=AWS_REGION, ) DOCS = [ "bedrock-or-sagemaker.pdf", "generative-ai-on-aws-how-to-choose.pdf", "machine-learning-on-aws-how-to-choose.pdf", ] messages = [] def converse(new_message, docs=[], cache=False): if len(messages) == 0 or messages[-1]["role"] != "user": messages.append({"role": "user", "content": []}) for doc in docs: print(f"Adding document: {doc}") name, format = doc.rsplit('.', maxsplit=1) with open(doc, "rb") as f: bytes = f.read() messages[-1]["content"].append({ "document": { "name": name, "format": format, "source": {"bytes": bytes}, } }) messages[-1]["content"].append({"text": new_message}) if cache: messages[-1]["content"].append({"cachePoint": {"type": "default"}}) response = bedrock_runtime.converse( modelId=MODEL_ID, messages=messages, ) output_message = response["output"]["message"] response_text = output_message["content"][0]["text"] print("Response text:") print(response_text) print("Usage:") print(json.dumps(response["usage"], indent=2)) messages.append(output_message) converse("Compare AWS Trainium and AWS Inferentia in 20 words or less.", docs=DOCS, cache=True) converse("Compare Amazon Textract and Amazon Transcribe in 20 words or less.") converse("Compare Amazon Q Business and Amazon Q Developer in 20 words or less.") スクリプトは、呼び出しごとに応答と 使用状況カウンター を出力します。 ドキュメントの追加: bedrock-or-sagemaker.pdf ドキュメントの追加: generative-ai-on-aws-how-to-choose.pdf ドキュメントの追加: machine-learning-on-aws-how-to-choose.pdf 応答テキスト: AWS Trainium は機械学習トレーニングに最適化されており、AWS Inferentia は低コストで高性能な機械学習推論向けに設計されています。 使用方法: { "inputTokens": 4, "outputTokens": 34, "totalTokens": 29879, "cacheReadInputTokenCount": 0, "cacheWriteInputTokenCount": 29841 } 応答テキスト: Amazon Textract はドキュメントからテキストとデータを抽出し、Amazon Transcribe はオーディオファイルまたはビデオファイルからオーディオをテキストに変換します。 使用方法: { "inputTokens": 59, "outputTokens": 30, "totalTokens": 29930, "cacheReadInputTokenCount": 29841, "cacheWriteInputTokenCount": 0 } 応答テキスト: Amazon Q Business はエンタープライズデータを使用して質問に回答し、Amazon Q Developer は AWS のアプリケーションとサービスの構築と運用を支援します。 使用方法: { "inputTokens": 108, "outputTokens": 26, "totalTokens": 29975, "cacheReadInputTokenCount": 29841, "cacheWriteInputTokenCount": 0 } レスポンスの 使用状況 セクションには、 cacheReadInputTokenCount と cacheWriteInputTokenCount という 2 つの新しいカウンターが含まれています。呼び出しのトークンの総数は、入力トークンと出力トークンの合計に、キャッシュに読み書きされたトークンを加えたものです。 呼び出しのたびに、メッセージのリストが処理されます。最初の呼び出しのメッセージには、ドキュメント、最初の質問、およびキャッシュポイントが含まれます。キャッシュポイントより前のメッセージは現在キャッシュにないため、キャッシュに書き込まれます。 使用状況 カウンターによると、29,841 個のトークンがキャッシュに書き込まれています。 "cacheWriteInputTokenCount": 29841 次の呼び出しでは、前の応答と新しい質問がメッセージのリストに追加されます。 cachePoint の前のメッセージは変更されず、キャッシュ内にあります。 予想どおり、 使用状況 カウンターから、以前に書き込まれたのと同じ数のトークンがキャッシュから読み取られることがわかります。 "cacheReadInputTokenCount": 29841 私のテストでは、最初の呼び出しと比較して、次の呼び出しが完了するまでにかかる時間が 55% 短くなりました。ユースケース（キャッシュされたコンテンツが多い場合など）にもよりますが、プロンプトキャッシュによってレイテンシが最大 85% 改善されます。 モデルによっては、メッセージのリストに複数のキャッシュポイントを設定できます。ユースケースに適したキャッシュポイントを見つけるには、さまざまな構成を試して、報告された使用状況への影響を確認してください。 知っておくべきこと Amazon Bedrock インテリジェントプロンプトルーティングは、米国東部 (バージニア北部) および米国西部 (オレゴン) の AWS リージョン で 12 月 4 日プレビュー版をご利用いただけます。プレビュー中は、デフォルトのプロンプトルーターを使用できます。プロンプトルーターを使用しても追加料金はかかりません。選択したモデルの費用を支払います。プロンプトルーターは、 評価の実行 、 ナレッジベースの使用 、 エージェントの設定など 、他の Amazon Bedrock 機能とともに使用できます。 プロンプトルーターが使用する内部モデルはプロンプトの複雑さを理解する必要があるため、インテリジェントプロンプトルーティングは現在英語プロンプトのみをサポートしています。 Amazon Bedrock によるプロンプトキャッシュのサポートは、米国西部 (オレゴン) で Anthropic’s Claude 3.5 Sonnet V2 と Claude 3.5 Haiku のプレビュー版が提供されています。米国東部 (バージニア北部) では Amazon Nova Micro、Amazon Nova Lite、および Amazon Nova Pro のプロンプトキャッシュも利用できます。 プロンプトキャッシュを使用すると、キャッシュ読み取りは、キャッシュされていない入力トークンと比較して 90% 割引されます。キャッシュストレージに追加のインフラストラクチャ料金はかかりません。Anthropic モデルを使用する場合、キャッシュに書き込まれたトークンには追加料金がかかります。Amazon Nova モデルでは、キャッシュ書き込みに追加コストはかかりません。詳細については、 Amazon Bedrock の料金 をご覧ください。 プロンプトキャッシュを使用する場合、コンテンツは最大 5 分間キャッシュされ、キャッシュヒットするたびにカウントダウンがリセットされます。プロンプトキャッシュは、 クロスリージョン推論 を透過的にサポートするために実装されています。これにより、アプリケーションでは、クロスリージョン推論の柔軟性を利用して、プロンプトキャッシュによるコスト最適化とレイテンシーのメリットを享受できます。 これらの新機能により、費用対効果が高く高性能な生成 AI アプリケーションを簡単に構築できます。リクエストをインテリジェントにルーティングし、頻繁に使用されるコンテンツをキャッシュすることで、アプリケーションのパフォーマンスを維持し、さらに向上させると同時に、コストを大幅に削減できます。 これらの新機能の詳細を確認して今すぐ使用を開始するには、 Amazon Bedrock のドキュメント にアクセスし、 AWS re:Post for Amazon Bedrock にフィードバックを送信してください。 community.aws では、詳しい技術コンテンツを検索し、ビルダーコミュニティが Amazon Bedrock を使用する方法を見出すことができます。 – Danilo 原文は こちら です。

12 月 4 日、 Amazon Bedrock Marketplace をご紹介します。この新しい機能を使用することで、お客様は、 Amazon Bedrock を通じて 100 を超える人気、新興、専門の 基盤モデル (FM) にアクセスできます。このリリースにより、IBM や Nvidia などのエンタープライズプロバイダーの新しいモデル、韓国語処理用の Upstages の Solar Pro やタンパク質研究用の Evolutionary Scale の ESM3 などの専門モデル、および Anthropic や Meta などのプロバイダーの Amazon Bedrock 汎用 FM を見つけて、テストし、デプロイできるようになりました。 Amazon Bedrock Marketplace でデプロイされたモデルには、サーバーレスモデルと同じ標準 API を通じてアクセスでき、Converse API と互換性のあるモデルの場合は、 Amazon Bedrock のエージェント や Amazon Bedrock のナレッジベース などのツールで使用できます。 生成 AI が組織の仕組みを変え続ける中、特定のドメイン、言語、またはタスク向けに最適化された専門モデルの必要性が高まっています。しかし、これらのモデルを見つけて評価することは困難でコストがかかる場合があります。さまざまなサービスでモデルを見つけ、アプリケーションで使用するために抽象化を構築し、複雑なセキュリティとガバナンスのレイヤーを作成する必要があります。Amazon Bedrock Marketplace は、特殊な FM と汎用 FM の両方にアクセスするための単一のインターフェイスを提供することで、これらの課題に対処します。 Amazon Bedrock Marketplace の使用 使用を開始するには、Amazon Bedrock コンソールで、ナビゲーションペインの [基盤モデル] セクションで [モデルカタログ] を選択します。ここで、特定のユースケースまたは言語に役立つモデルを検索できます。検索結果には、サーバーレスモデルと Amazon Bedrock Marketplace で使用可能なモデルの両方が含まれます。プロバイダー、モダリティ (テキスト、画像、音声など)、またはタスク (分類やテキスト要約など) で結果をフィルタリングできます。 カタログには、コンテキスト適応型小規模言語モデル (SLM) を構築する Arcee AI や、多言語モデルを提供する Widn.AI などの組織が提供するモデルが含まれています。 例えば、 IBM Granite モデルに興味がある場合は、 IBM Data and AI のモデルを検索します。 エンタープライズアプリケーション向けに設計された言語モデルである Granite 3.0 2B Instruct を選択します。モデルを選択すると、モデルの詳細ページが開き、モデルの特徴、料金、サンプル API コールを含む使用方法など、モデルプロバイダーからの詳細情報を確認できます。 この特定のモデルにはサブスクリプションが必要なので、 [サブスクリプションオプションを表示] を選択します。 サブスクリプションダイアログから、料金と法的な注意事項を確認します。 [料金の詳細] には、プロバイダーが設定したソフトウェア料金が表示されます。このモデルでは、デプロイされたインフラストラクチャのほかに、追加コストは発生しません。 Amazon SageMaker インフラストラクチャのコストは別途請求され、「 Amazon SageMaker pricing 」でご確認いただけます。 このモデルで続行するには、 [サブスクライブ] を選択します。 サブスクリプションが完了すると (通常は数分かかります)、モデルをデプロイできます。 [デプロイの詳細] で、デフォルト設定と推奨インスタンスタイプを使用します。 オプションの [高度な設定] を展開します。ここでは、 仮想プライベートクラウド (VPC) にデプロイするか、デプロイによって使用される AWS Identity and Access Management (IAM) サービスロールを指定するかを選択できます。Amazon Bedrock Marketplace は、モデルの重みが保存されている Amazon Simple Storage Service (Amazon S3) バケットにアクセスするためのサービスロールを自動的に作成しますが、既存のロールを使用することもできます。 デフォルト値をそのままにして、デプロイを完了します。 数分後、デプロイは [稼働中] となり、ナビゲーションペインから [Marketplace デプロイ] ページに移動して確認できます。 そこで、エンドポイントを選択して詳細を表示し、インスタンスの数などの設定を編集できます。デプロイをテストするために、 [プレイグラウンドで開く] を選択して、詩を書くように指示します。 デプロイされたエンドポイントがリストされる新しい [Marketplace] カテゴリを使用して、 [プレイグラウンド] の [チャット/テキスト] ページからモデルを選択することもできます。 同様に、 [モデルを選択] を選択し、 [Marketplace] モデルエンドポイントを選択することで、 Amazon Bedrock のエージェント 、 Amazon Bedrock のナレッジベース 、 Amazon Bedrock Prompt Management 、 Amazon Bedrock のガードレール 、 モデル評価 などの他のツールでモデルを使用できます。 ここで使用したモデルは Text-to-Text ですが、Amazon Bedrock Marketplace を使用して、さまざまなモダリティのモデルをデプロイできます。例えば、 Stability AI の Stable Diffusion 3.5 Large をデプロイした後、Amazon Bedrock の イメージプレイグラウンド で簡単なテストを実行できます。 これで、デプロイしたモデルを Amazon Bedrock InvokeModel API を通じて使用できるようになりました。モデルをデプロイすると、エンドポイントの Amazon リソースネーム (ARN) をモデル ID として使用して、 AWS コマンドラインインターフェイス (AWS CLI) および任意の AWS SDK で使用できます。 チャット向けにチューニングされた Text-to-Text モデルの場合、モデルの違いを抽象化し、単一のパラメータ変更でモデルを切り替えることを可能にする Amazon Bedrock Converse API を使用することもできます。 知っておくべきこと Amazon Bedrock Marketplace は、次の AWS リージョン でご利用いただけます: 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (オレゴン)、アジアパシフィック (ムンバイ)、アジアパシフィック (ソウル)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (東京)、カナダ (中部)、欧州 (フランクフルト)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、南米 (サンパウロ)。 Amazon Bedrock Marketplace では、サードパーティーのモデルプロバイダーにソフトウェア料金を支払うほか (前の例のように料金がかからない場合もあります)、モデルエンドポイントのために選択したインスタンスのタイプと数に基づいてホスティング料金をお支払いいただきます。 新しいモデルの閲覧は、 Amazon Bedrock コンソールのモデルカタログ を使用して開始してください。また、 Amazon Bedrock Marketplace ドキュメント にアクセスし、 AWS re:Post for Amazon Bedrock にフィードバックをぜひお寄せください。 community.aws では、詳細な技術コンテンツを見つけたり、ビルダーコミュニティが Amazon Bedrock をどのように使用しているかを確認したりできます。 – Danilo 原文は こちら です。

12 月 4 日、データサイエンティストがタイムラインと予算内で大規模な 基盤モデル (FM) をトレーニングし、コンピューティングの可用性に基づいてトレーニングプロセスを管理する数週間の労力を節約するのに役立つ、 Amazon SageMaker HyperPod の柔軟なトレーニングプランの一般提供の開始を発表しました。 AWS re:Invent 2023 では、 SageMaker HyperPod をご紹介 しました。これを使用することで、FM のトレーニング時間を最大 40% 短縮できるほか、事前設定された分散トレーニングライブラリと組み込みの回復力を使用して、数千のコンピューティングリソースを並行してスケールできます。ほとんどの生成 AI モデル開発タスクでは、高速コンピューティングリソースが並列で必要です。お客様は、タイムラインと予算の制約内でトレーニングを完了するために、コンピューティングリソースに適時にアクセスすることに苦労しています。 12 月 4 日の発表により、トレーニングに必要な高速コンピューティングリソースを見つけ、最適なトレーニングプランを作成し、コンピューティングリソースの可用性に応じて、さまざまなキャパシティブロックにまたがってトレーニングワークロードを実行できます。数ステップで、トレーニングの完了日、予算、コンピューティングリソースの要件を特定し、最適なトレーニングプランを作成して、手動による介入なしで、フルマネージドトレーニングジョブを実行できます。 SageMaker HyperPod のトレーニングプランが実際に機能している様子 使用を開始するには、 Amazon SageMaker AI コンソール に移動し、左側のナビゲーションペインで [トレーニングプラン] を選択して、 [トレーニングプランを作成] を選択します。 例えば、SageMaker HyperPod クラスターのために希望するトレーニングの日時 (10 日間)、インスタンスタイプと数 (16 個の ml.p5.48xlarge ) を選択し、 [トレーニングプランを検索] を選択します。 SageMaker HyperPod は、2 つの 5 日間のセグメントに分割されたトレーニングプランを提案します。これには、プランの前払い料金の合計が含まれます。 このトレーニングプランを受け入れる場合は、次のステップでトレーニングの詳細を追加し、プランの [作成] を選択します。 トレーニングプランを作成すると、トレーニングプランのリストが表示されます。トレーニングプランを作成したら、12 時間以内にプランについての前払い料金を支払う必要があります。1 つのプランは [アクティブ] 状態で、既に開始されており、すべてのインスタンスが使用されています。2 つ目のプランは後で開始するように [スケジュール済み] になっていますが、プランの開始時に自動的に開始されるジョブを既に送信できます。 [アクティブ] ステータスのコンピューティングリソースは SageMaker HyperPod で使用可能であり、使用可能な状態で一時停止が発生してもその後に自動的に再開され、プランの終了時に終了します。現在実行中の最初のセグメントがあり、現在のセグメントの後に実行するためにキューに入れられた別のセグメントがあります。 これは、SageMaker AI がインスタンスの中断を処理し、手動介入なしでトレーニングを続行する SageMaker AI のマネージドスポットトレーニング に似ています。詳細については、「Amazon SageMaker AI デベロッパーガイド」の「 SageMaker HyperPod training plans 」にアクセスしてください。 今すぐご利用いただけます Amazon SageMaker HyperPod トレーニングプランは、米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (オレゴン) の AWS リージョンでご利用いただけるようになりました。 ml.p4d.48xlarge 、 ml.p5.48xlarge 、 ml.p5e.48xlarge ,  ml.p5en.48xlarge 、 ml.trn2.48xlarge インスタンスがサポートされています。Trn2 および P5en インスタンスは、米国東部 (オハイオ) リージョンでのみご利用いただけます。詳細については、 SageMaker HyperPod の製品ページ と SageMaker AI の料金ページ にアクセスしてください。 Amazon SageMaker AI コンソール で HyperPod トレーニングプランをお試しいただき、 AWS re:Post for SageMaker AI に、または通常の AWS サポートの連絡先を通じて、フィードバックをぜひお寄せください。 – Channy 原文は こちら です。