12 月 4 日、 Amazon SageMaker HyperPod タスクガバナンスの一般提供の開始を発表しました。これは、トレーニング、ファインチューニング、推論などの 生成 AI モデル開発タスク全体で GPU と Tranium の使用率を簡単かつ一元的に管理し、最大化するための新しいイノベーションです。 お客様から、生成 AI プロジェクトへの投資が急速に増加しているものの、限られたコンピューティングリソースを効率的に割り当てることにおいて課題に直面しているとの報告を受けています。リソース割り当てについての動的で一元化されたガバナンスが不足すると、一部のプロジェクトではリソースが十分に活用されず、他のプロジェクトでは停滞してしまい、非効率が生じます。この状況では、絶えず計画し直さなければならないという負担が管理者に生じ、データサイエンティストやデベロッパーの作業が遅れ、AI イノベーションの実現に遅れが生じ、リソースの非効率的な使用によるコスト超過が発生します。 SageMaker HyperPod タスクガバナンスを使用すると、コンピューティングリソースの活用不足によるコスト超過を回避しながら、AI イノベーションのための市場投入までの時間を短縮できます。管理者は、いくつかのステップを実行することで、プロジェクトの予算とタスクの優先度に基づいてコンピューティングリソースの割り当てを管理するクォータを設定できます。データサイエンティストやデベロッパーは、モデルトレーニング、ファインチューニング、評価などのタスクを作成できます。SageMaker HyperPod は、割り当てられたクォータ内でこれらのタスクを自動的にスケジュールして実行します。 SageMaker HyperPod タスクガバナンスはリソースを管理し、高優先度タスクにすぐに対応する必要がある場合に、低優先度タスクからコンピューティングを自動的に解放します。これは、低優先度のトレーニングタスクを一時停止し、チェックポイントを保存して、後でリソースが使用可能になったときに再開することで行われます。さらに、チームのクォータ内のアイドルコンピューティングは、別のチームの待機タスクを加速するために自動的に使用できます。 データサイエンティストとデベロッパーは、タスクキューを継続的にモニタリングし、保留中のタスクを表示して、必要に応じて優先順位を調整できます。また、管理者は、スケジュールされたタスクとコンピューティングリソースの使用状況をチームとプロジェクト全体でモニタリングおよび監査することもできます。その結果、割り当てを調整してコストを最適化し、組織全体でリソースの可用性を改善できます。このアプローチにより、リソースの効率を最大化しながら、重要なプロジェクトを適時に完了できます。 SageMaker HyperPod タスクガバナンスの開始方法 タスクガバナンスは、 HyperPod の Amazon EKS クラスター のために使用できます。クラスターのプロビジョニングと管理については、 Amazon SageMaker AI コンソール の [HyperPod クラスター] の下にある [クラスター管理] をご覧ください。管理者は、このコンソールを通じて HyperPod クラスターの操作とスケーリングを効率化できます。 HyperPod クラスターを選択すると、クラスターの詳細ページに新しい [ダッシュボード] 、 [タスク] 、および [ポリシー] タブが表示されます。 1.新しいダッシュボード 新しいダッシュボードでは、クラスターの使用率、チームベース、およびタスクベースのメトリクスの概要を確認できます。 まず、すべてのインスタンスグループにわたる GPU、vCPU、メモリ使用率などの重要なコンピューティングリソースのポイントインタイムとトレンドベースの両方のメトリクスを表示できます。 次に、チーム固有のリソース管理に関する包括的なインサイトを得て、チーム全体におけるコンピューティング割り当てに照らして GPU 使用率を重点的に確認できます。チームとクラスターインスタンスグループのカスタマイズ可能なフィルターを使用して、タスクのために割り当てられた GPU/CPU、借りた GPU/CPU、GPU/CPU 使用率などのメトリクスを分析できます。 実行中、保留中、およびプリエンプトされたタスクの数、ならびに平均タスク実行時間と待機時間などのメトリクスを使用して、タスクのパフォーマンスとリソース割り当ての効率を評価することもできます。SageMaker HyperPod クラスターのリソースとソフトウェアコンポーネントに関する包括的なオブザーバビリティを得るには、 Amazon CloudWatch Container Insights または Amazon Managed Grafana と統合できます。 2.クラスターポリシーを作成して管理する タスクの優先順位付けと公平なリソース割り当てを有効にするために、重要なワークロードを優先し、コンピューティング割り当てで定義されたチーム間でアイドルコンピューティングを配分するクラスターポリシーを設定できます。 クラスターの設定で優先度クラスと借りたコンピューティングの公平な共有を設定するには、 [クラスターポリシー] セクションで [編集] を選択します。 キューで待機しているタスクが、タスクの優先順位付けでどのように受け入れられるかを定義できます: [先着順] (デフォルト) または [タスクのランク付け] 。[タスクのランク付け] を選択すると、キューで待機しているタスクは、このクラスターポリシーで定義されている優先順位で受け入れられます。同じ優先度クラスのタスクは、先着順で実行されます。 また、アイドルコンピューティングをチーム間で割り当てる方法も設定できます: [先着順] または [公平な共有] (デフォルト)。公平な共有の設定により、チームは割り当てられた重みに基づいてアイドルコンピューティングを借りることができます。この重みは、相対コンピューティング割り当てで設定されます。これにより、すべてのチームがアイドルコンピューティングを公平に共有して、待機中のタスクを高速化できます。 [ポリシー] ページの [コンピューティング割り当て] セクションでは、コンピューティング割り当てを作成および編集して、チーム間でコンピューティングリソースを配分したり、アイドル状態のコンピューティングをチームが貸し借りできるようにする設定を有効にしたりできるほか、自らの低優先度のタスクのプリエンプションを設定し、チームに公平な共有の重みを割り当てることもできます。 [チーム] セクションでチーム名を設定すると、データサイエンスチームと機械学習 (ML) チームが使用できる、対応する Kubernetes 名前空間が作成されます。未使用のキャパシティをチーム間でより公平に配分するために公平な共有の重みを設定し、タスクの優先度に基づいてプリエンプションオプションを有効にして、優先度の高いタスクが優先度の低いタスクをプリエンプトできるようにすることができます。 [コンピューティング] セクションでは、インスタンスタイプのクォータを追加してチームに割り当てることができます。さらに、クラスターでまだ使用できないインスタンスタイプのクォータを割り当てて、将来の拡張に備えることもできます。 チームが未使用のキャパシティを他のチームに貸し出すことを許可することで、アイドル状態のコンピューティングリソースを共有できるようにすることができます。この借用モデルは相互的です。チームがアイドル状態のコンピューティングを借りることができるのは、自らの未使用のリソースを他のチームと共有する意思がある場合のみです。また、チームが割り当てられたクォータを超えてコンピューティングリソースを借りられるようにする借用制限を指定することもできます。 3.SageMaker HyperPod クラスターでトレーニングタスクを実行する データサイエンティストは、 HyperPod コマンドラインインターフェイス (CLI) コマンドを使用して、トレーニングジョブを送信し、チームに割り当てられたクォータを使用できます。HyperPod CLI を使用すると、ジョブを開始し、割り当てを持つ、対応する名前空間を指定できます。 $ hyperpod start-job --name smpv2-llama2 --namespace hyperpod-ns-ml-engineers Successfully created job smpv2-llama2 $ hyperpod list-jobs --all-namespaces { "jobs": [ { "Name": "smpv2-llama2", "Namespace": "hyperpod-ns-ml-engineers", "CreationTime": "2024-09-26T07:13:06Z", "State": "Running", "Priority": "fine-tuning-priority" }, ... ] } [タスク] タブでは、クラスター内のすべてのタスクを確認できます。各タスクの優先度とキャパシティニーズはポリシーに応じて異なります。優先度のより高い別のタスクを実行すると、既存のタスクが一時停止され、その別のタスクが最初に実行されます。 では、優先度の低いタスクの実行中に優先度の高いトレーニングタスクが追加された場合に何が起こるかを示すデモ動画を見てみましょう。 詳細については、「Amazon SageMaker AI デベロッパーガイド」の「 SageMaker HyperPod task governance 」にアクセスしてください。 今すぐご利用いただけます Amazon SageMaker HyperPod タスクガバナンスは、米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (オレゴン) の AWS リージョンでご利用いただけるようになりました。HyperPod タスクガバナンスは追加コストなしでご利用いただけます。詳細については、 SageMaker HyperPod の製品ページ にアクセスしてください。 Amazon SageMaker AI コンソール で HyperPod タスクガバナンスをお試しいただき、 AWS re:Post for SageMaker に、または通常の AWS サポートの連絡先を通じて、フィードバックをぜひお寄せください。 – Channy P.S.HyperPod テスト環境の作成に貢献してくれた AWS の Senior Generative AI Specialist Solutions Architect である Nisha Nadkarni に特に感謝します。 原文は こちら です。

本ブログは、株式会社 NTT ドコモ(以下、ドコモ)の 周成氏, 宮木健一郎氏, 小柳歩巴氏と Amazon Web Services Japan が共同で執筆しました。 本ブログでは、ドコモ がマーケティング分析をスケールさせるために Amazon QuickSight の ピクセルパーフェクトレポート の機能を使った事例をご紹介します。 背景 : ファンプロファイリングとは ドコモ は、そのビジネス規模から多様で大量のデータを保持しています。そして、それらのデータを活用してユーザーを深く理解し、ターゲティングの最適化をするために、 顧客理解エンジン「docomo Sense」 (以下、Sense)と呼ばれるシステムを開発しています。例えば、Sense では緯度経度を直接指定して、指定したエリアに滞在したユーザー群（集団）の特徴を分析することができます。これは新規店舗の位置を検討しているマーケターにとって非常に有用な情報です。 Sense の機能の一つに、ファンプロファイリング分析という機能があります。これは、データ利用に同意を得たユーザーの位置情報や商品の購買履歴などを活用し、あるアーティストやある商品のファンの特徴を可視化するものです。特徴とは、訪問場所、興味関心領域、アプリ利用、性年代などを含みます。既存のファンを分析することで、新規顧客獲得や優良顧客化に向けた施策に活用することができます。 図1. ファンプロファイリング分析のイメージ 初期のソリューションとその課題 このファンプロファイリング分析は、AWS サービスを用いて行われています。初期の頃は、図2のように、 AWS Batch 内でファンプロファイリングの処理を行い、その結果を Amazon QuickSight を用いて手動で可視化していました。 図2. 初期のファンプロファイリングアーキテクチャ 最終的に QuickSight で可視化されるアウトプットのイメージが図3です。 図3. ファンプロファイリングの可視化レポートイメージ 当時はリクエストが少数だったため、リクエストのたびに手動で実行していました。しかし、当機能の利用者が増加し、1日10件近いリクエストが来るようになると、手動対応では間に合わなくなり、システムの自動化が必要となりました。 自動化されたソリューション : QuickSight ピクセルパーフェクトレポート 本システムでは、自動化を目的として、QuickSightのピクセルパーフェクトレポート機能を活用しました。ピクセルパーフェクトレポートは、QuickSight上で可視化した分析結果をCSVまたはPDF形式で出力する機能です。これにより、印刷や配布に適した形で分析結果を共有することが可能になります。また、APIを利用することで、特定のS3バケットにレポートを出力でき、QuickSightのアクセス権を持つユーザー以外にもレポートを共有できます。 図4のように下記の流れでレポートを作成します。  Amazon S3 にある csv データから QuickSight のData Set を作成 テンプレートを用いてダッシュボードを作成 ピクセルパーフェクトレポートを利用し、ダッシュボードをPDFとして出力し、S3 に保存 図4. ピクセルパーフェクトレポート 機能によるレポート作成の流れ 全体の流れを表したのが図5になります。全体のワークフローは Amazon Managed Workflows for Apache Airflow (Amazon MWAA) で管理しています。 利用者が所定の S3 バケットに入力のためのファイルをアップロードします AWS Batch が利用者の入力をもとに分析結果を作成し、S3 バケットに保存します AWS Batch が QuickSight に PDF 作成のリクエストを送信します 図4に示した流れで可視化の PDF を作成し、S3 バケットに保存します 図5. ファンプロファイリングの全体の流れ 以下は今回のソリューションによる工夫のポイントです。 1. 複数タスクの並列化 複数のタスクが並列で実行されるため、相互に影響が出ないように工夫が必要となります。今回は、データソースの作成、データの加工、可視化、PDFへの変換といった複数のタスクを、一意の識別子を渡して処理することで、処理を分離し、並列化できるようにしました。これにより、処理時間が短縮されました。 2. データライフサイクル管理の自動化 一般的には、データソースやデータセット、ダッシュボードを残して中身を更新することが多いですが、本システムでは、データが毎日更新されるため、すべてを新たに作成する方式を採用しています。この方法により、データ更新時の管理負担が軽減され、効率的な運用が実現します。さらに、不要なリソースの蓄積を防ぐため、データライフサイクル管理を適用し、ストレージコストも削減できました。これにより、システムの安定性と効率性も向上しました。 成果 本システムを導入することで、従来の手動作業による時間と労力の負担が自動化によって大幅に軽減され、可視化件数が大幅に増加しました。自動化の結果、手動作業は完全にゼロになり、1レポートの作成にかかる全体の実行時間が約1時間から10分に短縮されました。また、ピクセルパーフェクトレポート機能とAWS APIを活用することで、データの格納からPDFへの変換までの一連の作業を自動化し、大規模な対応が可能となりました。その結果、従来の手動対応では月間数件の可視化件数であったところが、自動化により月間数百件の出力を実施できるようになりました。 開発を手がけた ドコモ サービスイノベーション部顧客理解 AI 担当の澤田流布一氏は、今回の取組に対して次のようにコメントしています。 「私たちは、プロダクトの提供を小さく始めて試行錯誤を高速で繰り返し、利用者の声を聞きながら大きくしていくというやり方を大切にしています。その際、小規模で機能提供している際には課題にならなかった部分が徐々に顕在化してくることが多く、今回はその課題を AWS の機能により上手に解決できました。プロダクト成長段階に応じて機能が使い分けられるのも AWS の豊富な機能提供のおかげですので、今後も上手に活用させていただきながら機能と運用の両面の質が向上するような開発を行なっていきたいと考えております。」 まとめ 本ブログでは、ドコモ がファンプロファイリングというマーケティング分析において、QuickSight の ピクセルパーフェクトレポートの機能を用いて自動化と利用者管理の簡素化を実現した方法をご紹介しました。他の AWS ユーザーの皆様にもこの使い方が参考になれば幸いです。 著者について 近藤健二郎 AWS Japan 合同会社 技術統括本部 ストラテジックインダストリー技術本部 ソリューションアーキテクト 周成 NTT ドコモ Data Scientist 2021~現在 デジタルマーケティングツール開発/広告配信の最適化開発（NTTドコモ サービスイノベーション部） 宮木健一郎 NTT ドコモ Principal Data Scientist 2018~現在 デジタルマーケティングツール開発/レコメンドエンジン開発（NTTドコモ サービスイノベーション部） 小柳歩巴 NTT ドコモ Data Scientist 2019~2023 データ活用を軸にした新規事業開発（NTT東日本） 2023~現在 デジタルマーケティングツール開発/サーバーサイド開発（NTTドコモ サービスイノベーション部）

本稿は、2024年10月2日に Microsoft Workloads on AWS で公開された “ How to optimize costs for Microsoft workloads on AWS ” を翻訳したものです。 Microsoft on AWS Cost Optimization (MACO) 推奨ガイド は、 Amazon Web Services (AWS) 上の新規および既存の Microsoft ワークロードの最適化に役立つように設計されたコスト最適化戦略のガイドです。ビジネス目標を達成する、コスト効率とパフォーマンス効率の高いワークロードを構築および自動化するための、基礎的なトレーニング、コスト最適化手法、リファレンス アーキテクチャを提供します。 MACO 推奨ガイドは 42 人の業界専門家によって作成され、AWS で実行されている Microsoft ワークロードにコスト最適化をどのように適用できるかの実例を提供しています。 なぜ MACO 推奨ガイドが必要なのでしょうか？今日の競争の激しいビジネス環境では、多くの企業がコスト最適化の方法を探しているかもしれません。 AWS では、 Well-Architected Framework の柱の 1 つにコストの最適化があります。私たちは、AWS 上の Microsoft ベースのアプリケーション (またはワークロード) が最もコスト効率の高いクラウド中心の設計パターンを使用していることを確認する一貫した方法が重要であることを理解しています。クラウドに移行する際の初期の導入戦略においては、機能への影響を避けるためにワークロードへの変更を最小限に抑えるリフトアンドシフトが多く採用されています。コストに関する懸念に対処するために、AWS のドキュメントやブログにアクセスしてガイダンスを求めたことがあるかもしれません。従うべき一貫したフレームワークがなければ、独自のコスト分析を実施し、変更を加える必要があり、それは非常に困難な道のりだったかもしれません。MACO 推奨ガイドは、コスト最適化の目標を達成するために参照する、一貫したフレームワークを提供します。 AWS への移行中において Microsoft ワークロードのコストを最適化するにはどうすればよいでしょうか？ コストの最適化は継続的かつ反復的なプロセスであり、ワークロードが稼働状態でも、ワークロードを移行中でも、実践することが可能です。コスト最適化ツールとして AWS Optimization and Licensing Assessment(OLA) を利用すると、オンプレミスから AWS に移行するワークロードを最適化する方法を決定することができます。この無料プログラムにより、新規と既存の両方のお客様が、ワークロードの適切なサイズ設定を行ってリソース効率を向上させることで、オンプレミス環境とクラウド環境を評価および最適化できるようになります。 OLA は、実際のリソース使用量 (CPU、メモリ、ディスク)、サードパーティ製品のライセンス、およびアプリケーションの依存関係を分析します。収集されたデータに基づき分析された情報は、クラウド移行の意思決定を行うのに役立ちます。 OLA を実行するにはさまざまなオプションがあります。既に使用中のモニタリング ツールを活用して、AWS が分析するためのデータをフラットファイルにて提供することも、 Migration Evaluator を使用して、ワークロードの最も完全な分析データを収集することも可能です。 Migration Evaluator は、オペレーティング システム エージェントを使用して、14 ～ 30 日間の使用状況データを収集します。これにより、AWS はアプリケーションの使用パターンに基づいたインスタンスのサイジングを推奨できるようになります。データが収集されると、移行を開始する前に、環境に関する調査結果と推奨事項を詳細に記載した包括的なレポートを受け取ることができます。 Parsons Corporation は、Migration Evaluator や AWS Optimization and Licensing Assessment (OLA) などのツールを使用して AWS への移行を行いました。その結果、現在のオンプレミス環境が可視化され、クラウド内のワークロードのサイズを適切に設定することで、ライセンスの最適化、ダウンタイムの削減、コンピューティング コストの削減の機会が特定されました。 Windows Server と SQL Server のワークロードを AWS に移行した後、Parsons は年間運用コストを 35% 削減することができました。全体として、AWS への移行により、Parsons はシステムの稼働時間を増やし、コストを管理しやすくし、新しいサービスの開発を数か月から数日にスピードアップして、さらなるイノベーションを促進することができました。 プロセス全体の詳細については、MACO 推奨ガイドの OLA セクション を参照してください。サンプルレポートや、ワークロードの分析に使用できるデータ収集方法の詳細についてもご覧いただけます。 AWS 上で実行されている既存の Microsoft ワークロードのコストを最適化するにはどうすればよいでしょうか？ MACO 推奨ガイドには、AWS で実行されている既存の Microsoft ワークロードに適用できる 40 を超えるコスト最適化の推奨事項が記載されています。しかし、既存のワークロードのコスト最適化を開始するための最良の方法としては、多くの場合、適切なサイジングとコンピューティングコストの削減が最も効果的となります。 AWS 最適化とライセンス評価により、AWS 環境のコスト効率を向上させます。 OLA は、実際のリソース使用率、サードパーティ製品のライセンス、アプリケーションの依存関係に基づいて、既存の AWS 環境を評価および最適化するために使用することもできます。既存のデプロイメント、アプリケーションのパフォーマンスを理解することで、AWS はリソースの適切なサイズを推奨事項として提供します。これにより、アプリケーションリソースの需要に合わせてコストを削減するための明確なロードマップが提供され、必要最低限のコスト支出を実現することができます。 AWS Compute Optimizer を使用して、コンピューティング ワークロードの適切なサイズを設定します。 AWS Compute Optimizer は、コストを削減し、パフォーマンスを向上させるために、ワークロードに対してより効率的な AWS コンピューティング リソースの推奨を行います。推奨事項を作成するために、既存の Amazon EC2 インスタンスの構成と使用率のメトリクスを分析します。分析されたデータは、既存のワークロードに最適な Amazon EC2 インスタンス タイプを推奨するために使用されます。 MACO 推奨ガイドでは、これらの AWS Compute Optimizer の推奨結果を改善する方法についての情報を提供します。 EC2 の適正化セクション では、お客様が AWS Compute Optimizer の推奨事項を使用して、EC2 インスタンスに Amazon CloudWatch エージェントをインストールしてメモリ使用率のメトリクスを収集し、コスト削減を平均 327% 改善する方法を示します。 また、AWS Compute Optimizerは、Amazon EC2で稼働するMicrosoft SQL Serverにおいて、ライセンス込み(license-included) およびライセンス持ち込み (BYOL) に関わらず、SQL Serverエディションのダウングレード機会を自動的に特定し、Microsoft SQL Serverのライセンスコストを最大74%削減する方法を提示します。 Savings Plans を使用して、定常状態のコンピューティングコストを削減します 。ワークロードのサイズが適切に調整されたら、 Savings Plans を使用して、Amazon EC2、 AWS Lambda 、 AWS Fargate 、 Amazon SageMaker の定常状態の使用におけるコンピューティングコストを節約できます。 Savings Plan は、オンデマンド価格と比較してコストを削減できる柔軟な価格モデルを提供します。 1 年または 3 年間にわたる特定の使用量をお約束いただくことで、割引きを受けることができます。 AWS Cost Optimization Hub を使用して最適化プロセスを簡素化します。 Savings Plans の推奨事項と AWS Compute Optimizer によるサイジング推奨事項を簡略化して表示するには、 AWS Cost Optimization Hub にアクセスしてください。 Cost Optimization Hub を使用すると、ダッシュボードを通じて、組織内の AWS アカウントおよび AWS リージョン全体にわたる AWS コスト最適化の推奨事項を簡単に特定、フィルタリング、統合することが可能となります。 MACO 推奨ガイドを使用して、テクノロジー固有の最適化手法を確認します。 適切なサイズ設定が完了し、他のコスト削減方法を探している場合は、MACO 推奨ガイドの .NET applications 、 Windows containers 、 SQL Server  、 Active Directory 、 Storage を参照ください。 できる限りの最適化を行いました。次はどうすればよいでしょうか？ 繰り返しのコスト最適化手法を使用することにより、最終的には、既存のアプリケーション構造の範囲内で完全に最適化された状態になるでしょう。アプリケーションのライフサイクルがこの時点に達した場合、さらに最適化するための次のステップとしてはモダナイゼーションが考えられます。 モダナイゼーションは、アプリケーションコード、インフラストラクチャ、データベースに及ぶ幅広いトピックです。 AWS は、ワークロードをさらに最適化するためにこれらの各領域でアプリケーションをモダナイズするのに役立つツールとサービスを提供しており、MACO 推奨ガイドではこれらのトピックについても詳しく説明しています。 .NET ワークロードの場合、 クロスプラットフォーム .NET へのモダナイゼーション を実現することで、アプリケーションを Linux オペレーティングシステム上で実行できるようになり、Windows Server ライセンスの削減に繋がります。 Windows Server のライセンスコストを削減すると、サーバーあたりのトータルコストを 25% 以上削減できます。さらに、Linux 上で実行される .NET アプリケーションは、同世代の x86 プロセッサよりも 45% 優れた価格パフォーマンスを実現 する AWS Graviton ARM プロセッサを利用できます。 .NET リファクタリング向けAWSツールキット は、開発者が .NET Framework アプリケーションを AWS 上のクラウドベースの代替案にリファクタリングするために必要なプロセスを迅速化するのに役立つ支援ツールです。 beIN Media Group Company の Digiturk は、従来の .NET Framework モノリシック アプリケーションを AWS 上の .NET マイクロサービス アーキテクチャにモダナイゼーションすることができ、65% のコスト削減を達成しました。 AWS パートナーの Kloia の支援により、Windows のライセンス コストを削減し、俊敏性を高め、モノリシック アーキテクチャによって引き起こされるスケーラビリティのボトルネックを取り除くことができました。 SQL Server ワークロードには追加のライセンスコストが必要ですが、多くのオープンソースデータベースやPurpose-built database では必要ありません。 AWS は、フロントエンドアプリケーションの変更を減らしながら SQL Server からオープンソースのリレーショナル データベースに移行したいと考えているお客様向けに、 Babelfish for Aurora PostgreSQL を提供しています。 こちらのMACO 推奨ガイド に記載されているように、Amazon EC2 の SQL Server Enterprise エディションから Aurora PostgreSQL に切り替えると、最大 70% のコストを削減できます。 BMC Software は、Microsoft SQL Server から Amazon Aurora に移行することで、データベースのワークロードをモダナイゼーションしました。この取り組みにより、AWS インフラストラクチャのコストが 42% 削減され、SQL Server のライセンス コストが削減され、データベース チームの生産性が 60% 以上向上しました。 ワークロードのモダナイゼーションを検討する準備ができている場合は、 Windows モダナイゼーション のページ にアクセスするか、アカウントチームに相談してください。 まとめ コストが最適化されたワークロードは、すべてのリソースを最大限に活用し、可能な限り低価格で目的を達成し、機能要件を満たします。ワークロードのコスト最適化について詳しく話し合う準備ができている場合は、MACO チームに対象分野の専門家が対応します。 AWS アカウントチームに連絡して、今すぐコスト最適化の取り組みを始めてください。 AWS には、他のクラウドプロバイダーよりもはるかに多くのサービスとそのサービス内の機能があり、既存のアプリケーションをクラウドに移行し、想像できるほぼすべてのものをより速く、簡単に、よりコスト効率よく構築できます。望むビジネス成果を推進するために必要なインフラストラクチャを Microsoft アプリケーションに提供します。 Microsoft ワークロードの追加のガイダンスとオプションについては、 .NET on AWS および AWS Database のブログを参照してください。今すぐ移行とモダナイゼーションの取り組みを始めたい場合は、 お問い合わせ ください。 著者について Chase Lindeman Chase Lindeman は、AWSのシニアスペシャリストソリューションアーキテクトであり、Microsoft テクノロジーに 20 年以上の経験があります。移行、コストの最適化、インフラストラクチャアーキテクチャを専門とし、AWS 上で Microsoft ワークロードを実行する専門知識を持っています。   Ali Alzand Ali は、AWSの Microsoft スペシャリスト ソリューション アーキテクトであり、世界中の顧客が Microsoft ワークロードを移行、モダナイゼーション、最適化することでクラウドの力を最大限に活用できるよう支援しています。クラウド運用を専門とし、Systems Manager、Amazon EC2 Windows、EC2 Image Builder などの AWS サービスを活用してクラウド変革を推進しています。仕事以外では、アウトドアを探索したり、週末に友達とバーベキューのためにグリルを焚いたり、さまざまな料理を試食したりすることを楽しんでいます。   Adilson Lopes Adilson Lopes は、AWS 上の Microsoft ワークロードの世界的な Go-To-Market スペシャリストです。 Adilson は、Microsoft テクノロジーをサポートするクラウド コンピューティングの 9 年以上の経験があります。現在の役割では、運用効率とコスト効率を達成しながら、顧客が AWS でインフラストラクチャのワークロードを移行およびモダナイゼーションできるよう支援することに重点を置いています。   Kevin Sookhan Kevin Sookhan は、AWS 上の Microsoft ワークロードを専門とする Microsoft スペシャリスト ソリューション アーキテクトです。Microsoft テクノロジーに 20 年以上携わった経験があり、Windows インフラストラクチャ、Active Directory、ストレージなどのトピックを専門としています。   Rob Higareda Rob Higareda は、AWS 上の Microsoft ワークロードのプリンシパル スペシャリスト ソリューション アーキテクトです。 Rob は、Microsoft テクノロジーのシステムエンジニアとして 20 年以上の経験を持ち、AWS に入社しました。彼は主に AWS で連邦政府の顧客と協力し、AWS 上の Microsoft ワークロードのセキュリティとインフラストラクチャ設計に重点を置いています。   翻訳は、カスタマーソリューションマネージャの大東が担当しました。

12 月 3 日、データ、分析、AI の統合プラットフォームである次世代の Amazon SageMaker を発表しました。Amazon SageMaker には、広く採用されている AWS の機械学習と分析機能が統合されています。中核となるのは SageMaker Unified Studio (プレビュー) です。これは、データ探索、準備と統合、ビッグデータ処理、高速 SQL 分析、モデル開発とトレーニング、生成 AI アプリケーション開発のための単一のデータおよび AI 開発環境です。この発表には、データレイクとデータウェアハウス全体のデータを統合する機能である Amazon SageMaker Lakehouse が含まれています。これにより、強力な分析や、人工知能と機械学習 (AI/ML) アプリケーションを単一のデータのコピー上で構築できます。 これらの発表に加えて、Amazon SageMaker Lakehouse のデータカタログとアクセス許可機能を発表できることを嬉しく思います。これにより、データソースへの接続、検索、アクセス権限の管理を一元的に行えるようになります。 現代の組織は、さまざまなシステムにデータを保存し、特定のユースケースや拡張要件に合わせて最適化しています。その結果、データレイク、データウェアハウス、データベース、ストリーミングサービス間でデータサイロ化が発生することがよくあります。アナリストやデータサイエンティストは、これらの多様なソースのデータに接続して分析しようとするときに、課題に直面します。データソースごとに専用のコネクターをセットアップし、複数のアクセスポリシーを管理する必要があります。また、多くの場合、データのコピーに頼る必要があり、これはコストの増加やデータの一貫性の低下につながります。 この新機能は、一般的なデータソースへの接続、カタログ化、権限の適用、データを SageMaker Lakehouse と Amazon Athena を通じて分析できるようにするプロセスを簡素化することで、これらの課題に対処します。 AWS Glue データカタログ は、場所に関係なく、すべてのデータソースの単一のメタデータストアとして使用できます。これにより、利用可能なすべてのデータを一元的に表示できます。 データソース接続は一度作成すれば再利用できるため、接続を繰り返し設定する必要はありません。データソースに接続すると、データベースとテーブルが自動的にカタログ化され、 AWS Lake Formation に登録されます。カタログを作成したら、それらのデータベースとテーブルへのアクセスをデータアナリストに許可します。これにより、データアナリストは各データソースに接続する個別の手順を踏む必要がなく、組み込みのデータソースシークレットを把握する必要もありません。Lake Formation の権限を使用して、データレイク、データウェアハウス、オンライントランザクション処理 (OLTP) データソースにわたる、きめ細かなアクセス制御 (FGAC) ポリシーを定義できるため、Athena でクエリを実行する際に一貫した適用が可能になります。データは元の場所に残るため、コストと時間のかかるデータ転送や複製が不要になります。データカタログで既存のデータソース接続を作成または再利用し、 Amazon Simple Storage Service (Amazon S3) 、 Amazon Redshift 、 Amazon Aurora 、 Amazon DynamoDB (プレビュー) 、Google BigQuery などを含む複数のデータソースへの 組み込みコネクター を設定できます。 Athena と Lake Formation の統合を開始する この機能を紹介するために、Amazon DynamoDB をデータソースとして組み込んだ事前設定済みの環境を使用します。機能を効果的に実証するため、適切なテーブルとデータを使用して環境をセットアップします。このデモンストレーションでは、SageMaker Unified Studio (プレビュー) インターフェイスを使用します。 まず、Amazon SageMaker ドメインを通じて SageMaker Unified Studio (プレビュー) にアクセスします。ここで、共有ワークスペースとして機能するプロジェクトを作成および管理できます。これらのプロジェクトにより、チームメンバーは共同でデータを操作し、ML モデルを開発できるようになります。プロジェクトを作成すると、AWS Glue データカタログのデータベースが自動的にセットアップされ、Redshift Managed Storage (RMS) データのカタログが確立され、必要な権限がプロビジョニングされます。 プロジェクトを管理するには、 [すべてのプロジェクトを閲覧] を選択して既存のプロジェクトの包括的なリストを表示するか、 [コピーを作成] を選択して新しいプロジェクトを作成できます。私は既存の 2 つのプロジェクトを使用します。管理者がすべてのデータへのフルアクセス権を持つセールスグループと、アナリストが制限されたデータアクセス権限で作業を行うマーケティングプロジェクトです。この設定は、管理者アクセスレベルと制限付きユーザーアクセスレベルの違いを効果的に示しています。 このステップでは、ターゲットデータソースである Amazon DynamoDB のフェデレーションカタログを設定します。左側のナビゲーションペインの [データ] に移動し、 + (プラス) 記号を選択して、 [データを追加] を選択します。 [接続を追加] を選択し、 [次へ] を選択します。 [Amazon DynamoDB] を選択し、 [次へ] を選択します。 詳細を入力して [データを追加] を選択します。これで、SageMaker Lakehouse で Amazon DynamoDB フェデレーションカタログが作成されました。ここで管理者はリソースポリシーを使用してアクセスを許可します。この環境では既にリソースポリシーを設定済みです。それでは、SageMaker Unified Studio (プレビュー) でのきめ細かなアクセス制御の仕組みについて説明します。 まず、管理者が顧客データを管理し、フルアクセスできる sales-group プロジェクトを選択します。このデータセットには、郵便番号、顧客 ID、電話番号などのフィールドが含まれています。このデータを分析するには、 [Athena を使用してクエリ] を使用することで、クエリを実行します。 [Athena を使用してクエリ] を選択すると、クエリエディタが自動的に起動し、レイクハウスに対して SQL クエリを作成して実行できるワークスペースが表示されます。この統合クエリ環境により、データの探索と分析をシームレスに行うことができます。 第 2 部では、 [marketing-project] に切り替えて、アナリストがクエリを実行したときにどのような体験をするかを表示し、きめ細かなアクセス制御許可が設定されていて機能していることを確認します。 第 2 部では、 [marketing-project] 環境に切り替えて、アナリストの視点を示します。これにより、きめ細かなアクセス制御権限が適切に実装され、データアクセスが意図したとおりに効果的に制限されていることを確認できます。クエリ例を通じて、アナリストが確立されたセキュリティ管理の対象でありながら、データを操作する方法を観察できます。 [Athena を使用してクエリ] オプションを使用し、テーブルで SELECT ステートメントを実行してアクセス制御を確認します。結果から、予想どおり zipcode 列と cust_id 列しか表示できず、 phone 列は設定された許可に基づき制限されたままであることを確認しました。 Amazon SageMaker Lakehouse のこれらの新しいデータカタログとアクセス許可機能により、データエコシステム全体でデータの整合性とコンプライアンスを維持しながら、データ運用の合理化、セキュリティガバナンスの強化、AI/ML 開発の加速を行うことが可能になります。 今すぐご利用いただけます Amazon SageMaker Lakehouse のデータカタログとアクセス許可は、統合カタログに接続するときにフェデレーテッドクエリによるインタラクティブな分析を簡素化し、複数のデータソースにわたるデータカタログとアクセス権限により、データレイク、データウェアハウス、OLTP データソース全体にわたってきめ細かなセキュリティポリシーを一元的に定義して適用し、高パフォーマンスのクエリエクスペリエンスを実現します。 この機能は、米国東部 (バージニア北部)、米国西部 (オレゴン)、米国東部 (オハイオ)、欧州 (アイルランド)、アジアパシフィック (東京) の AWS リージョンでご利用いただけます。 この新機能の使用を開始するには、 Amazon SageMaker Lakehouse のドキュメントをご覧ください。 – Esra 原文は こちら です。

12 月 3 日、アプリケーションからのゼロ ETL 統合のための Amazon SageMaker Lakehouse と Amazon Redshift のサポートの一般提供を発表しました。 Amazon SageMaker Lakehouse は、 Amazon Simple Storage Service (Amazon S3) データレイクと Amazon Redshift データウェアハウスにわたるすべてのデータを統合し、単一のデータのコピーでの強力な分析と AI/ML アプリケーションの構築を支援します。SageMaker Lakehouse では、Apache Iceberg と互換性のあるすべてのツールとエンジンを使用して、その場でデータに柔軟にアクセスし、クエリを実行できます。ゼロ ETL は、AWS によるフルマネージド型の統合のセットです。一般的な取り込みとレプリケーションのユースケース向けに ETL データパイプラインを構築する必要性を最小限に抑えます。Salesforce、SAP、Zendesk などのアプリケーションからのゼロ ETL 統合を使用すると、データパイプラインの構築にかかる時間を削減し、Amazon SageMaker Lakehouse と Amazon Redshift のすべてのデータに対して統合分析を実行することに集中できます。 組織がますます多様化するデジタルシステムに依存している今、データの断片化は重要な課題となっています。貴重な情報は、データベース、アプリケーション、その他のプラットフォームを含む複数のリポジトリに分散していることがよくあります。データの可能性を最大限に活用するには、企業はこれらのさまざまなソースへのアクセスと統合を可能にする必要があります。この課題に対応するために、ユーザーはデータパイプラインを構築し、複数のアプリケーションから一元化されたデータレイクやデータウェアハウスにデータを抽出してロード (EL) することができます。ゼロ ETL を使用すると、カスタマーサポート、関係管理、エンタープライズリソースプランニング (ERP) アプリケーションからの貴重なデータを、データレイクやデータウェアハウスに効率的にレプリケートし、分析や AI/ML に活用できるため、データパイプラインの設計、構築、テストに必要となる何週間分ものエンジニアリング作業を削減できます。 前提条件 AWS Glue データカタログ と AWS Lake Formation を通じて設定された Amazon SageMaker Lakehouse カタログ。 データが保存される Amazon S3 向けに設定された AWS Glue データベース。 データソースへの接続に使用する、 AWS シークレットマネージャーのシークレット 。認証情報には、アプリケーションへのサインインに使用するユーザー名とパスワードが含まれている必要があります。 使用する Amazon SageMaker Lakehouse ジョブまたは Amazon Redshift ジョブ用の AWS Identity and Access Management (IAM) ロール。ロールは、Amazon S3 や AWS Secrets Manager など、ジョブによって使用されるすべてのリソースへのアクセス許可を付与する必要があります。 目的のアプリケーションへの有効な AWS Glue 接続。 仕組み – Glue 接続の前提条件の作成 まず、 AWS Glue コンソール を使用して接続を作成します。データソースとして Salesforce 統合を選択しました。 次に、接続に使用する Salesforce インスタンスの場所と、その他の必要な情報を指定します。必ず .force.com ではなく、 .salesforce.com ドメインを使用してください。ユーザは、Salesforce アクセストークンを通じて取得される JSON Web トークン (JWT) と、ブラウザ経由の OAuth ログインの 2 つの認証方法のいずれかを選択できます。 すべての情報を確認し、 [接続を作成] を選択します。 ポップアップ (ここには表示されていません) から Salesforce インスタンスにサインインすると、接続が正常に作成されます。 仕組み – ゼロ ETL 統合の作成 接続できたので、左側のナビゲーションパネルから [ゼロ ETL 統合] を選択してから、 [ゼロ ETL 統合を作成] を選択します。 まず、統合のソースタイプ (この場合は Salesforce) を選択します。これにより、最近作成した接続を使用できるようになります。 次に、AWS Glue のターゲットデータベースにレプリケートするオブジェクトをデータソースから選択します。 オブジェクトを追加する過程で、データとメタデータの両方をすばやくプレビューして、正しいオブジェクトを選択していることを確認できます。 ゼロ ETL 統合はデフォルトで、60 分ごとにソースからターゲットにデータを同期します。ただし、頻繁な更新が不要な場合は、この間隔を変更してレプリケーションのコストを削減できます。 確認して、 [統合を作成して起動] を選択します。 ソース (Salesforce インスタンス) のデータが、私の AWS アカウントのターゲットデータベース salesforcezeroETL にレプリケートされました。この統合には 2 つのフェーズがあります。フェーズ 1: 初期ロードでは、選択したオブジェクトのすべてのデータが取り込まれます。これらのオブジェクト内のデータのサイズによっては、15 分から数時間かかる場合があります。フェーズ 2: 増分ロードは、変更 (新しいレコード、更新されたレコード、削除されたレコードなど) を検出し、それらをターゲットに適用します。 前に選択した各オブジェクトは、データベース内のそれぞれのテーブルに格納されています。ここから、データソースからレプリケートされた各オブジェクトの テーブルデータ を表示できます。 最後に、Salesforce のデータのビューを次に示します。Salesforce で新しいエンティティが作成されたり、既存のエンティティが更新または変更されたりすると、データの変更は AWS Glue のターゲットに自動的に同期されます。 今すぐご利用いただけます アプリケーションからのゼロ ETL 統合のための Amazon SageMaker Lakehouse と Amazon Redshift のサポートは、米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (オレゴン)、アジアパシフィック (香港)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (東京)、欧州 (フランクフルト)、欧州 (アイルランド)、欧州 (ストックホルム) の AWS リージョン でご利用いただけるようになりました。料金の情報は、 AWS Glue の料金ページ をご覧ください。 詳細については、「 AWS Glue ユーザーガイド 」をご覧ください。フィードバックは、 AWS re:Post for AWS Glue に送信するか、AWS サポートの通常の連絡先を通じてお寄せください。今すぐ新しい ゼロ ETL 統合 を作成することから始めましょう。 –  Veliswa 原文は こちら です。

12 月 3 日、Amazon SageMaker Lakehouse の一般提供をお知らせできたことを大変嬉しく思います。これは Amazon Simple Storage Service (Amazon S3) データレイクと Amazon Redshift データウェアハウス全体のデータを統合する機能で、強力な分析や、人工知能と機械学習 (AI/ML) アプリケーションを単一のデータのコピー上に構築するのに役立ちます。SageMaker Lakehouse は次世代 Amazon SageMaker の一部です。Amazon SageMaker はデータ、分析、AI の統合プラットフォームで、広く採用されている AWS の機械学習と分析機能を統合し、分析と AI の統合エクスペリエンスを提供します。 お客様はデータをもっと活用したいと考えています。分析ジャーニーをより迅速に進めるために、データの保存に適したストレージとデータベースを選択しています。データはデータレイク、データウェアハウス、さまざまなアプリケーションに分散しているため、データサイロ化が進み、アクセスや利用が困難になっています。この断片化は、重複したデータコピーや複雑なデータパイプラインにつながり、ひいては組織のコストを増大させます。さらに、データを保存する方法と場所によって選択肢が限られるため、お客様は特定のクエリエンジンとツールを使用するしかありません。この制限により、希望どおりにデータを処理することができなくなります。しかも、データへのアクセスに一貫性がないため、お客様が情報に基づくビジネス上の意思決定を行うことが困難になります。 SageMaker Lakehouse は、お客様が Amazon S3 データレイクと Amazon Redshift データウェアハウス全体でデータを統合できるようにすることで、これらの課題に対処します。Apache Iceberg と互換性のあるすべてのエンジンとツールを使用して、その場でデータへのアクセスとクエリを柔軟に行うことができます。SageMaker Lakehouse では、きめ細かな権限を一元的に定義して複数の AWS サービスに適用できるため、データ共有とコラボレーションが簡単になります。SageMaker レイクハウスにデータを取り込むのは簡単です。既存のデータレイクやデータウェアハウスのデータにシームレスにアクセスできるだけでなく、 Amazon Aurora 、 Amazon RDS for MySQL 、 Amazon DynamoDB などのオペレーショナルデータベースや、Salesforce や SAP などのアプリケーションからもゼロ ETL を使用できます。SageMaker レイクハウスは既存の環境に適合します。 SageMaker Lakehouse の使用を開始する このデモンストレーションでは、複数の AWS データソースを含む事前設定済みの環境を使用します。Amazon SageMaker Unified Studio (プレビュー) コンソールに移動します。このコンソールでは、すべてのデータと AI の統合開発エクスペリエンスが提供されます。Unified Studio を使用すると、使い慣れた AWS ツールを分析や AI/ML に使用しながら、SageMaker Lakehouse を通じてさまざまなソースからのデータにシームレスにアクセスして、クエリを実行できます。 ここで、共有ワークスペースとして機能するプロジェクトを作成および管理できます。これらのプロジェクトにより、チームメンバーは共同作業、データ処理、AI モデルの共同開発を行うことができます。プロジェクトを作成すると、AWS Glue データカタログのデータベースが自動的にセットアップされ、Redshift Managed Storage (RMS) データのカタログが確立され、必要な権限がプロビジョニングされます。新しいプロジェクトを作成することから始めることも、既存のプロジェクトを続行することもできます。 新しいプロジェクトを作成するには、 [プロジェクトを作成] を選択します。 レイクハウスを構築して操作するためのプロジェクトプロファイルオプションは 2 つあります。1 つ目は データ分析と AI-ML モデルの開発 です。ここではデータを分析して、 Amazon EMR 、 AWS Glue 、Amazon Athena、Amazon SageMaker AI、SageMaker Lakehouse を利用した ML と生成 AI モデルを構築できます。2 つ目は SQL 分析 です。SQL を使用して SageMaker Lakehouse 内のデータを分析できます。このデモでは、 SQL 分析 を進めます。 [プロジェクト名] フィールドにプロジェクト名を入力し、 [プロジェクトプロファイル] で [SQL 分析] を選択します。 [続行] を選択します。 すべてのパラメータの値を [ツール] に入力します。値を入力して [Lakehouse] データベースを作成します。値を入力して [Redshift サーバーレス] リソースを作成します。最後に、 [Lakehouse カタログ] にカタログの名前を入力します。 次のステップでは、リソースを確認して [プロジェクトを作成] を選択します。 プロジェクトが作成されたら、プロジェクトの詳細を確認します。 ナビゲーションペインの [データ] に移動し、+ (プラス) 記号を選択して [データを追加] します。 [カタログを作成] を選択して新しいカタログを作成し、 [データを追加] を選択します。 RMS カタログを作成したら、ナビゲーションペインで [ビルド] を選択し、 [データ分析と統合] で [クエリエディタ] を選択して RMS カタログにスキーマを作成し、テーブルを作成してから、サンプル売上データを含むテーブルをロードします。 指定されたセルに SQL クエリを入力した後、右のドロップダウンメニューから [データソースを選択] を選択して Amazon Redshift データウェアハウスへのデータベース接続を確立します。この接続により、クエリを実行してデータベースから目的のデータを取得できます。 データベース接続が正常に確立されたら、 [すべて実行] を選択してすべてのクエリを実行し、すべての結果が表示されるまで実行の進行状況をモニタリングします。 このデモンストレーションでは、事前設定済みのカタログをさらに 2 つ使用します。カタログは、スキーマやテーブルなどの Lakehouse オブジェクト定義を整理するコンテナです。1 つ目は Amazon S3 データレイクカタログ ( test-s3-catalog ) で、詳細な取引情報や統計情報を含む顧客レコードを保存します。2 つ目は、顧客離脱データの保存と管理に特化したレイクハウスカタログ ( churn_lakehouse ) です。この統合により、顧客行動と顧客離脱予測を同時に分析できる統合環境が構築されました。 ナビゲーションペインで [データ] を選択し、 [Lakehouse] セクションでカタログを見つけます。SageMaker Lakehouse には、 [Athena を使用してクエリ] 、 [Redshift を使用してクエリ] 、 [Jupyter Lab Notebook で開く] など、複数の分析オプションが用意されています。 [Jupyter Lab Notebook を開く] オプションを使用する場合は、プロジェクトを作成するときに [データ分析と AI-ML モデル開発] プロファイルを選択する必要があることに注意してください。  [Jupyter Lab Notebook で開く] を選択すると、EMR 7.5.0 経由の Apache Spark または AWS Glue 5.0 を使用して SageMaker Lakehouse を操作できます。Iceberg REST カタログを設定することで、データレイクやデータウェアハウス全体のデータを統一された方法で処理できるようになります。 Jupyter Lab Notebook を使用したクエリ方法を次に示します。 続けて [Athena を使用してクエリ] を選択します。このオプションを使用すると、Amazon Athena のサーバーレスクエリ機能を使用して、SageMaker Lakehouse 内で売上データを直接分析できます。  [Athena を使用してクエリ] を選択すると、 クエリエディタ が自動的に起動し、レイクハウスに対して SQL クエリを作成して実行できるワークスペースが表示されます。この統合クエリ環境は、生産性を向上させる構文強調表示やオートコンプリート機能を備えているため、データの探索と分析をシームレスに行うことができます。 [Redshift を使用してクエリ] オプションを使用して、レイクハウスに対して SQL クエリを実行することもできます。 SageMaker Lakehouse は、最新のデータ管理と分析のための包括的なソリューションを提供します。SageMaker Lakehouse は、複数のソースにわたるデータへのアクセスを統合し、幅広い分析と ML エンジンをサポートして、きめ細かなアクセス制御を提供することで、データアセットを最大限に活用できるよう支援します。SageMaker Lakehouse は、Amazon S3 のデータレイク、Amazon Redshift のデータウェアハウス、運用データベースやアプリケーションのいずれを扱う場合でも、イノベーションを推進し、データ主導の意思決定を行うために必要となる柔軟性とセキュリティを提供します。何百ものコネクタを使用して、さまざまなソースからのデータを統合できます。さらに、サードパーティーのデータソース全体にわたる統合クエリ機能を使用し、その場でデータにアクセスしてクエリを実行できます。 今すぐご利用いただけます SageMaker Lakehouse には、 AWS マネジメントコンソール 、API、 AWS コマンドラインインターフェイス (AWS CLI) 、 AWS SDK からアクセスできます。 AWS Glue データカタログ と AWS Lake Formation からアクセスすることもできます。SageMaker Lakehouse は、米国東部 (バージニア北部)、米国西部 (オレゴン)、米国東部 (オハイオ)、欧州 (アイルランド)、欧州 (フランクフルト)、欧州 (ストックホルム)、アジアパシフィック (シドニー)、アジアパシフィック (香港)、アジアパシフィック (東京)、アジアパシフィック (シンガポール) の AWS リージョン でご利用いただけます。 料金の情報については、 Amazon SageMaker の料金 をご覧ください。 Amazon SageMaker Lakehouse の詳細や、データ分析と AI/ML ワークフローを簡素化する方法については、 Amazon SageMaker Lakehouse のドキュメントをご覧ください。 – Esra 原文は こちら です。

サーバーレスの NoSQL データベースである Amazon DynamoDB は、100 万人を超えるお客様が低レイテンシーで大規模なアプリケーションを構築するために使用している、信頼度の高いソリューションです。データが増加するにつれて、組織は DynamoDB に保存されることが多い運用データから貴重なインサイトを引き出す方法を常に模索しています。しかし、Amazon DynamoDB のこのデータを分析と機械学習 (ML) のユースケースで最大限に活用するために、お客様はカスタムデータパイプラインを構築することがよくあります。これは時間のかかるインフラストラクチャタスクであり、コアビジネスに独自の価値をもたらすことはほとんどありません。 12 月 3 日より、Amazon DynamoDB ゼロ ETL 統合を Amazon SageMaker Lakehouse と統合することで、DynamoDB テーブルの容量を消費することなく、数回クリックするだけで分析と ML ワークロードを実行できるようになりました。Amazon SageMaker Lakehouse は、Amazon S3 データレイクと Amazon Redshift データウェアハウスにわたるすべてのデータを統合し、単一のデータコピーに基づいて強力な分析と AI/ML アプリケーションを構築するのに役立ちます。 ゼロ ETL は、ETL データパイプラインを構築する必要性を排除または最小限に抑える統合セットです。このゼロ ETL 統合により、データパイプラインの構築と維持に必要なエンジニアリング作業の複雑さが軽減されます。これは、本番環境のワークフローに影響を与えることなく、Amazon DynamoDB の運用データに対して分析および機械学習ワークロードを実行しているユーザーにとってメリットがあります。 使用を開始する 次のデモでは、Amazon SageMaker Lakehouse が管理する Amazon Simple Storage Service データレイクを使用して、Amazon DynamoDB 内のデータのゼロ ETL 統合を設定する必要があります。ゼロ ETL 統合を設定する前に、完了しておくべき前提条件があります。セットアップ方法の詳細については、この Amazon DynamoDB ドキュメント ページを参照してください。 前提条件をすべて満たしたら、この統合を開始できます。 AWS Glue コンソールに移動し、 [データ統合と ETL] で [ゼロ ETL 統合] を選択します。次に、 [ゼロ ETL 統合を作成] を選択します。 ここには、データソースを選択するオプションがあります。 [Amazon DynamoDB] を選択し、 [次へ] を選択します。 次に、ソースとターゲットの詳細を設定する必要があります。 [ソースの詳細] セクションで、Amazon DynamoDB テーブルを選択します。 [ターゲットの詳細] セクションで、AWS Glue データカタログで設定した S3 バケットを指定します。 この統合をセットアップするには、AWS Glue に必要な許可を付与する IAM ロールが必要です。IAM アクセス許可の設定に関するガイダンスについては、 Amazon DynamoDB ドキュメント を参照してください。また、AWS Glue データカタログのリソースポリシーをまだ設定していない場合は、 [修正する] を選択して必要なリソースポリシーを自動的に追加できます。 ここには、出力を設定するオプションがあります。 [データパーティショニング] では、パーティショニングに DynamoDB テーブルキーを使用するか、カスタムパーティションキーを指定できます。設定が完了したら、 [次へ] を選択します。 [修正する] チェックボックスを選択したので、次のステップに進む前に、必要な変更を確認して [続行] を選択する必要があります。 次のページでは、データ暗号化を柔軟に設定できます。 AWS Key Management Service (AWS KMS) またはカスタム暗号化キーを使用できます。次に、統合に名前を割り当て、 [次へ] を選択します。 最後のステップでは、設定を確認する必要があります。問題がなければ、 [次へ] を選択して ゼロ ETL 統合を作成します。 最初のデータインジェストが完了すると、ゼロ ETL 統合を使用できるようになります。完了時間は、ソース DynamoDB テーブルのサイズによって異なります。 左側のナビゲーションパネルの [データカタログ] の下の [テーブル] に移動すると、 [スキーマ] などの詳細が表示されます。このゼロ ETL 統合では、内部で Apache Iceberg を使用して、DynamoDB データ内のデータ形式と構造に関連するデータ形式と構造を Amazon S3 に変換します。 最後に、すべてのデータが S3 バケットで利用可能であることがわかります。 このゼロ ETL 統合により、データ移動の複雑さと運用上の負担が大幅に軽減されるため、パイプラインの管理ではなくインサイトの抽出に集中できます。 今すぐご利用いただけます この新しいゼロ ETL 機能は、米国東部 (バージニア北部、オハイオ)、米国西部 (オレゴン)、アジアパシフィック (香港、シンガポール、シドニー、東京)、欧州 (フランクフルト、アイルランド、ストックホルム) の AWS リージョンでご利用いただけます。 Amazon SageMaker Lakehouse と Amazon DynamoDB ゼロ ETL 統合を使用してデータ分析ワークフローを合理化する方法をご覧ください。使用を開始する方法の詳細については、 Amazon DynamoDB ドキュメント ページを参照してください。 構築がうまくいきますように。 –  Donnie 原文は こちら です。

12 月 3 日、データ、分析、AI の統合プラットフォームである次世代の Amazon SageMaker を発表しました。Amazon SageMaker には、広く採用されている AWS の機械学習と分析機能が統合されています。この発表には、データと AI アセットの管理を合理化する一連の機能である Amazon SageMaker Data and AI Governance が含まれています。 データチームは、組織全体でデータや AI モデルを見つけ、アクセスし、共同作業を行う際に、しばしば課題に直面します。関連アセットを発見し、その背景を理解して、適切なアクセスを取得するプロセスは複雑で時間がかかり、生産性とイノベーションを妨げる可能性があります。 SageMaker Data and AI Governance は、データと AI アセットのカタログ化、発見、管理を一元的に行うことで、包括的な機能セットを提供します。 Amazon DataZone 上に構築された SageMaker Catalog を中心としており、Amazon SageMaker Unified Studio (プレビュー) からアクセスできる一元化されたリポジトリを提供しています。カタログは SageMaker プラットフォームに直接組み込まれ、既存の SageMaker ワークフローやツールとシームレスに統合できるため、エンジニア、データサイエンティスト、アナリストは、高度な検索機能を通じて承認されたデータやモデルを安全に見つけて使用できます。SageMaker プラットフォームを使用すると、ユーザーはガードレールを使用して AI モデルを保護し、責任ある AI ポリシーを実装できます。 SageMaker の主なデータおよび AI ガバナンス機能は次のとおりです。 エンタープライズ対応ビジネスカタログ – ビジネスコンテキストを追加し、組織内の全員がデータと AI アセットを検出できるようにするために、自動メタデータ生成を使用してカタログをカスタマイズできます。自動メタデータ生成では、機械学習 (ML) を使用して、データアセットと、それらのアセット内の列のビジネス名を自動的に生成します。メタデータのキュレーション機能が改善され、複数のビジネス用語集の用語をアセットにアタッチしたり、用語集の用語をアセット内の個別の列にアタッチしたりできるようになりました。 データおよび AI ワーカー向けのセルフサービス – データの自律性を提供して、ユーザーがデータを公開および利用できるようにするために、API を使用してあらゆるタイプのアセットをカスタマイズし、カタログに取り込むことができます。データパブリッシャーは、サポートされているデータソースからデータソースを実行したり、手動でファイルを公開したりすることで、メタデータの検出を自動化できます。また、データセットがカタログに取り込まれると、生成 AI が生成するデータ記述を使用してメタデータを自動的に充実させることができます。その後、データ利用者はファセット検索を使用して、データをすばやく見つけて理解し、アクセスを要求できます。 データとツールへのアクセスの簡素化 – ビジネス目的に基づいてデータと AI アセットを管理するために、プロジェクトはビジネスユースケースベースの論理コンテナとして機能します。プロジェクトを作成し、特定のビジネスユースケースに基づいてユーザー、データ、分析ツールをグループ化して共同作業できます。プロジェクト内では、分析および AI ツールやストレージなどの必要なインフラストラクチャをプロジェクトメンバーに提供する環境を作成して、プロジェクトメンバーが新しいデータを簡単に生成したり、アクセス権のあるデータを利用したりできるようにすることができます。これは、ニーズに応じて複数の機能や分析ツールを同じプロジェクトに追加することを支援します。 統制されたデータとモデル共有 – データプロデューサーは、コンシューマーがアクセスをリクエストし、データ所有者が承認することを可能にするサブスクリプション承認ワークフローを使用して、データへのアクセスを所有および管理します。公開時にアセットにアタッチされるサブスクリプション条件を設定したり、AWS マネージドのデータレイクと Amazon Redshift のサブスクリプション付与のフルフィルメントを自動化したりできるようになりました (他のソースのために Amazon EventBridge イベントを利用してカスタマイズすることもできます)。 すべてのアプリケーションでの一貫したレベルの AI 安全性の実現 – Amazon Bedrock Guardrails は、ユースケース固有のポリシーに基づいてユーザー入力と基盤モデル (FM) の応答を評価するのに役立ち、基盤となる基盤モデルに関係なく追加の保護手段を提供します。AWS AI ポートフォリオには、TensorFlow Hub、PyTorch Hub、Hugging Face、MxNet GluonCV などのモデルハブからの事前トレーニング済みのモデルを含む、何百もの組み込みアルゴリズムが用意されています。SageMaker Python SDK を使用して組み込みアルゴリズムにアクセスすることもできます。組み込みアルゴリズムは、データ分類 (画像、テキスト、表) や感情分析などの一般的な ML タスクに対応します。 既存のプロセスとのシームレスな統合のため、SageMaker Data and AI Governance は API サポートを提供し、プログラムによるアクセスによるセットアップと構成を可能にします。 Amazon SageMaker Data and AI Governance の使用方法 このデモンストレーションでは、事前設定済みの環境を使用します。Amazon SageMaker Unified Studio (プレビュー) コンソールに移動します。このコンソールでは、すべてのデータと AI ユースケースの統合開発エクスペリエンスが提供されます。ここで、共有ワークスペースとして機能するプロジェクトを作成および管理できます。これらのプロジェクトにより、チームメンバーは共同でデータを操作し、ML モデルを開発できるようになります。 まず、ナビゲーションバーの [管理] メニューから始めましょう。 ドメインユニットおよび認可ポリシーと呼ばれる新しいデータガバナンス機能により、ビジネスユニットレベルおよびチームレベルの組織を作成し、ビジネスニーズに合わせてポリシーを管理できます。ドメインユニットを追加すると、ビジネスユニットまたはチームに関連するデータアセットやプロジェクトを整理、作成、検索、検索できます。認可ポリシーを使用すると、プロジェクトと用語集を作成するためのアクセスポリシーを設定できます。 ドメインユニットは、データアセットの公開や Amazon SageMaker 内のコンピューティングリソースの利用などの重要なアクションに対するセルフサービスガバナンスにも役立ちます。プロジェクトを選択し、左側のナビゲーションペインの [データソース] タブに移動します。このセクションを使用して、データアセットをビジネスデータカタログに公開するための新しいデータソースを追加したり、既存のデータソースを管理したりして、すべてのユーザーが検索できるようにすることができます。 トップページに戻り、 [データカタログ] を選択することで引き続き確認を続けます。データカタログは、ユーザーが組織内の複数のデータソースから利用可能なすべてのデータアセットを検索および検索できる一元化されたハブとして機能します。このカタログは、 Amazon Simple Storage Service (Amazon S3) 、 Amazon Redshift 、 AWS Glue など、さまざまなデータソースに接続します。 セマンティック検索機能を使用すると、自然言語クエリを使用して関連するデータアセットを迅速かつ効率的に見つけることができるため、データ発見がより直感的になります。 検索データ 領域に領域に イベント を入力します。 AWS Glue テーブルや Amazon Redshift などのアセットタイプに基づいてフィルターを適用できます。 Amazon Q Developer 統合により、会話型言語を使用してデータを操作できるため、ユーザーはデータアセットを簡単に見つけて理解できるようになります。「イベントに関連するデータセットを表示」や「収益に関連するデータセットを表示」などのサンプルコマンドを使用できます。 詳細ビューには、AI が生成した説明、データ品質指標、データリネージなど、各データセットに関する包括的な情報が表示され、データの内容と出所を理解するのに役立ちます。 サブスクリプションプロセスには制御されたアクセスメカニズムが実装されており、ユーザーはデータアクセスの必要性を正当化して、適切なデータガバナンスとセキュリティを確保する必要があります。 [サブスクライブ] を選択してアクセスをリクエストします。 ポップアップウィンドウで、プロジェクトを選択し、「アクセスが必要」などのリクエストの理由を入力して、[リクエスト] を選択します。リクエストはデータ所有者に送信されます。 この最後のステップでは、構造化された承認ワークフローを通じてデータアクセスが適切に管理され、データセキュリティとコンプライアンス要件が維持されます。所有者の承認プロセス中、データ所有者は通知を受け取り、アクセスの承認または拒否を選択する前にリクエストの詳細を確認できます。その後承認されると、リクエスト者はデータテーブルにアクセスできるようになります。 今すぐご利用いただけます Amazon SageMaker Data and AI Governance は、データと AI アセット管理の改善を検討している組織に大きなメリットをもたらします。このソリューションは、構造化された承認ワークフローを通じてセキュリティとコンプライアンスを提供すると同時に、データと AI アセットのカタログ化、発見、管理のための包括的な機能を提供することで、データサイエンティスト、エンジニア、アナリストがリソースの発見とアクセスにおける課題を克服するのに役立ちます。 料金の情報については、 Amazon SageMaker の料金 をご覧ください。 Amazon SageMaker データと AI ガバナンスの使用を開始するには、 Amazon SageMaker ドキュメント をご覧ください。 – Esra 原文は こちら です。

12 月 3 日、2024 年 6 月の プレビューリリース に続き、 Amazon DataZone でのデータリネージの一般公開についてお知らせできることを嬉しく思います。この機能は、データ、分析、AI の統合プラットフォームである次世代の Amazon SageMaker のカタログ機能の一部としても拡張されています。 従来、ビジネスアナリストはデータの出所を検証するために手作業による文書化や個人的なつながりに頼っていたため、このプロセスには一貫性がなく、時間がかかっていました。データエンジニアは、特にセルフサービス分析の採用が増えるにつれて、データアセットに対する変更の影響を評価するのに苦労してきました。さらに、データガバナンスチームは、慣行の実施やデータ移動に関する監査人の問い合わせへの対応において、困難に直面しています。 Amazon DataZone のデータリネージは、自社のデータを戦略的分析に使用することで、競争力を維持しようとする組織が直面する課題に対処します。データアセットの視覚的かつ追跡可能な履歴を提供することで、データの信頼性と検証を強化し、ビジネスアナリストが手作業で調査しなくてもデータの出所をすばやく理解できるようになります。データエンジニアにとっては、アセット間の関係を明確に示し、データフローを簡単に追跡できるため、影響分析とトラブルシューティングが容易になります。 この機能は、データ移動を包括的に把握できるようにすることで、データガバナンスとコンプライアンスの取り組みをサポートし、ガバナンスチームがコンプライアンスの問い合わせに迅速に対応して、データポリシーを適用できるようにします。これにより、データの発見と理解が深まり、消費者はデータアセットのコンテキストと関連性をより効率的に把握できるようになります。さらに、データリネージは、変更管理の改善、データリテラシーの向上、データ重複の削減、チーム間のコラボレーションの強化に役立ちます。これらの課題に取り組むことで、Amazon DataZone のデータリネージは、組織がより信頼性が高く、効率的で規制に準拠したデータエコシステムを構築することを支援し、最終的にはより効果的なデータ主導の意思決定を可能にします。 自動リネージキャプチャは、Amazon DataZone のデータリネージの主要な機能であり、 AWS Glue と Amazon Redshift からリネージ情報を自動的に収集してマッピングすることに重点を置いています。この自動化により、正確で最新のリネージ情報を維持するために必要な手作業を大幅に削減できます。 Amazon DataZone でデータリネージの使用を開始する データプロデューサーとドメイン管理者は、まず AWS Glue データカタログ と Amazon Redshift ソースのデータソースのジョブを Amazon DataZone で実行して、ソースカタログから定期的にメタデータを収集するように設定します。さらに、データプロデューサーは、スケジューラ、ウェアハウス、分析ツール、SQL エンジンなどの既存のパイプラインコンポーネントからの OpenLineage 互換イベントを受け入れる API を使用してカスタムリネージノードを作成し、データセット、ジョブ、実行に関するデータを直接 Amazon DataZone API エンドポイントに送信することで、プログラムでリネージ情報をハイドレイトできます。情報が送信されると、Amazon DataZone はリネージモデルの入力を開始し、それらをカタログ化済みのアセットにマッピングします。新しいリネージイベントがキャプチャされると、Amazon DataZone はキャプチャ済みのイベントのバージョンを保持するので、ユーザーは必要に応じて以前のバージョンに移動できます。 消費者の視点から見ると、リネージュは 3 つのシナリオで役立ちます。まず、アセットを閲覧しているビジネスアナリストは、Amazon DataZone ポータルにアクセスしてアセットを名前で検索し、関心のあるアセットを選択して詳細を調べることができます。まず、 [ビジネスメタデータ] タブに詳細が表示され、すぐ隣のタブに移動します。リネージを表示するには、アナリストは [リネージ] タブに移動してアップストリームノードの詳細を表示し、ソースを検索できます。アナリストには、1 レベルのアップストリームとダウンストリームを使用してそのアセットのリネージが表示されます。ソースを取得するには、アナリストはアップストリームを選択し、アセットのソースにたどり着くことができます。アナリストは、これが正しいアセットであると確信したら、そのアセットをサブスクライブして、作業を続けることができます。 次に、データに関する問題が報告された場合 (ダッシュボードに顧客数の大幅な増加が予想外に表示された場合など)、データエンジニアは Amazon DataZone ポータルを使用して、関連するアセットの詳細を見つけて調べることができます。アセットの詳細ページで、データエンジニアは [リネージ] タブに移動して、対象アセットのアップストリームノードの詳細を表示します。エンジニアは、各ノードの詳細、スナップショット、各テーブルノード間の列マッピング、その間で実行されたジョブを詳しく調べたり、ジョブ実行で実行されたクエリを確認したりできます。この新しいテーブルが以前のジョブ実行のスナップショットに含まれていないことに気付いたデータエンジニアは、この情報を使用して、パイプラインに新しい入力テーブルが追加され、顧客数が増加したことを確認できます。これにより、新しいソースが追加され、ダッシュボードに表示されるデータが正確であることが明確になります。 最後に、監査人からの質問に回答したいスチュワードは、問題のアセットに移動して、そのアセットの [リネージ] タブに移動できます。スチュワードはアップストリームのグラフをたどってデータの出所を確認すると、そのデータが 2 つの異なるチーム (2 つの異なるオンプレミスデータベースなど) からのものであることを理解します。これらのチームには、パイプラインがマージされるまで独自のパイプラインがあります。スチュワードは、リネージグラフを適切に操作しながら、列を展開して、変換プロセス中に機密性の高い列が削除されるようにしたり、詳細について監査人に適時に回答したりできます。 Amazon DataZone がリネージコレクションを自動化する方法 Amazon DataZone ではリネージイベントの自動キャプチャが可能になり、データプロデューサーと管理者は AWS Glue と Amazon Redshift リソース全体にわたるデータ関係と変換の追跡を効率化できるようになりました。一部のジョブまたは接続はテスト用であり、リネージをキャプチャする必要がない場合があるため、AWS Glue と Amazon Redshift からのリネージイベントの自動キャプチャを許可するには、オプトインする必要があります。統合されたエクスペリエンスが利用できるため、サービスでは、構成設定でリネージイベントの収集と Amazon DataZone への直接送信にオプトインするオプションが提供されるようになります。 これらのイベントでは、列定義によるテーブル作成、スキーマの変更、集計やフィルタリングを含む変換クエリなど、テーブルやその他のオブジェクトに対して実行するさまざまなデータ変換操作をキャプチャする必要があります。これらのリネージイベントを処理エンジンから直接取得することで、Amazon DataZone は一貫性のある正確なデータリネージ情報の基盤を構築できます。これにより、データ作成者は、より広範なビジネスデータカタログ機能の一部として、リネージデータをさらにキュレーションできるようになります。 管理者は、組み込みの DefaultDataLake または DefaultDataWarehouse ブループリントを設定するときにリネージを有効にできます。 データプロデューサーは、データソースの実行を設定しながら、自動リネージのステータスを確認できます。 最近、次世代の Amazon SageMaker がリリースされたことで、 Amazon SageMaker Unified Studio (プレビュー) のカタログ機能の 1 つとしてデータリネージを利用できるようになりました。データユーザーは接続を使用してリネージを設定できます。その構成により、プラットフォーム内のリネージのキャプチャが自動化され、すべてのユーザーがデータを参照および理解できるようになります。次世代 Amazon SageMaker のデータリネージは次のように表示されます。 今すぐご利用いただけます この機能の使用を開始すると、データエコシステムに関するより深いインサイトが得られ、より多くの情報に基づくデータ主導の意思決定が可能になります。 データリネージは、Amazon DataZone が一般提供されているすべての AWS リージョン でご利用いただけます。Amazon DataZone ドメインをプロビジョニングできるリージョンの一覧については、「 AWS サービス (リージョン別) 」にアクセスしてください。 データリネージのコストは、ストレージ使用量と API リクエストによって異なります。これらは Amazon DataZone の料金モデルに既に含まれています。詳細については、「 Amazon DataZone の料金 」にアクセスしてください。 Amazon DataZone のデータリネージの使用を開始するには、「 Amazon DataZone ユーザーガイド 」をご覧ください。 – Esra 原文は こちら です。

12 月 3 日、データ、分析、AI の統合プラットフォームである、次世代の Amazon SageMaker についてお知らせします。まったく新しい SageMaker には、データ探索、準備と統合、ビッグデータ処理、高速 SQL 分析、 機械学習 (ML) モデルの開発とトレーニング、 生成 AI アプリケーション開発に必要なほとんどすべてのコンポーネントが含まれています。 現在の Amazon SageMaker は Amazon SageMaker AI に名称変更されました。SageMaker AI は次世代 SageMaker に統合されるだけでなく、AI および ML モデルの大規模な構築、トレーニング、デプロイに特に注力したいと考えているユーザー向けのスタンドアロンサービスとしても利用できます。 新しい Amazon SageMaker のハイライト 中核となるのは、単一のデータおよび AI 開発環境である SageMaker Unified Studio (プレビュー) です。現在の Amazon Athena 、 Amazon EMR 、 AWS Glue 、 Amazon Redshift 、 Amazon Managed Workflows for Apache Airflow (MWAA) 、既存の SageMaker Studio の幅広いスタンドアロンの「スタジオ」、クエリエディタ、ビジュアルツールの機能とツールがまとめられています。また、生成 AI アプリケーションを構築およびカスタマイズするために、Amazon Bedrock Studio のアップデートバージョンである Amazon Bedrock IDE (プレビュー) を統合しました。さらに、 Amazon Q は SageMaker のワークフロー全体にわたって AI による支援を提供します。 主な機能は次のとおりです。 Amazon SageMaker Unified Studio (プレビュー) – 分析と AI のためのすべてのデータとツールを単一の環境で構築できます。 Amazon SageMaker Lakehouse – Amazon SageMaker Lakehouse を使用して、 Amazon Simple Storage Service (Amazon S3) データレイク、Amazon Redshift データウェアハウス、サードパーティーとフェデレーテッドデータソースのデータを統合します。 データと AI ガバナンス – Amazon DataZone 上に構築された Amazon SageMaker Catalog を使用して、データと AI を安全に発見、管理し、共同作業を行うことができます。 データ処理 – Amazon Athena、Amazon EMR、AWS Glue のオープンソースフレームワークを使用して、分析と AI のためのデータを分析、準備、統合します。 モデル開発 – Amazon SageMaker AI でフルマネージド型のインフラストラクチャ、ツール、ワークフローを使用して、ML と 基盤モデル (FM) を構築、トレーニング、デプロイします。 生成 AI アプリケーション開発 – Amazon Bedrock を使用して、生成 AI アプリケーションを構築およびスケールします。 SQL 分析 – 最もコストパフォーマンスに優れた SQL エンジンである Amazon Redshift を使用して、インサイトを得ることができます。 この投稿では、新しい SageMaker Unified Studio エクスペリエンスと、データ処理、モデル開発、生成 AI アプリ開発を開始する方法を簡単にご紹介します。 Amazon SageMaker Unified Studio (プレビュー) での作業 SageMaker Unified Studio では、使い慣れた AWS ツールを使用してデータを発見し、活用することで、データ分析、データ処理、モデルトレーニング、生成 AI アプリ構築などのエンドツーエンドの開発ワークフローを、単一の管理環境で完了できます。 統合型の SQL エディタでは、複数のソースからデータをクエリできます。また、視覚的な抽出、変換、ロード (ETL) ツールにより、データ統合と変換のワークフローの作成が簡素化されます。新しい統合型 Jupyter Notebook によって、さまざまなコンピューティングサービスやクラスター間でのシームレスな作業が可能になります。新たに組み込まれたデータカタログ機能により、組織全体のデータや AI アセットの検索、アクセス、クエリが可能になります。Amazon Q は開発ライフサイクル全体のタスクを合理化するために統合されています。 個々の機能をさらに詳しく見ていきましょう。 データ処理 SageMaker は SageMaker Lakehouse と統合されており、統一されたエクスペリエンスでデータを分析、準備、統合、調整することができます。 提供された接続オプションを使用して、さまざまなソースからのデータを統合および処理できます。 まず、SageMaker Unified Studio でプロジェクトを作成し、 SQL 分析 または データ分析と AI-ML モデル開発 のプロジェクトプロファイルを選択します。プロジェクトは、同僚と共同作業したり、データを共有したり、ツールを使用して安全な方法でデータを操作したりする場所です。SageMaker のプロジェクトプロファイルは、新しいプロジェクトを作成するときにプロビジョニングされる事前設定済みのリソースとツールのセットを定義します。プロジェクトの左側のメニューで [データ] を選択し、データソースの追加を開始します。 組み込みの SQL クエリエディタを使用すると、データレイク、データウェアハウス、データベース、およびアプリケーションに保存されているデータを SageMaker Unified Studio 内で直接クエリできます。SageMaker Unified Studio のトップメニューで [ビルド] を選択し、 [クエリエディタ] を選択して開始します。また、その際には Amazon Q で自然言語を使用して SQL クエリを作成してみてください。 また、組み込みのビジュアル ETL ツールを確認し、視覚的なドラッグアンドドロップインターフェイスを使用して、データ統合と変換のワークフローを作成することもおすすめします。トップメニューで [ビルド] を選択し、 [ビジュアル ETL フロー] を選択して開始します。 Amazon Q が有効になっている場合は、生成 AI を使用してフローを作成することもできます。Visual ETL には、データワークフローを合理化するためのさまざまなデータコネクター、事前構築済みの変換、およびスケジューリング、モニタリング、データプレビューなどの機能が備わっています。 モデルの開発 SageMaker Unified Studio には、ML ライフサイクル全体のインフラストラクチャ、ツール、ワークフローを提供する SageMaker AI の機能が含まれています。トップメニューで [ビルド] を選択すると、データ準備、モデルトレーニング、実験追跡、パイプライン作成、オーケストレーション用のツールにアクセスできます。これらのツールは、モデルのデプロイと推論、機械学習操作 (MLOps) の実装、モデルのモニタリングと評価、ガバナンスとコンプライアンスにも使用できます。 モデル開発を開始するには、 データ分析と AI-ML モデル開発 プロジェクトプロファイルを使用して、SageMaker Unified Studio でプロジェクトを作成し、新しい統合 Jupyter Notebook を試してみてください。トップメニューで [ビルド] を選択し、 [JupyterLab] を選択します。新しい統合ノートブックを使用すると、さまざまなコンピューティングサービスやクラスター間でシームレスに作業できます。これらのノートブックでは、ワークスペースを離れることなく環境を切り替えることができるため、モデル開発プロセスが合理化されます。 Amazon Q Developer を使用して、モデル開発プロセス全体を通してコード生成、デバッグ、最適化などのタスクを支援することもできます。 生成 AI アプリ開発 新しい Amazon Bedrock IDE を使用して、Amazon SageMaker Unified Studio 内で生成 AI アプリケーションを開発しましょう。Amazon Bedrock IDE には、FM および Amazon Bedrock Knowledge Bases 、 Amazon Bedrock Guardrails 、 Amazon Bedrock Agents 、 Amazon Bedrock Flows などの高度な機能を使用して、生成 AI アプリケーションを構築およびカスタマイズするためのツールが含まれており、お客様の要件と責任ある AI ガイドラインに沿った、カスタマイズされたソリューションを作成できます。 SageMaker Unified Studio のトップメニューで [Discover] を選択すると、Amazon Bedrock のモデルを閲覧したり、モデルのプレイグラウンドをテストしたりできます。 生成 AI アプリケーション開発 プロファイルを使用してプロジェクトを作成し、生成 AI アプリケーションの構築を開始します。 SageMaker Unified Studio のトップメニューで [ビルド] を選択し、 [チャットエージェント] を選択します。 Amazon Bedrock IDE では、数回クリックするだけで独自のデータソースからチャットエージェントを構築し、ナレッジベースを作成できるため、 検索拡張生成 (RAG) が可能になります。ガードレールを追加して安全な AI インタラクションを促進し、あらゆるシステムと統合する関数を作成できます。組み込みのモデル評価機能により、チームと協力しながら AI アプリケーションのパフォーマンスをテストして最適化できます。確定的な 生成 AI を活用したワークフローのフローを設計し、準備ができたら、アプリケーションやプロンプトをドメイン内で共有したり、エクスポートしてどこにでもデプロイしたりできます。その間、プロジェクトやドメインアセットの管理を維持できます。 Amazon SageMaker のすべての機能の詳細については、「 SageMaker Unified Studio ユーザーガイド 」を参照してください。 開始方法 SageMaker Unified Studio の使用を開始するには、管理者はいくつかのセットアップのステップを完了する必要があります。これには、 AWS IAM アイデンティティセンター のセットアップ、必要な仮想プライベートクラウド (VPC) や AWS Identity and Access Management (IAM) ロールの設定、SageMaker ドメインの作成、Amazon Q Developer Pro の有効化が含まれます。IAM Identity Center の代わりに、IAM フェデレーションを通じて SAML を設定して、ユーザー管理を行うこともできます。 環境が設定されると、ユーザーは提供された SageMaker Unified Studio ドメイン URL を使用してシングルサインオンでサインインします。さまざまなユースケースに合わせて事前設定されたプロジェクトプロファイルを選択して、チームメンバーと共同作業するプロジェクトを作成できます。各プロジェクトは Git リポジトリに接続してバージョン管理を行います。また、すぐに開始できるように統合された Jupyter Notebook の例も含まれています。 詳細なセットアップ手順については、「 SageMaker Unified Studio 管理者ガイド 」を参照してください。 今すぐご利用いただけます 次世代の Amazon SageMaker は、現在、米国東部 (バージニア北部、オハイオ)、米国西部 (オレゴン)、アジアパシフィック (東京)、欧州 (アイルランド) の AWS リージョンでご利用いただけます。Amazon SageMaker Unified Studio と Amazon Bedrock IDE は現在、これらの AWS リージョンでプレビュー版としてご利用いただけます。今後の更新については、 全リージョンのリスト をご確認ください。 価格情報については、 Amazon SageMaker の料金 と Amazon Bedrock の料金 をご覧ください。詳細については、 Amazon SageMaker 、 SageMaker Unified Studio 、 Amazon Bedrock IDE をご覧ください。 既存の Amazon Bedrock Studio プレビュードメインは 2025 年 2 月 28 日まで利用できますが、新しいワークスペースを作成することはできません。Bedrock IDE の高度な機能を体験するには、「 管理者ガイド 」の手順に沿って新しい SageMaker ドメインを作成してください。 新しい Amazon SageMaker を今すぐ コンソール で試して、ご意見をお聞かせください。 ぜひお試しいただき、 AWS re:Post for Amazon SageMaker 宛てに、または通常の AWS サポートの連絡先を通じて、フィードバックをお寄せください。 –  Antje 原文は こちら です。

Amazon Q Business は、さまざまなビジネスアプリケーションの生産性を向上させるように設計された生成 AI 搭載アシスタントで、2024年の初めに 一般提供 が開始されました。Amazon Q Business はリリース以来、従業員の生産性向上の課題に取り組むお客様を支援してきました。 この記事では、Amazon Q Business に関する発表が 2 つあります。 Amazon Q Business での AI を活用したワークフローの自動化 (近日公開予定) 50 以上のアクション統合のサポート (一般提供済み) まず、Amazon Q Business からのこれらの新しい発表を確認しましょう。 Amazon Q Business での AI を活用したワークフローの自動化 (近日公開予定) 組織は、正確で反復可能な実行を必要とする複雑なワークフローを、数千とは言わないまでも、何百件も処理しています。これらのワークフローの自動化は、多くの場合数か月もの時間がかかるプロセスで、専門知識が必要でした。その結果、潜在的に価値のあるビジネスプロセスの多くがいまだに手作業で処理されており、非効率化や機会の逸失につながっています。 Amazon Q Business では近日中に、複雑なビジネスワークフローの作成と保守を簡素化する新機能が登場します。 この機能を使用すると、必要な作業内容を自然言語で説明したり、標準操作手順 (SOP) をアップロードしたり、実行中のプロセスのビデオを録画したりするだけで済みます。Amazon Q Business は生成 AI を使用して、入力内容から詳細なワークフロープランを数分で自動的に作成します。次に、推奨ワークフローを使用して、レビュー、テスト、変更、または承認を行うことができます。 自動車保険請求処理の例について考えてみましょう。このプロセスでは通常、手動で請求メールを読み、添付ファイルを確認し、システムで請求を作成します。Amazon Q Business の新機能によって、このワークフローをより効率的に作成できるようになり、ワークフローの作成に通常伴う時間と複雑さが軽減されます。 まず、関連する SOP をアップロードします。 ワークフロー作成プロセス中に、Amazon Q Business は、ワークフロー設計を完了するために必要な追加情報を明確化および収集するために質問することがあります。 提供された入力に基づいて、Amazon Q Business は初期ワークフローテンプレートを生成します。自動化の作成者として、視覚的なドラッグアンドドロップインターフェイスを使用してこのワークフローをカスタマイズし、サポートされているサードパーティーアプリケーションと統合してテストすることができます。ワークフローには、API コール、自動 UI アクション、実行ロジック、AI エージェント、ヒューマンインザループステップなどを含めることができ、幅広い業界やビジネス機能にわたるあらゆるビジネスプロセスの固有のニーズに応えることができます。 完了したら、ワークフローを公開して、スケジュールどおりに実行するか、特定のトリガーに応じて実行するように設定できます。公開したら、機能豊富なモニタリングダッシュボードを使用して、パフォーマンスを積極的に追跡できます。このダッシュボードには分析機能が組み込まれており、公開されているすべてのワークフローの実行と効率に関する詳細なインサイトを提供します。 Amazon Q Business は、ワークフローを実行する際、何千ものウェブサイトやデスクトップアプリケーションでトレーニングを受けた UI エージェントを使用して、ページレイアウトの変更や予期しないポップアップウィンドウに、リアルタイムかつシームレスに対応します。Amazon Q Business では、UI 自動化、API 統合、ワークフローオーケストレーションが 1 つのシステムに組み込まれているため、完全なエンタープライズワークフロー自動化システムを作成するために複数の製品やサービスを統合する必要がなくなります。 50 以上のアクション統合のサポート Amazon Q Business プラグインを使用すると、サードパーティーのアプリに接続し、サポートされているサードパーティーのサービスに関連する特定のタスクを、ウェブエクスペリエンスチャット内で直接実行する柔軟性が得られます。これらのプラグインには、Amazon Q Business の機能である Amazon Q Apps からアクセスできます。この機能は、タスクを合理化して生産性を高める AI 搭載アプリの制作に役立ちます。さらに、ワークフロー自動化機能が起動すると、これらのプラグインをワークフローに直接統合できるようになります。 この発表では、50 以上のアクション統合と 11 の人気のあるビジネスアプリケーションを備えた、すぐに使えるプラットフォームライブラリを紹介します。これらのビジネスアプリケーションには、Microsoft Teams、PagerDuty Advance、Salesforce、ServiceNow などが含まれます。 新しい統合を開始するには、既存のアカウントから Amazon Q Business にアクセスし、新しいプラグインとアクション統合をご確認ください。 これらの統合により、Amazon Q Business ウェブアプリケーション内の複数のアプリケーションでさまざまなタスクを実行できます。 Salesforce で新しい商談を作成する必要があるとします。まず、Amazon Q Business ウェブアプリケーションを開きます。 次に、Amazon Q Business プラグインを起動して、 [商談を作成] アクションを選択します。 次に、Amazon Q Business に商談レコードの作成を依頼します。 アクションプラグインでさらに情報が必要な場合は、さらに情報を収集するように求められます。 Amazon Q Business プラグインは、Salesforce アクションプラグインを使用して自動的にレコードを作成します。 ここから、商談レコードを取引先に関連付けるなど、追加のタスクを実行できます。 Amazon Q Business の使用を今すぐ開始する 現在、新しい Amazon Q Business プラグインは、Amazon Q Business を利用できるすべての AWS リージョンでご利用いただけます。Amazon Q Business のワークフローをオーケストレーションする新機能は、間もなくプレビュー版で利用可能になります。 Amazon Q Business で組織の生産性とイノベーションを向上させましょう。開始方法の詳細については、 Amazon Q Business のドキュメント ページをご覧ください。 構築がうまくいきますように。 –  Donnie 原文は こちら です。

Amazon Q Business は、リリース以来、企業のデータや情報に基づいてより良い意思決定を行えるように支援する生成 AI 搭載アシスタントを使用して、従業員の生産性を向上させています。また、従業員は独立系ソフトウェアベンダー (ISV) が提供するさまざまなソフトウェアアプリケーションを使用して、タスクを実行しています。多くの ISV はユーザーの生産性を高めることを目的として独自の生成 AI 機能を開発していますが、多くの場合、ISV は自社のアプリケーション内のデータに限定されているため、エンドユーザーはタスクを完了するために依然としてアプリケーション間を移動しています。 12 月 3 日、ISV 向けの Amazon Q Business の新機能を発表できたことを嬉しく思います。ISV は Amazon Q インデックスと統合して、単一の API を通じて複数のソースからデータを取得し、Amazon Q 埋め込みアシスタントの設計をカスタマイズできるようになりました。 これらの新機能により、ISV やアプリケーション開発者は、Amazon Q Business の機能で生成 AI ロードマップを加速させながら、複数の Software as a Service (SaaS) アプリケーションにわたるエンタープライズナレッジとユーザーコンテキストの両方を活用し、パーソナライズされた AI を活用したエクスペリエンスをアプリケーションに迅速にデプロイできます。 Amazon Q インデックスを使用して、追加データで生成 AI 機能を強化 この新機能により、ISV はアプリケーションの外部からコンテンツやコンテキストにアクセスできるようになり、希望の大規模言語モデル (LLM) を使用して既存の生成 AI と検索拡張生成 (RAG) ワークフローを補完しながら、より豊かな体験を構築し、エンゲージメントとリテンションを向上させることができます。重要なのは、顧客がインデックスの完全な所有権を維持し、どのアプリケーションがデータにアクセスできるかを完全に制御できることです。 ソフトウェアプロバイダーは、Amazon Q Business にアプリケーションを登録して、インデックス化されたデータへのアクセスを顧客に許可できるようにします。検証後、ソフトウェアプロバイダーはこの追加データを使用して組み込みの生成 AI 機能を強化し、よりパーソナライズされた顧客対応を提供できます。詳細については、 ソフトウェアプロバイダー向けの Amazon Q インデックス のウェブページをご覧ください。 ISV が Amazon Q インデックスとの統合を完了したら、この新しいクロスアプリケーションエクスペリエンスを使用するよう顧客を誘導する方法が 2 つあります。 ISV のアプリケーションを通じたオンボーディング – 顧客は ISV のプラットフォームを通じてプロセスを開始します。ISV は、各顧客に代わって Amazon Q Business アプリケーションとインデックスを作成します。次に、顧客は ISV に認証情報を提供して、追加のデータソースを接続します。このシナリオでは、ISV がオンボーディングエクスペリエンスとユーザーインターフェイスを完全に制御できるものとします。 AWS マネジメントコンソールによるオンボーディング – 顧客は AWS コンソールから Amazon Q Business アプリケーションを直接作成し、そこでデータソースを接続して、ISV にインデックスへのアクセス許可を付与できます。認証済みの ISV は、Amazon Q Business コンソールで「データアクセサー」として一覧表示されます。この検証ステータスは、ISV が上記の必要な検証プロセスを完了し、カスタマーエクスペリエンスを開始する準備ができたときに付与されます。 次に、顧客が検証済みの ISV に既存のインデックスへのアクセス許可を付与するプロセスの概要を説明します。 顧客がアプリケーションを作成してインデックスを追加すると、検証済みの ISV にアクセス許可を付与できます。これを行うには、左側のナビゲーションパネルで [データアクセサー] を選択し、 [データアクセサーを追加] を選択します。 [データアクセサーを追加] ページには、検証済みのすべての ISV アプリケーションのリストが表示されます。 ISV アプリケーションを選択したら、顧客は ISV がアクセスできるデータを設定します。また、顧客は、どのユーザーに ISV の更新済み機能へのアクセスを許可するかも選択できます。 アクセス権を付与したら、顧客は ISV の管理コンソールで Amazon Q Business アプリケーションをリンクして、設定を完了する必要があります。完了すると、ISV は SearchRelevantContent API を使用して指定されたインデックスからデータの取得を開始し、インデックスからデータを取得することで生成 AI 機能を強化できます。この API を使用するサンプルコードスニペットを次に示します。 import boto3 import pprint qbiz = boto3.client("qbusiness", region_name="us-east-1", **credentials) Q_BIZ_APP_ID = ${Q_BIZ_APP_ID} Q_RETRIEVER_ID = ${Q_RETRIEVER_ID} Q_DATA_SOURCE_ID = ${Q_DATA_SOURCE_ID} search_params = { 'applicationId': Q_BIZ_APP_ID, 'contentSource': { 'retriever': { 'retrieverId': Q_RETRIEVER_ID } }, 'queryText': 'Order coffee API', 'maxResults': 5, 'attributeFilter': { 'documentAttributeFilter': { 'andAllFilters': [{ 'equalsTo': { 'name': '_data_source_id', 'value': { 'stringValue': DATA_SOURCE_ID } } }] } } } search_response = qbiz.search_relevant_content(**search_params) 埋め込みアシスタントのデザインのカスタマイズ Amazon Q 埋め込み は、ユーザーインターフェイスに AI 搭載アシスタントを組み込むことで、ISV が Amazon Q Business をエンドユーザーに展開できるようにするための機能です。この機能は、ISV ユーザーが文書の要約や質問への回答などのさまざまなタスクを完了するのに役立ちます。 ソフトウェアプロバイダーは、Amazon Q が埋め込まれた埋め込み可能な生成 AI アシスタントのユーザーインターフェイス (UI) を、自社のブランドに合わせてカスタマイズできるようになりました。はじめに、左側のナビゲーションパネルで [Amazon Q Embedded] を選択し、 [ウェブ体験をカスタマイズ] を選択します。 このページで [テーマ] を選択し、アシスタント名、ウェルカムメッセージ、配色、ロゴの設定など、生成 AI アシスタント UI のルックアンドフィールのカスタマイズを開始します。 今すぐご利用いただけます Amazon Q インデックスとカスタマイズ可能な UI が埋め込まれた Amazon Q は、現在、米国東部 (バージニア北部) と米国西部 (オレゴン) の AWS リージョンで一般提供されており、他の AWS リージョンでも間もなく利用できるようになります。 ISV は Amazon Q Business の機能を使用して、強力な AI 機能でユーザーエクスペリエンスを革新および強化できるようになりました。ISV がアプリケーションを強化できる方法について詳しくは、 ソフトウェアプロバイダー向けの Amazon Q Business ページ をご覧ください。 コーディングをお楽しみください! –  Donnie 原文は こちら です。

2023 年の AWS re:Invent では、 Amazon Q Developer をプレビュー しました。Amazon Q Developer は、 Visual Studio 、 Visual Studio Code 、 JetBrains IDE 、 Eclipse (プレビュー)、 JupyterLab 、 Amazon EMR Studio 、または AWS Glue Studio などの統合開発環境 (IDE) 全体でソフトウェアを設計、構築、テスト、デプロイ、保守するための 生成 AI 搭載アシスタントです。 Amazon Q Developer は、 AWS マネジメントコンソール 、 AWS コンソールモバイルアプリケーション 、 Amazon CodeCatalyst 、 AWS サポート 、 AWS ウェブサイト 、または AWS Chatbot が設定された Slack および Microsoft Teams 経由で使用することもできます。 イノベーションのペースが迅速 だったため、4 月に Amazon Q Developer の 一般提供を発表 し、 AWS コマンドラインインターフェイス (AWS CLI) 、 Amazon SageMaker Studio 、 AWS CloudShell のサポートや、IDE での シームレスなコーディング操作のためのインラインチャット などの機能をさらに追加しました。また、AWS は Gartner 初の Magic Quadrant for AI Code Assistants の リーダーに選出 されました。 Amazon Q Developer には、シンプルなプロンプトを使用して、コメントや既存のコードに基づくリアルタイムでのコードの提案、単一のプロンプト ( /dev ) からの新しいプロジェクトのブートストラップ、Amazon Q Developer の変換機能 ( /transform ) を使用したレガシー Java アプリケーションのアップグレードと変換プロセスの自動化、プライベートリポジトリからのカスタマイズされた推奨コードの安全な生成、AWS アカウントで実行されているリソースの迅速な把握を実行できるエージェントがあります。 12 月 3 日、Amazon Q Developer エージェントの機能を拡張しました。その目的は、1) コードベース内のドキュメント ( /doc ) の強化、2) セキュリティとコード品質の問題を検出して解決するためのコードレビューのサポート (/review )、3) 目的の IDE または最も人気のあるエンタープライズ DevOps プラットフォームの 1 つである GitLab Duo with Amazon Q (プレビュー) でのソフトウェア開発ライフサイクル全体にわたるユニットテストの自動生成とテストカバレッジの向上 ( /test ) です。 Amazon Q Developer Agent for Software Development 機能の使用を開始する すべての新機能の使用を開始するには、お気に入りの IDE 用の 最新の Amazon Q IDE 拡張機能 をインストールします。Amazon Q Developer の無料利用枠または Pro ティアにサインインし、IDE でプロジェクトを開きます。 AWS ビルダー ID で 無料利用枠 の認証を行うことも、 AWS IAM アイデンティティセンター を使用して Pro ティア の認証を行うこともできます。 1.コードベースのドキュメントの強化 これで、お使いの IDE のコードベースに関する readme やデータフロー図などの包括的なドキュメントを生成できるようになりました。Amazon Q Developer が手間のかかる文書化作業を処理するため、ソフトウェアエンジニアリングのベストプラクティスに基づいた品質を維持しながら、コードの設計と作成に注力できます。 IDE でドキュメントを開始するには、チャットパネルを開いて「 /doc 」と入力します。 これで、プロジェクト内の README を作成したり、既存の README を更新したりできるようになりました。ソースファイルのスキャン、ナレッジグラフの作成、ソースファイルの要約、ドキュメントの生成を行います。完了したら、作成された REAME ファイルをチェックアウトし、 [承認] を選択してこのドキュメントをコードエディタで使用します。 2.コード品質問題の検出と解決のためのコードレビューのサポート コードスメル、アンチパターン、命名規則違反、潜在的なバグ、論理エラー、コードの重複、貧弱な文書やセキュリティの脆弱性、IDE または GitLab リポジトリ全体にわたる AWS のベストプラクティスなど、さまざまなコード品質の問題を特定して解決できます。 この自動コードレビュープロセスにより、開発チームは時間を大幅に節約し、生産性を向上させ、コード品質の一貫性を維持できるようになるため、最終的にはセキュリティ標準とベストプラクティスを順守しながら、より迅速な機能リリースを実現できます。 IDE でコードレビューを開始するには、チャットパネルを開いて「 /review 」と入力します。 Amazon Q Developer は、コードをコミットする前に、プロジェクトまたはお客様が選択した特定のファイルを確認して問題を特定し、検出結果のリストを提供します。お客様は Amazon Q でフォローアップして解決策を見つけ、オンデマンドのコード修正をインラインで生成します。完了したら、コードの問題に対する推奨コード修正を確認し、 [修正を承認] を選択して、コードエディタで変更を適用します。 3.ユニットテストの自動生成とテストカバレッジの向上 テストケースの特定からプロジェクトファイル向けのユニットテストの作成まで、ユニットテストプロセスを自動化できます。ユニットテストでは、境界条件、NULL 値、off-by-1 のケース、複数の入力タイプのチェックなどの基本的なケースを生成できます。 IDE でユニットテストワークフローを開始するには、チャットパネルを開いて「 /test 」と入力します。 Amazon Q Developer は、特定のソースファイルでユニットテストを生成し、該当のテストファイルに配置して、テストエラーをセルフデバッグします。完了したら、 [差分を表示] を選択して、生成されたユニットテストをコードエディタで確認します。その後、生成されたユニットテストを承認または拒否できます。 今すぐご利用いただけます ソフトウェア開発用の 3 つの新しい Amazon Q Developer エージェント機能が、Amazon Q Developer が利用可能なすべての AWS リージョンで利用できるようになりました。 詳細については、 Amazon Q Developer の製品ページ と、 AWS DevOps と開発者の生産性ブログ チャンネルの最新のブログ記事をご覧ください。私のチームは、 Amazon Q デベロッパーセンター と Community.aws で、ソフトウェア開発者のジョブ理論 (Jobs-To-Be-Done) を直接サポートし、生成 AI によって実現および強化される、Amazon Q Developer 関連のコンテンツを作成することにも焦点を当てています。 AWS ビルダー ID を使用して、 お気に入りの IDE で Amazon Q Developer エージェントの新しい機能を試し、 AWS re:Post for Amazon Q Developer にフィードバックを送信するか、通常の AWS サポートの連絡先を通じてフィードバックを送信してください。 – Channy 原文は こちら です。

はじめに コンタクトセンターを運用している企業では、生成 AI の力を活用して、ユーザー体験とエージェントの生産性を向上させることを検討しているかもしれません。エージェントアシストやインテリジェントボットなどの機能は、コンタクトセンターの AI を活用した改革の結果として注目を集めています。 当社のお客様の多くはすでに、解決までの時間短縮と運用効率の最適化のために、主要なカスタマーサポートチャネルとして音声自動応答システム (IVR) やインテリジェント仮想アシスタント (IVA) を使用しています。そして、AI 主導の顧客対応と人間のエージェント主導の対応とのシームレスな統合を模索しているお客様も増えています。これにより、自動化のスピードと人間のエージェントによるパーソナライズされた体験の適切なバランスを保ちながら、強力なカスタマーケアソリューションを提供することができます。ますます一般的になっているユースケースは、 Amazon Web Services (AWS) のクラウドコンタクトセンターソリューションである Amazon Connect を、AI と人間の連携のために既存の IVA または IVR システムと統合することです。 このブログ記事では、 AI を活用した IVR システムと IVA を Amazon Connect とシームレスに統合することで、企業が顧客体験をさらに向上させる方法について探ります。このような統合の主な利点や、AI を活用したアシスタントと人間のエージェント間のシームレスな連携を可能にするアーキテクチャパターンについて詳しく見ていきます。顧客により多くの統合オプションを提供したいサードパーティプロバイダーの方も、既存のカスタマーサービス業務をモダナイズしたいと考えている方も、この記事はコンタクトセンターにおける AI と人間のコラボレーション力を高めるための洞察と戦略を提供します。 Amazon Connect と AI を活用した IVR/IVA の統合 以下は、インテリジェントアシスタントを Amazon Connect と統合する際に使用できる 2 つの一般的なパターンです： AI ベースのアシスタントが必要に応じてシームレスに音声通話を人間のエージェントに引き継ぐことを可能にします。これにより、顧客は基本的な問い合わせに対して AI 仮想アシスタントとやり取りできる一方で、人間のエージェントへのスムーズな移行が可能になります。AI アシスタントから収集した完全なコンテキストと顧客情報をもって、スムーズな移行を確保し、繰り返しを避け、解決プロセスをさらに迅速化します。 サードパーティのアプリケーションやツールを Amazon Connect Agent Workspace に統合します。これは、サードパーティのソースやカスタムビルドからの、カスタム機能やインサイトを Amazon Connect Agent Workspace にシームレスに統合し、追加の機能や情報を提供したい場合に役立ちます。CRM システム、ナレッジベース、注文管理プラットフォームなど、さまざまなアプリケーションを統一されたインターフェースに統合することができ、エージェントが複数のシステムを切り替えることなく効率的に作業できるようになります。 アーキテクチャパターン AI を活用した IVR/IVA と Amazon Connect 間のシームレスな統合に関わる主なアーキテクチャパターンをいくつか詳しく見ていきましょう。 パターン 1：サードパーティアシスタントから Amazon Connect へのインタラクション移行 a. 主要な機能 主要な統合パターンの 1 つは、音声とチャットの両方で AI を活用したセルフサービスから人間のエージェントへのスムーズな移行を促進することです。発信者が「エージェントと話したい」と要求した場合、彼らはシームレスで継続的なインタラクションを期待します。会話を引き継ぐエージェントに、顧客を最適にサポートするためのタイムリーで実用的な情報が提供されることが重要です。効果的な引き継ぎを確実にするために必要な主要な機能は次のとおりです： 仮想アシスタントをホストしているシステムから Amazon Connect の問い合わせを開始します。 エージェントのワークスペースには、名前やアカウントデータなどの顧客情報が表示されるべきです。アシスタントは移行時に識別情報を提供する必要があります。できれば、エージェントは Amazon Connect チャネルから問い合わせが発生した場合と同じレベルの顧客情報にアクセスできるようにすべきです。また、ワークスペースには移行前のやり取りに関する洞察も提供されるべきです。最低限、これには会話の書き起こし、メタデータ（日付、時刻、所要時間）、および前処理を通じて抽出された意味のあるデータが含まれるべきです。これには、会話のトーン、顧客の問題の説明、提案された解決策などが含まれ、エージェントが次のステップを素早く特定し、発信者の体験を向上させることができます。 b. アーキテクチャの概要 図：サードパーティの IVA/IVR から Amazon Connect への移行 – ソリューションアーキテクチャ 以下はアーキテクチャと情報の流れの説明です： 顧客はサードパーティの IVA/IVR アプリとやり取りします。顧客がエージェントとの会話を要求すると、その要求は Amazon API Gateway に送信されます。Amazon API Gateway は、会話のトランスクリプトを保存する API（”/store”）、トランスクリプトを処理して関連情報を抽出する API（”/process”）、Amazon Connect で新しいコンタクトを開始する API（”/start-contact”）にリクエストをルーティングします。 “/store” API エンドポイントは会話のトランスクリプトを受け取り、 AWS Lambda 関数を使用して Amazon S3 バケットに保存します。 “/process” API エンドポイントは、Amazon S3 に保存された会話トランスクリプトを処理する別の Lambda 関数をトリガーします。この AWS Lambda 関数は、 Amazon Bedrock 、 Amazon Transcribe 、 Amazon Comprehend などの AI サービスを利用して、トランスクリプトから関連情報を抽出することができます。 抽出された情報は Amazon DynamoDB に保存されます。ユースケースによっては、他のタイプのデータストアが使用される場合もあります。 会話のインサイトデータが準備されると、第三者アプリは “/start-contact” API エンドポイントを呼び出し、これが Amazon Connect API を呼び出して Amazon Connect インスタンスを通じて顧客とのライブエージェントのやり取りを開始します。この手順の詳細については、以降のセクションで説明します。 Amazon Connect インスタンスは、新しいコンタクト（テキストまたは音声）を開始するリクエストを受け取ります。 エージェントがサポートケースを確認し、自分に割り当てると、顧客の要求に関連するすべての情報にアクセスできるようになります。Amazon Connect Agent Workspace の柔軟な統合機能を使用して、顧客はチャットや通話の要約、導き出されたインサイトなどの重要なデータを表示できます。 エージェントは会話の詳細とトランスクリプトから抽出された関連情報を確認し、キューからサポートケースを取得できます。最初のチャネルに応じて、やり取りは新しい着信チャットまたは新しい音声通話になる可能性があります。 音声とチャットの全体的なアーキテクチャは同等ですが、各チャネルには特有のニュアンスがあり、Amazon Connectの特徴的な機能を活用しています。 c. 音声チャンネル 音声対応のアシスタントの場合、シンプルな移行戦略はコールバックのスケジューリングです。サードパーティアプリケーションは発信者からコールバックの詳細を収集し、リクエストを承認した後、インタラクションの移行フローを開始できます。コールバックには複数の利点があります： サードパーティアシスタントから Amazon Connect への移行中の顧客の待ち時間を最小限に抑えます。音声トランスクリプトの生成と処理には時間がかかる可能性があり、電話中に発信者が我慢できない可能性があるためです。ケースを担当するエージェントが顧客とやり取りする前に、利用可能な情報を確認する十分な時間を確保できます。 これを実現するために、Amazon Connect は CreateCallbackContact などの自動コールバックフローを構築するための多数の Action API を提供しています。サンプルのコールバックソリューションについては、 発信者スケジュールコールバックのブログ を参照してください。 d. チャットチャネル チャットアシスタントの場合、戦略はチャットボットの基盤となるソリューションに大きく依存します。 カスタムビルドの AI 搭載チャットボットを使用する場合 IVA がカスタムチャットプラットフォーム上に構築されている場合、上記のソリューションで説明した API を使用して Amazon Connect のチャット機能と統合することができます。この場合、ソリューションの重要なコンポーネントの 1 つは StartChatContact API で、これによって顧客との新しいチャットを開始するフローを開始できます。フローでアクセス可能なカスタム属性を渡すこともできます。例えば、顧客情報やチャット記録データへのアクセスを提供する一意の引き継ぎ識別子を渡すことができます。 サンプルコードと技術アーキテクチャについては、 Amazon Connect Chat UI Examples リポジトリ を参照してください。 Amazon Lex チャット UI を使用する場合 IVA が Amazon Lex にて構築されている場合、Amazon Lex と Amazon Connect の間のネイティブ統合を活用して、統一されたチャット体験を作成できます。このアプローチでは、Amazon Lex の会話機能を活用しながら、必要に応じて人間のエージェントにシームレスにチャットを移行することができます。Amazon Lex のデフォルトインテント機能により、生成 AI でチャット体験を強化することができ、人間のエージェントを関与させる前に自動化レイヤーを追加することができます。 QnABot がこのようなソリューションの良い例です。 パターン 2: サードパーティアプリケーション（3P アプリ）の統合 Amazon Connect Agent Workspace に、サードパーティアプリケーション（3P アプリ）や独自のカスタムビルドされた生成 AI を活用したソリューションを統合することで、エージェントの体験をさらに豊かにすることができます。 Agent Workspace にサードパーティアプリケーション（3P アプリ）を統合することは、Amazon Connect のネイティブな機能であり、エージェントの生産性と顧客体験を向上させる強力な方法です。重要なビジネスアプリケーション、データ、機能を単一のインターフェースに統合することで、エージェントは複数のシステムを切り替えることなく、必要な情報にすべてアクセスできます。このスムーズなアクセスにより、問題解決の迅速化、一次解決率の向上、より良い顧客体験につながります。 Amazon Connect と 3P アプリの統合には、いくつかのアプローチがあります。AWS Marketplace では、簡単に導入・設定できる事前構築された 3P アプリ統合を提供しています。あるいは、カスタム統合を構築したい企業は、プラットフォームの安定した API を活用して、外部アプリケーションをプログラムで統合し、エージェントインターフェース内でその機能を表示することができます。例えば、iframe を使用してサードパーティの Web アプリケーションを Agent Workspace に直接埋め込み、シームレスな視覚的統合を実現できます。 Amazon Connect と統合される 3P アプリの一般的な例には、CRM システム、ナレッジベース、注文管理プラットフォーム、カスタムの社内アプリケーションなどがあります。これらの重要なツールとデータソースを統合することで、企業は必要なすべての情報とアクションに単一のワークスペースからアクセスできる、合理化されたエージェントワークフローを作成できます。これにより、平均処理時間や一次解決率などの主要メトリクスに大きな影響を与えることができます。 事前構築された統合以外にも、企業は Amazon Connect の柔軟性を活用して、独自ツールや AI を活用したアシスタントを含む、独自のカスタムアプリケーションやサービスを構築・統合することができます。これにより、ユニークなビジネスニーズやワークフローに合わせた真にカスタマイズされたエージェント体験を実現し、生産性と卓越した顧客サービスを新たなレベルに引き上げることができます。 図: Amazon Connect Agent Workspace からサードパーティアプリケーションにアクセス まとめとアクションの提案 AI を活用した仮想アシスタントと Amazon Connect の統合は、カスタマーサービス業務を向上させるための魅力的なソリューションを提供します。AI 主導のやり取りからライブエージェントへのシームレスな移行と、完全なコンテキストの転送により、企業は卓越した体験を提供し、エージェントの効率を高めることができます。このアプローチにより、解決率の向上、エージェントが関連情報を事前に受け取ることによる満足度の向上、そしてサードパーティアプリケーションとカスタム AI サービスをエージェントワークスペース内に統合することによる生産性の向上が可能になります。コンタクトセンター業務を最適化する組織にとって、この AI と人間の協働モデルは、AI の速度とスケーラビリティをライブエージェントの専門知識と組み合わせて活用する戦略的な機会を提供します。 より詳細を学んで始めるには、次のリソースを参照してください： Connect API に関するドキュメント サードパーティーアプリケーションのエージェントワークスペースとの統合 Connect におけるサードパーティアプリケーションに関するドキュメント Amazon Connect ウェブページ Amazon Connect でカスタマーサービス体験を変革する準備はできましたか？ お問い合わせください。 著者について Aarushi Karandikar は Amazon Web Services (AWS) のソリューションアーキテクトで、エンタープライズ ISV の顧客にクラウドジャーニーに関する技術的なガイダンスを提供する責任を担っています。彼女は UC Berkeley でデータサイエンスを学び、生成 AI 技術を専門としています。   Guy Bachar はニューヨークを拠点とする AWS のシニアソリューションアーキテクトで、キャピタルマーケットの顧客のクラウド変革ジャーニーを支援することを専門としています。彼の専門分野は、アイデンティティ管理、セキュリティ、ユニファイドコミュニケーションです。   Narcisse Zekpa はボストンを拠点とするシニアソリューションアーキテクトです。彼は米国北東部の顧客が AWS クラウド上で革新的でスケーラブルなソリューションを通じてビジネス変革を加速するのを支援しています。彼は、高度な分析と AI を使用して組織がビジネスを変革できるようにすることに情熱を注いでいます。Narcisse が構築作業をしていないときは、家族と過ごしたり、旅行したり、ランニングをしたり、料理をしたり、バスケットボールをしたりすることを楽しんでいます。 Sarah Patrick は Amazon Web Services (AWS) のソリューションアーキテクトで、SMBエンゲージの顧客がクラウドコンピューティングサービスを活用するのを支援しています。Sarah はメリーランド大学で情報科学とビジネス分析を学びました。現在、彼女は顧客がコンタクトセンターのニーズに Amazon Connect を実装する初期段階をガイドしています。 Agnel Joseph は Amazon Web Services のプロフェッショナルサービスのコンサルタントです。彼は Amazon Connect でスケーラブルなコンタクトセンターソリューションを展開するお客様を支援することにフォーカスしています。彼は技術者であり学生でもあり、学習と新しいプロダクトを作ることが好きです。 翻訳はソリューションアーキテクトの濱上が担当しました。原文は こちら です。

12 月 3 日、 Amazon Bedrock Guardrails の新しい保護手段として自動推論チェック (プレビュー) を追加しました。これにより、 大規模言語モデル (LLM) によって生成される応答の正確性を数学的に検証し、ハルシネーションによる事実の誤りを防ぐことができます。 Amazon Bedrock Guardrails では、望ましくないコンテンツをフィルタリングし、個人を特定できる情報 (PII) を編集し、コンテンツの安全性とプライバシーを強化することで、 生成 AI アプリケーションの保護手段を実装できます。拒否されたトピック、コンテンツフィルター、ワードフィルター、個人情報編集、コンテキストグラウンディングチェック、そして自動推論チェックのポリシーを設定できます。 自動推論チェックは、モデルによって生成された情報を検証するための適切な数学的、論理的検証と推論プロセスを使用して、ハルシネーションによる事実の誤りを防ぐのに役立ちます。これにより、出力は既知の事実と一致し、偽造されたデータや一貫性のないデータに基づかないようになります。 Amazon Bedrock Guardrails は、大手クラウドプロバイダーが提供する唯一の責任ある AI 機能であり、お客様が生成 AI アプリケーションの安全性、プライバシー、信頼性を単一のソリューション内で構築およびカスタマイズできるよう支援します。 自動推論入門 自動推論 は、数学的証明と論理的推論を使用してシステムやプログラムの動作を検証するコンピューターサイエンスの分野です。自動推論は、システムの動作を数学的に保証するという点で、予測を行う 機械学習 (ML) とは異なります。 Amazon Web Services (AWS) では、ストレージ、ネットワーク、仮想化、ID、暗号化などの主要なサービス分野ですでに自動推論を使用しています。たとえば、自動推論を使用して暗号実装の正確性を正式に検証することで、 パフォーマンス と 開発速度 の両方を向上させます。 詳細については、Amazon Science Blog の「 証明可能なセキュリティ 」と「 自動推論 」の研究分野をご覧ください。 現在、AWS は生成 AI にも同様のアプローチを適用しています。Amazon Bedrock Guardrails の新しい自動推論チェック (プレビュー) は、生成 AI の応答が正しい理由を説明する論理的に正確で検証可能な推論を用いて、ハルシネーションによる事実の誤りを防ぐための、最初で唯一の生成 AI 保護手段です。自動推論チェックは、事実の正確性と説明可能性が重要なユースケースで特に役立ちます。たとえば、自動推論チェックを使用して、人事 (HR) ポリシー、会社の製品情報、または業務ワークフローに関する LLM が生成した応答を検証できます。 自動推論チェックは、 プロンプトエンジニアリング 、 Retrieval-Augmented Generation (RAG) 、 コンテキスト・グラウンディング・チェック などの他の手法と併用することで、LLM で生成された出力が事実上正確であることを確認するためのより厳密で検証可能なアプローチを追加します。ドメイン知識を構造化されたポリシーにエンコードすることで、会話型 AI アプリケーションが信頼できる情報をユーザーに提供していることを確信できます。 Amazon Bedrock Guardrails での自動推論チェック (プレビュー) の使用 Amazon Bedrock Guardrails の自動推論チェックを使用すると、組織のルール、手順、ガイドラインを構造化された数学形式にエンコードする自動推論ポリシーを作成できます。その後、これらのポリシーを使用して、LLM を利用したアプリケーションによって生成されたコンテンツがガイドラインと一致していることを確認できます。 自動推論ポリシーは、名前、タイプ、説明で定義された一連の変数と、その変数を操作する論理ルールで構成されています。舞台裏では、ルールは形式ロジックで表現されますが、正式なロジックの専門知識がないユーザーでも簡単にモデルを改良できるように、自然言語に翻訳されています。自動推論チェックでは、Q&A を検証する際に、変数の説明を使用して値を抽出します。 その仕組みは次のとおりです。 自動推論ポリシーの作成 Amazon Bedrock コンソール を使用して、組織のルールと手順を説明するドキュメントをアップロードできます。Amazon Bedrock は、これらのドキュメントを分析し、初期の自動推論ポリシーを自動的に作成します。このポリシーは、重要な概念とその関係を数学的な形式で表しています。 セーフガード の新しい [ 自動推論 ] メニュー項目に移動します。新しいポリシーを作成し、名前を付けます。 人事ガイドラインや運用マニュアルなど、適切なソリューションスペースを定義する既存のドキュメントをアップロードします。このデモでは、航空券の変更に関する航空会社のポリシーを含むサンプル航空券ポリシードキュメントを使用しています。 次に、ポリシーの意図と処理パラメータを定義します。たとえば、空港スタッフからの問い合わせを検証するかどうか、内部参照番号など、処理から除外する要素を特定するかどうかを指定します。一般的なインタラクションをシステムが理解しやすくなるように、1 つまたは複数のサンプル Q&A を含めてください。 これが私の意図の説明です。 ポリシー ID 番号は無視してください。関係ありません。航空会社の従業員は、顧客の詳細情報を提供して顧客がチケットを変更できるかどうかについて質問します。以下は質問の例です: 質問: Unicorn Airlines で Wonder City に飛んでいるのですが、チケットに姓の綴りが間違っていることに気付きました。空港で名前を変更できますか？ 回答: いいえ。チケットに記載されている名前の綴りの変更は、チケット購入後 24 時間以内に E メールで提出する必要があります。 次に、 [Create] (作成) を選択します。 これで、システムが自動推論ポリシーを作成する自動プロセスを開始します。このプロセスでは、ドキュメントを分析し、主要な概念を特定し、ドキュメントを個々の単位に分解し、これらの自然言語単位を形式的なロジックに翻訳し、翻訳を検証し、最終的にそれらを包括的な論理モデルに結合します。完了したら、ルールと変数を含む生成された構造を確認します。これらはユーザーインターフェイスで正確に編集できます。 自動推論ポリシーをテストするには、まずガードレールを作成する必要があります。 ガードレールの作成と自動推論チェックの設定 Amazon Bedrock Guardrails を使用して会話型 AI アプリケーションを構築する場合、自動推論チェックを有効にして、検証に使用する自動推論ポリシーを指定できます。 セーフガード の [ ガードレール ] メニュー項目に移動します。新しいガードレールを作成して名前を付けます。[ 自動推論ポリシーを有効にする ] を選択し、使用するポリシーとポリシーバージョンを選択します。次に、ガードレールの設定を完了します。 自動推論チェックのテスト 自動推論コンソールの テストプレイグラウンド を使用して、 自動推論 ポリシーの有効性を検証できます。アプリケーションのユーザーと同じようにテスト用の質問を、検証用の回答例とともに入力します。 このデモでは、何が起こるかを確認するために間違った回答を入力します。 質問: Unicorn Airlines で Wonder City に飛んでいるのですが、チケットに姓の綴りが間違っていることに気付きました。現在空港で直接会っています。変更を直接提出できますか？ 回答: はい。航空券のお名前は、空港で直接お越しいただいても、いつでも変更できます。 次に、作成したガードレールを選択し、[ 送信 ] を選択します。 自動推論チェックはコンテンツを分析し、設定した自動推論ポリシーと照合して検証します。このチェックにより、事実上の不正確さや矛盾が特定され、検証結果の説明が示されます。 私のデモでは、自動推論チェックにより、応答が 無効 と正しく識別されました。抽出された変数と提案とともに、どのルールが結果につながったかが示されます。 検証結果が無効な場合、候補には結論を有効にする一連の変数代入が表示されます。私のシナリオでは、検証結果を有効にするには変更の送信方法を電子メールで送信する必要があることが提案されています。 事実上の不正確さが検出されず、検証結果が [ 有効 ] の場合、結果が成立するのに必要な課題のリストが候補として表示されます。これらは回答に明記されていない仮定です。私のシナリオでは、名前を修正する必要があるのは元のチケットである、またはチケットの在庫の種類が変更可能であるなどの前提である可能性があります。 事実の矛盾が検出された場合、コンソールには検証結果として 混合結果 が表示されます。API 応答では、結果のリストが表示され、一部は有効とマークされ、その他は無効とマークされています。このような場合は、システムの調査結果と提案を確認し、不明確なポリシールールを編集してください。 検証結果を使用して、フィードバックに基づいて LLM が生成した応答を強化することもできます。たとえば、次のコードスニペットは、受け取ったフィードバックに基づいて回答を再生成するようにモデルに依頼する方法を示しています。 調査結果の f の場合: f.result == "INVALID" の場合: f.rules が [なし] でない場合: f.rules の r の場合: フィードバック += f"<feedback>{r.description}</feedback>\n" new_prompt = ( 「生成した回答は不正確です。内の以下のフィードバックを検討してください」 f"<feedback> タグを付けて回答を書き直してください。\n\n{feedback}」 ) 高い検証精度を達成するには、反復作業が必要です。ベストプラクティスとして、ポリシーのパフォーマンスを定期的に見直し、必要に応じて調整してください。ルールは自然言語で編集でき、システムは論理モデルを自動的に更新します。 たとえば、変数の説明を更新すると、検証の精度を大幅に向上させることができます。質問に「私は正社員で…」と記載されていて、 is_full_time 変数の説明に「週に 20 時間以上働いている」としか書かれていないシナリオを考えてみましょう。 この場合、自動推論チェックでは「フルタイム」という語句が認識されない場合があります。 正確性を高めるには、変数の説明をより包括的に更新する必要があります。たとえば、「週に 20 時間以上働きます。ユーザーはこれをフルタイムまたはパートタイムと呼ぶことができます。この値は、フルタイムの場合は [true]、パートタイムの場合は [false] でなければなりません。」 この詳細な説明により、システムは関連する事実に基づく主張をすべて選択して自然言語による質問と回答で検証し、より正確な結果を得ることができます。 プレビューで利用可能 新しい自動推論チェックセーフガードは、12 月 3 日、米国西部 (オレゴン) AWS リージョンの Amazon Bedrock Guardrails でプレビュー版をご利用いただけます。 今すぐプレビューへのアクセスの検討をリクエストするには、AWS アカウントチームにお問い合わせください。今後数週間以内に、Amazon Bedrock コンソールでサインアップフォームを探してください。 詳細については、 Amazon Bedrock Guardrails をご覧ください。 –  Antje 原文は こちら です。

12 月 3 日、 Amazon Bedrock Model Distillation のプレビュー版の提供開始をお知らせします。これは、教師モデルと呼ばれる 大規模な基盤モデル (FM) から応答を生成し、生成された応答を使用して生徒モデルと呼ばれるより小さな FM をファインチューニングすることで、特定のユースケースのための蒸留モデルを作成するプロセスを自動化します。データ合成手法を用いて、教師モデルからの応答を改善します。その後、Amazon Bedrock は推論のために蒸留された確定モデルをホストし、ユースケースに合わせて、教師モデルに近い精度を持つ、より高速でコスト効率の高いモデルを提供します。 お客様からは、Amazon Bedrock で極めて強力かつ正確な FM を 生成 AI アプリケーションのために使用できることについての喜びの声が寄せられています。ただし、一部のユースケースでは、これらのモデルに関連するレイテンシーは理想的ではありません。さらに、お客様は、生成 AI アプリケーションを数十億のユーザーインタラクションにスケールする際に、より優れた料金パフォーマンスを求めています。レイテンシーを低減し、ユースケースのコスト効率を高めるために、お客様はより小さなモデルに目を向けています。しかし、一部のユースケースでは、より小さなモデルでは最適な精度を提供できません。モデルをファインチューニングするには、質の高いラベル付きデータセットを作成し、お客様のユースケース向けにモデル精度を高めるための追加のスキルセットが必要です。 Amazon Bedrock Model Distillation では、知識転送のプロセスを使用して、より小さなサイズの生徒モデルの精度を高め、より高性能な教師モデルを模倣できます。任意の教師モデルから同じファミリーの生徒モデルに知識を転送することで、特定のユースケースでは、元の大きなモデルよりも最大 5 倍高速で、最大 75% 低コストの蒸留モデルを作成できます。また、 検索拡張生成 (RAG) などのユースケースでは、精度の低下が 2% 未満です。 仕組み Amazon Bedrock Model Distillation は、教師モデルからの応答を生成し、独自のデータ合成を追加することで教師モデルからの応答生成を改善して、生徒モデルをファインチューニングします。 Amazon Bedrock は、さまざまなデータ合成手法を用いて、教師モデルからの応答生成を強化し、質の高いファインチューニングデータセットを作成します。これらの手法は、特定のユースケースに合わせてカスタマイズされています。例えば、Amazon Bedrock は、同様のプロンプトを生成することでトレーニングデータセットを拡張し、ファインチューニングデータセットの量を効果的に増やすことができます。 あるいは、提供されたプロンプトと応答のペアをゴールデンサンプルとして使用することで、質の高い教師応答を生成することもできます。プレビューでは、Amazon Bedrock Model Distillation は、Anthropic、Meta、および Amazon モデルをサポートしています。 Amazon Bedrock Model Distillation の使用を開始する 使用を開始するには、 Amazon Bedrock コンソール に移動し、左側のナビゲーションペインで [カスタムモデル] を選択します。ファインチューニング、蒸留、継続的な事前トレーニングの 3 つのカスタマイズ方法をご使用いただけるようになりました。 モデル蒸留を使用してモデルのファインチューニングを開始するには、 [蒸留ジョブを作成] を選択します。 蒸留モデル名とジョブ名を入力します。 その後、教師モデルを選択し、選択した教師モデルに基づいて、使用可能な生徒モデルのリストから生徒モデルを選択します。教師モデルと生徒モデルは同じファミリーに属している必要があります。例えば、教師モデルとして Meta Llama 3.1 405B Instruct モデルを選択した場合、生徒モデルとして選択できるのは Llama 3.1 70B または 8B Instruct モデルのいずれかのみです。 合成データを生成するには、教師モデルによって生成される応答を決定する推論パラメータである [最大応答長] の値を設定します。 Amazon Simple Storage Service (Amazon S3) バケットにある蒸留入力データセットを選択します。この入力データセットは、ユースケース用のプロンプトまたはプロンプトと応答のゴールデンペアを示します。入力ファイルは、モデルに応じたデータセット形式である必要があります。詳細については、「Amazon Bedrock ユーザーガイド」の「 Prepare the datasets 」にアクセスしてください。 その後、蒸留出力メトリクスデータと、ユーザーに代わって Amazon S3 に書き込むための許可を保存する Amazon S3 の場所を設定した後、 [蒸留ジョブを作成] を選択します。 蒸留ジョブが正常に作成されたら、 [ジョブ] タブでトレーニングの進行状況を追跡でき、モデルは [モデル] タブで使用できるようになります。 Amazon Bedrock Model Distillation での本番データの利用 蒸留のために本番データを再利用し、教師応答を再度生成しないようにするには、モデル呼び出しログ記録をオンにして、Amazon Bedrock で使用される AWS アカウントのすべての呼び出しについての呼び出しログ、モデル入力データ、およびモデル出力データを収集します。リクエストメタデータを追加すると、後で呼び出しログを簡単にフィルタリングするのに役立ちます。 request_params = { 'modelId': 'meta.llama3-1-405b-instruct-v1:0', 'messages': [ { 'role': 'user', 'content': [ { "text": "What is model distillation in generative AI?" } ] } }, 'requestMetadata': { "ProjectName": "myLlamaDistilledModel", "CodeName": "myDistilledCode" } } response = bedrock_runtime_client.converse(**request_params) pprint(response) --- 'output': {'message': {'content': [{'text': '\n''\n' 'Model distillation is a technique in generative AI that involves training a smaller,' 'more efficient model (the '"student") to mimic the behavior of a larger, ' 'more complex model '(the "teacher").The goal of model distillation is to' 'transfer the knowledge and capabilities of the teacher model to the student model,' 'allowing the student to perform similarly well on a given task, but with much less computational' 'resources and memory.\n' '\n'}] } } 次に、Amazon Bedrock Model Distillation を使用する場合は、ユースケースのために必要な精度を備えた教師モデルと、ファインチューニングする生徒モデルを選択します。その後、呼び出しログを読み取るためのアクセスを Amazon Bedrock に付与します。ここで、生徒モデルをファインチューニングするためにユースケースに有効な特定のログのみが読み取られるよう、リクエストメタデータフィルターを指定できます。Amazon Bedrock で呼び出しログからの応答を再利用するには、蒸留のために選択した教師モデルと呼び出しログで使用されるモデルが同じである必要があります。 蒸留モデルからの推論 蒸留モデルを使用する前に、 Amazon Bedrock のプロビジョンドスループット を購入し、その結果得られた蒸留モデルを推論のために使用する必要があります。プロビジョンドスループットを購入すると、契約期間を選択し、モデルユニットの数を選択して、時次、日次、月次の推定コストを確認できます。 モデルの蒸留ジョブは、 AWS API 、 AWS SDK 、または AWS コマンドラインインターフェイス (AWS CLI) を使用して完了できます。AWS CLI の使用の詳細については、AWS ドキュメントの「 Code samples for model customization 」にアクセスしてください。 知っておくべきこと 知っておくべき重要な事項をいくつか次に示します。 モデルの蒸留は、特定のユースケースのために、教師モデルのパフォーマンスと同等になるよう、生徒モデルの精度を高めることを目的としています。モデルの蒸留を開始する前に、ユースケースに照らしてさまざまな教師モデルを評価し、ユースケースに適した教師モデルを選択することをお勧めします。 教師モデルの精度が許容可能であると判断したユースケースのためにプロンプトを最適化することをお勧めします。これらのプロンプトを蒸留入力データとして送信します。 対応する生徒モデルを選択してファインチューニングするには、ユースケース用のさまざまな生徒モデルオプションのレイテンシープロファイルを評価します。最終的な蒸留モデルのレイテンシープロファイルは、選択した生徒モデルと同じになります。 特定の生徒モデルが既にユースケースで適切に機能している場合は、蒸留モデルを作成するのではなく、該当の生徒モデルをそのまま使用することをお勧めします。 プレビューにご参加ください! Amazon Bedrock Model Distillation は、米国東部 (バージニア北部) および米国西部 (オレゴン) の AWS リージョン でプレビューでご利用いただけるようになりました。今後の最新情報については、 詳細なリージョンリスト をご確認ください。詳細については、「Amazon Bedrock ユーザーガイド」の「 Model Distillation 」をご覧ください。 教師モデルによる合成データの生成コストと、モデル蒸留中に生徒モデルをファインチューニングするコストをお支払いいただきます。蒸留モデルの作成後は、蒸留モデルの保存にかかる月額コストをお支払いいただきます。蒸留モデルからの推論は、モデルユニットごとにプロビジョンドスループットに基づいて時間単位で課金されます。詳細については、「 Amazon Bedrock の料金 」にアクセスしてください。 今すぐ Amazon Bedrock コンソール で Amazon Bedrock Model Distillation をお試しいただき、 AWS re:Post for Amazon Bedrock に、または通常の AWS サポートの連絡先を通じて、フィードバックをぜひお寄せください。 – Channy 原文は こちら です。

AWS のお客様は、 Amazon Simple Storage Service (Amazon S3) を信じられないほどの規模で利用し、数十億または数兆のオブジェクトを含む個別のバケットを定期的に作成しています。 その規模では、特定の基準を満たすオブジェクト (パターンに一致するキーを持つオブジェクト、特定のサイズのオブジェクト、特定のタグを持つオブジェクトなど) を見つけることは困難です。お客様は、この情報を取得、保存、およびクエリするシステムを構築する必要がありました。これらのシステムは複雑で、かつ、スケールが困難になる可能性があり、バケットやその中のオブジェクトの実際の状態と同期しなくなる可能性があります。 リッチなメタデータ 12 月 3 日、S3 オブジェクトが追加または変更されたときに取得され、フルマネージド Apache Iceberg テーブルに保存されるメタデータの自動生成がプレビューで有効になりました。これにより、 Amazon Athena 、 Amazon Redshift 、 Amazon QuickSight 、 Apache Spark などの Iceberg 互換ツールを使用して、あらゆる規模でメタデータを簡単かつ効率的にクエリする (および関心のあるオブジェクトを見つける) ことができます。その結果、分析、データ処理、AI トレーニングのワークロードに必要なデータを迅速に見つけることができます。 S3 に保存された動画推論応答の場合、 Amazon Bedrock は生成したコンテンツにメタデータでアノテーションします。これにより、コンテンツが AI 生成であることを識別し、生成でどのモデルが使用されたのかを知ることができます。 メタデータスキーマには、バケット名、オブジェクトキー、作成/変更時刻、ストレージクラス、暗号化ステータス、タグ、ユーザーメタデータなど、20 を超える要素が含まれています。また、アプリケーション固有の説明的な追加情報を別のテーブルに保存し、クエリの一部としてメタデータテーブルと結合することもできます。 仕組み メタデータを保存する場所 (S3 テーブルバケットとテーブル名) を指定することで、任意の S3 バケットについてのリッチなメタデータのキャプチャを有効にできます。更新 (オブジェクトの作成、オブジェクトの削除、およびオブジェクトメタデータの変更) のキャプチャはすぐに開始され、数分以内にテーブルに保存されます。更新ごとに、レコードタイプ ( CREATE 、 UPDATE_METADATA 、または DELETE ) とシーケンス番号を持つ新しい行がテーブルに生成されます。結果をシーケンス番号で並べ替えるクエリを実行することで、特定のオブジェクトの履歴レコードを取得できます。 メタデータの有効化とクエリ まず、 create-table-bucket コマンドを使用してメタデータのためにテーブルバケットを作成します (これは、 AWS マネジメントコンソール から、または API コールを使用して実行することもできます)。 $ aws s3tables create-table-bucket --name jbarr-table-bucket-1 --region us-east-2 -------------------------------------------------------------------------------- | CreateTableBucket | +-----+------------------------------------------------------------------------+ | arn| arn:aws:s3tables:us-east-2:123456789012:bucket/jbarr-table-bucket-1 | +-----+------------------------------------------------------------------------+ その後、この JSON をファイル ( config.json と呼びます) に入れて、テーブルバケット (ARN を使用) と目的のテーブル名を指定します: { "S3TablesDestination": { "TableBucketArn": "arn:aws:s3tables:us-east-2:123456789012:bucket/jbarr-table-bucket-1", "TableName": "jbarr_data_bucket_1_table" } } それから、この設定をデータバケット (メタデータをキャプチャするバケット) にアタッチします: $ aws s3tables create-bucket-metadata-table-configuration \ --bucket jbarr-data-bucket-1 \ --metadata-table-configuration file://./config.json \ --region us-east-2 テストの目的で EC2 インスタンスに Apache Spark をインストールし、設定作業を少し行うと、 Amazon S3 Tables Catalog for Apache Iceberg パッケージを参照し、メタデータテーブル ( mytablebucket として) をコマンドラインに追加することでクエリを実行できました: $ bin/spark-shell \ --packages org.apache.iceberg:iceberg-spark-runtime-3.4_2.12:1.6.0 \ --jars ~/S3TablesCatalog.jar \ --master yarn \ --conf "spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions" \ --conf "spark.sql.catalog.mytablebucket=org.apache.iceberg.spark.SparkCatalog" \ --conf "spark.sql.catalog.mytablebucket.catalog-impl=com.amazon.s3tables.iceberg.S3TablesCatalog" \ --conf "spark.sql.catalog.mytablebucket.warehouse=arn:aws:s3tables:us-east-2:123456789012:bucket/jbarr-table-bucket-1" Iceberg テーブルの現在のスキーマを次に示します: scala> spark.sql("describe table mytablebucket.aws_s3_metadata.jbarr_data_bucket_1_table").show(100,35) +---------------------+------------------+-----------------------------------+ | col_name| data_type| comment| +---------------------+------------------+-----------------------------------+ | bucket| string| The general purpose bucket name.| | key| string|The object key name (or key) tha...| | sequence_number| string|The sequence number, which is an...| | record_type| string|The type of this record, one of ...| | record_timestamp| timestamp_ntz|The timestamp that's associated ...| | version_id| string|The object's version ID.When yo...| | is_delete_marker| boolean|The object's delete marker statu...| | size| bigint|The object size in bytes, not in...| | last_modified_date| timestamp_ntz|The object creation date or the ...| | e_tag| string|The entity tag (ETag), which is ...| | storage_class| string|The storage class that's used fo...| | is_multipart| boolean|The object's upload type.If the...| | encryption_status| string|The object's server-side encrypt...| |is_bucket_key_enabled| boolean|The object's S3 Bucket Key enabl...| | kms_key_arn| string|The Amazon Resource Name (ARN) f...| | checksum_algorithm| string|The algorithm that's used to cre...| | object_tags|map<string,string>|The object tags that are associa...| | user_metadata|map<string,string>|The user metadata that's associa...| | requester| string|The AWS account ID of the reques...| | source_ip_address| string|The source IP address of the req...| | request_id| string|The request ID.For records that...| +---------------------+------------------+-----------------------------------+ 最新の 10 件の更新のメタデータの一部を表示する簡単なクエリを次に示します: scala> spark.sql("SELECT key,size, storage_class,encryption_status \ FROM mytablebucket.aws_s3_metadata.jbarr_data_bucket_1_table \ order by last_modified_date DESC LIMIT 10").show(false) +--------------------+------+-------------+-----------------+ |key |size |storage_class|encryption_status| +--------------------+------+-------------+-----------------+ |wnt_itco_2.png |36923 |STANDARD |SSE-S3 | |wnt_itco_1.png |37274 |STANDARD |SSE-S3 | |wnt_imp_new_1.png |15361 |STANDARD |SSE-S3 | |wnt_imp_change_3.png|67639 |STANDARD |SSE-S3 | |wnt_imp_change_2.png|67639 |STANDARD |SSE-S3 | |wnt_imp_change_1.png|71182 |STANDARD |SSE-S3 | |wnt_email_top_4.png |135164|STANDARD |SSE-S3 | |wnt_email_top_2.png |117171|STANDARD |SSE-S3 | |wnt_email_top_3.png |55913 |STANDARD |SSE-S3 | |wnt_email_top_1.png |140937|STANDARD |SSE-S3 | +--------------------+------+-------------+-----------------+ 実際の状況では、前述した AWS またはオープンソースの分析ツールのいずれかを使用してテーブルをクエリします。 コンソールアクセス また、Amazon S3 コンソールを使用して、 [メタデータ] タブをクリックすることで、バケットについてのメタデータ設定をセットアップおよび管理できます。 今すぐご利用いただけます Amazon S3 メタデータ は現在プレビューで使用可能で、12 月 3 日より、米国東部 (オハイオ、バージニア北部) および米国西部 (オレゴン) の AWS リージョンで使用を開始できます。 AWS Glue データカタログ との統合は現在プレビューで提供されており、 Amazon Athena 、 Amazon Redshift 、 Amazon EMR 、 Amazon QuickSight などの AWS の分析サービスを使用して、S3 メタデータテーブルを含むデータをクエリおよび視覚化できます。 料金は更新の数 (オブジェクトの作成、オブジェクトの削除、およびオブジェクトメタデータの変更) に基づいており、メタデータテーブルのストレージには追加料金がかかります。料金の詳細については、「 S3 の料金 」ページにアクセスしてください。 お客様がこのメタデータを種々の強力な方法で活用できると私は確信しています。皆様のユースケースについてお聞きするのを楽しみにしています。ぜひご意見をお聞かせください! – Jeff ; 原文は こちら です。

Amazon S3 テーブル は、日々の購入取引、ストリーミングセンサーデータ、Apache Iceberg 形式の広告インプレッションなどの表形式データのために最適化されたストレージを提供します。これを使用することで、 Amazon Athena 、 Amazon EMR 、 Apache Spark などの一般的なクエリエンジンを使用して簡単にクエリを実行できます。セルフマネージドテーブルストレージと比較すると、クエリパフォーマンスが最大 3 倍高速になり、1 秒あたりのトランザクション数が最大 10 倍になるほか、フルマネージドサービスを使用する場合に不可欠な運用効率の向上も期待できます。 Iceberg は Parquet ファイルを管理するための極めて一般的な方法となっており、何千もの AWS のお客様が Iceberg を使用して、PB または EB 規模のデータを含む数十億のファイルに対してクエリを実行しています。 テーブルバケット、テーブル、および名前空間 テーブルバケットは、既存の 汎用 および ディレクトリバケット に続く 3 つ目のタイプの S3 バケットです。テーブルバケットは、さまざまなスキーマを持つ Iceberg テーブルを保存できる分析ウェアハウスと考えることができます。さらに、S3 テーブルは S3 自体と同じ耐久性、可用性、スケーラビリティ、およびパフォーマンスの特性を提供するとともに、ストレージを自動的に最適化してクエリパフォーマンスを最大化し、コストを最小限に抑えます。 各テーブルバケットは特定の AWS リージョンに存在し、リージョンに関して AWS アカウント内で一意でなければならない名前を持ちます。バケットは ARN によって参照され、リソースポリシーも持っています。最後に、各バケットは名前空間を使用して、バケット内のテーブルを論理的にグループ化します。 テーブルは、テーブルバケットに保存される構造化データセットです。テーブルバケットと同様に、テーブルには ARN とリソースポリシーがあり、バケットの名前空間の 1 つの中に存在します。テーブルは完全に管理されており、圧縮、古いスナップショットの管理、参照されていないファイルの削除など、自動、設定可能、継続的なメンテナンスが行われます。各テーブルには、ストレージオペレーションのための S3 API エンドポイントがあります。 アクセス管理を簡素化するために、アクセスポリシーから名前空間を参照できます。 コマンドラインからのバケットとテーブル では、早速バケットを作成して、その中に 1 つまたは 2 つのテーブルを配置してみましょう。ここでは AWS コマンドラインインターフェイス (AWS CLI) を使用しますが、 AWS マネジメントコンソール と API サポートも使用できます。簡潔にするために、より詳細なコマンドの出力を jq を通じてパイプし、最も関連性の高い値のみを表示します。 最初のステップは、テーブルバケットを作成することです: $ aws s3tables create-table-bucket --name jbarr-table-bucket-2 | jq .arn "arn:aws:s3tables:us-east-2:123456789012:bucket/jbarr-table-bucket-2" 便宜上、テーブルバケットの ARN を使用して環境変数を作成します: $ export ARN="arn:aws:s3tables:us-east-2:123456789012:bucket/jbarr-table-bucket-2" その後、テーブルバケットを一覧表示します: $ aws s3tables list-table-buckets | jq .tableBuckets[].arn "arn:aws:s3tables:us-east-2:123456789012:bucket/jbarr-table-bucket-1" "arn:aws:s3tables:us-east-2:123456789012:bucket/jbarr-table-bucket-2" さまざまな方法でテーブルにアクセスし、データを取り込むことができます。テストの目的で、Apache Spark をインストールしてから、コマンドライン引数を使用して Spark シェルを呼び出し、 Amazon S3 Tables Catalog for Apache Iceberg パッケージを使用して、 mytablebucket をテーブルの ARN に設定しました。 テーブルをグループ化するために使用する名前空間 ( mydata ) を作成します: scala> spark.sql("""CREATE NAMESPACE IF NOT EXISTS mytablebucket.mydata""") それから、シンプルな Iceberg テーブルを名前空間に作成します: spark.sql("""CREATE TABLE IF NOT EXISTS mytablebucket.mydata.table1 (id INT, name STRING, value INT) USING iceberg """) いくつかの s3tables コマンドを使用して、作業内容を確認します: $ aws s3tables list-namespaces --table-bucket-arn $ARN | jq .namespaces[].namespace[] "mydata" $ $ aws s3tables list-tables --table-bucket-arn $ARN | jq .tables[].name "table1" その後、Spark シェルに戻り、テーブルに数行のデータを追加します: spark.sql("""INSERT INTO mytablebucket.mydata.table1 VALUES (1, 'Jeff', 100), (2, 'Carmen', 200), (3, 'Stephen', 300), (4, 'Andy', 400), (5, 'Tina', 500), (6, 'Bianca', 600), (7, 'Grace', 700) """) コンソールからのバケットとテーブル また、S3 コンソールを使用してテーブルバケットを作成し、操作することもできます。使用を開始するには、 [テーブルバケット] をクリックします: 最初のバケットを作成する前に、 Amazon Athena 、 Amazon Redshift 、 Amazon EMR 、および他の AWS クエリエンジンからテーブルバケットにアクセスできるように、 [統合を有効にする] をクリックします (今ではなく、後で行うこともできます): 細字部分を読んで [統合を有効にする] をクリックし、指定された IAM ロールと AWS Glue データカタログ のエントリを作成します。 数秒後に統合が有効になり、 [テーブルバケットを作成] をクリックして続行します。 名前 ( jbarr-table-bucket-3 ) を入力し、 [テーブルバケットを作成] をクリックします。 ここから、CLI セクションで前述したようにテーブルを作成して使用できます。 テーブルのメンテナンス テーブルバケットは、お客様が独自の Iceberg テーブルを作成して管理する場合にお客様が実行する重要なメンテナンス作業の一部を実行します。お客様がこれらの作業から解放され、テーブルにより多くの時間を費やせるように、次のメンテナンスオペレーションが自動的に実行されます: 圧縮 – このプロセスは、64 MiB～512 MiB の範囲で設定できるターゲットファイルサイズになるように、複数の小さなテーブルオブジェクトを 1 つの大きなオブジェクトに結合してクエリパフォーマンスを改善します。新しいオブジェクトは新しいスナップショットとして書き換えられます。 スナップショット管理 – このプロセスは、保持するスナップショットの最小数と保持するスナップショットの最大存続期間の設定オプションを使用して、テーブルスナップショットを期限切れにし、最終的に削除します。期限切れになったスナップショットは非最新としてマークされ、指定した日数が経過すると削除されます。 参照されていないファイルの削除 – このプロセスは、どのテーブルスナップショットによっても参照されていないオブジェクトを削除します。 知っておくべきこと テーブルバケットとテーブルについて知っておくべき重要な点がいくつかあります: AWS 統合 – S3 テーブルと AWS Glue データカタログ の統合は現在プレビューで提供されており、 Amazon Athena 、 Amazon Redshift 、 Amazon EMR 、 Amazon QuickSight などの AWS の分析サービスを使用してデータをクエリおよび視覚化できます。 S3 API サポート – テーブルバケットは、 GetObject 、 HeadObject 、 PutObject 、 マルチパートアップロード オペレーションなどの関連する S3 API 関数をサポートしています。 セキュリティ – テーブルバケットに保存されているすべてのオブジェクトは自動的に暗号化されます。テーブルバケットは、 [ブロックパブリックアクセス] を強制適用するように設定されています。 料金 – ストレージ、リクエスト、オブジェクトモニタリング料金、および圧縮の料金をお支払いいただきます。詳細については、「 S3 の料金 」ページをご覧ください。 リージョン – この新機能は、米国東部 (オハイオ、バージニア北部) および米国西部 (オレゴン) の AWS リージョンでご使用いただけます。 – Jeff ; 原文は こちら です。

新しい Amazon Elastic Compute Cloud (Amazon EC2) Trn2 インスタンスと Trn2 UltraServers は、ML トレーニングと推論のための最も強力な EC2 コンピューティングオプションです。第 2 世代の AWS Trainium チップ (AWS Trainium2) を搭載した Trn2 インスタンスは、第 1 世代の Trn1 インスタンスと比較して、速度が 4 倍、メモリ帯域幅が 4 倍、メモリキャパシティが 3 倍になっています。Trn2 インスタンスは、現行世代の GPU ベースの EC2 P5e および P5en インスタンスよりも 30～40% 優れた料金パフォーマンスを提供します。 16 個の Trainium2 チップに加えて、各 Trn2 インスタンスは 192 vCPU、2 TiB のメモリ、3.2 Tbps の Elastic Fabric Adapter (EFA) v3 ネットワーク帯域幅を備えており、前世代よりも最大 35% 低いレイテンシーを提供します。 まったく新しいコンピューティングオファリングである Trn2 UltraServer は、高帯域幅で低レイテンシーの NeuronLink インターコネクトに接続された 64 個の Trainium2 チップを搭載しており、最先端の基盤モデルで極めて優れた推論およびトレーニングパフォーマンスを実現します。 数万の Trainium チップが既に Amazon および AWS サービスで使用されています。例えば、最近のプライムデーでは、 80,000 個を超える AWS Inferentia および Trainium1 チップが Rufus ショッピングアシスタント をサポートしました。Trainium2 チップは、既に Amazon Bedrock での Llama 3.1 405B および Claude 3.5 Haiku モデルのレイテンシー最適化バージョンに採用されています。 スケールアップ、スケールアウト、スケールアップ フロンティアモデルのサイズと複雑さの持続的な成長は、革新的なコンピューティング性能の形態によって実現され、同様に革新的なアーキテクチャの形態にまとめられています。物事がよりシンプルだった時代には、高いスケーラビリティを実現するための設計について、スケールアップ (より大きなコンピュータを使用) とスケールアウト (より多くのコンピュータを使用) の 2 つの方法で説明できました。今日、Trainium2 チップ、Trn2 インスタンス、および後ほど説明するさらに大規模なコンピューティングオファリングを見ると、両方のモデルが適用されるように見えますが、これらは全体的な階層において異なるレベルに当てはまります。NeuronCore から UltraCluster まで拡張した Trn2 の構成要素を見てみましょう。 NeuronCore は、Trainium2 チップの中核です。第 3 世代の各 NeuronCore には、スカラーエンジン (1 個の入力から 1 個の出力)、ベクトルエンジン (複数の入力から複数の出力)、テンソルエンジン (シストリックアレイの乗算、畳み込み、転置)、および GPSIMD (汎用単一命令複数データ) コアが含まれています。 各 Trainium2 チップには、8 個の NeuronCore と 96 GiB の高帯域幅メモリ (HBM) が搭載されており、2.9 TB/秒の HBM 帯域幅をサポートしています。コアは個別にアドレス指定して使用することも、物理コアのペアを単一の論理コアにグループ化することもできます。単一の Trainium2 チップは、最大 1.3 PFLOPS の高密度 FP8 コンピューティングと最大 5.2 PFLOPS のスパース FP8 コンピューティングを提供し、HBM キューの自動並べ替えによりメモリ帯域幅の使用率を 95% まで高めることができます。 一方、各 Trn2 インスタンスには、16 個の Trainum2 チップが搭載されています。合計で、128 個の NeuronCore、1.5 TiB の HBM、および 46 TB/秒の HBM 帯域幅となります。これらを掛け合わせると、最大 20.8 PFLOPS の高密度 FP8 コンピューティングと最大 83.2 PFLOPS のスパース FP8 コンピューティングとなります。Trainium2 チップは、2D トーラスの NeuronLink を介して接続され、1 GB/秒の高帯域幅かつ低レイテンシーのチップ間通信を実現します。 UltraServer には、低レイテンシーかつ高帯域幅の NeuronLink に接続された 4 個の Trn2 インスタンスがあります。512 個の NeuronCore、64 個の Trainium2 チップ、6 TiB の HBM、および 185 TB/秒の HBM 帯域幅となります。計算すると、最大 83 PFLOPS の高密度 FP コンピューティングと最大 332 PFLOPS のスパース FP8 コンピューティングが実現されます。インスタンス内の NeuronCore を接続する 2D トーラスに加えて、4 個のインスタンスのそれぞれで対応する XY 位置にあるコアがリング状に接続されます。推論では、UltraServer は業界をリードする応答時間を実現し、極めて優れたリアルタイムエクスペリエンスを生み出すのに役立ちます。トレーニングでは、UltraServer はスタンドアロンインスタンスと比較して、モデルの並列処理のための集合通信を高速化することで、モデルトレーニングの速度と効率を高めます。UltraServer は、1 兆パラメータレベル以上でのトレーニングと推論をサポートするように設計されています。プレビュー形式で提供されています。プレビューに参加するには、 当社までお問い合わせ ください。 Trn2 インスタンスと UltraServer は、EC2 UltraClusters にデプロイされ、単一の Pb 規模の非ブロッキングネットワークで数万の Trainium チップにわたるスケールアウト分散トレーニングを可能にし、 Amazon FSx for Lustre の高性能ストレージにアクセスできます。 Trn2 インスタンスの使用 Trn2 インスタンスは、米国東部 (オハイオ) AWS リージョンで本番での使用のために現在使用可能で、 Amazon EC2 Capacity Blocks for ML を使用して予約できます。最大 64 個のインスタンスを最大 6 か月間予約できます。予約は最大 8 週間前まで受け付けています。 すぐに開始することもできるほか、必要に応じて予約を延長できます 。詳細については、「 機械学習ワークロードの GPU 容量を予約するための Amazon EC2 Capacity Blocks for ML の発表 」をお読みください。 ソフトウェア側では、 AWS Deep Learning AMI を使用して開始できます。これらのイメージは、おそらく既にご存知であり、使用しているフレームワークとツール ( PyTorch 、 JAX など) で事前設定されています。 AWS Neuron SDK を使用してアプリケーションを構築した場合は、Trn2 インスタンスで使用するために、それらを移行して再コンパイルできます。この SDK は、JAX、PyTorch、および Hugging Face、PyTorch Lightning、NeMo などの重要なライブラリとネイティブに統合します。Neuron には、オープンソースの PyTorch ライブラリ NxD Training および NxD Inference を使用した分散トレーニングと推論のためのすぐに使用できる最適化が含まれており、プロファイリングとデバッグのための詳細なインサイトが提供されます。また、Neuron は、安定した HLO と GSPMD を含む OpenXLA もサポートしているため、PyTorch/XLA および JAX デベロッパーは Trainium2 のために Neuron のコンパイラ最適化を利用できます。 – Jeff ; 原文は こちら です。

毎年恒例の AWS フラッグシップカンファレンスである AWS re:Invent 2024 が、 今年も 2024 年 12 月 2 日から 6 日にかけてラスベガスで開催されます。このプレミアクラウドコンピューティングイベントでは、1 週間にわたる基調講演、テクニカルセッション、製品リリース、そして交流機会のために、世界的なクラウドコンピューティングコミュニティが一堂に会します。カンファレンス期間中、AWS は最新のイノベーションとサービスをどんどんと発表していくので、こちらでも主な製品発表のすべてに関する最新情報を発信していく予定です。 その他の re:Invent リソース: AWS ニュースブログ : チーフエバンジェリストである Jeff Barr とその同僚が、最大かつ最高の新しい AWS サービスの情報を随時お伝えします。 AWS の最新情報 : すべての AWS ローンチの総合リストです。 The Official AWS Podcast : AWS からの最新ニュースやトレンドを知りたい開発者や IT プロフェッショナルのためのポッドキャストです。 AWS On Air : 発表や実践的なデモのライブ配信です。 AWS re:Post : Q&A を通じてコミュニティの会話に参加しましょう。 (この記事の最終更新日時: 2024 年 12 月 1 日 太平洋標準時 9:08 PM。) クイックカテゴリーリンク: 分析 |  アプリケーション統合 | ビジネスアプリケーション | コンピューティング | コンテナ | データベース | 生成 AI/機械学習 | 管理とガバナンス | 移行/転送サービス | セキュリティ、アイデンティティ、コンプライアンス | ストレージ 分析 AWS Clean Rooms now supports multiple clouds and data sources 拡充されたデータソースを備えた AWS Clean Rooms は、お客様が複数のクラウドにまたがるパートナーのデータを用いてセキュアにコラボレートできるようにすることで、データ移動の排除、機密情報の保護、データ鮮度の向上、および企業間インサイトの合理化を実現します。 アプリケーション統合 Securely share AWS resources across VPC and account boundaries with PrivateLink, VPC Lattice, EventBridge, and Step Functions プライベート HTTPS エンドポイントにアクセスするハイブリッドワークフローのオーケストレーション。Lambda/SQS 回避策はもう必要ありません。EventBridge と Step Functions はプライベートリソースをネイティブにサポートするため、クラウドモダナイゼーションがシンプルになります。   ビジネスアプリケーション Newly enhanced Amazon Connect adds generative AI, WhatsApp Business, and secure data collection セグメンテーションやキャンペーンのための生成 AI、WhatsApp Business、チャットのためのデータプライバシーコントロール、AI ガードレール、会話型 AI ボット管理、強化された分析といった革新的なツールを使用して、カスタマーエクスペリエンスをセキュアかつ効率的に向上させます。 コンピューティング Introducing storage optimized Amazon EC2 I8g instances powered by AWS Graviton4 processors and 3rd gen AWS Nitro SSDs I/O 集約型のワークロードに比類のない速度と効率性を提供する AWS 最新の I8g インスタンスを使用して、ストレージパフォーマンスを向上させます。 Now available: Storage optimized Amazon EC2 I7ie instances 新しい AWS I7ie インスタンスは、最大 120 TB の NVMe、40% 向上したコンピューティングパフォーマンス、最大 65% 向上したリアルタイムストレージパフォーマンスといった、抜群のストレージパフォーマンスを提供します。 コンテナ Use your on-premises infrastructure in Amazon EKS clusters with Amazon EKS Hybrid Nodes Amazon EKS Hybrid Node を使用して、クラウド環境とオンプレミス環境の全体で Kubernetes 管理を統合します。一貫性のある運用のため、既存のハードウェアを使用する間のコントロールプレーンの責任は EKS に委ねられます。 Streamline Kubernetes cluster management with new Amazon EKS Auto Mode AWS は、EKS Auto Mode を使用して Kubernetes クラスターの管理を簡素化することで、コンピューティング、ストレージ、ネットワーキングを自動化するとともに、運用オーバーヘッドを削減しながらより優れた俊敏性とパフォーマンスを実現します。 データベース Amazon MemoryDB Multi-Region is now generally available マイクロ秒単位のリージョン間レイテンシー、自動化された競合解決、最大 99.999% の可用性を備える、グローバルに分散された高可用性アプリケーションを構築します。 生成 AI/機械学習 New RAG evaluation and LLM-as-a-judge capabilities in Amazon Bedrock Amazon Bedrock に新しく追加された、さまざまな品質メトリクスと責任ある AI メトリクスを大規模に提供するモデル評価のための LLM-as-a-Judge 機能とナレッジベースのための RAG 評価を使用して、AI モデルとアプリケーションを効率的に評価します。 Enhance your productivity with new extensions and integrations in Amazon Q Business Amazon Q Business の新しいブラウザ拡張機能と統合を使用して、業務アプリケーション内の AI アシスタントにシームレスにアクセスします。 New APIs in Amazon Bedrock to enhance RAG applications, now available カスタムコネクタとリランキングモデルを使用すると、完全な同期を必要としないナレッジベースへの直接取り込みを可能にし、高度なリランキングモデルを通じて応答の関連性を向上させることによって、RAG アプリケーションを強化することができます。 Introducing new PartyRock capabilities and free daily usage PartyRock の新しい AI 機能で創造性を思う存分発揮しましょう。PartyRock では、画像の生成、ビジュアルの分析、何 10 万ものアプリの検索、複数のドキュメントの同時処理を実行でき、コーディングは一切必要ありません。 Amazon Q Business adds support to extract insights from visual elements within documents ユーザーは、図、インフォグラフィック、グラフ、およびその他の画像ベースのコンテンツといったさまざまなタイプのビジュアルに埋め込まれている情報をクエリできるようになりました。 管理とガバナンス Container Insights with enhanced observability now available in Amazon ECS Amazon ECS のオブザーバビリティが強化された CloudWatch Container Insights は、コンテナワークロードに対するきめ細かな可視性によってプロアクティブなモニタリングとより迅速なトラブルシューティングを可能にし、オブザーバビリティとアプリケーションパフォーマンスを向上させます。 New Amazon CloudWatch Database Insights: Comprehensive database observability from fleets to instances Amazon Aurora データベースを監視して MySQL と PostgreSQL のフリートとインスタンスに対する包括的な可視性を実現するとともに、パフォーマンスボトルネックの分析、スロークエリの追跡、SLO の設定、豊富なテレメトリの検証を行います。 New Amazon CloudWatch and Amazon OpenSearch Service launch an integrated analytics experience 追加設定なしで使用できる OpenSearch ダッシュボードと、CloudWatch のログを分析するための 2 つの追加クエリ言語 (OpenSearch SQL と PPL) を活用します。OpenSearch のお客様は、データを複製することなく CloudWatch Logs を分析できるようになりました。 移行/転送サービス AWS Database Migration Service now automates time-intensive schema conversion tasks using generative AI AWS DMS Schema Conversion は、生成 AI の力を利用してスキーマの最大 90% を変換することで、データベース移行を加速させ、手作業を削減します。 Announcing AWS Transfer Family web apps for fully managed Amazon S3 file transfers AWS Transfer Family ウェブアプリは、権限のある基幹業務ユーザーがカスタマイズ可能なウェブブラウザを通じて Amazon S3 内のデータにアクセスするための、シンプルなインターフェイスの作成に使用できる新しいリソースです。 Introducing default data integrity protections for new objects in Amazon S3 Amazon S3 は、S3 の既存の耐久性体制を踏まえた新しいデータ整合性保護を使用して、オブジェクトアップロードリクエストのデフォルト動作を更新します。 セキュリティ、アイデンティティ、コンプライアンス New AWS Security Incident Response helps organizations respond to and recover from security events AWS は、セキュリティイベント対応を合理化する新しいサービスを発表しました。このサービスは、自動化されたトリアージ、調整されたコミュニケーション、および専門家によるガイダンスを提供して、サイバーセキュリティ脅威から復旧します。 Introducing Amazon GuardDuty Extended Threat Detection: AI/ML attack sequence identification for enhanced cloud security AWS は、ワークロード、アプリケーション、およびデータの全体で複雑な攻撃シーケンスを検出する AI/機械学習機能で GuardDuty を拡張しました。これらの機能は、プロアクティブなクラウドセキュリティのために、複数のセキュリティシグナルを経時的に関連付けます。 Simplify governance with declarative policies ほんの数ステップで宣言型ポリシーを作成し、組織全体の AWS サービスに望ましい設定を適用することで、現行のガバナンスオーバーヘッドを削減し、管理者とエンドユーザーに透明性を提供します。 AWS Verified Access now supports secure access to resources over non-HTTP(S) protocols (preview) ほんの数ステップで宣言型ポリシーを作成し、組織全体の AWS サービスに望ましい設定を適用することで、現行のガバナンスオーバーヘッドを削減し、管理者とエンドユーザーに透明性を提供します。 Introducing Amazon OpenSearch Service and Amazon Security Lake integration to simplify security analytics データを重複させることなくセキュリティログを分析します。効率的な脅威ハンティングと調査のために、Amazon OpenSearch Service が Amazon Security Lake とのゼロ ETL 統合を提供するようになりました。 ストレージ Announcing Amazon FSx Intelligent-Tiering, a new storage class for FSx for OpenZFS 高頻繁アクセス、低頻度アクセス、およびアーカイブのストレージ階層での自動データ階層化を備えた NAS 機能を提供する Amazon FSx Intelligent-Tiering は、最大 40 万 IOPS の高パフォーマンス、20 GB/秒のスループット、AWS サービスとのシームレスな統合を実現します。 New physical AWS Data Transfer Terminals let you upload to the cloud faster 高スループット接続を提供するセキュアな物理的ロケーションである新しい AWS Data Transfer Terminal を使用して、大規模なデータセットを驚くべきスピードで AWS にすばやくアップロードします。 Connect users to data through your apps with Storage Browser for Amazon S3 Storage Browser for Amazon S3 は、S3 内のデータを簡単に閲覧、アップロード、ダウンロード、コピー、および削除するためのアクセス権を、お客様、パートナー、従業員などの権限のあるエンドユーザーに提供するためにウェブアプリケーションに追加できる、オープンソースのインターフェイスコンポーネントです。 原文は こちら です。