みなさん、こんにちは。AWS ソリューションアーキテクトの小林です。 6月になりました。ちょっとまえの週刊生成AI with AWSでご紹介した、AWS公式ウェブマガジン “builders.flash” で新しい記事が公開されています。生成AIに関係しない記事もいろいろ公開されているのですが、このブログポストは「週刊生成AI with AWS」ですので、生成AIに関係するところをピックアップしてみましょう。 誰でも使えるノーコード生成 AI アプリ ! Amazon Q Business と Amazon Q Apps とは ?! Amazon Titan Text Embeddings の埋め込み表現で、レコメンド機能やタグ付けを実装 (note株式会社様) 生成 AI で AWS アップデートを効率的にキャッチアップ ! ひとつめの記事はAmazon Qの概要をお伝えするものですね。Amazon Qは一般利用開始になって以来、様々なお客様に興味を持って頂いています。この記事をご覧頂くと、Amazon Qがどういった機能を備えており、何ができるのか、概要を把握することができます。が、あくまで現時点の機能です！Amazon Qは活発に開発が行われているので、最新情報はWebをチェックするようにしてくださいね。 ふたつめのnote株式会社様にご寄稿いただいた記事は、Amazon Titan Text Embeddingsモデルに関するものですね。文書や画像検索や類似性判定ではEmbeddings(埋め込み形式)を扱うモデルが利用されます。noteでの実例に基づいてEmbeddingsを利用すると何ができるのかが解説されていますので、これまで今ひとつイメージがわかなかった、という方にとってわかりやすくまとまった記事になっています。 最後の記事は、AWSの様々なアップデートを日本語で要約して、SlackやTeamsに投稿する仕組みを作る方法を解説するものですね。実は私自身がブログ記事を書くときに、生成AIを使う場合もあったりします。その経験からすると、この仕組みは便利に使って頂けるだろうな、と半ば確信めいた思いを抱いています。 それでは、6 月 3 日週の生成AI with AWS界隈のニュースを見ていきましょう。 さまざまなニュース AWS生成AI国内事例ブログ: 株式会社システムインテグレータ様、プログラミングスキル判定サービスにAIによる解析機能を追加 株式会社システムインテグレータ 様は、プログラミングスキル判定サービス「 TOPSIC（トップシック） 」を提供していらっしゃいます。TOPSICでは、提出されたソースコードを受験者同士で共有し、他者の解答を参照することで自分自身のスキルアップに繋げることを推奨していますが、参照すべきソースコードや解答を探すための効率的な方法が提供できていないことが課題でした。その解決のために、ソースコードをタグ付けし、学習に適したソースコードを探しやすくする必要があり、そのために生成AIを活用することにしました。約1ヶ月という短期間でAmazon BedrockとAnthropic Claude 1.2によるプロトタイプ開発を完了し、課題に対する解法のカテゴライズや、プログラミング言語ごとの傾向把握が可能になったそうです。次のステップとして、Claude 2やClaude 3 Haikuへのモデル変更を検討しており、コスト最適化とレスポンス時間の短縮を見込んでいるとのことです。 AWS生成AI国内事例ブログ: 株式会社エクサウィザーズ様、RAGに用いる業務データをよりセキュアに連携可能な仕組みを開発 生成AIを組み込んだアプリケーションを開発するためのサービスも増えてきています。今回は 株式会社エクサウィザーズ 様の事例をご紹介します。エクサウィザーズ様はAIアプリケーションの開発環境として「 exaBase Studio 」を提供しています。exaBase Studio上で利用できるテンプレートとして、Amazon Bedrockを利用した検索拡張生成(RAG)によるアプリケーションを容易に開発できる「RAGOps」テンプレートが公開されました。これは業務データを安全に生成AIアプリケーションと連携し、RAGによる業務データに基づく回答を提供することが容易に実現できるようになったそうです。 Amazon Q Businessのお客様の声にソニー・ミュージックエンタテインメント様のコメントが掲載 Amazon Q BusinessのWebページでは、お客様からの声を掲載させて頂いています。まだ和訳が追いついていませんが、ソニー・ミュージックエンタテインメント様のコメントが掲載されました。課題管理ツールのJiraと組み合わせてご利用頂いていますので、ぜひご覧ください（社名のアルファベット順で並んでいます）。 ブログ記事「【開催報告】生成AIの価値を最大限に引き出すためのデータ基盤」（日本語）を公開 AWSでは様々なセミナーを通じて最新情報の発信を行っていますが、5/16に実施した生成AIとデータ基盤に関するセミナーの開催報告ブログが公開されています。実現したい価値や解決したい課題に応じて、生成AIの応答をカスタマイズする必要が生じることは多く、そのためには自組織のビジネスに関係したデータが必要不可欠です。このセミナーでは生成AIでデータを活用するためのデータ基盤の構築や、データアーキテクチャについて解説しています。資料と動画へのリンクがありますので、ぜひ一度ごらんください。 ブログ記事「【開催報告&資料公開】 流通・小売・消費財業界向け：クラウドと生成 AI による顧客接点改革」（日本語）を公開 こちらもイベントレポートのブログ記事です。5/9に流通・小売・消費財業界の方を主な対象として、クラウドと生成AIによるお客様接点におけるイノベーションをテーマにしたセミナーを開催しました。生成AIは、それ自体を試してみるフェーズから、実業務への適用を検討し、実行に移すフェーズに入りつつあります。このセミナーではコンタクトセンターの対応品質向上や、物体検出の仕組みの実現、マルチモーダルなモデルによるお客様エクスペリエンスの向上などをテーマに様々なコンテンツを公開しています。動画へのアクセスと、一部を除き資料のダウンロードができるようになっていますのでこちらもぜひ。 ブログ記事「AWSとSAPの生成AIサービスを活用しセキュアでスケーラブルなビジネス環境に」（日本語）を公開 先週ご紹介したAWSとSAPの協業拡大について、具体的に解説するブログをご紹介しました。この協業はAmazon Bedrockとの連携をはじめとして、生成AI分野で両社がさらに協力関係を強めるというものです。その和訳が公開されましたので、ぜひご覧ください。 サービスアップデート Amazon Q Developerでコマンドラインのインライン補完が可能に Amazon Q Developerで、シェルで入力されたコマンドラインに基づいた、リアルタイムでのインライン補完が可能になりました。たとえば、コマンドラインで”git”と入力すると、Q Developerが次を予測して”push origin main”と補完候補を提示します。OKならそれを採用し、NGであれば意図したコマンドを入力するイメージです。この機能はQ DeveloperとQ Proの双方でご利用いただけますが、現時点ではmacOSのみの対応となっています。 Knowledge Bases for Amazon BedrockでAmazon Titan Text Embeddings V2が利用可能に Amazon Titan Text Embeddings V2は検索拡張生成(RAG)で利用することに最適化された埋め込みモデルです。今回のアップデートで、Knowledge Bases for Amazon BedrockでAmazon Titan Text Embeddings V2をご利用頂けるようになり、より効率的なデータセットを構築することができるようになりました。このモデルは100以上の言語データで事前学習が行われており、多言語に対応しているのもポイントです。 著者について 小林 正人(Masato Kobayashi) 2013年からAWS Japanのソリューションアーキテクト(SA)として、お客様のクラウド活用を技術的な側面・ビジネス的な側面の双方から支援してきました。2024年からは特定のお客様を担当するチームを離れ、技術領域やサービスを担当するスペシャリストSAチームをリードする役割に変わりました。好きな温泉の泉質は、酸性-カルシウム-硫酸塩泉です。

本ブログは、株式会社エクサウィザーズ と Amazon Web Services Japan が共同で執筆しました。 エクサウィザーズ は、AI アプリケーションの開発環境「 exaBase Studio 」を提供しています。exaBase Studio は、社内外の AI モデルやサービス、データを組み合わせて、AI ソフトウェアを構築できる開発環境です。キャンバスと呼ばれる直感的にわかりやすい設計・開発用の UI（ユーザーインターフェース）を活用して、アプリケーションの処理を可視化し、すぐにデプロイすることが可能となっています。また、テンプレートと呼ばれる同社の知見に基づいてあらかじめ設計された機能が用意されているため、それを活用しすぐにキャンバス上に展開することができます。 図1. exaBase Studio のキャンバスの画面例 課題 生成 AI の活用が本格化しつつある中で、事実と異なる回答をしてしまうハルシネーションを緩和するために、 検索拡張生成 (RAG, Retrieval Augmented Generation) と呼ばれる手法が活用されています。RAG を使用するアプリケーションは、ユーザーのリクエストに最も関連する情報を企業のデータなどから取得し、それをプロンプトとしてユーザーのリクエストとともにコンテキストとして束ね、生成 AI に送信してレスポンスを取得します。 しかし、RAG の導入を推進しているお客様のお悩みの中で、期待した結果が得られないことや生成 AI への企業データを連携することに不安を感じていることがわかりました。 ソリューション このような課題を解決するために、エクサウィザーズでは、exaBase Studio 上で利用できる Amazon Bedrock を活用した「RAGOps」テンプレートを開発しました。RAGOps テンプレートからすぐに、Bedrock とセキュアにデータ連携ができる RAG アプリケーションが構築でき、あらかじめ期待した結果を得るために改善する仕組みが実装されています。 図2. RAGOps テンプレートのシステム構成 Bedrock は、単一の API を介して AI21 Labs、Anthropic、Cohere、Meta、Mistral AI、Stability AI、および Amazon といった大手 AI 企業からの高性能な基盤モデル を選択できるフルマネージドサービスです。セキュリティ、プライバシー、責任ある AI を備えた生成 AI アプリケーションを構築するために必要な幅広い機能を提供します。 RAGOps の Bedrock への対応によって、高性能な基盤モデルからお客様のユースケースに適した選択ができるので、RAG の回答品質の改善に向けてすぐに試すことができます。他にも、RAGOps テンプレートの機能として、過去の質問と回答の活用やデータを活用する文脈ごとにデータセットを管理する仕組みなどが備わっています。 また、 Bedrock はセキュアな生成 AI アプリケーション を構築するのに役立ちます。 データ保護の面では、転送中および保管時には、全てのデータが暗号化されます。さらに、 AWS PrivateLink を活用することで、 Amazon Virtual Private Cloud(VPC) 上にあるアプリケーションから Bedrock に安全なプライベート接続を確立し、インターネット経由でのデータ流出リスクを回避することができます。 次にコンプライアンスの側面でも、Bedrock は一般的なコンプライアンス基準である ISO、SOC、CSA STAR レベル2など に準拠しているほか、医療分野での HIPAA 、 EU の一般データ保護規則（GDPR） への準拠もしております。 RAGOps は、プラットフォームとなる exaBase Studio と Bedrock 間に PrivateLink を利用しているため、プライベートなネットワークに閉じてセキュアにデータ通信することができ、セキュアな RAG アプリケーションの構築が可能となっています。 まとめ Bedrock を利用した RAGOps テンプレートにより、セキュリティの向上と RAG の回答品質向上の仕組みを実現しました。 エクサウィザーズでは、今後も AWS の先進的なテクノロジーを活用し、AI アプリケーションを展開しようとされているお客様により価値のあるサービス提供を目指します。

この記事は Tom McDonald によって執筆された内容を日本語化したものです。原文は こちら を参照して下さい。 アップストリーム・エネルギー事業における地質学および地球物理学 ( G&G ) のワークロードでは、貯留層シミュレーション、地下構造解析、坑井の掘削・仕上げなどのさまざまなワークフローがあります。これらのワークフローには多様なパフォーマンスとクライアントの要件があるため、企業はさまざまなプロトコルに対応する複数のソリューションにデータをコピーするという運用上の大きな負担に直面することがよくあります。彼らは最近まで、Windows と Linux のどちらからでも同じファイルに同時にアクセスできるマルチプロトコルアクセスを実現するために、独自のソリューションを開発するという課題に直面していました。このプロセスには時間がかかるだけでなく、複雑さとメンテナンスのオーバーヘッドも増えていました。 現在、企業は Amazon FSx for NetApp ONTAP ( FSx for ONTAP ) を利用することができるようになりました。このフルマネージドサービスは、マルチプロトコルアクセスのためのシームレスなソリューションを提供します。これにより企業は複雑なインフラストラクチャを管理する代わりに、コアビジネスの活動に集中することができます。 この記事ではフルマネージドサービスとしての FSx for ONTAP を検証し、さらに利用可能な機能について説明します。その中には高度なパフォーマンス技術やアクティブ・モニタリング手法も含まれます。これらの側面を探ることで、読者は FSx for ONTAP の潜在能力を最大限に活用するための深い知見を得ることができるでしょう。 ソリューション概要 図 1 に示すように、 Amazon Elastic Compute Cloud ( Amazon EC2 ) のネットワーク接続型ストレージ ( NAS ) インスタンスは、企業が AWS への移行を開始する際に定番な構成で利用されています。 AWS Well Architected Framework には「運用上の優秀性」と「信頼性」の 2 つの柱があります。EC2 を NAS インスタンスとして構成する場合、インスタンスにパッチを適用し、フェイルオーバーが必要な場合に回復力を持つように複数のインスタンスを構築し、サービスを自己管理しなければなりません。これらすべてが運用上のオーバーヘッドとなります。 図 1 : EC2 を NAS インスタンスとして実行する際の構成 図 2 に示すように、FSx for ONTAP はマルチプロトコルアクセスを実現するフルマネージドなファイルシステムを提供します。個々のインスタンスのプロビジョニング、フェイルオーバー出来るような設計、アップグレードの管理などは不要です。NetApp ONTAP は、数十年にわたりアップストリーム・エネルギー事業で利用されてきました。データは FSx for ONTAP ファイルシステム内のアクティブファイルサーバとスタンバイファイルサーバ間で、自動的にミラーリングされます。このソリューションはシングルアベイラビリティーゾーン ( Single-AZ ) 構成で、2 台のファイルサーバをアクティブ – スタンバイ構成にすることで、データアクセスの可用性を高めます。 図 2 : シングルアベイラビリティーゾーンの設計 Single-AZ ソリューションの配置だけではなく、図 3 に示すようなマルチアベイラビリティーゾーン ( Multi-AZ ) ファイルシステムも利用でき、AZ を跨いだ耐障害性を実現できます。SnapMirror やSnapVault などの従来の ONTAP テクノロジは、さらに災害復旧要件や事業継続要件に利用できます。監視用の Amazon CloudWatch や Amazon CloudTrail に加え、 BlueXP や NAbox など、NetApp エコシステムのツールも利用でき、FSx for ONTAP ファイルシステムの優れた運用性とテレメトリーデータを活用できます。 FSx for ONTAP のサービスは、 さまざまなスループットと IOPS 構成 で利用できます。FSx for ONTAP は個々のプロジェクトに使用することも可能で、企業は必要な分だけ料金を支払うこともできますし、永続的なファイルシステムとして利用することもできます。 図 3 : マルチアベイラビリティーゾーンの設計 FSx for ONTAP をアップストリームのワークロードに最適化する アップストリームのワークロードの I/O パターンは多くの場合、同時実行処理は少なくシーケンシャルな読み取りで構成されます。このようなワークロードのために、FSx for ONTAP ソリューションには読み取りを高速化する NVMe リードキャッシュが用意されています。NVMe リードキャッシュに加えて、利用者は FlexGroup を作成することができます。 FlexGroup の作成 FlexGroup は、コンスティチュエントボリュームから構成されるボリュームです。ONTAP 側で自動負荷分散とスケーラビリティが提供され、いくつかのワークロードに効果をもたらします。FlexGroup の利点の 1 つは、通常の FlexVol よりもはるかに大きく拡張し、より多くのファイルを格納できることです。 標準の FlexVol には 100 TB の制限がありますが、FlexGroup には実質的に制限がありません ( NetApp は最大 20 PB を推奨しています ): FSxId0::> vol create -vserver svm0 -volume flexg -aggr-list aggr1 -size 400T Notice: The FlexGroup volume "flexg" will be created with the following number of constituents of size 100TB: 4. Do you want to continue? {y|n}: y 上記の例では、ONTAP は 4 つの 100 TB コンスティチュエントボリュームから FlexGroup を作成します。4 つのコンスティチュエントボリュームは ONTAP のデフォルトで、ワークロード要件に基づいて調整することができます。 Flexible IO Tester ( FIO ) は、ストレージ・ソリューションを検証し定義するための一般的なツールです。Linux と Windows オペレーティングシステム用のクライアントがあります。FlexGroup の利点を調べるために、筆者はスループットが 512 MB/s のファイルシステムを作成しました。次の図では 1 行につき 8 回 FIO を実行して平均しています。FG/VOL および NFS バージョンの列は、それぞれさまざまなボリュームタイプとプロトコルのバージョンを示しています。 G&G のワークロードでは、アプリケーションは様々なブロックサイズと多数のクライアントを持つことになります。さらにほとんどの ISV アプリケーションは、NFS の nconnect のような新しい機能を制限する古いオペレーティングシステムを今でも使用しています。どのワークロードにも微妙な違いがあり、アプリケーションとそれをサポートするオペレーティングシステムに基づいてバリエーションを特定する必要があります。図 4 では、64 KB ブロックの一般的なワークロードサイズで、単一クライアントからランダム I/O とシーケンシャル I/O の両方を実行し、これらの違いを示しています。混合ワークロードの場合、読み取りの割合は 70 ％、同時書き込みの割合は 30 ％ であると想定します。次の表は、FlexGroup の影響、nconnect が助けになるか、プロトコルのバージョンによってさまざまなオーバーヘッドが発生する、などを示しています。 図 4 : FlexGroup の比較表 FSx のバックアップ機能や AWS Backup だけではなく、 SnapMirror などの他の技術を使用することでもバックアップとディザスタリカバリのソリューションを実現できます。 解釈アプリケーションのパフォーマンスのための SMB 専用最適化 Windows 上の多くの地下探査アプリケーションは、 解釈、分析、可視化のために大量のデータを読み書きします。いくつかのチューニングを検討するために、2 GB/sec のスループットとデフォルトの SSD IOPS を持つ FSx for ONTAP から g4ad.4xlarge インスタンスへ、 SEGY データを Robocopy で読み取ることから始めます。g4ad.4xlarge は最大 10 Gb のネットワーキングを提供し、以下のチャートに見られるようなバースト機能があります。その後、I/O の方向に意味があるかを検証するために SEGY と Robocopy での書き込みを続けました。 ここで筆者が検討した 2 つのオプションは、FSx for ONTAP 側の SMB Maximum Transition Unit ( MTU ) 設定 ( デフォルトでは Large MTU が有効 )、そしてクライアント側の帯域幅制限 ( デフォルトではクライアントの観点からも有効 ) です。図 5 に示すように、クライアント側の帯域幅制限が有効でも無効でも、目に見えるパフォーマンス向上はこれらのプロファイルにはありませんでした。 これは特定のデータ型の単純な移動ですが、SMB の MTU サイズの影響についてさらに深掘りするには十分なパフォーマンスの違いが確認されました。 図 5 : SMB 帯域制限の性能比較表 Large MTU は SMB ブロックを最大 1 MB まで転送できるようにする機能で、無効にするとブロックサイズが 64 KB と小さくなります。これはアプリケーション固有の要件であり、組織のニーズに基づいて評価されなければなりません。解釈アプリケーションでは、ファイルサイズが小さいものと大きいものが混在していることが多いですが、データの同時実行性はそれほど高くはありません。SMB の MTU が大きいと、ファイルサイズに関係なくパフォーマンスに影響を与える可能性があります。これらのブロックサイズを調べるために、筆者は 64 KB をブロックサイズとし、I/O 深度が 16、70 % が読み取りで 30 % が書き込みの FIO プロファイルと、それに対応する 1 MB の大きな MTU ブロックサイズのプロファイルを選びました。これはファイルシステムに対して複数のプロセスを実行させるためです。ファイルシステムに負荷が増えると、ブロックサイズに関係なく、シーケンシャルな処理負荷に対しては、Large MTU を無効にする方が有利な結果となりました。ランダム I/O については結果はまちまちでした。結果を図 6 に示します。 結果を視覚化するために大きなファイルをメモリにストリーミングするこれらのアプリケーションでは、SMB の Large MTU を無効にした場合のパフォーマンス結果をアプリケーションと環境で検証して、さらなるパフォーマンス向上を目指す価値があります。 図 6 : SMB の Large MTU 性能比較表 SMB の Large MTU を無効にするコマンド Large MTU を無効にするには以下の手順に従ってください : 1. アドバンスモードに入る : FSxId::> set -privilege advanced Warning: These advanced commands are potentially dangerous; use them only when directed to do so by NetApp personnel. Do you want to continue? {y|n}: y 2. 既定値が true に設定されていることを確認する : FSxId::*> cifs options show -vserver svm0 -fields is-large-mtu-enabled vserver is-large-mtu-enabled ------- -------------------- svm0 true 3. Large MTU を false に設定する : FSxId::*> cifs options modify -vserver svm0 -is-large-mtu-enabled false 4. Large MTU が false に設定されていることを確認する : FSxId::*> cifs options show -vserver svm0 -fields is-large-mtu-enabled vserver is-large-mtu-enabled ------- -------------------- svm0 false 変更を有効にするには、Windows ホスト上の SMB 共有を切断し再接続する必要があります。 アクティブ監視 アクティブ監視とは、ワークロードを実行し、ワークロードのリアルタイム統計を監視することです。これはファイルシステムで何が発生しているかをすぐに把握するためによく使用されます。quality of service (QoS) はストレージオブジェクトを制限する技術ですが、FSx for ONTAP の qos statistics コマンド にはボリュームのパフォーマンス監視も含んでいます。以下の QoS コマンドは、vsadmin SVM アカウントではなく fsxadmin ファイルシステム管理者アカウントでのみ利用可能になっています。これはファイルシステムレベルで実行されますので注意してください。 FSxId::> qos statistics workload latency show statistics コマンドはアクティブなベンチマークやレイテンシーの確認に非常に有効で、ネットワーク、データ、ディスクなどの情報が表示されます ( 図 7 の例の様に見えます )。これはレイテンシーの問題を特定するのに役立ちます。さらに、そのデータを時系列データベースに送ってグラフ化することも可能です。 図 7 : qos statics workload latency コマンドの出力例 リフレッシュ表示を有効化 : FSxId::> qos statistics workload latency show -refresh-display true スループットとアグリゲートのレイテンシーについては、以下のコマンドで図 8 のような結果が得られる : FSxId::> qos statistics workload performance show 図 8 : qos statistics workload performance コマンドの出力例 IOPS、スループット、およびレイテンシーはすべて、全体的なパフォーマンスを把握するために必要です。IOPS は 1 秒あたりの入出力操作で、アプリケーションによって同時に処理されたものです。スループットは 1 秒間に転送されるバイト数のことで、IOPS にブロックサイズをかけたものです。レイテンシーはリクエストを処理するのにかかる時間のことで、サービスに関連するキャッシュやインフラストラクチャの影響を受け、IOPS の数に直接影響します。パフォーマンスのボトルネックを調査する際には、これらすべてを深く掘り下げることが重要なポイントです。 SVM レベルの権限は、自由に使えるコマンドの数がより制限されます ( SVM は分離された仮想ファイルサーバーであるため、これは各 SVM がファイルシステム全体にアクセスを制限するために行われます ）。利用可能なコマンドには statistics コマンドがあります。SVM 管理者アカウントから計測できるパフォーマンス統計は以下のように記録されています。このコマンドでは、 -iterations ( 報告させたい統計の回数 ) と -interval ( 報告が表示されるまでの時間 ) を指定します。 svm0::> statistics volume show -iterations 10 -interval 5 svm0 : 10/25/2022 14:52:35 *Total Read Write Other     Read Write Latency Volume Vserver    Ops  Ops   Ops   Ops    (Bps) (Bps)    (us) ------ ------- ------ ---- ----- ----- -------- ----- ------- vol5    svm0   1575 1575     0     0 95835136     0     524 vol7    svm0   1545 1545     0     0 93981696     0     518 vol8    svm0   1516 1516     0     0 92125184     0     543 vol1    svm0   1506 1506     0     0 91600896     0     548 vol6    svm0   1487 1487     0     0 90232832     0     485 vol4    svm0   1435 1435     0     0 87359488     0     546 vol2    svm0   1412 1412     0     0 85709824     0     512 vol3    svm0   1353 1353     0     0 82245632     0     514 svm0_root svm0     0    0     0     0     0     0       0 NetApp Harvest CloudWatch は高レベルのメトリクスを提供しますが、ONTAP Command Line Interface で示した、より深いパフォーマンスのメトリクスは CloudWatch では提供されません。しかし、NetApp Harvest や Grafana、NetApp Cloud Insights のようなツールは、より多くのメトリクスを提供することができます。詳細については、FSx for ONTAP ユーザーガイドの ファイルシステムのモニタリング のセクションを参照してください。 Harvest と Grafana を使用した FSx for ONTAP ファイルシステムのモニタリング NetApp Harvest Github クリーンアップ 必要以上の AWS コストが発生しないよう、上記の手順を実行した後、Amazon EC2 インスタンスや FSx for ONTAP リソースなど、作成された AWS リソースをすべて削除してください。 まとめ この記事では、FSx for ONTAP の高度な機能を活用し、既存の Amazon EC2 を NAS として実装するのに対して Amazon FSx for NetApp ONTAP の耐久性と回復力のメリットを紹介しました。FSx for ONTAP のマルチプロトコル機能、豊富なツールセット、マネージドサービスの簡素化とともに、FSx for ONTAP は既存のアプリケーションとワークロードを AWS で問題なく実行できるようになります。 アップストリーム、ミッドストリーム、ダウンストリームのワークロードにはマルチプロトコルの要件があり ( フルマネージドサービスならなお良い )、AWS と FSx for ONTAP ではこの機能をすぐに利用できます。特定の SMB ワークロードのための FlexGroup と SMB チューニングを使用するテクニックも紹介しました。Command Line Interface と NetApp エコシステムによるモニタリング手法により、信頼性の高いテレメトリーデータを得ることができます。FSx for ONTAP は、ワークロードに最適なパフォーマンスを提供するように高度なチューニングが可能です。 Amazon FSx for NetApp ONTAP は、ほとんどの AWS リージョンでご利用いただけます。コメントや質問がありましたら、お気軽にコメント欄にご記入ください。 翻訳はネットアップ合同会社の方様、監修はソリューションアーキテクトの長田が担当しました。 Tom McDonald Tom McDonald は AWS のシニア・ワークロード・ストレージ・スペシャリストです。Tom は Atari 400 とテープの再プログラミングからスタートして、あらゆるストレージサービスのパフォーマンスを向上させることに長い興味を持つようになりました。アップストリーム・エネルギー事業、ファイルシステム、ハイパフォーマンス・コンピューティングの分野で 20 年の経験を持つ Tom は、コミュニティとガイダンスを通じて他者を支援することに情熱を注いでいます。

本ブログは、株式会社システムインテグレータ様と Amazon Web Services Japan が共同で執筆しました。 株式会社システムインテグレータ は、「時間を与えるソフトウェアを創り続ける」というミッションを掲げる IT 企業です。パッケージ・ソフトウェアやクラウドサービス（SaaS）の企画開発・販売、コンサルティングなどを幅広く手掛けています。 同社では、エンジニアの採用や教育に役立つ、プログラミングスキル判定サービス「 TOPSIC（トップシック） 」を提供しています。 「 TOPSIC 」は、プログラミングおよび SQL のコーディングテスト問題と受験プラットフォームを提供するクラウドサービスです。オンライン受験、リアルタイム採点が可能となっており、「いつ」「誰に」「どんなテスト」を受験させるかを設定するだけで、簡単にプログラミングスキル判定が可能なサービスとなっています。「TOPSIC」 は、プログラミング「力」ならびにアルゴリズム「力」を問う TOPSIC-PG と、SQL スキルチェックだけでなく業務知識の習得にも役立つ TOPSIC-SQL から構成されています。 TOPSIC では提出されたソースコードを受験者同士で共有する機能が用意されています。同じ問題に対して提出されたソースコードでも、使われているアルゴリズムやデータ構造などは受験者やプログラミング言語によって様々です。他者の解答から自分とは異なる解法や実装方法などを学ぶことで、自身のアプローチの幅を広げていくことを推奨しています。しかし、これまでは参考とすべき解答を探すための具体的な方法がなく、データ長や実行時間を見ながら、数ある解答を逐一確認していく必要がありました。 検証内容 このような課題を解決するために、生成 AI の機能を用いてソースコードをタグ付けし、参考にしたいソースコードを簡単に検索できないかと考えました。この仮説検証のため、システムインテグレータでは AWS のサービスを活用した以下の検証を実施しました。 提出されたソースコードを Amazon Simple Storage Service (Amazon S3) にアップロードする。 Amazon Bedrock の Claude 1.2 を用いて提出されたソースコードを解析し、アルゴリズムやデータ構造ごとにカテゴライズする。 受験者が提出したソースコードを安全に管理することが絶対条件でしたが、Amazon Bedrock を活用することで、セキュリティの懸念もなく、 AWS 内のサービスのみでAI解析を行うことが可能となりました。 Amazon Bedrock を利用するのは今回が初の試みでしたが、AWS のマネージドサービスを活用することで、約 1ヶ月という短期間でプロトタイピングを終えることができました。 検証結果 Amazon Bedrock を用いて受験者のソースコードを解析し、解答へのアプローチ方法を自動でカテゴライズすることが可能となりました。これにより、受験者の提出履歴の検索性能が向上し、参考とすべき解答へ辿り着きやすくなりました。解法は利用言語毎に集計され、言語ごとの解法の傾向なども把握可能となりました。 今後の展望 Amazon Bedrock に関する検証を続けています。現在、本機能は Claude 1.2 で稼働していますが、Claude 2、 Claude 3 Haiku の導入も検討中です。特にClaude 3 Haiku を利用することで、コストの大幅カットとレスポンス時間の短縮を見込んでいます。 まとめ 「 TOPSIC（トップシック） 」は、コーディングテスト問題と受験プラットフォームを提供するクラウドサービスです。本サービスには、提出されたソースコードを受験者同士で共有する機能が用意されており、他者のソースから解答へのアプローチや実装方法を学ぶことを推奨しています。 Amazon Bedrock を活用して、各受験者の解答を解析することで、その解答で利用されているアルゴリズムやデータ構造などの情報でカテゴライズすることが可能になりました。これにより、提出履歴の検索性能が向上し、自己学習のプロセスが効率化されました。 今回の検証を通して、Amazon Bedrock を利用することで、安全かつ高速に生成 AI を用いた機能実装が実現できることを確認できました。システムインテグレータでは、今後も AWS の先進な技術を用いてソフトウェア開発に注力していく考えです。

本記事は、「 O2 Telefonica Moves its 5G core network to the Cloud with AWS and Nokia 」（2024年5月7日公開）を翻訳したものです。 O2 Telefónica は新しい「5Gクラウドコア」を発表しました。この5Gクラウドコアはヨーロッパのネットワーク機器プロバイダーである Nokia とアマゾンウェブサービス（AWS）の技術を使用して、完全にクラウド上で構築されます。 より多くの通信事業者が、ネットワークワークロードをクラウドに移行する価値を認識しています。今年前半、日本の主要なモバイルオペレーターである NTTドコモ が、AWS と協力して全国規模の 5G オープン無線アクセスネットワーク（RAN）を日本で商業展開することを発表しました。また、2021 年には DISH との協力で、米国国内の5Gネットワークを迅速的に構築・拡大することを発表しました。 一方で、本日の発表も重要です。通信事業者が既存のネットワークと加入者を、AWS 上で稼働する新しい 5G クラウドネットワークに移行する初めての事例です。 5G クラウドネットワークは、モバイル加入者をインターネット、音声、およびその他のネットワークに接続する「パケットコア」の進化形です。これは、加入者が 5G スタンドアローンネットワークを利用する際に、モバイルデータストリームが集約される場所です。新しい 5G クラウドコアは、加入者がプロバイダーの 5G スタンドアロンネットワーク（「5G Plus」）を利用する際に、より良いネットワーク体験を提供します。このアプローチで、コアネットワーク機能はクラウドネイティブアプリケーションとして設計され、より迅速かつコスト効率よく更新できるため、O2 Telefónica に運用上の利点ももたらします。これは、新機能が常に必要とされる 5G 時代において、特に重要です。ハードウェアを購入したり、専用のプライベートクラウドをデプロイ・管理する代わりに、ソフトウェアを更新し、クラウドでの容量を柔軟に予約またはキャンセルできます。これにより、O2 Telefónica は加入者に新しい 5G サービスを展開しやすくなり、加入者への最適なサポートと新たな収益化の機会を提供します。 O2 Telefónica の Director Mobile Access Network である Matthias Sauder 氏はそのメリットについて以下のようにコメントしました。「私たちは、データセキュリティと主権能力の向上、および優れたパフォーマンス、効率性、弾力性により、AWSをを選びました。これにより、我々のお客様に優れた5G体験と新しいデジタルアプリケーションを提供できます。」 次に、O2 Telefónica および Nokia と協力して、最も安全なクラウドである AWS を使用して、ネットワーク品質の向上と高いセキュリティ基準を実現する方法について詳しく見ていきます。 O2 Telefónica のネットワークアーキテクチャは、クラウドでの高可用性とスケーラビリティを念頭に設計されています。O2 Telefónica は、AWSリージョンとアベイラビリティゾーンを活用して、Nokia 5G コアを大規模に運用するための回復力、高い耐障害性のアーキテクチャを構築しました。例えば、計画作業もしくは計画外イベントが発生した際に、トラフィックは自動的に他のサーバーにルーティングされ、サービスのレジリエンスを実現します。結果として、サービスの中断なくメンテナンスを行うことができ、ネットワークの可用性が向上します。これは、モダンな 5G アプリケーションにとって特に重要です。このアーキテクチャで O2 Telefónica は Nokia のコンテナ化されたクラウドネイティブネットワーク機能（NFs）のオーケストレーションのために、 Amazon Elastic Kubernetes Service（EKS） を使用しています。これは、AWS リージョンや AWS Outposts におけるコンピューティング重視型からスループット重視型まで、さまざまなタイプのワークロードに対応する、 Amazon Elastic Cloud Compute（EC2） をノードとして使用しています。 政府や規制が厳しい業界から小規模企業やスタートアップまで、世界中のお客様が Amazon Web Services (AWS) を信頼して下さり、最も機密性の高いデータやアプリケーションをAWS上で構築しています。これは O2 Telefónica が AWS を選んだ主な要因の一つです。O2 Telefónica のデータコアネットワークは、モバイルネットワークの中心部分であり、すべてのアプリケーションとデータが集約される場所です。すべてのデータは、O2 Telefónica のオンプレミスまたはヨーロッパ内の AWS インフラストラクチャに保存され、完全にエンドツーエンドで暗号化されています。O2 Telefónica は、AWS とオンプレミスの様々な Nokia NFs 間の IP ネットワーキングに Amazon Virtual Private Cloud（VPC） を使用しており、無線アクセスネットワーク（RAN）サイトなどのオンプレミスサイトへの高性能、安全、レジリエントな接続には AWS Direct Connect を使用しています。O2 Telefónica は、セキュリティ、品質、およびデータ保護の高基準を包括するクラウドセキュリティフレームワークを開発しました。加入者データを保護するために、データ暗号化キーの管理に Amazon Key Management Service（KMS） と AWS CloudHSM を使用しています。これらサービスには専用の改ざん防止ハードウェアデバイスがフルマネージドで提供されます。さらにこのアーキテクチャは、すべてのAWSコンピュートインスタンスの基盤となる AWS Nitro System を活用して、データの分離、暗号化、コストパフォーマンス最適化、および速いイノベーションなど、O2 Telefónica の要件を実現し、ネットワーク運用者を加入者データにアクセスできないように制限します。そして、AWS Nitro System により、AWS は通信事業者ネットワークのトポロジ全体にクラウド連続体を提供し、EC2、ネットワーキング、およびEKSサービスをクラウドネイティブアーキテクチャの基本的な構成要素とします。耐障害性、パフォーマンス、拡張性に優れたブロックおよびネットワークアタッチドストレージには、Amazon Elastic Block Storage（EBS）とAmazon Elastic File Storage（EFS）をそれぞれ使用しています。AWS アカウントおよび組織のポリシーの一貫性のあるスケーラブルなガバナンスには、O2 Telefónica は AWS Control Tower を使用しています。様々な AWS リソースの自動展開および管理には、Continuous Integration/Continuous Deployment（CI/CD）サービスのスイートを使用しています。これらの CI/CD およびオブザーバビリティツールセットには、 AWS CloudFormation 、 AWS CodePipeline 、 AWS CodeBuild 、Amazon Elastic Container Service（ECR）、および Amazon CloudWatch が含まれます。 O2 Telefónica は、AWS が Amazon EKS 内で Multus Container Network Interface（CNI）プラグイン をサポートしていることからトラフィック分離も可能になり、また、高速パケット処理を含む様々なネットワーク機能要件に従って個別の CNI プラグインを使用できます。さらに、異なる種類のトラフィック（例えば、制御プレーンとユーザープレーン）を分離して、VPC 間および VPC-to-オンプレミス接続に異なるルーティングおよびセキュリティポリシーを適用するために、O2 Telefónica は Multi-VPC Elastic Network Interface (ENI) アタッチメントを使用しています。 Amazon EKS での Kubernetes 更新の頻度を最小限に抑えるために、O2 Telefónica は Amazon EKS 延長サポートを使用しています。Kubernetes のマイナーバージョンを Amazon EKS が一般提供された時点から最大26か月間使用できます。 「O2 Telefónica の5Gクラウドコアネットワークに選ばれたことを非常に誇りに思います。AWS の経験、成熟度、信頼性、セキュリティ、およびパフォーマンスが、O2 Telefónica の 5G クラウドコアネットワークの構築を支援し、彼らの未来のネットワークビジョンを実現するのに役立っています。」と、AWS EC2 VP の Jan Holfmeyr は述べています。 テレコム向けの AWS クラウドソリューションについて詳しくは、 AWS for Telecom をご覧ください。 著者について Amir Rao Amir Raoは、AWS の EC2 エッジサービスのテレコプロダクトマネジメントディレクターです。彼のグローバルチームは、テレコのお客様向けの AWS EC2 エッジサービスの構築に焦点を当てており、OSS/BSS、5Gコアおよび IMS、5G RAN（CU/DU）、および他の固定/モバイルネットワークアプリケーションドメインのための AWS サービスとインフラストラクチャを含みます。彼のチームは、Wavelength や Integrated Private Wireless (IPW) などの AWS 製品を管理することによって、企業のデジタルトランスフォーメーションにつながる 5G ネットワークの収益化にも焦点を当てています。現在の役職に就く前は、通信業界ビジネスユニットの AWS ソリューションポートフォリオの GM でした。彼のリードで、テレコお客様による AWS クラウドの採用が進み、テレコビジネスのバリューチェーンとテレコネットワークのトポロジー全体にわたる複数のソリューションが提供されました。Amir は、AWS、Motorola Solutions, Huawei, Nokia, Microsoft などの Tier 1 テクノロジープロバイダーで20年以上のグローバルな業務経験を持っています。キャリアを通じて、彼は2005年の CDMA、2006年の WIMAX、2012年の LTE、2019年の 5G MEC（Wavelength Zones）、2019年の AWS Outposts as NFVi、2021年には Dish と AWS クラウド上で5Gネットワークの構築、Swisscom と AWS クラウド上で 5Gコアの構築を経験しました。彼はスタンフォード大学経営大学院とロンドンビジネススクールの卒業生です。 Fabio Cerone Fabio は現在、AWS のマネージングディレクターであり、2019年に EMEA 地域向けのテレコビジネスユニットを設立しました。AWS に入社する前は、大規模なビジネス(10億ドル超)をスケールするセールス経験を持ち、通信業界でソフトウェアソリューションとサービスのビジネス開発を行いました。彼は Ericsson や Telecom Italia などの大手通信会社で働いてきました。Ericsson では、テレコクラウドビジネスラインのグローバルヘッドとして、サービスプロバイダーのクラウド導入への変革を推進しました。Fabio は、グローバル視点（コーポレートのグローバルエグゼクティブ役職）とローカル視点（顧客セールスエグゼクティブ）の両方でセールス成長とビジネス変革を推進し、成功を収めたダイナミックなエグゼクティブです。テックセクターで24年の経験を持ち、彼のキャリアは、セールス、デリバリー、ビジネス開発の様々な顧客対応役職から、会社全体の変革プログラムを推進し、新しい分野でのセールスを促進するジェネラルマネージャー役職まで成長しました。彼の専門知識は、通信業界、通信システムとアーキテクチャ、通信ソフトウェア、クラウドインフラとサービス、管理ソフトウェアとプラットフォーム、モビリティ（5Gへの進化を含む）、システムインテグレーションビジネスに焦点を当てています。Fabio のリーダーシップと管理経験は、高パフォーマンスな組織の開発、コラボレーション、所有権、アカウンタビリティ、および顧客重視の文化の確立において重要な貢献をしました。 翻訳はソリューションアーキテクトの陳誠が担当しました。

日本最大の “AWS を学ぶイベント” AWS Summit Japan が 6月 20 日（木）、21 日（金）の二日間に渡り幕張メッセで開催されます。クラウドコンピューティングコミュニティが一堂に会して、アマゾン ウェブ サービス (AWS) に関して学習し、ベストプラクティスの共有や情報交換ができる、クラウドでイノベーションを起こすことに興味がある全ての皆様のためのイベントです。基調講演・150 を超えるセッション、250 を超える EXPO コンテンツがあり、今回はその中からサステナビリティに関する展示ブースとセッションをご紹介します。 【 EXPO ブース AWS 展示 】 AWS for Sustainability (AWS for Every Application Zone) AWS は IT と企業全体の持続可能性を支援します。本展示では、クラウドワークロードの最適化による環境負荷低減と、炭素会計などのクラウドベースのソリューションで企業のサステナビリティに関する取り組みを加速する方法をいくつかご紹介します。 Sustainability Insights Framework (SIF) を活用した迅速な炭素会計システムの開発 企業や組織において、炭素排出量の測定と開示の透明性の確保を求められる機会が増えていますが、既存のシステムとの統合やデータ所有権の懸念などから、炭素会計のソリューションを購入するよりも自社で構築することを選択することも多くなっています。しかし、異なる炭素会計のフレームワークや方法論のサポート、排出係数の管理、データパイプラインの構築、認証およびセキュリティ管理、監査証跡の提供といった、全てを実現するプラットフォームの設計・構築は困難です。 Sustainability Insights Framework (SIF) は、こうした機能の多くをすぐに利用できるオープンソースのアクセラレータです。SIF を活用して、より迅速に充実した機能を備えた炭素会計システムを構築する方法をご紹介します。 生成 AI を活用してサステナビリティ報告書や基準から迅速に洞察を得る方法 様々なサステナビリティの枠組み (CSRD, GRI, SASB, TCDF, CDP など)、方法論、規制基準、報告実務の情報量は膨大です。サステナビリティの専門家やアナリストは、大量の情報を迅速かつ正確に分析し、規制から持続可能性報告要件や、持続可能性指標、報告されたデータなどの洞察を要約し導き出す必要がありますが、手作業で行うことは困難です。 公開されているサステナビリティ報告書の大多数は PDF ドキュメントとして公開されているため、効果的な情報検索のために構造化された機械可読形式 (JSON など) での文書解析が有効です。Amazon Bedrock を活用したサステナビリティ関連文書の自動分析をチャットボット形式で実現する方法をご紹介します。 上記のデモの他にも先日日本語で公開された AWS Well-Architected Sustainability Workshop のご紹介などもあり、AWS とサステナビリティについて幅広く会話できるスタッフが常駐していますので、是非お気軽にお立ち寄りください。 スマート x サステナブルビル管理デモ (Developer Zone) AWS IoT を活用し、持続可能性のソリューションライブラリの一つである 「Guidance for Smart and Sustainable Buildings on AWS」 を参考に、可視化したデータから省エネルギー化の洞察を得て、電力、費用及び温室効果ガス (GHG) 排出量の削減を実現するソリューションの実装例をご紹介します。 「サステナビリティを意識したミニチュア倉庫のデモを作ってみた !」 でご紹介している、Amazon の倉庫を模したミニチュアモデルおいて、室温や空気の質をデータに基づいて適切に管理することで省エネルギーにつながる過程をご覧いただけます。 【 EXPO ブース 事例展示 】 日本通運株式会社 (Industry Zone) 日本通運のエコトランス・ナビは、2050 年の温室効果ガス排出量実質ゼロに向け、お客様の ESG 経営に貢献する CO2 排出量算定・可視化サービスです。AWS QuickSight と Redshift を活用し、見やすい UI で大容量の情報をスピーディーにグラフィカルに表現。他社にはない CO2 削減のシミュレーション機能や公的機関への書類作成機能もあり、環境貢献と事務作業の軽減をサポートします。 株式会社アイ・グリッド・ソリューションズ (AWS Village) アイ・グリッドは Amazon Timestream などの AWS 機能を最大限に活用して開発した再エネ活用の最適化を実現する「R.E.A.L. New Energy Platform®」をご紹介します。ぜひお立ち寄りください！ 【 AWS セッション 】 AWS-04 AI を利用した ESG レポーティングとデータ主導の意思決定 日時：6 月 20 日 (木) 14:50 – 15:30 スピーカー：アマゾン ウェブ サービス ジャパン合同会社 技術統括本部 ソリューションアーキテクト 佐藤 賢太 多くの組織は、サステナビリティに取り組むコミットメントを掲げていますが、目標を達成する上で必要なデータの測定と分析において課題を抱えています。組織が直面する主な課題の1つは、さまざまなソースからデータセットを抽出する能力です。このセッションでは、AWS の生成 AI サービスが FlexZero プラットフォームをどのように支え、既存の業界標準の炭素排出係数と計算を用いて、炭素データを取り込み、処理する方法を提供しているかを学びます。また、サプライチェーンソリューションのリーダー企業である Rehrig Pacific の事例では、AWS と FlexZero との協業により、自社のカーボンフットプリントを正確に測定し報告する方法についての洞察を共有します。 AWS-49 物流業におけるデジタルツイン構築における勘所 日時：6 月 21 日 (金) 14:50 – 15:30 スピーカー：アマゾン ウェブ サービス ジャパン合同会社 技術統括本部 ソリューションアーキテクト 戸塚 智哉 デジタルツインへの関心が近年高まっていると同時に、AWS でどのように構築していくべきか悩まれているお客様も増えています。デジタルツインは現実世界をデジタル空間に再現し、リアルタイムな監視やシミュレーションを可能にする技術ですが、現実世界のデータをどのようにクラウドで扱うのか、物流倉庫などの利用シーンをベースに、AWS IoT サービスを使ったデザインパターンをご紹介します。生成 AI と合わせることでより効果的なデジタルツインの実現についても勘所をご紹介します。 デジタルツインは、組織が物理的なシステムの性能を定量化し、環境への影響を削減するのを支援することで、持続可能な取り組みにおいて重要な役割を果たしています。デジタルツインは製造業で使われる印象を持たれている方も多いかもしれませんが、物流倉庫においてもコンベアなどの設備や、無人搬送車 (AGV)・無人搬送フォークリフト (AGF) の稼働に伴うエネルギー消費量の可視化と削減を効果的に行うことで組織の持続可能性の取り組みを支える可能性に言及したセッションになっています。デジタルツイン構築の勘所は製造業の方にも役立つ内容となっています。 【 事例セッション 】 CUS-13 進化し続ける Honda を実現するデジタル基盤 日時：6 月 20 日 (木) 16:00 – 16:30 スピーカー：本田技研工業株式会社 執行職 デジタル統括部長 河合 泰郎 氏 Honda では、今後も続く事業進化を実現していくデジタル戦略とデータを最大限に活用するデジタル基盤の整備を進めています。 この機会では、バリューチェーンを横断する基幹システムのデータと、コネクテッドカーに代表されるデジタルサービスのデータを掛け合わせて活用できることを可能にし、生成 AI など最新のデジタル技術の活用も含めて事業価値を生み出す構想の概要や、実現にむけた AWS サービスの位置づけについてご紹介いたします。 また、 6 月 20 日 (木) 17:10 – 17:25 に セキュリティ & One-AWS Zone で AWS for Sustainability に関するミニステージを予定しています。こちらにも是非お立ち寄りください。 AWS Summit Japan は下記からご登録できます。今回ご紹介させて頂いたセッション以外にも数多くのセッションがあり、セッション内容の確認・受講登録が出来ます。皆様のご登録・ご来場をお待ちしています！ https://aws.amazon.com/jp/summits/japan/ この記事はテクニカルアカウントマネージャーの石渡 嘉之が担当しました。

企業はリアルタイムでデータをキャプチャして分析するために、Apache Kafka と Amazon Managed Streaming for Apache Kafka(Amazon MSK) を採用しています。 Amazon MSK は、Kafka のインフラ管理の専門知識や Apache Kafka を自分で設定して実行することに伴う複雑なオーバーヘッドへの対処なしに、Apache Kafka 上で本番アプリケーションを構築および実行できるよう支援します。 リリース当初から、Apache Kafka は Kafka ブローカーとトピックのメタデータを保存および複製するために Apache ZooKeeper に依存してきました。 Apache Kafka バージョン 3.3 から、Kafka コミュニティはメタデータ管理における ZooKeeper への依存性を置き換えるために、コンセンサスプロトコルである KRaft (Kafka on Raft) を採用しました。 将来的には、Apache Kafka コミュニティは ZooKeeper モードを完全に削除する計画です。 本日、バージョン 3.7 からの新しいクラスターで、Amazon MSK 上の KRaft のサポートを開始できることをうれしく思います。この投稿では、KRaft モードが ZooKeeper アプローチに比べてどのように役立つかの詳細を説明します。また、KRaft モードで MSK クラスターを作成するプロセスと、KRaft モードの MSK クラスターにアプリケーションを接続する方法もご紹介します。 ZooKeeper から KRaft モードへの置き換えられた理由 従来の Kafka アーキテクチャは、クラスタメタデータの信頼できるソースとして ZooKeeper に依存しています。ZooKeeper のメタデータへの読み書きアクセスは、単一の Kafka コントローラを通じて行われます。パーティション数が多いクラスタの場合、このアーキテクチャは、コントローラが 1 つであることに起因する、ブローカーの突然のシャットダウンやコントローラのフェイルオーバーといったシナリオでボトルネックを引き起こす可能性があります。 KRaft モードは、メタデータを Kafka クラスター自体内で管理することで、これらの制限を解決します。ZooKeeper クラスターに依存する代わりに、KRaft モードはクラスターメタデータを複数の Kafka コントローラーノード全体に保存および複製し、メタデータのクォーラムを形成します。KRaft コントローラーノードは、Kafka メタデータログを管理する Raft クォーラムで構成されます。メタデータ管理の責任を複数のコントローラーノード全体に分散することで、KRaft モードは、ブローカーの制御不能なシャットダウンやコントローラーのフェイルオーバーなどのシナリオでのリカバリー時間を改善します。 KRaft モードとその実装の詳細については、 KIP-500: セルフマネージドメタデータクォーラムで ZooKeeper を置き換える を参照してください。 次の図は、ZooKeeper モードと KRaft モードの 3 ノード MSK クラスター・アーキテクチャを比較したものです。 KRaft モードの Amazon MSK これまで、Amazon MSK はメタデータ管理に ZooKeeper に依存する Kafka クラスタをサポートしてきました。Amazon MSK の主なメリットの 1 つは、ZooKeeper クラスタの設定と管理の複雑さを追加料金なしで処理してくれることです。多くの組織が、数千のパーティションにトラフィックを分割する必要がある大規模なビジネスクリティカルなストリーミングアプリケーションを実行するために Amazon MSK を利用しています。Kafka クラスタのサイズが大きくなるにつれ、クラスタ内で生成されるメタデータの量は、パーティション数に比例して増加します。 Kafka クラスタがサポートできるパーティション数を決定する重要な 2 つのプロパティがあります。ノードごとのパーティション数制限と、クラスタ全体のパーティション制限です。以前述べたように、ZooKeeper ベースのメタデータ管理システムは、Apache Kafka のクラスタ全体のパーティション制限にボトルネックを課していました。しかし、Amazon MSK にバージョン 3.7 から KRaft モードが導入されたことで、Amazon MSK は現在、ZooKeeper モードのデフォルトクォータの 30 ブローカーに対して、最大 60 ブローカーを持つクラスタの作成を可能にしています。Kafka のスケーラビリティは、基本的にはより多くのノードを追加して全体的な容量を増やすことによってクラスタを拡大することによるものです。結果的に、クラスター全体のパーティション制限は、引き続き Kafka システム内のスケーラビリティの上限であり続けます。パーティション制限が、使用可能な各ノードに分散配置されるパーティションの最大数を決定するためです。 Amazon MSK は、追加費用なしで KRaft コントローラーノードを管理します。 KRaft モードの MSK クラスターの作成とアクセス KRaft モードで MSK クラスタを設定するには、次のステップを完了します: Amazon MSK console にて ナビゲーションペインから Clusters を選択します。 Create cluster を選択します。 Cluster creation method で Custom create を選択します。 Cluster name に任意の名前を入力します。 Cluster type で Provisioned を選択します。 Apache Kafka version で 3.7.x を選択します。 Metadata mode で KRaft を選択します。　 他の設定はそのままで、 Create cluster を選択します。 クラスターの作成が成功したら、クラスターに移動して　 View client information 　を選択できます。これにより、クラスターのブートストラップサーバーに関する詳細が提供されます。 KRaft モードの MSK クラスタへのアクセスのためのクライアントアプリケーションとツールの調整 Amazon MSK で KRaft モードが採用されたことにより、ZooKeeper に接続して MSK クラスタと対話するクライアントアプリケーションやツールを使用しているお客様は、アーキテクチャから ZooKeeper が削除されたことを反映するようにこれらを更新する必要があります。 バージョン 1.0 から、Kafka は ZooKeeper 接続文字列の代わりにブートストラップサーバー(ブローカー)を入力パラメータとして管理ツールが使用できるようにする機能を導入し、バージョン 2.5 から ZooKeeper 接続文字列の非推奨を開始しました。 この変更は、Kafka を ZooKeeper から切り離し、メタデータ管理のために最終的に ZooKeeper を KRaft モードで置き換えるための取り組みの一環でした。 ZooKeeper 接続文字列を指定する代わりに、クライアントは bootstrap.servers 設定オプションを使用して、Kafka ブローカーに直接接続する必要があります。 次の表は、これらの変更を要約したものです。 . ZooKeeper 利用時 KRaft 利用時 クライアントとサービス bootstrap.servers=broker:<port> または zookeeper.connect=zookeeper:2181 (非推奨) bootstrap.servers=broker:<port> 管理ツール kafka-topics --zookeeper zookeeper:2181 (非推奨) または kafka-topics —bootstrap-server broker:<port> … —command-config kafka-topics —bootstrap-server broker:<port> … —command-config 概要 この投稿では、Amazon MSK がメタデータ管理のための KRaft モードのサポートを開始したことについて説明しました。また、KRaft の動作と ZooKeeper との違いについても説明しました。 Amazon MSK で　KRaft モードを利用するためには、 AWS Management Console を使用して KRaft モードで新しいクラスターを作成してください。詳細は Amazon MSK デベロッパーガイド を参照してください。 著者について Kalyan Janaki はアマゾンウェブサービスのシニアビッグデータ&アナリティクススペシャリストです。 彼は、お客様が AWS 上で拡張性やパフォーマンスが高く、安全なクラウドベースのソリューションを設計および構築できるよう支援しています。 翻訳はソリューションアーキテクトの小役丸が担当しました。原文は こちら です。

流通・小売・消費財業界に関わられている方々を主な対象として、2024 年 5 月 9 日に「流通・小売・消費財業界向け：クラウドと生成 AI による顧客接点改革」のオンラインセミナーを開催しました。ご参加いただきました皆さまには、この場を借りて御礼申し上げます。本ブログではセミナーの内容を簡単にご紹介します。 今回のセミナーでは進化を続ける「顧客接点」をキーワードに、2 つのテクノロジー「クラウド化されたコンタクトセンター（ Amazon Connect ）」「生成 AI」を取り上げて、お客様事例とデモをお届けしました。 セッション 1. オープニング アマゾン ウェブ サービス ジャパン合同会社 エンタープライズ技術本部 流通小売・消費財グループ 本部長　五十嵐 建平 資料ダウンロード オープニングは、企業収益に直接的な影響を与える顧客接点においてテクノロジーによる新たな価値提供の可能性を示すところから始まりました。大丸松坂屋百貨店様の事例および AWS デモにおいて登場する AWS の提供するクラウドベースのコンタクトセンターサービスである、Amazon Connect の強み、そして Amazon Connect がどのように顧客体験 = Customer Experience (CX) の向上に貢献できるのかを簡単に紹介しています。またルームクリップ様、および AWS デモにおいて生成 AI の主題となっている画像について、企業の持つ画像から、生成 AI によって価値ある情報を引き出すことの重要性についてお話しました。 セッション 2.お客様事例 (1) Amazon Connect、Zendesk を連携したコンタクトセンターの対応品質改善 ～ 6 か月間のプロジェクト～ 株式会社 大丸松坂屋百貨店 経営戦略本部 DX推進部 デジタル事業推進担当　木村 崇文 様 資料ダウンロードリンク 株式会社大丸松坂屋百貨店 様では、新規事業領域から既存事業領域まで広くデジタルトランスフォーメーションを推進されています。その中のテーマの一つが「お客様との関係性の深化」、まさに顧客接点におけるトランスフォーメーションです。大丸松坂屋オンラインストアのコンタクトセンター刷新の 3 つの目的、つまりなぜこの取り組みが必要とされたのか、それを踏まえてプロジェクトを進めるにあたり取り入れた「顧客」「業務委託先」「大丸松坂屋百貨店」という 3 つの視点で、課題や KPI を具体的に示しつつ、ご紹介いただきました。その上で、お問い合わせのチャネルで電話の構成比が高いという百貨店様ならではという特性を考慮した上で、Amazon Connect、またこれと組み合わせてご利用いただける Zendesk 社サービスの採用のポイントとして信頼性や、柔軟なカスタマイズが可能であること、問い合わせチャネルの一元管理、分析集計機能への期待といったことを挙げて解説いただきました。プロジェクトは要件定義から約 6 か月という短期間でローンチし、これによって具体的なビジネス効果が上がっていらっしゃる点も具体的に共有され、今後の取り組み予定や期待で締めくくられました。 セッション 3. お客様事例 (2) Lambdaで動くプロンプトライクな物体検出システム ルームクリップ株式会社 CTO　平山 知宏 様 資料ダウンロードリンク 住生活の領域に特化した日本最大級のソーシャルプラットフォーム「 RoomClip 」では、ユーザーにより日々、家具や雑貨といったインテリア写真が投稿されています。写真を共有・閲覧するだけでなく、投稿された写真に写っているものを購入できるページを案内するなどのサービスも提供されており、そういったサービスのためには写真から物体を検出する必要があります。今回のセッションでは、ルームクリップ様のビジネスに必要とされる物体を柔軟に検出するために、様々な軽量動作検出モデルを試行された中で得られた知見、解決策をお話いただきました。画像からの物体検出の各種モデル、サービス、LLM などの得意領域を組み合わせることで、よりビジネスニーズに応えるシステムを検討し、「形式化されたフォーマットで、プロンプトによる運用中心の高速な微調整が可能な物体検出」を実現されました。さらに、コスト面でも軽量化をはかり、 AWS Lambda 上で動作させるアーキテクチャを採用されました。一つの技術だけでビジネス課題を解決できることは現実的には少なく、LLM であれ各技術の得意な領域を組み合わせていかに課題を解決していくのか、そこにこだわることでテクノロジーがビジネスに確実に貢献できるようにする、その重要性を改めて伝えていただきました。 セッション 4. 顧客接点にイノベーションをもたらすマルチモーダルな生成 AI の使い方 アマゾン ウェブ サービス ジャパン合同会社 エンタープライズ技術本部 小売・消費財 第二ソリューション部 ソリューションアーキテクト　中島 佑樹 ＊配布資料はありません テキストのみならず、画像を含めた複数チャネルを入出力できる「マルチモーダル」な生成 AI の活用が広がりつつあります。このセッションでは、マルチモーダルな生成 AI を顧客接点改革につなげるいくつかのアイデアを紹介しました。生成 AI の基盤モデルを API 呼び出しできるフルマネージドな Amazon Bedrock を呼び出すだけのシンプルな構成で画像とテキストの 2 種類のデータを活用するアプリケーションを用意しました。このアプリケーションを使って「商品画像と商品説明文からユーザに訴求するメッセージを生成する」「商品の比較文を生成する」「画像やテキストを入力に柔軟な検索を行う」といった具体的なユースケースについてデモをお見せしました。 今回のデモのコードはは公開の準備が整いましたら別途ブログでご案内しますが、類似のアセットである Titan Multimodal Embeddings を用いた検索機能のサンプル や、マルチモーダルに限定せず幅広く AWS の生成 AI をお試しいただける生成 AI ユースケースデモ など既に公開されているものがありますのでご活用ください。 セッション 5. 顧客接点の変革を実現 – コンタクトセンターにおける生成 AI 活用術 アマゾン ウェブ サービス ジャパン合同会社 エンタープライズ技術本部 小売・消費財 第一ソリューション部 ソリューションアーキテクト　千代田 真吾 資料ダウンロードリンク 大丸松坂屋百貨店様の事例でもご紹介したクラウドベースのコンタクトセンターサービスである、Amazon Connect。Amazon Connectではこれまでにも AI/ML を組み込んだ機能が提供されています。このセッションでは、Amazon Connect に セッション 4 でも登場した Amazon Bedrock、エンタープライズナレッジ検索を実現する AI サービスの Amazon Kendra 、テキストから感情分析を行う自然言語処理 AI サービスの Amazon Comprehend を組み合わせ、「生成 AI による回答作成」「通話内容の自動要約」「お客様の感情分析」のデモを紹介しました。音声やテキストを扱うコンタクトセンター業務において、Amazon Connect と生成 AI や AI/ML サービスが技術的な親和性の高さだけでなく、エージェント業務の作業効率向上や生産性向上といった実用的な価値を生み出しやすいものであることがわかります。 デモでご紹介したソリューションのアーキテクチャやコードは公開されており、ブログ「 Amazon Bedrock と Amazon Connect によるコンタクトセンター向け生成系 AI ソリューションの構築手順 」の中で詳しくご紹介していますので、ご活用ください。 まとめ 今回のセミナーでは「顧客接点」をキーワードに、2 つのテクノロジー「クラウド化されたコンタクトセンター（Amazon Connect）」「生成 AI」を取り上げました。コンタクトセンターについては、顧客体験に対する利用者の期待に応えるため、大丸松坂屋百貨店様が取り組まれた Amazon Connect によるコンタクトセンター刷新のプロジェクトでどのような課題が解決できたのかをご紹介いただきました。もう一つのテーマである生成 AI については、企業にとっての宝である画像から価値を引き出すべく重ねられた工夫について、ルームクリップ様にお話いただきました。後半は AWS ソリューションアーキテクトから、マルチモーダル生成 AI で商品説明文生成やユーザーの検索を支援するユースケース、そして Amazon Connect と生成 AI を組み合わせたコンタクトセンター業務の実用的なデモをご紹介しました。事例、デモ、いずれも一つのソリューションで解決するのではなく、ビルディングブロックの組み合わせでビジネス課題を解決するものとなっており、まさに AWS の使いどころを感じていただけるものだったと思います。 2024 年 6 月 20、21 日に開催される AWS Summit Japan において、流通・小売・消費財業界向けの展示ブースをご用意します。今回ご紹介した生成 AI のデモをはじめ、店舗と e コマースをシームレスに繋ぐ新しい顧客のカスタマージャーニーや、次世代自動販売機などの物理デバイスなど「Accelerate Innovative Customer Journey」をテーマに展示いたしますのでぜひお立ち寄りください。 今後も、流通・小売・消費財業界の皆さまに向けたイベントを企画し、情報発信を継続していきます。ブログやコンテンツも公開しておりますのでご覧ください。 流通小売参考情報 [1] AWS ブログ ”流通小売” カテゴリー [2] AWS ブログ “消費財” カテゴリー [3] AWS 消費財・流通・小売業向け ソリューション紹介 ページ このブログは、ソリューションアーキテクト 杉中 が担当しました。

人生はいつも幸せだとは限らず、苦しいときもあります。それでも、私たちは歩みを共にする人たちと喜びや苦しみを分かち合うことができます。AWS コミュニティも例外ではありません。 Jeff Barr は、健康上の問題に直面している 2 人の AWS コミュニティメンバー を紹介しました。AWS コミュニティビルダーである Farouq Mousa は、脳腫瘍と闘っています。AWS サーバーレスヒーローである Allen Helton には、 白血病と闘う小さな娘 がいます。 Farauq と Allen の娘である Olivia への寄付を通じて、2 人が病を克服できるようにサポートしましょう。 5月27日週のリリース 私が注目したいくつかのリリースをご紹介します。 Amazon EC2 ハイメモリ U7i インスタンス – 最大 32 TiB の DDR5 メモリと 896 個の vCPU を搭載したこれらのインスタンスは、カスタム第 4 世代インテル Xeon スケーラブルプロセッサ (Sapphire Rapids) 駆動のインスタンスです。これらのハイメモリインスタンスは、SAP HANA、Oracle、SQL Server などの大規模なインメモリデータベースをサポートするように設計されています。詳細については、 Jeff のブログ記事 をお読みください。 新しい Amazon Connect 分析データレイク – コンタクトレコード、エージェントパフォーマンス、Contact Lens インサイトなどを含めたコンタクトセンターデータに単一のソースを使用できるため、複雑なデータパイプラインを構築して維持する必要がなくなります。組織は、Amazon Connect データを使用して独自のカスタムレポートを作成したり、サードパーティソースからクエリされたデータを組み合わせたりすることができます。詳細については、 Donnie のブログ記事 をお読みください。 Amazon Bedrock Converse API – この API は、Amazon Bedrock モデルを呼び出すための一貫性のある手段を開発者に提供して、推論パラメータなどのモデル固有の違いを調整する複雑性を取り除きます。この API を使用すると、コードを一度記述するだけで、そのコードを Amazon Bedrock のさまざまなモデルでシームレスに使用することができます。詳細については、 使用を開始するための Dennis のブログ記事 をお読みください。 PartyRock の新しいドキュメントウィジェット – PartyRock を使用して、楽しむため、または個人的な生産性を向上させるための生成 AI 駆動のアプリケーションを構築、使用、共有することができます。PartyRock のウィジェットは、コンテンツの表示、入力の受け入れ、他のウィジェットとの接続、基盤モデルを使用したテキスト、画像、チャットなどの出力の生成を行います。これからは、新しいドキュメントウィジェットを使用して、ファイルやドキュメントからのテキストコンテンツを PartyRock アプリに直接統合できるようになります。 Amazon CloudWatch の 30 日間のアラーム履歴 – アラーム状態変化の履歴を最大 30 日前まで表示できます。これまで、CloudWatch は 2 週間のアラーム履歴を提供していました。この拡張履歴により、過去の動作の観察や、より長い期間にわたるインシデントの確認を簡単に実行できるようになります。詳細については、CloudWatch ドキュメントのアラームセクション をお読みください。 10 倍速くなった Amazon SageMaker Canvas の起動時間 – SageMaker Canvas を 1 分足らずで起動し、機械学習のための視覚的なノーコードインターフェイスの使用をこれまでよりも 10 倍速く開始できます。これからは、既存または新規の SageMaker ドメインで作成されたすべての新しいユーザープロファイルで、この迅速化された起動時間を経験できるようになります。 AWS からの発表の完全なリストについては、「AWS の最新情報」ページをご覧ください。 AWS のその他のニュース こちらは、皆さんが興味を持つかと思われるその他のニュースと Twitch 番組です。 Let us manage your relational database! – Jeff Barr は、AWS の一部のお客様がクラウドでの独自のデータベースのホスティングを引き続き選択している理由をよりよく理解するためのアンケートを実施しました。アンケートの回答を起点として考えることにより、Jeff は AWS マネージドデータベースサービスが対処する 4 つの問題を取り上げました。独自のデータベースをホストする前に、ぜひこれらを検討してください。 Amazon Bedrock Serverless Prompt Chaining – このリポジトリは、プロンプトチェイニングを用いた複雑できわめてスケーラブルなサーバーレス生成 AI アプリケーションを構築するための、 AWS Step Functions および Amazon Bedrock の使用例を提供します。 AWS Merch Store スプリングセール – AWS ブランドの T シャツ、キャップ、バッグなどを購入しませんか? 今から 6 月 7 日まで、すべてのアイテムが 15% オフになります。 今後の AWS イベント カレンダーを確認して、これらの AWS イベントにサインアップしましょう。 AWS World IPv6 Day – AWS エキスパートによるテクニカルプレゼンテーションの他、ワークショップやホワイトボードセッションが行われる、6 月 6 日開催の無料対面祝賀イベントにご参加ください。IPv6 の使用開始方法を学び、IPv6 導入ジャーニーを開始したお客様の話を聞くことができます。 サンフランシスコ 、 シアトル 、 ニューヨーク 、 ロンドン 、 ムンバイ 、 バンコク 、 シンガポール 、 クアラルンプール 、 北京 、 マニラ 、 シドニー のうち、お近くの都市のイベントをご確認ください。 AWS Summits – クラウドコンピューティングコミュニティがつながり、コラボレートし、AWS について学ぶために一堂に会する無料のオンラインおよび対面イベントに参加しましょう。最寄りの都市でご登録ください。日程は、 ストックホルム (6 月 4 日)、 マドリッド (6 月 5 日)、 ワシントン DC (6 月 26～27 日) です。 AWS re:Inforce – ペンシルバニア州フィラデルフィアで開催される AWS re:Inforce (6 月 10～12 日) にご参加ください。AWS re:Inforce は、AWS セキュリティソリューション、クラウドセキュリティ、コンプライアンス、アイデンティティに焦点を当てた学習カンファレンスです。セキュリティツールを構築している AWS チームとつながるとともに、AWS のお客様と交流して、それぞれのセキュリティジャーニーについて学びましょう。 AWS Community Days – 世界中のエキスパート AWS ユーザーと業界リーダーがリードするテクニカルディスカッション、ワークショップ、ハンズオンラボが盛り込まれたコミュニティ主導のカンファレンスにぜひご参加ください。日程は、 中西部 | コロンバス (6 月 13 日)、 スリランカ (6 月 27 日)、 カメルーン (7 月 13 日)、 ニュージーランド (8 月 15 日)、 ナイジェリア (8 月 24 日)、 ニューヨーク (8 月 28 日) です。 近日開催されるすべての対面イベントと仮想イベントを閲覧することができます。 6月3日週はここまでです。6月10日週の Weekly Roundup もお楽しみに! – Channy この記事は、 Weekly Roundup  シリーズの一部です。毎週、AWS からの興味深いニュースや発表を簡単にまとめてお知らせします! 原文は こちら です。

分析はコンタクトセンターの成功に不可欠です。顧客エクスペリエンスの各タッチポイントのインサイトを取得することで、パフォーマンスを正確に測定し、変化するビジネスニーズに適応することができます。一般的なメトリクスは Amazon Connect コンソールにありますが、ビジネス固有のニーズに基づいてレポートを作成するために、より詳細な情報やカスタム要件が必要な場合もあります。 5月31日より、Amazon Connect 分析データレイクの一般提供が開始されました。2023年、 プレビュー として発表された通り、この新しい機能を使用すると、複雑なデータパイプラインを構築して保守する必要がなくなります。Amazon Connect データレイクはゼロ ETL 対応なので、抽出、変換、ロード (ETL) は不要です。 Amazon Connect 分析データレイクの外観を以下に示します。 Amazon Connect で顧客エクスペリエンスを向上させる Amazon Connect 分析データレイクでは、顧客のコンタクトレコードやエージェントのアクティビティなど、さまざまなデータソースを 1 か所に統合することができます。中央の場所にデータを配置することで、複雑なデータパイプラインの実装に関連するコストを削減しながら、コンタクトセンターのパフォーマンスを分析してインサイトを取得できるようになります。 Amazon Connect 分析データレイクを使用すると、コンタクトトレースレコードや Amazon Connect Contact Lens データなどのコンタクトセンターデータにアクセスして分析を行うことができます。その結果として、 Amazon Athena でデータの準備と分析を行い、 Amazon QuickSight や Tableau などのビジネスインテリジェンス (BI) ツールを使用できる柔軟性が提供されます。 Amazon Connect 分析データレイクの使用を開始する Amazon Connect 分析データレイクの使用を開始するには、最初に Amazon Connect インスタンスをセットアップする必要があります。新しい Amazon Connect インスタンスは、「 Amazon Connect インスタンスを作成する 」ページの手順に従って作成できます。今回は、Amazon Connect インスタンスを既に作成しているので、Amazon Connect 分析データレイクの使用を開始する方法から説明します。 まず、Amazon Connect コンソールに移動してインスタンスを選択します。 次のページで、 [分析ツール] に移動して [データ共有を追加] を選択すれば分析データレイクを設定できます。 ポップアップダイアログが表示されます。最初にターゲットの AWS アカウント ID を定義する必要があります。このオプションを使用すると、一元的なアカウントをセットアップして、複数のアカウントで実行されている Amazon Connect インスタンスからのすべてのデータを受信できます。次に、 [データタイプ] で、ターゲット AWS アカウントと共有する必要のあるタイプを選択できます。Amazon Connect 分析データレイクで共有できるデータタイプの詳細については、「 分析データレイクにテーブルを関連付ける 」を参照してください。 完了すると、すべてのデータタイプを共有したすべてのターゲット AWS アカウント ID のリストが表示されます。 AWS マネジメントコンソールを使用することに加えて、 AWS コマンドラインインターフェイス (AWS CLI) を使用してテーブルを分析データレイクに関連付けることもできます。サンプルコマンドを以下に示します。 $> aws connect batch-associate-analytics-data-set --cli-input-json file:///input_batch_association.json ここで、 input_batch_association.json は、関連付けの詳細を含む JSON ファイルです。以下に例を示します。 { "InstanceId": YOUR_INSTANCE_ID, "DataSetIds": [ "<DATA_SET_ID>" ], "TargetAccountId": YOUR_ACCOUNT_ID } 次に、ターゲットアカウントの AWS Resource Access Manager (RAM) コンソールでリクエストを承認 (または拒否) する必要があります。RAM は、複数の AWS アカウント間でリソースを安全に共有することのできるサービスです。AWS RAM に移動し、 [自分と共有] セクションの [リソースの共有] を選択します。 次に、リソースを選択して [リソース共有を承認] を選択します。 この段階で、Amazon Connect から共有リソースにアクセスできます。これで、 AWS Lake Formation の共有テーブルからリンクテーブルの作成を開始できるようになりました。Lake Formation コンソールで [Tables] ページに移動し、 [Create table] を選択します。 共有テーブルへの リソースリンク を作成する必要があります。次に、詳細を入力し、使用可能な データベース と 共有テーブルのリージョン を選択します。 次に、 [Shared table] を選択すると、アクセスできるすべての共有テーブルが一覧表示されます。 共有テーブルを選択すると、 共有テーブルのデータベース と 共有テーブルの所有者 ID が自動的に入力されます。適切に設定できたら、 [Create] を選択します。 データに対するクエリを実行するために、Amazon Athena コンソールにアクセスします。以下は、実行したクエリの例です。 この設定では、特定の Amazon Connect データタイプにアクセスできます。 Amazon QuickSight と統合することで、データを視覚化することもできます。次のスクリーンショットは、Amazon Connect のデータを示す Amazon QuickSight ダッシュボードの一部のビジュアルを示しています。 お客様の声 プレビュー期間中、お客様から Amazon Connect 分析データレイクについて多くのフィードバックをいただきました。お客様の声を以下に紹介します。 Joulica は Amazon Connect や Salesforce などのソフトウェアのインサイトをサポートする分析プラットフォームです。Joulica の創設者で CEO の Tony McCormack 氏は、「当社は、中核事業として、すべての規模の Amazon Connect の顧客にリアルタイムおよび過去のコンタクトセンター分析を提供しています。以前は、複雑なデータパイプラインを頻繁にセットアップする必要がありましたが、現在は Amazon Connect 分析データレイクを使用して、共通の顧客に実践的なインテリジェンスを提供するプロセスを簡素化できるようになりました」と語っています。 知っておくべきこと 料金 — Amazon Connect 分析データレイクは、Amazon Connect で最大 2 年分のデータに対して追加料金なしで使用できます。支払う必要があるのは、データを操作するために使用するサービスの料金だけです。 可用性 — Amazon Connect 分析データレイクは、米国東部 (バージニア北部)、米国西部 (オレゴン)、アフリカ (ケープタウン)、アジアパシフィック (ムンバイ、ソウル、シンガポール、シドニー、東京)、カナダ (中部)、欧州 (フランクフルト、ロンドン) の AWS リージョンで一般提供されています。 詳細 — 詳細については、 分析データレイク のドキュメントページを参照してください。 構築がうまくいきますように。 –  Donnie 原文は こちら です。

はじめに 最新の技術を採用し、イノベーションを起こす能力は、組織が継続的な成功を収めるために必須の要件で、贅沢品ではありません。数千社の顧客が Amazon Web Services (AWS) 上でビジネスにおいて重要な SAP ワークロードを実行しており、ビジネスオペレーションの強化のための革新的なソリューション作りに新しい方法を求めています。最近、主流になってきた生成 AI 技術の発展により、顧客は Amazon Bedrock などの Amazon 生成 AI サービスを利用して、受注から現金化、調達から支払い、採用から退職、設計から生産などのビジネスプロセスでイノベーションを加速することを期待しています。このため、先週 AWS と SAP は 戦略的パートナーシップの拡大 を発表しました。これには新しい生成 AI 機能も含まれています。Amazon Bedrock モデルが SAP AI Core の SAP 生成 AI Hub で利用可能になりました。これにより、SAP ERP を利用する企業は、 SAP Business Technology Platform (SAP BTP) と Amazon Bedrock の基盤モデル(FM) を利用して生成 AI 対応のアプリケーション拡張を構築できます。このようにコアシステムを維持しつつイノベーションを行えます。このブログでは、AWS と SAP の技術的ガイダンスとして、「ジョイントリファレンスアーキテクチャ」(JRA) を提供します。これは、SAP エコシステム内で Amazon Bedrock の FM を利用したいお客様向けのものです。 AWS の生成 AI による構築 ビジネスシーンでの生成 AI 活用を検討するお客様は、生成 AI が企業全体のモダナイゼーション戦略を実現する上での指針を求めると同時に、SAP ワークロードに対するセキュリティやインフラストラクチャの信頼性についても高い水準を期待しています。生成 AI 技術を活用したモダナイゼーション、自動化、イノベーションを支援するため、完全マネージドサービスである Amazon Bedrock を新たにリリースしました。Bedrock では、 Anthropic 、 AI21 Labs 、 Cohere 、 Stability AI 、 Mistral 、 Meta Llama 、 Amazon Titan など、有力 AI 企業による高性能な基盤モデルを幅広く提供しています。 Amazon Bedrock には、プライバシーとセキュリティを確保しつつ、生成 AI アプリケーションの開発を簡素化するための包括的な機能が備わっています。主な機能には、自社データの取り込みによるモデルカスタマイズ、特定タスクに対するファインチューニング、社内ナレッジベース活用による発話精度向上 (Retrieval Augmented Generation)、さらには企業システムとのインタラクションによるタスク自動化に対応したインテリジェントエージェントの構築などがあります。Amazon Bedrock には、データの暗号化と SOC、ISO などの規格準拠により、セキュアな環境が提供されるため、革新的な AI 活用アプリケーションの開発に最適なソリューションといえます。 AWS は、他の生成 AI サービスに AWS Trainium と AWS Inferentia のようなインフラストラクチャを提供し、お客様がクラウド上で AI モデルを効果的に低コストで学習・推論を実行できるようにしています。 さらに、開発者は Amazon Q Developer を活用し、自然言語でのコメントや統合開発環境 (IDE) 内の前のコードに基づいてリアルタイムにコード候補を生成することで、生産性を向上させることができます。 AWS と SAP のパートナーシップ SAP と AWS は、2008 年からパートナーシップを結び、お客様が SAP アプリケーションをより効率よく実行し、イノベーションをよりスピーディに行えるようサポートしてきました。 SAP と AWS は提携し、モダナイゼーションの傘下にある実務的なビジネスシナリオに対処するための一連のリファレンスアーキテクチャを提案し、お客様に SAP Business Technology Platform (SAP BTP) を通じて AWS サービスの力を提供しています。 クリーンコア モデルを採用することで、これらのジョイントリファレンスアーキテクチャ (JRA) は、アプリケーション開発のフレームワークと SAP S/4HANA への統合された拡張機能を提供し、ビジネスプロセスの自動化と最適化を実現します。 SAP と AWS が共同で構築したこの JRA は、新しいスケーラブルなアプリケーション、分析ダッシュボード、または機械学習モデルの構築に関して、お客様に専門家による指針を提供しています。 AWS と SAP は、将来 SAP と AWS から新しいサービスや機能がリリースされた際に、JRA を適応させる予定です。 Amazon Bedrock の生成 AI モデルを SAP と統合 – ジョイントリファレンスアーキテクチャの概要 SAP では早い段階から生成 AI 技術を採用しており、SAP BTP 上で Generative AI Hub をリリースしています。SAP AI Core の Generative AI Hub は、目的別の AI 開発ツール、主要な AI 基盤モデルに対するエンタープライズグレードのアクセス、AI 搭載アプリケーション作成のための堅牢なデータ管理機能を提供しています。SAP AI Core の Generative AI Hub を通じて、Amazon Bedrock の生成 AI モデルを統合することで、SAP のお客様は Anthropic Claude3 、 Amazon Titan などの基盤モデルにアクセスできます。このジョイントリファレンスアーキテクチャにより、SAP 顧客は生成 AI の採用を加速し、SAP ソリューションに基づく主要なビジネスプロセスをモダナイズできます。これらの革新的な機能は、RISE with SAP やインテリジェントシナリオライフサイクル管理機能の組み込みユースケースとして、または SAP BTP 上で直接統合コンポーネントやサイドバイサイドで利用できます。顧客は Generative AI Hub と AWS サービスを活用して、SAP のクラウドソリューションやアプリケーションポートフォリオ内でカスタム AI 機能を強化する生成 AI ソリューションを構築できます。これにより、財務、人事など、さまざまなビジネス機能で新たな洞察と最適化が可能になります。SAP と AWS は、SAP のクラウドソリューションとアプリケーションポートフォリオ内に AI 機能を組み込むため、Generative AI Hub における Amazon Bedrock 機能の活用を拡大する計画です。これには、財務やプロダクトライフサイクル管理など、さまざまな分野でのユースケースが含まれます。 より詳しくアーキテクチャと関係する様々なコンポーネントを見ていきましょう。 Amazon Bedrock : Amazon Bedrock では、API を通じて幅広い大規模言語モデル (LLM) から選択できます。この JRA では、AWS で大量のデータセットで事前学習された基盤モデル (FM) ファミリである Amazon Titan と Anthropic の Claude を利用しています。これらは様々なユースケースをサポートできるように設計された、強力で汎用的なモデルです。そのままでも使えますし、独自のデータで私的にカスタマイズしても利用できます。 SAP AI Core 内の Generative AI Hub: SAP AI Core サービスは、大規模な言語モデルなどの AI アセットを顧客に公開し、SAP BTP エコシステム上で実行される SAP アプリケーションに統一されたインターフェイスを提供します。このジョイントレファレンスアーキテクチャでは、SAP AI Core 内の Generative AI Hub を、Amazon Bedrock へのアクセスと、ライフサイクル管理レイヤーとして利用し、アプリケーションがファンデーションモデルを消費できるエンドポイントを提示しています。Generative AI Hub を通して、SAP は中央で、さまざまなコンテンツフィルタリング、SAP 特有のリスク軽減策、セーフティーガードレールなどを実施し、SAP 全体でのビジネス上、法的リスクに対するスケーラブルかつコンプライアンスを重視したアプローチを提供しています。 SAP AI Core の Generative AI Hub では、開発者が管理下の商用及び法的フレームワークを通じて、さまざまなプロバイダの幅広い大規模言語モデル (LLM) に即座にアクセスできるようになります。このアクセスにより、開発者は複数のモデルを編成できます。Generative AI Hub は、SAP HANA Cloud のベクトル機能にも接続されます。これにより、開発者はハルシネーションの問題を低減し、コンテキストデータを埋め込むことで、特定のユースケースに合わせてより適切な結果を提供できるようになります。 データの保存と取得 : SAP HANA Cloud はマルチモデル データベース管理システムで、インテリジェントなデータアプリケーションを大規模に構築およびデプロイするのに役立ちます。SAP HANA ベクトルエンジンは、Retrieval Augmented Generation (RAG) をサポートして、LLM からより良い結果を得られます。 アプリケーション開発 : Cloud Application Programming (CAP) モデルは、 SAP Build を利用してクラウドアプリケーションを開発するアプローチの 1 つです。 CAP は、データモデリングをより構造化され、シームレスなフレームワークにし、他のサービスとの統合を強化します。 CAP はオープンソースと SAP のフレームワークを開発者に提供し、加速度的なイノベーションを通して開発を合理化します。 この JRA では、CAP を SAP UI5 フロントエンドにフロントされたアプリケーションのエンティティ層として使用しています。 認証と識別 : 大規模言語モデルはできるだけ多くのデータが必要ですが、クエリ時のユーザー認証は無視されるため、統合が困難です。この問題を回避するため、SAP BTP と SAP Identity Provisioning サービス を使用して、モデルのプロンプトに SAP と非 SAP のアイデンティティライフサイクルを管理します。 これらのコンポーネントを統合して利用することで、お客様は Amazon Bedrock と SAP BTP サービスを活用してスケーラブルで信頼性の高い 生成 AI 対応の SAP アプリケーションをフルスタックで構築できるようになります。 この JRA パターンは、エンタープライズグレードの SAP ランドスケープ内のビジネスプロセス拡張に広く適用できるだけでなく、SAP が推奨するクリーンコアアプローチの維持にも役立ちます。 まとめ このブログでは、SAP と AWS がお客様に提供する Amazon Bedrock の生成 AI 機能を SAP BTP で使用するためのリファレンスアーキテクチャに関するガイダンスについて説明しました。このアーキテクチャを使うことで、SAP ワークロードにこれまで大規模言語モデル (LLM) とトランスフォーマーモデル機能を補完し、SAP データの力を発揮してコストを抑えながらインサイトと運用効率を向上できるようになります。SAP と AWS は現在、ビジネス問題を解決し、自動化とイノベーションを通じてカスタマーエクスペリエンスを改善するために、SAP BTP 経由で Amazon Bedrock の生成 AI 機能を活用できる特定のユースケースを特定する取り組みを行っています。 続報をお待ちください。 2022 年〜 2023 年に AWS 上の SAP ワークロードのジョイントリファレンスアーキテクチャに関して、共同チームが発行した以下のブログをご覧ください。 SAP と AWS – 活用と投資を最大化するためのジョイントリファレンスアーキテクチャ AWS と SAP – Amazon Monitron を使用した IoT シナリオのためのジョイントリファレンスアーキテクチャ AWS for SAP や Amazon Bedrock の詳細は、 AWS for SAP 、 Amazon Bedrock の AWS 製品ドキュメント をご覧ください。 さらに専門家からのガイダンスが必要な場合は、AWS アカウントチームに連絡して、地域の SAP 専門ソリューションアーキテクトまたは AWS プロフェッショナルサービスの SAP 専門チームに問い合わせてください。 SAP on AWS に関する議論に参加 お客様のアカウントチームや AWS サポートチャネルに加えて、AWS for SAP ソリューションアーキテクトチームが AWS for SAP トピックの議論や質問を定期的に監視し、お客様やパートナーを支援するために答えられるような質問に回答する場を re:Post でも設けています。 質問がサポート関連ではない場合は、re:Post での議論に参加して、コミュニティの知識ベースに貢献することを検討してください。 AWS で SAP を実行されている数千を超えるエンタープライズのお客様について詳しくは、 AWS for SAP ページ をご覧ください。 謝辞 AWS と SAP のパートナーシップによるジョイントリファレンスアーキテクチャは、SAP と AWS の組織の深い協力とコントリビューションの結果です。 以下のメンバーの専門知識、サポート、ガイダンスに感謝いたします。 Team AWS: Sunny Patwari, Yuva Athur, Ganesh Suryanarayanan, Spencer Martenson, Steve DiMauro and Soulat Khan. Team SAP: Madankumar Pichamuthu, Weikun Liu, Daniel Zhou, Sivakumar N and Anirban Majumdar. 翻訳は Partner SA 松本が担当しました。原文は こちら です。

2024年5月16日にオンラインセミナー「生成 AI の価値を最大限に引き出すためのデータ基盤」を開催いたしました。セミナーの開催報告として、ご紹介した内容や、当日の資料・収録動画などを公開いたします。 はじめに 生成 AI の力を最大限に引き出すためには、日頃生み出しているビジネスデータを格納した強力なデータ基盤が必要不可欠です。既存の生成 AI モデルをそのまま活用するだけでなく、組織内に蓄積された独自のデータを活用することで、他社との差別化を図り、意思決定や業務へのインサイトを深めることができます。 当セミナーでは、生成 AI での活用を見据えたデータ基盤に興味のある方、もしくは社内外向け生成 AI に取り組む企業の IT 部門の方に向けて、お客様のデータに基づいた生成 AI を効果的に実現するためのデータアーキテクチャ構築手法のご紹介を行いました 。 どうぞ皆様の事業のご参考に、各講演者の録画/資料をご活用下さい。 生成 AI 力を引き出すためのデータアーキテクチャ 登壇者： AWS シニアソリューションアーキテクト 程 家 動画 : https://youtu.be/1AP0Q4AoZeQ 資料リンク : https://pages.awscloud.com/rs/112-TZM-766/images/20240516-AWS-DATA-1-AWS_Database_Services_for_GenAI.pdf 生成AIを実現するには十分な量のデータが不可欠です。 初めのセッションでは、豊富なデータから価値を最大限に引き出すために、エンドツーエンドのデータアーキテクチャを適切に構築することの重要性を解説いたしました。 私達と一緒に仕事をしてきた多くのお客様が生成 AI の力を認めており、生成 AI に関するビジョンも持っています。多くの人が、生成 AI の基盤モデルと、より広い意味では LLM に焦点を当てていると感じています。それは重要ですが、氷山の一角にすぎません。表面下には、これらのアプリケーションが効果的、効率的、倫理的であることを保証するデータの管理、分析、統合、ガバナンスなどの複雑なエコシステムがあります。 ビジネスニーズに合った独自の 生成 AI アプリケーションを構築したい場合、組織のデータが差別化要因となります。 どの企業も同じ基盤モデルにアクセスできますが、真のビジネス価値を持つ 生成AI アプリケーションの構築に成功する企業は、自社のデータを使用して構築する企業です。 生成 AI にデータを使用するには、独自のモデルを構築する以外にも、様々な方法があります。 生成 AI の力を引き出すためのデータアーキテクチャにはソース間のデータ統合を容易にするサービスや機能、データを一元管理するデータレイク、生成 AI にコンテキストデータを提供するデータストア、目的別データベースデータのカタログ化と管理のための仕組みが必要になります。 生成 AI データ基盤としての AWS マネージドデータベースサービス 登壇者: AWS シニアソリューションアーキテクト 程 家 動画 : https://youtu.be/5S3QE4Ewm0U 資料リンク : https://pages.awscloud.com/rs/112-TZM-766/images/20240516-AWS-DATA-1-AWS_Database_Services_for_GenAI.pdf 本セッションでは、そのうちデータベースについて重点的に解説していただきました。データベースがデータアーキテクチャ全体において果たす重要な役割と、生成 AI の基盤としての位置付けなどをご説明いたしました。 生成 AI アプリケーションに重要なセマンティックコンテキストを効率よく保存し、LLM にデータ提供できるようにするには、それぞれのコンテキストにあったデータストアを用意する必要があります。AWS は、お客様が利用しているデータベースや分析のワークロードをクラウド上で利用できるよう、幅広いサービスを提供しています。 AWS が提供するマネージド型のデータベースや分析サービスを利用することで、お客様はアプリケーションの増加や急増によるパフォーマンスの変動に対応するために、インフラストラクチャを過剰に配置する必要がなく、必要に応じて適宜スケールアップやスケールダウンを行う事ができます。 また、インフラストラクチャを維持するために固定資産を管理する必要もありません。AWS を利用する事で、お客様の貴重な時間をインフラストラクチャやミドルウェアの管理ではなく、お客様のビジネスに直結する生成 AI アプリケーション開発に時間を費やせるようになります。 本セッションでは、お客様が管理している NoSQL データベースやインメモリデータベースを対応するマネージドデータベースとして MogoDB 互換の Amazon DocumentDB 、Amazon ElastiCache 、Amazon MemoryDB for Redis を、マネージド型リレーショナルデータベースのソリューションとして、Amazon RDS  や Amazon Aurora を紹介しました。特に、Aurora/RDS PostgreSQL、AmazonDocumentDB、Amazon MemoryDB for Redis は生成 AI アプリケーションにおけるベクトル検索に対応していることも説明しました。 生成 AI データ基盤としての AWS マネージドアナリティクスサービス 登壇者: AWS ソリューションアーキテクト 平井 健治 動画 : https://youtu.be/jh4Zs0MVARc 資料リンク : https://pages.awscloud.com/rs/112-TZM-766/images/20240516-AWS-DATA-2-AWS-Analytics_Services_for_GenAI.pdf 本セッションでは、生成 AI を有効に活用するためのアナリティクス環境に必要な要件と、要件を実現する AWS マネージドアナリティクスサービスについてソリューションアーキテクトの平井より紹介いたしました。 紹介にあたっては、データレイクやデータウェアハウスといった蓄積、データソースからのデータ連携、品質チェックや権限制御といったガバナンス、データの活用を促進するコラボレーションの順に、それぞれについて求められることと AWS サービスを解説いたしました。 例えばコラボレーションいついて、データ活用の促進にあたっては、組織の境界を超えたガバナンスに加えて、ビジネスデータカタログの整理と使いやすいポータル画面が求められますが、Amazon DataZone によって実現できます。セッションでは、データポータルの画面や、生成 AI によるメタデータ生成の自動化といったビジネスデータカタログの充実化に役立つ機能について解説いたしました。 セッションのまとめとして、AWS のアナリティクスサービスは、あらゆるデータワークロードやユースケースに最適な価格パフォーマンス、Zero-ETLを含む簡単かつ豊富なデータ統合の選択肢、エンドツーエンドのデータガバナンスによる迅速なデータ活用の提供を通して、生成 AI データ基盤の実現に貢献できることを紹介いたしました。 生成 AI アプリケーションでデータを活用 登壇者: AWS ソリューションアーキテクト 黒澤 蓮 動画 : https://youtu.be/YLFlbLgWUAs 資料リンク : https://pages.awscloud.com/rs/112-TZM-766/images/20240516-AWS-DATA-3-Leveraging_Data_with_GenAI_Applications.pdf 最終セッションでは、これまでに構築したデータ基盤を活用し、具体的に社内のデータを生成 AI に活用していく方法について解説いたしました。顧客のニーズや目的に合わせて、データを適切に組み入れることでどのように付加価値を生み出せるかについて、実践的な事例を交えてご紹介いたしました。 自社データを生成 AI に活用するための方法はいくつかあります。基本的には実装な簡単な手法から試していただき、より複雑なタスクや、精度が必要な場合はモデルのカスタマイズなどにチャレンジいただくことを推奨します。 終わりに 今回のイベントでは生成 AI を活用するためのデータ基盤とアプリケーションについて詳しくご説明させていただきました。今回のセッションが皆様のデータ活用のお役に立てれば幸いです。データ基盤や生成 AI 活用に関してぜひとも AWS を活用いただければ幸いです。 セミナー中に回答させていただいたご質問と回答 [ご質問] RAG だとハルシネーションが防げる仕組みをもう少し知りたいです。 [回答] ご質問ありがとうございます。RAG の場合、ユーザの目的にあった高い精度のセマンティックコンテキストを提供できれば、ハルシネーションを回避できます。そのため、ベクトルストアに必要なデータをベクトル埋め込みして利用できるようにすることや状況コンテキストを使ってプロンプトを補強することが大事です。 [ご質問] データパターンの選択について教えてください。 初めて生成 AI アプリを開発する場合、どのパターンから始めるとよいでしょうか。 必要となる計算リソースの大小で比較すると、スモールスタートに適したパターンはどれでしょうか。 また、データが十分に収集蓄積できていない場合、一旦、生成 AI を利用せずにシステムをプロトタイピングしておいて、段階的に生成 AI を導入することは可能でしょうか。 [回答] 一番手軽に始められるのは RAG パターンになります。 LLM の再トレーニングは特定のドメインに関連する大量のデータがなければ、精度良よいモデルをトレーニングできません。LLM のファインチューニングでは少量のデータでも問題ないのですが、ラベル付きデータ（教師）を用意する必要があります。このラベル付きデータの準備が難しい場合があります。一方、RAG パターンは既存のデータをベクトル埋め込みするだけで利用できます。ベクトル埋め込みに必要な Embedding のための AI モデルも Amazon Bedrock 上で提供しています。 [ご質問] FT (ファインチューニング)モデルと RAG モデルの比較が知りたいです。 ハルシネーションの頻度やコスト感など。 [回答] コンテキストデータやトレーニングに使用するデータの精度、量、種類に依存すると思います。 LLM の再トレーニングは特定のドメインに関連する大量のデータがなければ、精度良よいモデルをトレーニングできません。LLM のファインチューニングでは少量のデータでも問題ないのですが、ラベル付きデータ（教師）を用意する必要があります。御社ですと担当チームがおりますので、更に詳細なご連絡ができるかと思います。後日ご登録いただいたご連絡先にご連絡させていただければと思います、どうぞよろしくお願いいたします。 [ご質問] Amazon Data Zone のポータルは AWS の複数アカウントの情報などを統合することができると理解しましたが、Amazon Data Zone のサービスを動かす AWS アカウントは必要で、かつビジネスユーザー向けのカタログやこのポータルにアクセスする際は各ユーザー毎に AWS アカウントが必要になるであっていますか。 [回答] Amazon DataZone の利用いただくためには Redshift など他のサービスと同様に AWS アカウントは必要となります。 DataZone を利用するユーザ（ユーザ管理）についてですが、AWS IAM ユーザや、AWS IAM Identity Center でユーザを作成してデータポータルにアクセスしてご利用いただけます。 [ご質問] 大量のログデータをS3に格納する場合のベストプラクティスを教えて下さい。利用頻度は 1 日 1 回程度のバッチ処理でつかう程度です。 [回答] 分析用途で使用する場合は、列指向の Parquet 形式、かつ I/O 量を少なくするための圧縮すると良いです。さらに、日付単位で S3 のディレクトリを分けて保存すると日付単位でデータをアクセスする際に、該当ディレクトリ（パーティション）のみにアクセスされるのでコストおよび性能の面でさらに効果的です。 [ご質問] ナレッジベースを利用した品番検索ツールを作成しているのですが、検索精度をさらに高めるために、これを入力したらこれを持ってくる。といった過去の正解データを学習させたいと考えています。 その場合、ファインチューニングが必要だと思うのですが、やはりファインチューニングなしと比較してコストがかなり高額になってしまうのでしょうか？ [回答] おそらくその場合では、モデルの精度を高めるよりも検索精度を高める必要があると思います。そのためにはより精度の高い Embedding モデルを使う、検索方法として字句一致やセマンティック検索など複数の方法を取っていただくと良いかと思います。 [ご質問] Database Freedom Workshop とはなんでしょうか？ [回答] Database Freedom Workshop は AWS のソリューションアーキテクトがお客様の既存のデータベースに対してアセスメントを行い、移行の難易度、パフォーマンス、コストの観点から最適な移行先を提案したり、移行方式を提案したり、お客様のデータベースの移行プロジェクトを支援する無償のプログラムになります。詳細について御社担当チームからもご案内が可能です、別途個別にご連絡させていただきますのでどうぞよろしくお願いいたします。 著者プロフィール 程 家 () 平井 健治 (Kenji Hirai) は AWS Japan のソリューションアーキテクトです。流通小売業界のお客様を中心に技術支援を行うと共に、アナリティクス関連の技術支援も行っています。 黒澤 蓮 (Ren Kurosawa) は AWS Japan のソリューションアーキテクトで、Web 業界のお客様を中心にアーキテクチャ設計や構築をサポートしています。データアナリティクスサービスや機械学習の領域を得意としています。将来の夢は宇宙でポエムを詠むことです。  

みなさん、こんにちは。ソリューションアーキテクトの杉山です。 今週も 週刊AWS をお届けします。 AWS Summit が 6/20-21 にかけて幕張メッセで開催されます。このイベントはたくさんのセッションがあり、その中でも QuizKnock によるブース展示やクイズ大会、ステージ登壇するものがあります。これに関連して、YouTube で QuizKnock が動画 を出しているので、ぜひこちらもチェックしてみてください。また、 JR東日本山手線で AWS Summit の電車広告が掲載中 です。山手線に乗る機会がある方は、ぜひ見つけてみてください。 AWS Summit の事前登録 や、カレンダーでスケジュール予定も忘れずに行いましょう！ それでは、先週の主なアップデートについて振り返っていきましょう。 2024年5月27日週の主要なアップデート 5/27(月) アップデートはありませんでした 5/28(火) New Oracle to PostgreSQL built-in system functions in DMS Schema Conversion AWS Database Migration Service の DMS Schema Conversion 機能で、Oracle から PostgreSQL へ変換作業を支援するために、5 つの生成 AI の技術を応用した組み込み関数を提供開始しました。移行元の Oracle Database で利用している関数が、移行先の PostgreSQL 上でサポートされていない場合、DMS Schema Conversion 拡張パックを適用することで、不足している関数をエミュレートすることが可能となります。 AWS Network Firewall increases quota for stateful rules AWS Network Firewall で、ステートフルルールに関する Service Quota の上限緩和の申請が可能になりました。デフォルトの制限は、リージョンごとのファイアウォールポリシーあたり 30,000 が上限になっています。これを、最大 50,000 まで申請が出来るようになりました。この緩和によって、AWS 様々なセキュリティの脅威に対して、幅広いルールを実装しやすくなりました。 5/29(水) Amazon SageMaker Canvas announces up to 10x faster startup time Amazon SageMaker Canvas で起動時間が最大 10 倍高速になりました。Canvas の起動を開始してから 1 分以内に起動するようになり、データの準備、機械学習モデルの構築、生成 AI を使った会話型チャットインターフェースの利用などを素早く行えるようになりました。この高速化機能は、新規のユーザプロファイルが対象となっており、既存のユーザープロファイルは対象外になっています。私の環境だと 40 秒ほどで Canvas が立ち上がるようになり、高速化を体感できました。 Introducing the Document widget for PartyRock PartyRock で、新たに手元のドキュメントをアップロードし、それに基づいたテキスト出力を行うドキュメントウィジェット機能が追加されました。PartyRock は、アカウント登録するだけで、簡単に生成 AI アプリを作成、利用、共有ができる無料のウェブサイトです。AWS アカウントが不要で、Google アカウント、Apple アカウント、Amazon アカウントとリンクすると利用ができます。ドキュメントは、PDF、マークダウン、テキスト、ワードファイル、HTML、CSVなどの一般的なファイル形式をサポートしています。12 万文字までの制限があります。 こちらのサイト から利用ができますので、ぜひ体験してみてください。 Introducing Amazon EC2 High Memory U7i Instances Amazon EC2 で、初の DDR5 メモリベースの 8 ソケット製品である U7i インスタンスを提供開始しました。これは、最大 32 TiB のメモリと 896 個の vCPU が搭載されているインスタンスです。SAP HANA、Oracle、SQL Server などの大規模なインメモリデータベースや、大規模言語モデルなどの計算集約型ワークロードに最適です。U7i インスタンスは、12 TiB、16 TiB、24 TiB、32 TiB のメモリが搭載される 4 つのインスタンスタイプが提供されます。ストレージボリュームに対して最大 100 Gbps の Elastic Block Storage (EBS) 帯域幅を提供し、既存の U-1 インスタンスと比較して最大 2.5 倍の高速な再起動時間を実現します。U7i インスタンスは最大 200Gbps のネットワーク帯域幅を提供し、ENA Express をサポートします。詳細は こちらのページ をご確認ください。 5/30(木) Amazon Bedrock announces new Converse API Amazon Bedrock で新しく Converse API を提供開始しました。Converse API は、Bedrock でモデルを呼び出す際に、推論パラメータなどの違いを平準化し、統一的な呼び出し方法を提供します。今までは、Claude 3 や Titan、Llama、Mistral といった各種モデルの違いを意識する必要がありましたが、Converse API によって、統一的な方法で呼び出すことができ、簡単にモデルの切り替えができるようになります。また、 Claude 3 などの一部のモデルは Tool use (function calling) をサポートしており、外部 API 呼び出しが必要なタスクを実現しやすくなりました。Converse API の詳細はこちらの ドキュメント や  Getting Started をご確認ください。Tool use (function calling) の詳細はこちらの ドキュメント をご確認ください。 Powertools for AWS Lambda (Python) adds support for Agents for Amazon Bedrock AWS Lambda (Python) 用のオープンソース開発者ライブラリ Powertools for AWS Lambda (Python) が、Agents for Amazon Bedrock の作成を簡単にする新機能をリリースしました。Powertools for AWS Lambda (Python) を利用すると、直接 OpenAPI スキーマを自動生成が出来、Agents for Amazon Bedrock からのリクエストとレスポンスを管理するために必要なボイラープレートコードの作成の負担を大幅に削減できます。 Amazon QuickSight launches multi column sorting for Tables Amzon QuickSight で、テーブルを利用した際に、複数の列を使ったソートができるようになりました。Author が Visual を作成する際や、Reader が Dashboard を閲覧する際に、複数列を指定したソートができるようになりました。第一優先は A 列、次に B 列、最後に C 列、といった形で指定できます。詳細はこちらの ドキュメント をご確認ください。画像付きで操作方法を紹介しており、わかりやすく理解できます。 5/31(金) Amazon Connect provides Zero-ETL analytics data lake to access contact center data Amazon Connect で、コンタクトレコード、エージェントのパフォーマンス、Contact Lens の洞察などのデータを分析しやすくするために、Zero-ETL の特徴を持つデータレイク機能の提供を開始しました。複雑なデータパイプラインを構築する負担が減り、素早くデータ活用を始められます。Amazon Connect でデータレイクを有効化すると、Athena を使った SQL クエリーでアクセスができるようになり、例えば QuickSight といった BI ツール上でデータの可視化ができます。詳細はこちらの ドキュメント をご確認ください。 Announcing AWS DMS Serverless improved Oracle to Redshift Full Load throughput AWS Database Migration Service Serverless で、Oracle Database から Amazon Redshift へ Full Load を実行する際のスループットが 2 倍 ~ 10 倍に向上しました。Full Load は、データ移行元のテーブル全体をスキャンしてデータを取得し、データ移行先にデータを移行する処理です。Oracle Database と Amazon Redshift 間で Full Load 操作が行われていると検出されると、Full Load パフォーマンス強化が自動的に適用されます。詳細はこちらの ドキュメント をご確認ください。 AWS Marketplace announces amendments for AMI annual agreements AWS Marketplace で購入した AMI 製品の年間契約を変更する機能を提供開始しました。これによって、AWS Marketplace で購入した AMI を利用している EC2 インスタンスについて、インスタンスタイプの変更がやりやすくなります。以前は、最初に選択した EC2 インスタンスタイプに対してのみ割引が提供され、さらにインスタンスを追加したり、より大きなインスタンスタイプに変更する場合は、オンデマンド料金を支払うか、追加の年間プランを購入する必要がありました。アップデートで、いつでも新しいインスタンスタイプを追加したり、別のインスタンスタイプに切り替えたりできるようになりました。新しいインスタンスタイプのコストが高くなる場合でも、元の割引を維持でき、AWS Marketplace が新しいインスタンスタイプの按分コストを自動的に計算します。詳細はこちらの ドキュメント をご確認ください。 それでは、また来週お会いしましょう！ 著者について 杉山 卓(Suguru Sugiyama) / @sugimount AWS Japan のソリューションアーキテクトとして、幅広い業種のお客様を担当しています。最近は生成 AI をお客様のビジネスに活かすためにアイデア出しやデモンストレーションなどを多く行っています。好きなサービスは仮想サーバーを意識しないもの全般です。趣味はゲームや楽器演奏です

みなさん、こんにちは。AWS ソリューションアーキテクトの小林です。 6月 20 日、21 日は AWS Summit Japan が幕張メッセで開催されます。様々な生成AI関係のコンテンツを用意していますので、色々と眺めて頂いて「これが自分達でもできたら嬉しいな」という気づきを探してみてください。生成AIも言ってみれば「やりたい事を実現するためのツール」なので、何を実現したいかをイメージできていると、前に進みやすいのではないでしょうか。AWS Summit Japanはそのための良い機会ですので、ぜひご活用ください。 そして、AWS Summit Japanでは様々な業界向けのブースを設定します。今日は製造業のお客様向けのブース展示内容を少しだけご紹介します。製造業では熟練の技術者のノウハウ継承がひとつの課題になっており、生成AIによる解決が期待されている領域です。それに向けた解決策のひとつのアイデアとして、AIによる技能継承のサポートのデモを実施します。 ブログ記事 にまとめていますので、ぜひチェックしてみてください。 それでは、5 月 27 日週の生成AI with AWS界隈のニュースをお届けしていきましょう。 さまざまなニュース AWSとSAPが戦略的協業の拡大を発表し、お客様の生成AI活用を支援 AWSとSAPは長年にわたる協業関係を持っていますが、生成AIに関してもその協業関係を拡大することを発表しました。SAP AI CoreにAmazon Bedrockが統合され、Bedrockで利用可能な様々な基盤モデルをベースとしてお客様のデータでカスタマイズされたアプリケーションが実現できます。また、AWSが開発したアクセラレータであるAWS TrainiumとAWS Inferentiaを、将来のSAP Business AI製品のトレーニングと推論に活用する予定であり、これらを利用して大規模言語モデル(LLM)のトレーニングとファインチューニングを2日で完了したと発表しています。ぜひ、 プレスリリースの原文 をご覧ください。現時点では英文ではありますが、 概要を紹介するブログ記事 も公開されています。 AWS生成AI国内事例ブログ: コネヒト株式会社様、高度な質問検索機能を1ヶ月で実現 「 ママリ 」というママ向けQ&Aアプリ/情報サイトを展開する コネヒト株式会社 様の事例解説ブログを公開しました。この事例では、 Amazon Bedrock と Amazon OpenSearchService による検索拡張生成(RAG)を1ヶ月で実現しています。検索拡張生成(RAG)のメリットですが、「誤字が含まれるキーワードによる検索」「文章による検索」を実行した場合、単純な全文検索と比較して、望ましい結果を応答できる可能性が高いことがわかりました。ユーザさんに対して、より意図に沿った検索体験を提供できる手応えを感じたというコメントを頂いています。「サービスのユーザ体験向上」という価値を生み出したい方にとっては、参考になる事例ではないでしょうか。 AWS生成AI国内事例ブログ: 第一興商様、ヘルプデスク業務負荷軽減のために生成AIを活用 株式会社第一興商 様が開発・展開するカラオケシステム「 DAM 」といえば、多くの人が一度はお世話になった事があるのではないでしょうか？DAMは業務用のカラオケ機器ですので、機器の不具合や状況確認に対応する業務は重要です。ヘルプデスクでは問い合わせ内容をCRMに記録するそうなのですが、その負荷と内容のばらつきに課題があり、その点を Amazon Bedrock を介して生成AIを活用することで解決しようと考えました。特筆すべきは、当初はBedrockでClaude 2を利用していたそうですが、Claude 3 Haikuの利用を想定した検証に着手されている事です。Claude 2よりもコストを90%以上削減、レスポンスまでの時間短縮を達成見込みとのことで、生成AIを組み込んだアプリケーション開発におけるBedrockの「良いモデルが出たら切り替えやすい」というメリットをご活用いただいています。 AWS生成AI国内事例ブログ: 三井物産様、生成AIによる入札書解析の完全自動化に挑戦 三井物産株式会社 様は三井物産グループ内における入札業務で活用できる、生成AIによるソリューションの開発に取り組んでいらっしゃいます。様々な入札案件に参加する場合、数百ページにおよぶ入札書を確認する必要があるそうです。ですが海外事業の場合、読み解くのに30-40時間を要する、正確な理解には業界知識が必要、担当者の異動で知見が引き継がれない場合がある、といった課題がありました。この解決のために、入札書をAmazon S3にアップロードすると自動で解析を行う仕組みを開発しました。入札書に含まれる情報抽出にはLegal-RoBERTa-largeというモデルを利用し、その情報をさらに細かく分割・整理するためにAmazon Bedockを介してJurassic-2 Ultraを活用。解析結果はWeb UIで担当者の方に参照いただく仕組みです。これにより入札書の解析時間を70%短縮、これは年間2,000時間の作業時間に相当します。またAWSのフルマネージドサービスを利用することで運用費削減・負荷に応じた柔軟なスケーリングが可能になったそうです。 サービスアップデート Amazon BedrockのConverse APIを発表 Amazon Bedrock のメリットのひとつは、統一されたAmzaon BedrockのAPIで様々な基盤モデルを呼び出せることです。今回、そのメリットを強化する Converse API が公開されました。基盤モデルには、推論時のパラメータをはじめモデル毎に固有の違いがあります。これまでBedrockを介して基盤モデルを呼び出す場合、モデル毎のパラメータの違いは開発者が考慮し対応する必要がありました。Converse APIはこの手間を省き、様々なモデルをシームレスに呼び出すことを可能にします。また、Converse APIは複数回の会話のやりとりを行うマルチターン対話や、モデルのツール呼び出し(関数呼び出し)にも対応しています。 PartyRockがドキュメントファイルの処理に対応 PartyRock は、Amazon Bedrockで稼働する基盤モデルを利用したアプリケーションを構築する方法をGUIで学び、試せるサービスです。今回、PartyRockにドキュメントヴィジェットが追加されました。ドキュメントヴィジェットはPDFやCSVを含むテキストファイル、Microsoft Wordなどのドキュメントに対応しており、他のヴィジェットと接続することでドキュメントの内容を要約したり、それに基づいた画像生成などが容易に実現できます。 OracleからPostgreSQLへの移行を生成AIで支援する新機能を発表 AWS Database Migration Serviceは異種データベースの移行を容易にするサービスです。今回、 DMS Schema Conversion という機能で、生成AIによるデータベース移行を支援できるようになりました。これは生成AIによるスキーマ変換支援機能で、移行先のデータベースでサポートされていないデータベース関数を利用している際に、それをエミュレートすることで移行作業の負荷を軽減するものです。生成AIによる支援機能を利用するには 拡張パックの有効化 が必要ですので、ご注意を。 Powertools for AWS Lambda(Python)がAgents for Amazon Bedrockをサポート オープンソースのライブラリ、 Powertools for AWS Lambda(Python) が Agents for Amazon Bedrock に対応しました。Agents for Amazon Bedrockは基盤モデルや外部システムとのAPIによる連携が必要な複雑なタスクを処理する自立型エージェントアプリケーションを開発するための仕組みです。Powertools for AWS Lambda(Python)を利用すると、OpenAPIのスキーマを自動生成し、Agents for Amazon Bedrockからのリクエストとそれに対する応答を構成することを容易にします。 Amazon SageMaker Canvasのスタートアップ時間が最大10倍高速に Amazon SageMaker Canvas はコーディング不要で機械学習技術による正確な予測を提供するサービスです。今回、サービスのスタートアップ時間が最大10倍高速になり、データ準備・カスタマイズ・機械学習や生成AIモデルのデプロイを高速に実行できるようになりました。 著者について 小林 正人(Masato Kobayashi) 2013年からAWS Japanのソリューションアーキテクト(SA)として、お客様のクラウド活用を技術的な側面・ビジネス的な側面の双方から支援してきました。2024年からは特定のお客様を担当するチームを離れ、技術領域やサービスを担当するスペシャリストSAチームをリードする役割に変わりました。好きな温泉の泉質は、酸性-カルシウム-硫酸塩泉です。

本稿は、2023 年 2 月 28 日に AWS Cloud Operations & Migrations Blog で公開された “ A detailed overview of Trusted Advisor Organizational Dashboard ” を翻訳したものです。 Amazon Web Service (AWS) 上でビジネスが成長するにつれて、リソースを最適化し、AWS のベストプラクティスに従う必要性も高まります。 AWS Trusted Advisor は、セキュリティ、パフォーマンス、コスト最適化、耐障害性、運用上の優秀性、サービスの制限という 6 つの独自の柱に沿って AWS インフラストラクチャを改善する方法を特定します。 AWS Support API によって、お客様は個々のアカウントごとに Trusted Advisor のデータをプログラムで取得できます。また、Trusted Advisor の組織ビュー機能では、組織内のすべての AWS アカウントに関する Trusted Advisor のレコメンデーションの統合ビューを提供します。組織ビューレポートは、JSON または CSV 形式で利用できます。お客様は多くの場合、このレポートを使用する際に困難に直面し、また、実用的なインサイトを特定したり、組織内のリーダーやテクニカルチームと共有したり、毎月のトレンドを分析するためには、更なる労力を必要とします。さらに、複数の AWS Organizations を持つお客様では、すべての AWS アカウントを横断した Trusted Advisor チェックの全体的なビューが必要となります。 本ブログ投稿では、 Cloud Intelligence Dashboards フレームワーク の一部としてインタラクティブでカスタマイズ可能な Amazon QuickSight ダッシュボードテンプレートである Trusted Advisor Organizational (TAO) Dashboard を紹介します。統合された Trusted Advisor レポートを可視化することで、組織はすべての AWS アカウントにわたって、よりコスト効率の高い設定やより強固なセキュリティ体制、よりパフォーマンスに優れたアプリケーションに向けて最適化を行うことができます。 裏側の仕組み Trusted Advisor レポートは、Amazon QuickSight が Trusted Advisor のフラグ付きリソースを可視化するために使用するデータセットです。このダッシュボードをデプロイすると、表示されるデータはビジネスの多くの分野で役に立ち、カスタムダッシュボードの起点として使用できます。 TAO Dashboard の Well-Architected Labs では、 Optimization Data Collection Lab を使用して Trusted Advisor データの収集を自動化する方法など、TAO Dashboard のデプロイ方法を順を追って説明しています。TAO Dashboard では Amazon S3、AWS Lambda、Amazon Athena、Amazon QuickSight などのサーバーレスサービスが使われています。 図 1. AWS Trusted Advisor からのレポートは Amazon S3 バケットに保存される (1)。Amazon Athena テーブルとビューは S3 バケットからデータをクエリするために使用される (2)。Amazon QuickSight は Athena ビューをソースとして QuickSight の SPICE ストレージにデータをロードし、ダッシュボードでデータを可視化する (3)。TAO Dashboard は、組織内の様々なユーザーと共有することができ、組織全体にわたって Trusted Advisor のフラグ付きチェックに迅速かつ簡単にアクセスが可能となる (4) Trusted Advisor Organizational Dashboard TAO Dashboard は、Summary シート、5 つの Trusted Advisor カテゴリー (Security、Cost Optimization、Fault Tolerance、Performance、Service Limits) の個別カテゴリーシート※、Security Hub Checks シート、Well-Architected Reviews シートの 8 つのセクションで構成されています。Summary シートは、Trusted Advisor の各カテゴリーの全体的な概要で、各カテゴリーの様々なチェックによって構成されており、AWS リージョンごとの Trusted Advisor の結果や、Trusted Advisor チェックのフラグ数が最も多いアカウントの内訳を可視化します。カテゴリーシートには、個々のリソースを含むより詳細な内容が含まれているため、影響度に基づいて改善の優先順位を決めることができます。これに加えて、ダッシュボードには、そのチェックが何を求めているのか、なぜ確認することが重要なのか、そしてどう対処するのかについてのインサイトが含まれています。Security Hub Checks シートでは、AWS Security Hub が有効になっているアカウントの結果を確認できます。Organizations 内の Well-Architected Tool で Trusted Advisor 統合が有効になっている場合、TAO Dashboard の Well-Architected Reviews シートには、特定された高リスクの問題 (High Risk Issues, HRI) が簡潔に表示されます。このタブは、Trusted Advisor の結果を整理する別の方法を提供し、特定のワークロードに対する HRI の解決を追跡するのに役立ちます。 ※ 2024 年 5 月現在、運用上の優秀性カテゴリーは未対応 図 2. TAO Dashboard の Summary タブのサンプル。9 つのグラフがあり、毎月の傾向がハイライトされた様々な側面からから、フラグ付きリソースを把握することができる セキュリティチェックの詳細を確認 AWS ではセキュリティが最重要であり、TAO Dashboard の最初に表示される詳細なデータは Trusted Advisor のセキュリティチェックに関連するものになっています。Security タブでは、AWS Identity and Access Management (IAM) アクセスキーローテーション、IAM パスワードポリシー、ルートアカウントの MFA、漏洩したアクセスキーなど、Trusted Advisor が提供する最も重要なセキュリティ関連チェックの詳細データを確認できます。 多くのチェックは、複数のビジュアルとフラグ付きリソースの表で表示されます。これに該当するチェックの場合、各アカウントにおける毎月のフラグ付きリソース数を示すグラフや、リソースにフラグが付けられた理由のように別の要因を示す表は、組織全体の大まかな概要を提供します。詳細な表では、AWS アカウント、AWS リージョン、ステータスを含む多くの要因に基づいて結果を並べ替えて、詳細を掘り下げることができます。 IAM アクセスキーローテーションチェックを詳しく見てみると、詳細ビューには、アカウント ID、個々の IAM ユーザー、期間のしきい値 (> 90 日、> 2 年など)、アクセスキーの名前、最後にローテーションされた日付、アラートレベル (黄または赤)、Trusted Advisor によってリソースに最初にフラグが付けられた日付、およびこのリソースにそのチェックのフラグが付けられた最新の日付が含まれることがわかります。この表を使用すると、任意の列で並べ替えて、組織にとって最も重要なことに焦点を当てることができます。これは、最も重要なアカウントに焦点を当てることを意味するかもしれませんし、むしろ最も古いキーに最初に焦点を当てたいかもしれません。優先順位を決めるのはお客様次第ですが、TAO Dashboard では結果を簡単に並べ替えることができ、アクセスキーが誰のものなのか、キーが最後にローテーションされたのはいつなのかをすべての AWS 環境にわたって確認する方法を提供しています。 コスト最適化を簡素化 クラウド財務管理は、クラウドでワークロードを実行する企業にとって、ますます注目されるようになっています。不要なリソースが起動されたままになっていたり、ワークロードの廃止後に関連リソースが適切にクリーンアップされていなかったりすると、コストが増加する可能性があります。Cost Optimization タブでは、Trusted Advisor が提供する最も重要なコスト関連チェックの詳細データを確認でき、Amazon RDS アイドル状態の DB インスタンス、使用率の低い Amazon EC2 インスタンス、利用頻度の低い Amazon EBS ボリューム、関連付けられていない Elastic IP Address のようなアイドル状態のリソースを素早く特定できます。 TAO Dashboard の Cost Optimization エリアでは使用率の低いインスタンス、関連付けられていない Elastic IP、アイドル状態のロードバランサーなどが検出できます。各チェックに含まれるピボットテーブルを使用して、ビジネスにとって重要なものに基づいて並べ替えやフィルタリングをすることで、少ない労力で大きな効果が期待できます。例えば、バックエンドインスタンスが接続されていないアイドル状態のロードバランサーや、関連付けられていない Elastic IPは、通常、少ない労力でクリーンアップできますが、この方法で分類されたリソースの数によっては、多くの労力を必要とする可能性があります。 Trusted Advisor のコスト最適化チェックは未使用のリソースだけでなく、より多くの対象をカバーしています。TAO Dashboard の Cost Optimization シートにある他の結果の中には、アクションの前にさらに検討が必要なものもありますが、コスト削減に繋がる可能性があるため、取り組む価値が十分にあります。使用率の低い Amazon EC2 インスタンスやアイドル状態の Amazon RDS インスタンスは、そのリソースを機械的に削除できるというわけでなく、テスト環境や定期的に実行されないバッチオペレーションの可能性があります。このような場合、インスタンスサイズを変更するか、自動シャットダウンのルールを実装することで、使用率の低い環境のコストを最適化できます。 レジリエンスリスクをハイライト AWS の VP & CTO である Werner Vogels の有名な言葉 “Everything fails all the time” (故障しないものは無い) を耳にしたことがある人は多いでしょう。AWS のアベイラビリティゾーンやサービスでイベントが発生した時にも重要なワークロードを稼働し続けるためには、障害に備えた設計が必要です。Fault Tolerance シートは、AWS 全体のワークロードとデータのレジリエンスに焦点を当てています。ここには Trusted Advisor が提供する最も重要な耐障害性チェックのデータが含まれており、Amazon EBS スナップショット、Amazon RDS バックアップ、Amazon RDS マルチ AZ、Amazon EC2 アベイラビリティゾーンのバランスなどの冗長性を調べることができます。 ワークロードを可能な限りレジリエントなものにすることで、チームは緊急対応に費やす時間を減らし、アプリケーション自体やその運用の改善により多くの時間を充てることができます。企業はこのデータを使用して、重要な EBS ボリュームの古くなったスナップショットを特定し、重要な本番データベースが複数のアベイラビリティゾーンにデプロイされていることを確認し、バージョニングが有効になっておらずデータ損失の可能性がある重要な S3 バケットを発見することができます。 アプリケーションの最高パフォーマンスを維持 システムやアプリケーションが最高のパフォーマンスを発揮できない場合、不要なコストやユーザーへの影響、さらには収益の損失といった副作用が発生します。TAO Dashboard の Performance シートは、使用率の高いインスタンスやルールが多すぎるセキュリティグループ、あるいは高いレイテンシによって、パフォーマンスが低下している可能性があるリソースを特定することに焦点を当てています。ここには使用率の高い Amazon EC2 インスタンス、Amazon EC2 セキュリティグループルールの増大、Amazon Route 53 エイリアスリソースレコードセット、CloudFront ヘッダー転送とキャッシュヒット率、CloudFront コンテンツ配信の最適化など、Trusted Advisor が提供する最も重要なパフォーマンスチェックのデータが含まれています。 Performance シートのビジュアルを使用してワークロードを最適化してください。そうすれば、ワークロードが最高のパフォーマンスを発揮し、どのようなトラフィック量も処理できます。ユーザーベースがグローバルである場合、S3 バケットに直接アクセスする代わりに CloudFront を使用することを検討してください。これにより、コンテンツがエッジロケーションでキャッシュされ、エンドユーザーのパフォーマンスが向上します。セキュリティグループルールの合理化を図り、必要なアクセスのみをインバウンドで許可するようにします。これはセキュリティ関連の改善でもありますが、パフォーマンスにも影響します。システムのポートがインターネットに公開されていると、接続を試行される可能性があります。この増加したトラフィックが想定以上にリソースを消費し、正当なトラフィックに影響を与えます。 サービスクォータがイノベーションの障壁になることを回避 サービスクォータは、すべてのお客様が必要な AWS クラウドリソースにアクセスできるようにするのに役立ちます。しかし、チームがビジネス上の課題に対するソリューションを構築している最中は、これらの制限が障壁となる可能性があります。Trusted Advisor は、アカウントがプロビジョニングされたリソースの 80% 以上を使用しているサービスクォータにフラグを付けます。TAO Dashboard では、80% のしきい値に達した制限の概要と、AWS アカウントに対してフラグが付けられた制限の内訳が表示されるため、最初にリスクの高いアカウントを簡単に特定できます。また、Trusted Advisor によってフラグが付けられたすべてのサービスクォータの詳細な表も表示されます。この表を使用すると、アカウント ID、リージョン、またはチェック名でフィルタリングでき、AWS 環境全体にわたってサービス上限緩和申請を実行できます。サービスクォータの引き上げに先手を打つことで、チームは承認を待つことなく、AWS で開発できるようになります。 まとめ 本ブログ投稿では、TAO Dashboard を使用して、AWS リソースのセキュリティ、パフォーマンス、耐障害性を向上させる方法をいくつか紹介しました。また、TAO Dashboard が組織全体のコストとサービス制限の管理に役立つ方法についても学びました。 ライブのインタラクティブなデモダッシュボード を使用して、Cloud Intelligence Dashboards の全機能をより深く理解してください。Cloud Intelligence Dashboards を使用してコンピューティングコストを削減し、ビジネスの拡大を続けられた 事例をご覧ください 。TAO Dashboard を導入してワークロードの改善やコストの削減を実施した場合は、ぜひフィードバックをお寄せください！ 著者について: Meredith Holborn Meredith Holborn はイギリスのマンチェスターを拠点とする AWS のテクニカルアカウントマネージャーです。彼女の役割は、お客様のクラウドジャーニーを支援し、支持することです。クラウドのコストを簡単に管理できるようにすることに情熱を持っており、それが Cloud Intelligence Dashboards チームの一員となったきっかけです。 Yuriy Prykhodko Yuriy は、ルクセンブルクを拠点とするプリンシパルテクニカルアカウントマネージャーです。お客様が AWS 上でワークロードを実行する際に、信頼性とコスト効率の高いシステムを構築し、運用上の優秀性を実現できるよう支援しています。また、コスト最適化の SME であり、AWS の Cloud Intelligence Dashboards の責任者でもあります。 翻訳はテクニカルアカウントマネージャーの河野が担当しました。原文は こちら です。

AWS IAM アイデンティティセンター の最近導入された機能として、 信頼されたアイデンティティ伝播 に基づいた新しいユースケースが発表されました。 一般的に使用されているビジネスインテリジェンス (BI) アプリケーションである Tableau でエンドユーザーのアイデンティティを Amazon Redshift に伝播できるようになりました。これには 3 つのメリットがあります。エンドユーザーの サインインエクスペリエンスが簡素化 されます。データ所有者は 実際のエンドユーザーアイデンティティに基づいてアクセスを定義 できます。監査人は ユーザーによるデータアクセスを検証 できます。 信頼されたアイデンティティ伝播では、データを消費するアプリケーション ( Tableau 、 Amazon QuickSight 、 Amazon Redshift クエリエディタ 、 Amazon EMR Studio など) からデータを保存および管理するサービス ( Amazon Redshift 、 Amazon Athena 、 Amazon Simple Storage Service (Amazon S3) 、 Amazon EMR など) にユーザーのアイデンティティとグループメンバーシップを伝播できます。信頼されたアイデンティティ伝播は IAM アイデンティティセンターの機能で、複数の分析アプリケーションにわたるサインインエクスペリエンスを向上させ、データアクセス管理と監査を簡素化します。エンドユーザーはシングルサインオンのメリットを利用できるので、システムに接続するために引き受ける IAM ロールを指定する必要がありません。 詳細を説明する前に、用語を確認しておきましょう。 ここでは、ユーザーアイデンティティとグループメンバーシップを保持するシステムを指すために「 ID プロバイダー 」という用語を使用します。これらは、ユーザーに認証情報の入力を要求し、認証を実行するシステムです。例えば、 Azure Directory 、 Okta 、 Ping Identity などがあります。 サポートされている ID プロバイダーの完全なリストを確認してください 。 「 ユーザー向けアプリケーション 」という用語は、データを消費するアプリケーション ( Tableau 、 Microsoft PowerBI 、QuickSight、 Amazon Redshift クエリエディタ など) を指します。 最後に、「 ダウンストリームサービス 」は、データの処理、データの保存、またはデータへのアクセスの管理を行う分析エンジンとストレージサービス ( Amazon Redshift 、Athena、S3、 EMR など) を意味します。 信頼されたアイデンティティ伝播のメリットを理解するために、5月29日までデータアクセスがどのように付与されていたかを簡単に説明しましょう。ユーザー向けアプリケーションがダウンストリームサービスのデータにアクセスすると、アップストリームサービスは、一般的な認証情報 (「 tableau_user 」など) を使用するか、 IAM ロールを引き受けることによってダウンストリームサービスに対する認証を行います。その結果、2 つの課題が生じます。 まず、ダウンストリームのサービス管理者にとって、リクエストを行う実際のユーザーに合わせて微調整されたアクセスポリシーを定義することが困難になります。ダウンストリームサービスから見ると、すべてのリクエストは、その共通のユーザーまたは IAM ロールから送信されます。例えば、Jeff と Jane の両者が BusinessAnalytics IAM ロールに割り当てられている場合、読み取り専用や読み取り/書き込みなど、それぞれに異なるレベルのアクセスを付与することはできません。さらに、Jeff が Finance グループにも属する場合、操作を行うロールを選択する必要があります。同じセッションで両方のグループからデータにアクセスすることはできません。 次に、データアクセスイベントをエンドユーザーに関連付ける作業には、差別化につながらない手間のかかる作業が伴います。リクエストが BusinessAnalytics という IAM ロールから送信された場合、そのアクションの背後にいるユーザーを識別するには追加の作業が必要です。 この例は非常にシンプルに見えるかもしれませんが、実際の組織には、数百のデータセットに対応する数百のユーザーと数千のグループがあります。これは、私たちにとって Invent and Simplify の機会でした。 新しい信頼されたアイデンティティ伝播の設定が完了すると、ユーザー向けアプリケーションがキーボードを操作する実際のユーザーに代わってデータにアクセスするための技術的メカニズムが提供されます。実際のユーザーアイデンティティを知ることによって、主に 3 つのメリットが生まれます。 まず、ダウンストリームのサービス管理者は、 実際のユーザーアイデンティティ 、所属グループ、またはこれら 2 つの組み合わせに基づいてアクセスポリシーを作成および管理できます。ダウンストリームサービスの管理者は、ユーザー、グループ、データセットの観点からアクセスを割り当てることができるようになります。これは、ほとんどのお客様がデータへのアクセスについて考える自然な流れです。このようなパターンを実現するために IAM ロールへの中間マッピングは必要なくなります。 次に、監査人は、 システムログ内の元のユーザーアイデンティティ にアクセスできるようになり、ポリシーが正しく実装されていること、および会社または業界レベルのポリシーのすべての要件に従っていることを確認できます。 第 3 に、BI アプリケーションのユーザーは、 複数のアプリケーション間のシングルサインオン のメリットを活用できます。エンドユーザーにとっては、会社の AWS アカウントと IAM ロールに関して理解する必要がなくなります。代わりに、作業で行う他の多くのことで使い慣れた企業のシングルサインオンを使用して EMR Studio などにサインインできます。 信頼されたアイデンティティ伝播の仕組み 信頼されたアイデンティティ伝播は、業界の標準メカニズム ( OAuth2 と JWT ) に依存します。OAuth2 は、アクセス委任のオープンスタンダードです。ユーザーは自分の認証情報を公開することなく、サードパーティのユーザー向けアプリケーションに他のサービス (ダウンストリームサービス) のデータへのアクセスを付与できます。JWT (JSON ウェブトークン) は、2 つのパーティ間で転送されるアイデンティティとクレームを表現するコンパクトで URL セーフな手段です。JWT は署名されているため、その整合性と真正性を検証できます。 信頼されたアイデンティティ伝播の設定方法 信頼されたアイデンティティ伝播を設定するには、IAM アイデンティティセンター、ユーザー向けアプリケーション、ダウンストリームサービスにエンドユーザーアイデンティティと連携するように指示する必要があるので、これらの個々のコンポーネントでの設定が必要です。詳細はアプリケーションごとに異なりますが、すべて次のパターンに従います。 AWS IAM アイデンティティセンターで ID ソースを設定します 。AWS では、ほとんどの ID プロバイダーがサポートしている自動プロビジョニングを有効にすることを推奨しています。自動プロビジョニングは、 SCIM 同期 標準に従って機能し、ディレクトリのユーザーとグループを IAM アイデンティティセンターに同期します。現在 IAM アイデンティティセンターを使用して AWS マネジメントコンソール で従業員のフェデレーションを行っている場合、この設定は既に完了していると思われます。これは 1 回限りの設定で、このステップを個々のユーザー向けアプリケーションで繰り返す必要はありません。 ID プロバイダーでユーザーを認証するようにユーザー向けアプリケーションを設定します。例えば、Okta を使用するように Tableau を設定します。 ユーザー向けアプリケーションとダウンストリームサービスの間の接続を設定します。例えば、Amazon Redshift にアクセスするように Tableau を設定します。場合によっては、 Redshift 用の ODBC または JDBC ドライバーを使用 する必要があります。 次に、信頼されたアイデンティティ伝播に固有の設定を行います。例えば、ID プロバイダーでユーザーを認証するユーザー向けウェブアプリケーションが組織で開発されていて、現在認証済みのユーザーに代わって AWS 内のデータにアクセスする場合を考えてみます。このユースケースでは、IAM アイデンティティセンターで 信頼されたトークン発行者 を作成します。この強力な新しいコンストラクトでは、アプリケーションの認証済みユーザーを IAM アイデンティティセンターのディレクトリユーザーにマップして、信頼できるアイデンティティ伝播を利用できるようになります。 私の同僚の Becky が、このようなアプリケーションを開発する方法を紹介するブログ記事を書いています 。この追加設定は、AWS の外部で認証される Tableau などのサードパーティアプリケーション (またはお客様が開発したアプリケーション) を使用する場合にのみ必要です。AWS が管理するユーザー向けアプリケーション (Amazon QuickSight など) を使用する場合、追加のセットアップは必要ありません。 最後に、ダウンストリームサービスの管理者は、ユーザーアイデンティティとグループメンバーシップに基づいてアクセスポリシーを設定する必要があります。正確な設定は、ダウンストリームサービスごとに異なります。アプリケーションが Amazon S3 でデータの読み取りまたは書き込みを行う場合、データ所有者は Amazon S3 コンソールで S3 Access Grants を使用して、ユーザーとグループに Amazon S3 内のプレフィックスへのアクセスを付与できます。アプリケーションが Amazon Redshift データウェアハウスにクエリを行う場合、データ所有者は Amazon Redshift コンソールで IAM アイデンティティセンターの信頼された接続を設定し、ID プロバイダーからのオーディエンスクレーム ( aud ) に一致させる必要があります。 設定の高レベルの概要が理解できたところで、最も重要な部分であるユーザーエクスペリエンスの詳細を確認しましょう。 エンドユーザーエクスペリエンス エンドユーザーの正確なエクスペリエンスはアプリケーションごとに異なるのは明らかですが、いずれの場合でも、従業員ユーザーにとっては以前よりもシンプルで使い慣れたものになります。ユーザーインタラクションは、リダイレクトベースの認証シングルサインオンフローから始まります。このフローでは、ユーザーは ID プロバイダーにリダイレクトされ、そこで認証情報や多要素認証などを使用してサインインできます。 信頼されたアイデンティティ伝達が設定されている場合にエンドユーザーが Okta や Tableau とどのようにやり取りするかを詳しく見ていきましょう。 以下にシステムとサービスの間のフローと主なインタラクションの図を示します。 この仕組みを以下に示します。 1.ユーザーとして Tableau にサインインを試みます。 2.Tableau がブラウザーベースのフローを開始し、Okta のサインインページにリダイレクトします。ユーザーは、このページでサインインの認証情報を入力できます。認証が成功すると、Okta は Tableau に認証トークン (ID とアクセストークン) を発行します。 3.Tableau が Amazon Redshift との JDBC 接続を開始し、接続リクエストにアクセストークンを含めます。Amazon Redshift JDBC ドライバーが Amazon Redshift を呼び出します。Amazon Redshift 管理者が IAM アイデンティティセンターを有効にしているので、Amazon Redshift はアクセストークンを IAM アイデンティティセンターに転送します。 4.IAM アイデンティティセンターがアクセストークンを確認して検証し、アクセストークンを アイデンティティセンター発行のトークンと交換します。 5.Amazon Redshift はアイデンティティセンターのトークンを解決し、対応するアイデンティティセンターユーザーを決定してリソースへのアクセスを許可します。認証が成功すると、ユーザーは Tableau から Amazon Redshift に接続できます。 認証が完了すると、いつものように Tableau を使い始めることができます。 Amazon Redshift クエリエディタに接続すれば、 sys_query_history テーブルを参照して、クエリを実行したユーザーが誰であるかを確認できます。Tableau からの接続に使用された Okta の E メールアドレスが awsidc:<email address> として正しくレポートされます。 この設定の詳細については、 Tableau のドキュメント を参照してください。 料金と利用可能なリージョン 信頼されたアイデンティティ伝達は、 現在 AWS IAM アイデンティティセンターを利用できる 26 の AWS リージョン で追加コストなしで提供されています。 信頼されたアイデンティティ伝播とダウンストリームサービスの設定の詳細については、以下を参照してください。 Simplify workforce identity management using IAM Identity Center and trusted token issuers Integrate Okta with Amazon Redshift Query Editor V2 using AWS IAM Identity Center for seamless Single Sign-On Simplify access management with Amazon Redshift and AWS Lake Formation for users in an External Identity Provider Bring your workforce identity to Amazon EMR Studio and Athena How to develop a user-facing data application with IAM Identity Center and S3 Access Grants (全 2 部) ご活用ください。 信頼されたアイデンティティ伝播では、分析システムを設定して、実際のユーザーアイデンティティ、グループメンバーシップ、属性を Amazon Redshift 、 Amazon Athena 、または Amazon S3 などの AWS のサービスに伝播できるようになります。その結果、これらのサービスのアクセスポリシーの管理が簡素化されます。また、監査人は、データにアクセスしているユーザーの実際のアイデンティティを把握する組織のコンプライアンス体制を検証できます。 今すぐ始めて、Amazon Redshift と Tableau の統合を設定してください。 — seb PS: AWS でのブログ記事の執筆は、常にチームとしての取り組みとなります。これは、記事のタイトルの下に 1 人の名前しか表示されない場合でも同様です。今回は、信頼されたアイデンティティ伝播の多くの微妙な点と技術的詳細の理解に関する多くの支援に対して Eva Mineva 、 Laura Reith 、 Roberto Migli に謝意を表します。 原文は こちら です。

2024 年 5 月 17 日に開催したウェビナーでは、2024 年 4 月にラスベガスで開催された NAB Show 2024 の AWS の出展内容の振り返りと、Amazon Bedrock で生成 AI を活用した北海道文化放送様の具体的なユースケースを紹介しました。 NAB Show 2024 では、次の 6 つのソリューションエリアで、AWS が提供するメディア & エンターテインメント向けソリューションの最新アップデートや機能強化と共にデモ展示を行いました。 [コンテンツ制作]  クラウドベースの一連の制作ワークフロー [放送・ライブ制作]  クラウドニュースルーム”NAB Show Live” に加え、ライブ制作関連の展示 [メディアサプライチェーン & アーカイブ] AI やクラウドツールによるコンテンツ制作~配信~収益化までのプロセス効率化、コスト削減、付加価値創出 [Direct to Consumer & ストリーミング] 配信機能、視聴体験向上、広告挿入、多様なコンテンツ形式( ライブ/ VOD / FAST )、モニタリング/可観測性 [Monetization – 収益化] 広告販売、測定、次世代広告フォーマット、プライバシー保護下でのデータ活用、Amazon 各サービスとの連携 [データサイエンス & 分析]  AI データ分析を活用したメディアワークフローの構築メリットと適用例 セミナーのアジェンダ: NAB Recap – コンテンツ制作 – NAB Recap – 放送とメディアサプライチェーン – NAB Recap – D2C & ストリーミング、データサイエンス & 分析、収益化 – 報道用の業務改善における AWS と 生成 AI の活用事例 NAB Recap – コンテンツ制作 – アマゾン ウェブ サービス ジャパン合同会社 / Visual Compute 事業開発 / 菊地 蓮 [ 資料 ] コンテンツ制作への取り組みを、先日発表した新サービス AWS Deadline Cloud と共に紹介しました。 NAB Recap – 放送とメディアサプライチェーン – アマゾン ウェブ サービス ジャパン合同会社 ソリューションアーキテクト 井村 紀彦 [ 資料 ] クラウドニュースルーム、ライブクラウドプロダクション、放送の監視とオブザーバビリティ(可観測性)、メディアサプライチェーンへの取り組みについて紹介しました。 NAB Recap – D2C & ストリーミング、データサイエンス & 分析、収益化 – アマゾン ウェブ サービス ジャパン合同会社 ソリューションアーキテクト 本多 和幸 [ 資料 ] 次世代のマネタイズ手法、AIML を活用したデータ分析手法、コンテンツ活用手法、動画配信における End to End ワークフローについて紹介しました。 報道用の業務改善における AWS と 生成 AI の活用事例 北海道文化放送株式会社 / 編成局 編成部 兼 メディア局 デジタル戦略室  /杉本 歩基 様 [ 資料 ] 北海道文化放送様では、ニュース動画のネット配信における制作コストの低減に取り組んでいます。AWS のサービスである、Amazon Bedrock や Amazon Polly を活用し、ニュース原稿の自動生成や動画制作の効率化を図っています。これにより、素早く一定品質の初稿原稿の作成が可能となったほか、SNS 等への動画の配信数の増加を実現しています。この一連の取り組みを少人数かつ低コストで開発・運用を行っている実例をご紹介いただきました。 おわりに 本ブログでは、2024 年 5 月 17 日に開催されたメディアセミナーについて紹介しました。今回セミナーに参加いただいた皆さま誠にありがとうございました。引き続き業界の皆様に役立つ情報を、セミナーやブログで発信していきます。どうぞよろしくお願い致します。 —- 参考リンク AWS for Media & Entertainment AWS Media & Entertainment Blog　(日本語) AWS Media & Entertainment Blog　(英語) AWSのメディアチームの問い合わせ先: awsmedia@amazon.co.jp ※ 毎月のメルマガをはじめました。最新のニュースやイベント情報を発信していきます。購読希望は上記宛先にご連絡ください。 このブログは BD 山口が担当いたしました。

こんにちは。ソリューションアーキテクトの齋藤です。三井物産株式会社(以下、三井物産) デジタル総合戦略部 デジタルテクノロジー戦略室では、先端技術の調査・検証、および、先端技術をてこにした新規事業の企画や事業性検討（R&D）を行っております。また、本 R&D 活動の中で創出されたソリューションやプロダクトを、事業本部と連携して社内外へ展開しています。本ブログは、三井物産がどのように AWS 上で生成 AI を活用し、三井物産グループ内における入札業務に活用可能なソリューションの開発につなげたか、三井物産 デジタル総合戦略部 デジタルテクノロジー戦略室 伊藤友貴 氏 から寄稿していただいたものです。 背景 AWS : 入札書解析業務に生成 AI を活用するに至った際の背景を教えてください。 三井物産 伊藤様 : 三井物産は総合商社ということもあり、国内公共事業、大規模プロジェクト（都市開発, 風力発電など）海外事業の入札案件に参加することが頻繁にあり、このとき数百ページにおよぶ入札書の内容を確認しますが、ここにビジネスとして下記の課題がありました。 海外事業での入札の場合、入札仕様書が英語記載のため担当者が理解するのに熟練者でも 30 〜 40 時間がかかる。 正確に案件を理解するために、入札書に記載されている事業の業界知見が必要になる。 担当者が 3〜5 年周期で異動があり、知見が引き継がれないケースがある。 元々、三井物産では上記ビジネス課題を解決するために、自然言語処理を用いたソリューション開発に関する取り組みをしていました。最初の顧客として、弊社グループ企業である三井物産スチール株式会社の協力を得て、継続的フィードバックをもらいながら取り組んでおり、本プロジェクトの、いちツールとして生成 AI を活用しています。 AWS : どのような要件が、ユーザー（入札担当者）から上がりましたか ? 三井物産 伊藤様 : 商社の業務として、公共入札に参加することがあります。発注者から入札広告が行われたら、担当者は数百ページにおよぶ入札書類を読み込み、その内容を社内外の関係者に確認します。その後、発注者へのカウンター（回答）案を作成必要があります。通常入札書類の読み込みには 30 〜 40 時間程度必要とします。担当者は、入札書類から必須で確認すべき項目（金額, 契約期間, 納品日, 条件など）を把握することができて、抽出された項目が入札書類のどの文書を参照して抽出されたかを自身で把握できるようにしたいと要望が上がりました。 AWS : 三井物産様のような総合商社が入札するプロジェクトは、公共事業など数 10 億円から数 100 億円になる大規模案件になる場合が多いと予想しています。さっそくではありますが、入札書解析システムのソリューションについて説明していただいてもよろしいでしょうか ? 三井物産 伊藤様 : 全体アーキテクチャは下記の通りです。 入札書解析システム アーキテクチャ ソリューション 三井物産 伊藤様 : 入札書解析システムは、AWS のフルマネージド型のサービス を中心としたアーキテクチャで構成されています。対象の入札書を Amazon S3 にアップロードすると、自動で解析業務が実行されます。AWS Fargate は、Amazon S3 に格納されている入札書を取得し、大規模言語モデルの Legal-RoBERTa-large を用いて、入札業務に必要な項目を抽出します。Legal-RoBERTa-large で抽出された項目は、そのままでは使用することが出来ず、さらに細かく分割する必要があります。これに、AI21 Labs が開発した大規模言語モデルである、Jurassic-2 Ultra を、Amazon Bedrock 上で使用しています。分割された項目は Amazon DynamoDB に保存されます。 担当者は、WEB UI を通じて、入札書の解析結果を確認することができます。 入札書解析システム UI 本システムで工夫した点は以下です。 入札書から抽出された項目で、契約期間日、引渡日、特記事項など、入札担当者が必ず確認する必要がある項目にフラグを指定することができます。 Legal-RoBERTa-large で抽出した項目が多数あるので、AWS Fargate から、Amazon Bedrock が提供する API を通じて Jurassic-2 Ultra を並列で呼び出し、入札書解析の処理時間を短くすることができます。 なお、本取り組み成果にの一部ついては、2024 年 5 月に開催の Web データマイニング分野のトップ会議、 The Web Conference 2024 の DEMO Track にて発表されました。 Why AWS ? AWS : 入札書解析システムに、AWS が採用された決め手を教えてください。 三井物産 伊藤様 : まず、AWS 技術者の数です。他社と比較して、使える技術者の多さ、学習教材の多さもポイントです。これは、構築委託をする場合、パートナー選定時における幅広い選択肢につながりました。又、Amazon Bedrockを採用することで、複数 LLM の試行錯誤を簡単に実施することが可能です。最終的に、Jurassic-2 Ultra を採用しましたが、Claude を初めとする他 LLM の検証も並行して実施しました。 導入効果と今後の展望 AWS : 入札書解析システムの導入効果および今後の展望について教えてください。 三井物産 伊藤様 : 導入効果として大きく 3 つあります。 システム導入後には入札書の解析時間が、今までより 70 % 短縮することに成功しました。これは年間で 2,000 時間分の作業時間になります。 33 時間 → 21.2 時間、約 12 時間削減（入札業務 経験豊富） 96 時間 → 30.4 時間、約 65 時間削減（入札業務 経験少なめ） AWS のフルマネージド型のサービス を採用することにより、OS やミドルウェアの開発・保守などの運用費削減にもつながりました。 AWS のフルマネージド型のサービス を採用することにより、システム全体に拡張性を持たせられるので、使用量に応じて柔軟にスケーリングが可能です。 今後の展望として、まずは三井物産事業部内に横展開、その後は社外への販売を検討しています。既存の仕組みを継承しつつ、顧客の要件に応じてフロントエンドをカスタマイズすることで、開発コストおよび期間が 10 分の 1 になり、より価値あるサービスを顧客へ提供していくことを目指しています。 著者について 伊藤 友貴 2020年東京大学大学院工学系研究科博士後期課程修了。博士（工学）。 大学院では主にAI・テキストマイニング・解釈可能な AI に関する研究に従事。この研究は AI およびデータ解析分野のトップ会議 AAAI や ICDM 等にに採択。 博士課程終了後、三井物産に入社。入社後は新規事業立上げを見据えた自然言語処理に関する R&D や社会実装に従事。本取組成果の一部は Web 分野のトップ会議 WWW に採択。

re:Invent 2023 で プレビュー として発表された、最大 32 TiB の DDR5 メモリと 896 個の vCPU を搭載する Amazon Elastic Compute Cloud (Amazon EC2) U7i インスタンスが利用可能になりました。カスタム第 4 世代インテル Xeon スケーラブルプロセッサ (Sapphire Rapids) 駆動のこれらのハイメモリインスタンスは、SAP HANA、Oracle、SQL Server などの大規模なインメモリデータベースをサポートするように設計されています。仕様はこのようになっています。 インスタンス名 vCPU メモリ (DDR5) EBS 帯域幅 ネットワーク帯域幅 u7i-12tb.224xlarge 896 12,288 GiB 60 Gbps 100 Gbps u7in-16tb.224xlarge 896 16,384 GiB 100 Gbps 200 Gbps u7in-24tb.224xlarge 896 24,576 GiB 100 Gbps 200 Gbps u7in-32tb.224xlarge 896 32,768 GiB 100 Gbps 200 Gbps 新しいインスタンスは、大規模なインメモリワークロードに対して最高のコンピューティングコストパフォーマンスを実現し、大手クラウドプロバイダーのどの SAP 認定仮想インスタンスよりも高いメモリ容量とコンピューティング能力を提供します。 AWS Nitro System のおかげで、インスタンスのメモリを余すことなく使用できます。こちらは 32 TiB インスタンスの例です。 前世代 の EC2 ハイメモリインスタンスと比較すると、U7i インスタンスは 135% を超えるコンピューティングパフォーマンス、最大 115% のメモリパフォーマンス、および 2.5 倍の EBS 帯域幅を提供します。拡大された帯域幅により、1 時間以下で 30 TiB のデータを EBS からメモリに転送できるため、データのロードとキャッシュ更新がこれまでにない速さで行われるようになります。インスタンスは、フローあたりの帯域幅を 25 Gbps にする ENA Express もサポートしており、インスタンス間の P99.9 レイテンシーを 85% 削減します。 各 U7i インスタンスは、最大 128 の汎用 (gp2 および gp3) またはプロビジョンド IOPS (io1 および io2 Block Express ) EBS ボリュームのアタッチメントをサポートします。io2 Block Express ボリュームは、それぞれ最大 64 TiB まで拡張でき、最大 32 Gbps で最大 256,000 IOPS を提供できるため、U7i インスタンスに最適です。 インスタンスは、本番環境で Business Suite S/4HANA、Business Warehouse on HANA (BW)、SAP BW/4HANA を実行するための SAP 認定を受けています。詳細については、 Certified and Supported SAP HANA Hardware および SAP HANA to AWS Migration Guide を参照してください。 AWS Launch Wizard for SAP を読むこともお勧めします。 知っておくべきこと 以下は、新しいインスタンスについて知っておきたい事柄です。 リージョン – U7i インスタンスは、米国東部 (バージニア北部)、米国西部 (オレゴン)、およびアジアパシフィック (ソウル、シドニー) の各 AWS リージョンでご利用いただけます。 オペレーティングシステム – サポートされているオペレーティングシステムには、Amazon Linux、Red Hat Enterprise Linux、SUSE Linux Enterprise Server、Ubuntu、Windows Server が含まれます。 より大規模なインスタンス – お客様のニーズに応えるため、AWS では、より優れたコンピューティング能力を備えたさらに大規模なインスタンスの年内提供にも取り組んでいます。 – Jeff ; 原文は こちら です。

本ブログはコネヒト株式会社様と Amazon Web Service Japan が共同で執筆いたしました。 みなさん、こんにちは。AWS ソリューションアーキテクトの瀬高です。 昨今、生成 AI が盛り上がりを見せていますが、特にユースケースとして多い RAG (Retrieval Augmented Generation) に関する事例をご紹介します。 RAG とは生成 AI モデルと外部の独自情報をかけ合わせる技術となっており、ビジネスで既に活用しているデータやドキュメントを活かした回答精度の向上や、事実に基づかない回答をする「ハルシネーション」のリスク軽減ができる点から注目されています。(RAG の詳細は こちら ) この記事では 2023 年 12 月に コネヒト株式会社様 で取り組んでいただいた Amazon Bedrock と Amazon OpenSearch Service を活用し、質問検索の体験向上について 1 ヶ月という短い期間で検証をしていただいた事例となります。 本取り組みは コネヒト株式会社様による開発者ブログ にて、詳細に解説いただいています。あわせて御覧ください。 お客様の状況と検証に至る経緯 コネヒト株式会社様は、 ママリ というママ向け Q&A アプリ/ 情報サイトを AWS 上で実装、運営しており、2022年より Amazon OpenSearch Service を利用したサービス内質問の検索機能を提供していました。 その中でも、プレミアムユーザー向けの機能である、質問の人気順ソート機能が大きな加入要因となっている点から、利用者の検索体験をより良いものにすることで、プレミアム会員の価値向上を目指したいという考えがあり、生成 AI とのかけ合わせによる検索体験の向上を検証することになりました。 今回の検証について 今回は Amazon OpenSearch Service を利用した全文検索システムを提供しているという点を活かし、実際に利用しているデータのベクトル化を行い、ベクトル検索と全文検索を1ヶ月という短期間で比較検証を行い、ベクトル検索の優位な点を検証されていました。 ベクトル検索を実行するために必要なベクトルデータは Amazon Bedrock の埋め込みモデルによって生成しています。Amazon Bedrock から利用できるモデルの中には単語やテキスト、画像などを AI や言語モデルが使いやすい数値ベクトルへ変換するために用いられる「埋め込みモデル」と言われるモデルがあります。今回はコンテキスト長や対応言語の観点から、 Titan Embeddings を利用してベクトル化を行っています。 次にベクトルデータを格納する Amazon OpenSearch Service 内に全文検索とベクトル検索、両方に対応したインデックスを作成しました。 インデックスを作成する前にドメインを作る必要があります。ドメインの作成方法については こちら をご参照ください。 検証では opensearch-py というライブラリを用いて Python でインデックスを作成しており、bulk 関数を用いてデータを登録しています。 データの登録が終わり、下記の 5 つのケースについて検証を実施しています。 ケース1. クエリが一つの単語で構成される場合 ケース2. クエリが複数の単語で構成される場合 ケース3. クエリに固有名詞を含む場合 ケース4. クエリに誤字を含む場合 ケース5. クエリに文章を使用した場合 検証結果としては、固有名詞を含むクエリなどは苦手とする一方、 誤字を含むクエリでは本来入力しようとした情報を踏まえた検索結果の返却や、文章をクエリとする検索では全文検索以上にユーザーが求める検索結果が返る可能性がある ことがわかりました。 検証の結果と今後について マネージドサービスである Amazon OpenSearch Service の活用や、Amazon Bedrock による API を通した既存テキストデータの埋め込みデータへの変更、全文検索とベクトル検索の比較という内容を1ヶ月という短期間で構築、検証結果を得ることができました。 検証結果については、全文検索にも固有名刺を含むケースや単語が確実に含まれている質問を出したいケースなど優れた点がありつつも、誤字や曖昧表現にも強く自然言語などをもとに高い精度で検索ができる、ベクトル検索の特徴を活かした検索ができる場面があることがわかりました。 コネヒト株式会社様は 全文検索とベクトル検索の検索スコアを統合し、両者のメリットを活かすハイブリッド検索のプロトタイピングにも取り組んでいくとのことで、今後更に検索体験の向上に向けた取り組みを行っていくとのことです。 CTO の永井様からは “Amazon Bedrock と Amazon OpenSearch Service を利用することでよりユーザの意図に沿った検索結果を返すことができ、検索体験の改善につながる手応えがありました” とのコメントもいただいたいます。 他の RAG 実装アプローチについて コネヒト株式会社様は RAG を実装するために、既存のデータを埋め込みモデルを利用してベクトルデータに変換するアプローチを採用されました。 それ以外にも、AWS では RAG を実装する方法がいくつかございますので、その整理をしてこの記事を結びたいと思います。 今回は2番の方法に該当しますが、Amazon OpenSearch Service 以外にも Amazon RDS for PostgreSQL や Amazon Aurora (PostgreSQL 互換) をデータストアに使うこともできます。1、 3、4番のように検索サービスやマネージドのレベルが高い Amazon Kendra や ナレッジベース 、 Amazon Q Business という仕組みを活用していく手段も用意されており、データやドキュメントを用意するだけで RAG 環境を構築することが可能な方法もあります。(Amazon Q Business は 2024 年 5 月執筆時点で日本語に未対応です。) プロダクトの検索体験向上にご興味があり、どの方法が良いかわからない場合は、ご支援させていただきます。担当営業までお気軽にお問い合わせください。 まとめ 今回は既存の OpenSearch 上のデータと生成 AI を組み合わせることで、利用者の検索体験向の向上を目指したお客様の挑戦についてご紹介いたしました。 全文検索の仕組みだけでなく、新たなユーザーの検索体験につながる結果も得られており、今後の生成 AI 活用も期待ができると思われます。 また、今回のようなベクトル DB を構築する以外にも AWS 上で RAG を構築する方法が複数ある点についても触れさせていただきました。 構築方法でご不明な点があればお問い合わせいただければと思います。ぜひお試しください。 ソリューションアーキテクト 瀬高 拓也 (X – @stktky )