本記事は 2024年6月11日に AWS Database Blog で公開された ” Near zero-downtime migrations from self-managed Db2 on AIX or Windows to Amazon RDS for Db2 using IBM Q Replication ” を翻訳したものです。 Db2 は、大規模なトランザクションおよび分析ワークロードをサポートする IBM のリレーショナル・データベースです。 Amazon Relational Database Service (Amazon RDS) for Db2  は、クラウドで Db2 データベースのセットアップ、運用、スケーリングを簡単に行えるようにする新しい RDS エンジンです。これにより、お客様はアプリケーションやビジネスに集中できるようになります。 お客様がミッション・クリティカルな Db2 データベースをオンプレミスまたは Amazon Elastic Compute Cloud (Amazon EC2) から Amazon RDS for Db2 に移行する場合の重要な要件の １つはダウンタイムをほぼゼロにすることです。これには次のような理由が考えられます。 テーブルをアンロードしても通常の業務が中断されることはありませんが、アンロードのために勤務時間中にアクセスを停止させると業務に影響がでる 一部の重要なテーブルには、サイズが 1TB を超える数10億のレコードが含まれています。これらの膨大なデータセットは、営業時間外での限られたメンテナンス時間内にはアンロードできない これらの課題には、論理データ・レプリケーションを使用して対処できます。テーブルのロード中の変更をキャプチャすることで、停止する必要はなく、ソース・データベースに接続するアプリケーションへの影響もありません。 データベースを移行するには、最初に全てのデータベース・オブジェクトを再作成し、次にテーブルごとのフルロードを行います。その後、データベース・トランザクション・ログから変更を反映させることができます。 Db2 移行ツール (Db2mt) は、IBM と AWS が共同で開発したツールで、RDS for Db2 へのデータ移行を支援します。Db2MT は GitHub で配布およびサポートされています。問題や機能要望リクエストは、リポジトリ内で直接上げることができます。このツールは、並列処理を使用して全てのデータベース定義とデータをアンロードし、データとデータベース定義をクラウドへアップロードし、Amazon RDS for DB2 へ直接データをロードすることで、移行プロセスを簡素化し、大幅にスピードアップします。 ソリューション概要 このブログでは、IBM InfoSphere Data Replication (IIDR) の Q レプリケーションを使用し、最小限のダウンタイムでデータを移行する方法を説明します。ソース・データベース (オンプレミス) からターゲット・データベース (Amazon RDS for Db2) へデータをレプリケートするように Q レプリケーションを設定する手順を順を追って説明します。移行は、ソース・システムがオンラインのままバックグラウンドで行われます。ターゲット・データベースがフルロードされ、レプリケーション・プロセスによってソースとの同期が保たれたら、全てのデータが同期され、一貫性があることを確認するために短時間停止させるだけで新しいターゲット・データベースへ切り替えられます。 ソリューションアーキテクチャは下図となります。 Amazon EC2 を使用して Q レプリケーション・インスタンスをホストしています。Q レプリケーション・インスタンスは、リモートからソース・データベースの変更をキャプチャし、それらをターゲット RDS for Db2 データベースに適用します。Q レプリケーション・プロセスは、ソース・データベースのリカバリー・ログから抽出された変更をステージングするために IBM MQ を使用し、そのメタ・データを保持するために Db2 インスタンスを使用します。IBM MQ、Db2、Q レプリケーション実行ファイルが EC2 インスタンスにインストールされています。 前提条件 AWS Direct Connect を使用したオンプレミス-AWS間の接続 RDS for Db2 インスタンス データ・マイグレーション用の Db2MT 全てのデータが移行されるまでのソース Db2 のリカバリー・ログの保持 Q レプリケーション環境のセットアップ 有効なアカウントがあれば、 IBM Passport Advantage から IBM MQ および Db2 ソフトウェア・イメージをダウンロードできます。このブログでは、90日間有効な IBM MQ と Db2 エンタープライズのトライアル・ライセンスを使用します。 Q レプリケーション環境をセットアップするために、以下の手順を実行します。 1. 前提条件 に従い EC2 インスタンス (Linux) を構成、IBM MQ インストール 2. MQ ライセンス承諾、キュー・マネージャー作成 (このブログでは、 QMRDS としています） sudo /opt/mqm/bin/mqlicense -accept sudo /opt/mqm/bin/setmqenv -s dspmqver sudo /opt/mqm/bin/crtmqm QMRDS 3. キュー・マネージャー起動 sudo su - mqm /opt/mqm/bin/strmqm QMRDS 4. Db2 インストール tar zxvf v11.5.8_linuxx64_server.tar.gz sudo ./db2setup -f sysreq -r ../db2server.rsp 5. Db2 クライアント・インスタンス作成 sudo su - groupadd db2adm useradd -G db2adm db2rep add db2rep to mqm group cd /rdsdbdata/db2-v11.5.8/instance ./db2icrt -s client db2rep データベース接続のセットアップ データベース名はソースとターゲットで同じでもかまいませんが、ここで作成する Q レプリケーション・インスタンスのエイリアスは異なっていなければなりません。例では、どちらのインスタンスもデータベース名は bench10k ですが、レプリケーションの目的で区別するために、ソースを BENCHS 、ターゲットを BENCHT としてカタログ化しています。 sudo su – db2rep db2 catalog tcpip node source remote source_ip server 25010 db2 catalog tcpip node target remote rds_ip server 50000 db2 catalog db bench10k as benchs at node source db2 catalog db benck10k as benckt at node target mkdir REPL cd REPL asnpwd init asnpwd add alias benchs id db2inst1 password xxxxx asnpwd add alias benckt id admin password xxxxx MQ リソースの作成 MQ リソースを作成するために、以下の手順を実行します。 1. MQ コマンドを呼び出せるように、シェル環境に MQ のパスを追加 sudo su – db2rep 2. .bash_profile に次の行を追加 export PATH=$PATH:$HOME/.local/bin:$HOME/bin:/opt/mqm/bin export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/mqm/lib64\ source bash_profile Q レプリケーションは、IBM MQ のキューを使用して、キャプチャー・プログラムと アプライ・プログラムの間でメッセージを交換し、キャプチャー・プログラムでリカバリー・ログからキャプチャされたデータをトラックし続けます。キャプチャーとアプライは同じインスタンス上で実行されるため、すべてのキューをローカル・キューにすることができます。以下のキューを作成します。 RESTARTQ — 再始動キューは、キャプチャー・プログラムが変更のレプリケート状況を追跡し、停止した場合にどこから再開するかを決定するために使用されます。 これには、処理中で最も古いトランザクションの Db2 log シーケンス番号（LSN）と、既にレプリケートされたトランザクションの最大 Commit LSN が含まれます ADMINQ — 管理キューは、Q キャプチャー・プロセスと Q アプライ・プロセス間の通信に使用されます DATAQ1 — キャプチャー・プロセスによって取得されたトランザクションは、アプライ・プロセスがレプリケートできるようにこのキューにステージングされます。 QDEPTH を999999999（デフォルトは5000）に設定し、アプライ・プログラムが停止した場合やターゲット・データベースが一時的に利用できなくなった場合に無制限の量のデータをステージングできるようにしています 3. 次のコードを使用しキューを作成 runmqsc QMRDS # Execute the below commands in the runmqsc prompt DEFINE QLOCAL ('QASN.ADMINQ') DEFINE QLOCAL ('QASN.RESTARTQ') DEFINE QLOCAL ('QASN.DATAQ1') alter qlocal(QASN.RESTARTQ) MAXDEPTH(1) alter qlocal('QASN.DATAQ1') MAXDEPTH(99999999) end Q レプリケーション・コントロール表の作成 Q レプリケーションのメタ・データ、モニタリング・データ、および生成されるすべてのメッセージは、Db2 テーブルに保存されます。Q レプリケーション asnclp スクリプトを使用して、Q レプリケーション・コントロール表と、移行したいテーブルのレプリケーション・サブスクリプションを作成します。サブスクリプションを作成すると、コントロール表にデータが挿入されます。 asnclp スクリプトは asnclp -f filename として実行されます。 Amazon RDS for Db2 の場合、Q アプライ・コントロール表には独自のテーブル・スペースが必要です。これらのテーブル・スペースは、Amazon RDS for Db2 で直接作成できないため、ストアード・プロシージャーを使用して手動で作成する必要があります。 1. インスタンスの作成に使用した管理者ユーザー名とパスワードを使用して RDS for Db2 インスタンスに接続し、次のコマンドを実行 call rdsadmin.create_bufferpool('BENCH10K', 'BPQASN', 10000, 'Y', 'Y', 8192); call rdsadmin.create_tablespace('BENCH10K', 'QAQASN', 'BPQASN', 8192); call rdsadmin.create_tablespace('BENCH10K', 'TSDONEMG', 'BPQASN', 8192); call rdsadmin.create_tablespace('BENCH10K', 'TSAPCMDOUT', 'BPQASN', 8192); 2. CREATE CONTROL TABLES コマンドで asnclp スクリプトを実行し、レプリケーションに必要なテーブルを作成します。 # # file control.clp - Creating Control Tables for Q Replication # Run with: asnclp -f control.clp # ASNCLP SESSION SET TO Q REPLICATION; SET PWDFILE "/home/db2rep/REPL/asnpwd.aut"; SET SERVER CAPTURE TO DBALIAS BENCHS ; SET SERVER TARGET TO DBALIAS BENCHT ; SET APPLY SCHEMA QASN; SET CAPTURE SCHEMA SOURCE QASN; SET QMANAGER "QMRDS" FOR CAPTURE SCHEMA; SET QMANAGER "QMRDS" FOR APPLY SCHEMA; SET OUTPUT CAPTURE SCRIPT "crtlcap.sql"; SET OUTPUT TARGET SCRIPT "crtlapp.sql"; #SET RUN SCRIPT LATER ; SET RUN SCRIPT NOW STOP ON SQL ERROR ON; CREATE CONTROL TABLES FOR CAPTURE SERVER USING RESTARTQ "QASN.RESTARTQ" ADMINQ "QASN.ADMINQ"; CREATE CONTROL TABLES FOR APPLY SERVER ; Q レプリケーションでは、ソース・データベースからレプリケートするトランザクションのステージングと送信に使用されるキューを識別する QMAP オブジェクトを作成する必要があります。 3. この構成では、キャプチャーとアプライは同じシステム上で実行され、1つのローカル・キューを使用できます。そのため、 CREATE REPLMAP コマンドでは、ソース・キューとターゲット・キューの名前はどちらも QASN.DATAQ1 となります。 # # File qmap.clp - Creating Q Replication QMAP - run with asnclp -f qmap.clp # ASNCLP SESSION SET TO Q REPLICATION; SET PWDFILE "/home/db2rep/REPL/asnpwd.aut"; SET SERVER CAPTURE TO DBALIAS BENCHT ; SET SERVER TARGET TO DBALIAS BENCH ; SET APPLY SCHEMA QASN; SET CAPTURE SCHEMA SOURCE QASN; SET QMANAGER "QMRDS" FOR CAPTURE SCHEMA; SET QMANAGER "QMRDS" FOR APPLY SCHEMA; SET OUTPUT CAPTURE SCRIPT "qmapcap.sql"; SET OUTPUT TARGET SCRIPT "qmapapp.sql"; #SET RUN SCRIPT NOW STOP ON SQL ERROR ON; SET RUN SCRIPT LATER ; CREATE REPLQMAP BENCHT_TO_BENCH USING ADMINQ "QASN.ADMINQ" RECVQ "QASN.DATAQ1" SENDQ "QASN.DATAQ1" NUM APPLY AGENTS 4; 4. MQ キューを識別する QMAP を定義したら、レプリケーション・サブスクリプションを作成する準備は完了となります。 次のスクリプトは、1 つのスキーマの全てのテーブルのサブスクリプションを作成します。 CREATE QSUB コマンドでは HAS LOAD PHASE N オプション (ロードなし) を指定します。これは、Db2MT を使用してターゲットにテーブルをロードするためです。代わりに HAS LOAD PHASE I (内部ロード用) を指定した場合、デフォルトでは Q レプリケーションはカーソルからのロードを使用し、サブスクリプションがアクティブになると自動的にテーブルをロードします。 ターゲット・データベースに既に必要なオブジェクトが全て含まれている場合は、Db2MT ユーティリティを使用する代わりに内部ロードを検討できます。このブログでは、Db2MT を使用し、ロードなしでサブスクリプションを定義します。これは、非常に大きなテーブルをロードする場合や、ロード後にターゲットを同期する場合にも最速の方法だからです。全てのテーブルを一度に移行するには、この方法が推奨されます。ロードがない場合は、キャプチャーを再起動して、全てのテーブルのロードフェーズ中に行われた全ての変更を読み取ります。テーブルのロード中に キャプチャーを実行し、それらの変更を MQ に反映させる必要はありません。もし既に稼働しているレプリケーション構成があり、アクティブなレプリケーション・サブスクリプションを中断せずにテーブルを段階的に追加する必要がある場合は、自動ロードが適切です。 # # File sub.clp - Creating subscriptions for all tables under a SCHEMA # # Run with asnclp -f sub.clp # ASNCLP SESSION SET TO Q REPLICATION; SET PWDFILE "/home/db2rep/REPL/asnpwd.aut"; SET SERVER CAPTURE TO DBALIAS BENCHT ; SET SERVER TARGET TO DBALIAS BENCH ; SET APPLY SCHEMA QASN; SET CAPTURE SCHEMA SOURCE QASN; SET OUTPUT CAPTURE SCRIPT "capsub.sql"; SET OUTPUT TARGET SCRIPT "appsub.sql"; SET RUN SCRIPT NOW STOP ON SQL ERROR ON; #SET RUN SCRIPT LATER ; CREATE QSUB USING REPLQMAP BENCHT_TO_BENCH (SRC OWNER LIKE "RDSDB" SRC NAME LIKE "%" OPTIONS HAS LOAD PHASE N REPLICATE ADD COLUMN YES EXIST TARGET TABLE OWNER SAME AS SOURCE TABLE NAME SAME AS SOURCE TRGCOLS ALL CONFLICT ACTION F ERROR ACTION S ); このブログで説明している手順は、ソース Db2 インスタンスのバージョン 11.5FP8 以降であることを前提としています。このバージョンでは、タイムス・タンプを使用し、後からキャプチャプログラムを再起動できるため、手順が大幅に簡略化されます。ソース Db2 が下位バージョンの場合、サブスクリプションを次のように定義します。サブスクリプションに OKSQLSTATE を指定することで、データ移行後に追いつきながらレプリケーションの例外をマスクします。 CREATE QSUB USING REPLQMAP BENCHT_TO_BENCH (SRC OWNER LIKE "RDSDB" SRC NAME LIKE "%" OPTIONS HAS LOAD PHASE N REPLICATE ADD COLUMN YES EXIST TARGET TABLE OWNER SAME AS SOURCE TABLE NAME SAME AS SOURCE TRGCOLS ALL CONFLICT ACTION F ERROR ACTION S OKSQLSTATE "02000" ); レプリケーションを開始しサブスクリプションを有効化 キャプチャーおよびアプライ・プログラムを開始して、全てのサブスクリプションが正常にアクティブ化できることを確認します。v11.5FP8 より前のバージョンでは、これによりソースDb2 ログを読み取るためのリスタート・ポイントも設定されます。 asnqcap capture_server=BENCHS capture_schema=QASN startmode=warmsi & asnqccmd capture_server=BENCHS capture_schema=QASN stop asnqapp apply_server=BENCHT apply_schema=QASN apply_path="/home/db2rep/REPL" & asnqacmd apply_server=BENCHT apply_schema=QASN stop 次の SQL クエリを実行すると、サブスクリプションの状態を確認できます。 connect to BENCHT; select substr(subname,1,8)as subname, substr(recvq,1,10) as recvq, substr(target_owner,1,8) as owner, substr(target_name,1,20) as tablename, has_loadphase, STATE from qasn.ibmqrep_targets; RDR for Db2 環境のセットアップ RDS for Db2 クラスターを作成及び、設定する手順については、 こちら を参照してください。Q レプリケーション・インスタンスが RDS for Db2 クラスターと同じサブネットにあることを確認してください。 Db2MT を使用したデータ移行 全てのデータの移行を開始する前に、処理中の全てのトランザクションがコミットされる時間を把握する必要があります。これは、データ移行中に発生した変更を Db2 リカバリー・ログからキャプチャし、全ての変更がデータ移行に含まれるか、ログから読み取れることを保証する必要があるためです。 まだコミットされていない最も早いトランザクションの開始時間を取得するには、次のクエリを実行して実行中のトランザクションを全て確認します。クエリが空の場合、現在コミットされていないトランザクションはなく、クエリを実行した現在の時間で十分です。 SELECT con.application_handle, con.application_id, con.application_name, con.client_pid, uow.uow_start_time, uow.uow_log_space_used FROM table(mon_get_connection(cast(null as bigint), -1)) as con, table(mon_get_unit_of_work(null, -1)) as uow WHERE con.application_handle = uow.application_handle and uow.uow_log_space_used != 0 ORDER BY uow.uow_start_time オープンソースの Db2MT は、Db2 データベースを使用したデータ移行を簡素化します。Go で書かれた Db2MT は、生成するスクリプトをカスタマイズするための拡張可能なアーキテクチャを備えています。これらのスクリプトを使用すると、実行前に移行プロセスを検証できます。 Db2 のバックアップは通常、同じプラットフォーム・ファミリー内でのみ復元できます。ただし、Linux と UNIX では、バックアップ先と復元先のエンディアンが一致していれば、以前のバージョンからバックアップを復元できます。そうしないと、DDL、データをエクスポートしたり、ターゲット・データベースでオブジェクトを再作成したりする複雑なプロセスが必要になります。 Db2MT を使用すると、この移行プロセス全体が簡素化されます。Db2MT は、ソース・データベースからエクスポートしてターゲットにインポートするために必要なスクリプトを生成し、オブジェクトの再作成とデータロードを処理します。これにより、Db2 データベースの移行が簡単かつ効率的になります。 Db2MT を使用しAIX ソース・データベースから RDS for Db2 へデータを移行 AWS に直接接続している場合、Db2MT は AIX/Windows サーバーまたは Db2 クライアントに直接インストールできます。Db2MT は、ネイティブの db2look を使用して忠実度の高いメタ・データを取得し、複数のパスとチャンク・アップロードを使用して Db2 サーバーから Amazon Simple Storage Service （Amazon S3）にデータを直接アンロードするための並列パスを構築します。Db2MT は GO SDK を使用してデータを直接 Amazon S3 にアップロードします。これは、AIX には AWS Command Line Interface (AWS CLI) がないためです。Db2MT は IXF 形式を使用して最大限のデータ正確性を維持し、クライアント・マシンのコード・ページの影響を受けずにデータを転送します。 Db2MT を使用し Linux ソース・データベースから RDS for Db2 へデータを移行 Db2MT は、データベースのサイズに応じて複数のパスを使用して、オフラインおよびオンラインのデータベース・バックアップを Db2 クライアントから Amazon S3 に直接作成します。Amazon RDS for Db2 に接続している同じまたは別の Db2 クライアントは、RDS for Db2 ストアード・プロシージャー  RDSADMIN_RESTORE を実行して、Amazon S3 からオフラインまたはオンラインのデータベース・バックアップを復元できます。オプションで、オンライン・バックアップのアーカイブ・ログを適用して変更を同期できます。 レプリケーションを再開し移行中の全ての変更をキャプチャ Db2MT を使用したデータ・ロードが完了したら、Q レプリケーションを再起動して、変更のバック・ログをターゲット・データベース (Amazon RDS for Db2) に適用できます。 必ず、データ移行が開始される前に キャプチャー・プログラムを再起動し、Db2MT の起動時にまだコミットされていない (処理中の) トランザクションを全てキャプチャできるように、リカバリー・ログに戻ってください。Db2 V11.5FP8 以降では、以前に取得したタイムス・タンプを Q キャプチャーに提供できます。Q キャプチャーは、このタイム・スタンプを LSN にマッピングし、そこからログ・レコードの読み取りを開始します。以前のバージョンでは、LSN パラメータには LSN が必要でしたが、取得が難しい場合があります。V11FP8 より前のバージョンでは、再起動 LSN を提供する代わりに、サブスクリプションに OKSQLSTATES を設定して例外を無視するようにしました。ただし、移行が完了した後もレプリケーションを引き続き使用する場合は、サブスクリプションを変更してこのオプションを削除する必要があります。そうしないと、レプリケーションの例外を検出できません。 キャプチャーを LSN パラメーター（タイム・スタンプまたは実際の LSN のいずれか）で再起動すると、最後に停止した場所からの再起動（ウォーム・スタートとも呼ばれます）ではなく、ターゲット・データベースの一貫性を回復するために変更が適用され、競合が解消されます。このキャッチアップ期間中は、ソース・アプリケーションがまだ実行されている間にデータの読み取りとコピーが行われていたため、データの不一致が起こることが予想されます。このキャッチアップ期間中は、例外は報告されません。キャプチャ開始時刻までに全ての変更が複製されると、通常の処理が再開され、データ不一致の例外が報告されます。 例えば、Db2MT を 10:22 に起動し、まだコミットされていない最長のトランザクションが 10 分前に開始された場合は、キャプチャーを再起動して 10:12 からログを読み取ることができます。 asnqcap capture_server=BENCHS capture_schema=QASN LSN=2023-11-03-10.12.01.000001MAXCMTSEQ=0 & asnqapp apply_server=BENCHT apply_schema=QASN apply_path="/home/db2rep/REPL" & 監視テーブルからクエリを実行することで、レプリケーション・プロセスの進行状況を追跡できます。 db2 connect to BENCHT; db2 "select MONITOR_TIME, END2END_LATENCY, ROWS_APPLIED, OLDEST_TRANS from QASN.IBMQREP_APPLYMON order by MONITOR_TIME DESC fetch first 20 rows only with ur" END2END_LATENCY はミリ秒単位で報告されます。これは、監視間隔（デフォルトは 30 秒）中に適用された全てのトランザクションについて、ソースでのコミットからターゲットでのコミットまでの平均経過時間です。 OLDEST_TRANS は、ターゲット ・データベースの現在のポイント・イン・タイム整合性であり、その時点までにソースからの全てのトランザクションが適用されています。OLDEST_TRANS が現在時刻に近づくと、すべてのデータがソースと一致していることがわかり、カットオーバーを開始できます。 まとめ このブログでは、オンプレミスの Db2 on POWER を Amazon RDS for Db2 に移行する手順を説明しました。ソリューションの概要、リモートのキャプチャーとアプライを使用した Q レプリケーションの設定、RDS for Db2 インスタンス の作成、データ移行に Db2MT を使用する詳細な手順などが含まれています。 ご質問、ご意見、ご提案がございましたら、コメントを残してください。 本記事はカスタマーソリューションマネージャの髙木 昇が 2024年6月11日に AWS Database Blog で公開された ” Near zero-downtime migrations from self-managed Db2 on AIX or Windows to Amazon RDS for Db2 using IBM Q Replication ” を翻訳したものです。

このブログでは、Amazon Kinesis Firehose、Amazon Athena、Amazon QuickSight などの AWS サービスを使用して、お客様のメール閲覧状況などの詳細を把握するために必要な粒度の Amazon SES のメール送信イベントを監視する方法を説明します。 現在、E メールマーケターはニュースレターやプロモーションコンテンツなど、キャンペーンやコミュニケーション方法を作るために内部アプリケーションに依存しています。 これらの活動から、顧客とのより良いインタラクションを得るためにワークフローを分析して改善し、より多くの情報を収集する必要があります。 バウンス、拒否、受信成功、配信遅延、苦情、開封率などのデータは顧客を理解するための強力なツールとなります。 通常のアプリケーションは、キャンペーンの効果をより高めるための詳細なログやデータを提供していないため、高レベルの情報しか扱えません。 Amazon Simple Email Service (SES ) は自身の製品に簡単に統合でき、コスト効率の良い柔軟でスケーラブルなメールサービスソリューションを求める企業向けのツールです。 Amazon SES は、Amazon CloudWatch Metrics との組み込み統合により送信活動を管理できる機能を提供し、メール送信イベントデータを収集するメカニズムも提供します。 このブログでは、送信、配信、開封、クリック、バウンス、苦情、拒否、レンダリング失敗、配信遅延などさまざまな種類のメール送信イベントに対して詳細にメール送信アクティビティを追跡するためのアーキテクチャと段階的なガイドを提案します。 Amazon SES の 設定セット 機能を使用して、詳細なログを分析サービスに送信し、そこでデータを保存、クエリ、詳細なビューのダッシュボードを作成します。 ソリューションの概要 このアーキテクチャでは、Amazon SES の組み込み機能と AWS の分析サービスを利用して、メール追跡の要件に対する迅速かつ低コストのソリューションを提供します。 以下のサービスから構成されます。 Amazon Simple Email Service (SES) Amazon Simple Storage Service (S3) Amazon Kinesis Data Firehose Amazon Athena AWS Glue データカタログ Amazon QuickSight 次の図はこのソリューションのアーキテクチャを示しています。 図 1. Amazon SES イベントを分析するためのサーバーレスアーキテクチャ お客様が Amazon SES を使用してメールを送信すると、イベントのフローが開始されます。それらの送信イベントはすべて、設定セット機能によってキャプチャされ、Kinesis Firehose 配信ストリームに転送されます。そこでイベントがバッファされ、Amazon S3 バケットに保存されます。 イベントを保存した後、Amazon Athena が S3 上のそれらのイベントを適切にクエリできるように、データベースとテーブルスキーマを作成し、AWS Glue Data Catalog に格納する必要があります。 最後に、Amazon QuickSight を使用して、インタラクティブなダッシュボードを作成し、メールごとの詳細情報を示して、送信アクティビティ全体を検索および可視化します。 前提条件 このウォークスルーを行うには、以下の前提条件を満たしている必要があります: AWS アカウント 本番稼働アクセスの SES ドメイン Amazon S3、Amazon Athena、AWS Glue Data Catalog、Amazon Kinesis Firehose、Amazon QuickSight を構成するための適切な IAM の権限 Author ユーザーが作成した QuickSight インスタンス ウォークスルー ステップ 1: AWS CloudFormation を使用して、追加の前提条件をデプロイする AWS CloudFormation のサンプルテンプレート を使えば、前提条件をいくつか含めて始められます。 このテンプレートは、Amazon S3 バケットと、Amazon SES から Amazon Kinesis Data Firehose にアクセスするために必要な IAM ロールを作成します。 CloudFormation テンプレートをダウンロードするには、お使いの OS に応じて以下のコマンドのいずれかを実行してください: Windows の場合: curl https://raw.githubusercontent.com/aws-samples/amazon-ses-analytics-blog/main/SES-Blog-PreRequisites.yml -o SES-Blog-PreRequisites.yml MacOS の場合: wget https://raw.githubusercontent.com/aws-samples/amazon-ses-analytics-blog/main/SES-Blog-PreRequisites.yml テンプレートをデプロイするには、次の AWS CLI コマンドを使用します: aws cloudformation deploy --template-file ./SES-Blog-PreRequisites.yml --stack-name ses-dashboard-prerequisites --capabilities CAPABILITY_NAMED_IAM テンプレートがリソースの作成を完了すると、スタックの出力タブに IAM サービスロールと配信ストリームが表示されます。 これらのリソースは次の手順で使用します。 図 2. CloudFormation テンプレートの出力 ステップ 2: SES で設定セットを作成し、検証済みの ID のデフォルト設定セットを設定する SES は、送信したメールごとに送信、配信、開封、クリック、バウンス、苦情のイベント数を追跡できます。イベントパブリッシングを使用すると、これらのイベントに関する情報を他の AWS サービスに送信できます。今回は、イベントを Kinesis Firehose に送信します。そのためには、設定セットが必要です。 設定セットを作成するには、以下の手順を実行してください: AWS コンソールで、 Amazon Simple Email Service を選択します。 Configuration sets を選択します。 Create set をクリックします。 図 3. Amazon SES Create Configuration Set Configuration set name を設定します。 他の設定はデフォルトのままにしておきます。 図 4. Configuration Set Name 設定セットが作成されたら、 Event destinations を選択します。 図 5. Configuration set created successfully Add destination をクリックします。 分析したいイベントタイプを選択し、 next をクリックします。 図 6. Sending Events to analyze 宛先として Amazon Kinesis Data Firehose を選択し、前に作成した配信ストリームと IAM ロールを選択し、 next をクリックします。レビューページで Add destination をクリックします。 図 7. Destination for Amazon SES sending events 設定セットとイベント宛先を作成したら、検証済みの ID (ドメインまたはメールアドレス) のデフォルトの設定セットを定義できます。SES コンソールで Verified identities を選択します。 図 8 Amazon SES Verified Identity イベントを収集する検証済みの ID を選択し、 Configuration set を選択します。 Edit をクリックします。 図 9. Edit Configuration Set for Verified Identity デフォルトの設定セットを割り当てるチェックボックスをオンにし、前に作成した設定セットを選択します。 図 10. Assign default configuration set 前の手順を完了すると、イベントが Amazon S3 に送信されます。Kinesis 配信ストリームのバッファ設定により、データは 5 分ごとまたは 5 MiB ごとに Amazon S3 にロードされます。バケットに作成された構造を確認し、SES イベントデータの JSON ログを確認できます。 図 11. Amazon S3 bucket structure ステップ 3: Amazon Athena を使用して SES イベントログをクエリする Amazon SES は、メール送信イベントレコードを JSON 形式で Amazon Kinesis Data Firehose に公開します。 トップレベルの JSON オブジェクトには、eventType 文字列、mail オブジェクト、およびイベントの種類に応じて Bounce、Complaint、Delivery、Send、Reject、Open、Click、Rendering Failure、DeliveryDelay オブジェクトが含まれています。 メール送信イベントの分析を簡素化するために、次のスクリプトを Amazon Athena で実行して sesmaster テーブルを作成します。 次のスクリプトの LOCATION をメール送信イベントのデータを含む自分のバケットに変更することを忘れないでください 。 CREATE EXTERNAL TABLE sesmaster ( eventType string, complaint struct < arrivaldate: string, complainedrecipients: array < struct < emailaddress: string >>, complaintfeedbacktype: string, feedbackid: string, `timestamp`: string, useragent: string >, bounce struct < bouncedrecipients: array < struct < action: string, diagnosticcode: string, emailaddress: string, status: string >>, bouncesubtype: string, bouncetype: string, feedbackid: string, reportingmta: string, `timestamp`: string >, mail struct < timestamp: string, source: string, sourcearn: string, sendingaccountid: string, messageid: string, destination: string, headerstruncated: boolean, headers: array < struct < name: string, value: string >>, commonheaders: struct < `from`: array < string >, to: array < string >, messageid: string, subject: string >, tags: struct < ses_source_tls_version: string, ses_operation: string, ses_configurationset: string, ses_source_ip: string, ses_outgoing_ip: string, ses_from_domain: string, ses_caller_identity: string >>, send string, delivery struct < processingtimemillis: int, recipients: array < string >, reportingmta: string, smtpresponse: string, `timestamp`: string >, open struct < ipaddress: string, `timestamp`: string, userAgent: string >, reject struct < reason: string >, click struct < ipAddress: string, `timestamp`: string, userAgent: string, link: string > ) ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe' WITH SERDEPROPERTIES ( "mapping.ses_caller_identity" = "ses:caller-identity", "mapping.ses_configurationset" = "ses:configuration-set", "mapping.ses_from_domain" = "ses:from-domain", "mapping.ses_operation" = "ses:opeation", "mapping.ses_outgoing_ip" = "ses:outgoing-ip", "mapping.ses_source_ip" = "ses:source-ip", "mapping.ses_source_tls_version" = "ses:source-tls-version" ) LOCATION 's3://aws-s3-ses-analytics-<aws-account-number>/' sesmaster テーブルは、 org.openx.data.jsonserde.JsonSerDe SerDe ライブラリを使用して JSON データを逆シリアル化します。 JSON 配列とマップのサポート、およびネストされたデータ構造のサポートを活用しています。これらの機能により、データの準備と可視化のプロセスが容易になります。 sesmaster テーブルでは、次のマッピングが適用されており、コロンを含む JSON フィールド名によるエラーを回避しています。 “mapping.ses_configurationset”=”ses:configuration-set” “mapping.ses_source_ip”=”ses:source-ip” “mapping.ses_from_domain”=”ses:from-domain” “mapping.ses_caller_identity”=”ses:caller-identity” “mapping.ses_outgoing_ip”=”ses:outgoing-ip” sesmaster テーブルが準備できたら、そのデータの整理されたビューを作成するのが良い戦略です。最初のビュー vwSESMaster には、メール送信イベントのすべてのレコードと、各イベントで一意のすべてのフィールドが含まれています。次のスクリプトを Amazon Athena で実行して、vwSESMaster ビューを作成します。 CREATE OR REPLACE VIEW vwSESMaster AS SELECT eventtype as eventtype , mail.messageId as mailmessageid , mail.timestamp as mailtimestamp , mail.source as mailsource , mail.sendingAccountId as mailsendingAccountId , mail.commonHeaders.subject as mailsubject , mail.tags.ses_configurationset as mailses_configurationset , mail.tags.ses_source_ip as mailses_source_ip , mail.tags.ses_from_domain as mailses_from_domain , mail.tags.ses_outgoing_ip as mailses_outgoing_ip , delivery.processingtimemillis as deliveryprocessingtimemillis , delivery.reportingmta as deliveryreportingmta , delivery.smtpresponse as deliverysmtpresponse , delivery.timestamp as deliverytimestamp , delivery.recipients[1] as deliveryrecipient , open.ipaddress as openipaddress , open.timestamp as opentimestamp , open.userAgent as openuseragent , bounce.bounceType as bouncebounceType , bounce.bouncesubtype as bouncebouncesubtype , bounce.feedbackid as bouncefeedbackid , bounce.timestamp as bouncetimestamp , bounce.reportingMTA as bouncereportingmta , click.ipAddress as clickipaddress , click.timestamp as clicktimestamp , click.userAgent as clickuseragent , click.link as clicklink , complaint.timestamp as complainttimestamp , complaint.userAgent as complaintuseragent , complaint.complaintFeedbackType as complaintcomplaintfeedbacktype , complaint.arrivalDate as complaintarrivaldate , reject.reason as rejectreason FROM sesmaster sesmaster テーブルには、ネストされた配列で表されているフィールドがいくつかあるため、それらを複数の行にフラット化する必要があります。次に、イベントタイプとフラット化が必要なフィールドを示します。 イベントタイプ SEND: フィールド mail.commonHeaders イベントタイプ BOUNCE: フィールド bounce.bouncedrecipients イベントタイプ COMPLAINT: フィールド complaint.complainedrecipients これらの配列を複数の行にフラット化するために、CROSS JOIN と UNNEST 演算子を次の戦略で使用しました。 mail.messageID とフラット化するフィールドを含む一時ビューを作成します。 配列を複数の行にフラット化した別の一時ビューを作成します。 sesmaster テーブルと 2 番目の一時ビューをイベントタイプと mail.messageID で結合して、最終ビューを作成します。 これらのビューを作成するには、次の手順に従ってください。 次のスクリプトを Amazon Athena で実行して、SEND イベントタイプの mail.commonHeaders 配列をフラット化します。 CREATE OR REPLACE VIEW vwSendMailTmpSendTo AS SELECT mail.messageId as messageid , mail.commonHeaders.to as recipients FROM sesmaster WHERE eventtype='Send' CREATE OR REPLACE VIEW vwsendmailrecipients AS SELECT messageid , recipient FROM ("vwSendMailTmpSendTo" CROSS JOIN UNNEST(recipients) t (recipient)) CREATE OR REPLACE VIEW vwSentMails AS SELECT eventtype as eventtype , mail.messageId as mailmessageid , mail.timestamp as mailtimestamp , mail.source as mailsource , mail.sendingAccountId as mailsendingAccountId , mail.commonHeaders.subject as mailsubject , mail.tags.ses_configurationset as mailses_configurationset , mail.tags.ses_source_ip as mailses_source_ip , mail.tags.ses_from_domain as mailses_from_domain , mail.tags.ses_outgoing_ip as mailses_outgoing_ip , dest.recipient as mailto FROM sesmaster as sm ,vwsendmailrecipients as dest WHERE sm.eventtype = 'Send' and sm.mail.messageid = dest.messageid 次のスクリプトを Amazon Athena で実行して、BOUNCE イベントタイプの bounce.bouncedrecipients 配列をフラット化します。 CREATE OR REPLACE VIEW vwbouncemailtmprecipients AS SELECT mail.messageId as messageid , bounce.bouncedrecipients FROM sesmaster WHERE (eventtype = 'Bounce') CREATE OR REPLACE VIEW vwbouncemailrecipients AS SELECT messageid , recipient.action , recipient.diagnosticcode , recipient.emailaddress FROM (vwbouncemailtmprecipients CROSS JOIN UNNEST(bouncedrecipients) t (recipient)) CREATE OR REPLACE VIEW vwBouncedMails AS SELECT eventtype as eventtype , mail.messageId as mailmessageid , mail.timestamp as mailtimestamp , mail.source as mailsource , mail.sendingAccountId as mailsendingAccountId , mail.commonHeaders.subject as mailsubject , mail.tags.ses_configurationset as mailses_configurationset , mail.tags.ses_source_ip as mailses_source_ip , mail.tags.ses_from_domain as mailses_from_domain , mail.tags.ses_outgoing_ip as mailses_outgoing_ip , bounce.bounceType as bouncebounceType , bounce.bouncesubtype as bouncebouncesubtype , bounce.feedbackid as bouncefeedbackid , bounce.timestamp as bouncetimestamp , bounce.reportingMTA as bouncereportingmta , bd.action as bounceaction , bd.diagnosticcode as bouncediagnosticcode , bd.emailaddress as bounceemailaddress FROM sesmaster as sm ,vwbouncemailrecipients as bd WHERE sm.eventtype = 'Bounce' and sm.mail.messageid = bd.messageid 次のスクリプトを Amazon Athena で実行して、COMPLAINT イベントタイプの complaint.complainedrecipients 配列をフラット化します。 CREATE OR REPLACE VIEW vwcomplainttmprecipients AS SELECT mail.messageId as messageid , complaint.complainedrecipients FROM sesmaster WHERE (eventtype = 'Complaint') CREATE OR REPLACE VIEW vwcomplainedrecipients AS SELECT messageid , recipient.emailaddress FROM (vwcomplainttmprecipients CROSS JOIN UNNEST(complainedrecipients) t (recipient)) メール送信イベントを分析するために Amazon QuickSight で使用できる以下の 4 つのテーブルと 1 つのビューがあります。 テーブル: sesmaster ビュー: vwSESMaster ビュー: vwSentMails ビュー: vwBouncedMails ビュー: vwComplainedemails ステップ 4: Amazon QuickSight を使用してデータを分析し、可視化する Amazon QuickSight を使用して、上述した sesmaster テーブル と 4 つのビューからメール送信イベントを分析し、可視化します。 Amazon QuickSight は Athena を通じてデータに直接アクセスできます。 セッションごとの課金体系であり、組織内の全員に分析のインサイトを提供できます。 まずはセットアップしましょう。最初に Athena で新しいデータソースを作成するためのテーブルとビューを選択しましょう。そして、これらのデータソースを使って可視化していきましょう。ここでは可視化の例を作成します。情報ニーズに基づいて、独自の可視化を作成してください。 Amazon QuickSight でデータを使用する前に、まず基盤となる S3 バケットへのアクセスを許可する必要があります。他の分析でまだ行っていない場合は、その方法についてのドキュメントを参照してください。 Amazon QuickSight のホームページで、左側のメニューから Datasets を選択し、右上の New dataset  を選択します。データソースとして Athena を設定し選択します。次のダイアログボックスで、データソースに分かりやすい名前を付けて、データソースの作成を選択します。 図 12. 新しい Athena データソースの作成 次のダイアログボックスで、sesmaster と加工済みビューを含む Catalog と Database を選択します。基本的な KPI (Key Performance Indicators) を作成するために、sesmaster テーブルを選択し、 Select  をクリックします。 図 13. Sesmaster テーブルの選択 sesmaster テーブルが Amazon QuickSight のデータソースになりました。次はデータの可視化に移ります。 図 14. QuickSight でのデータ可視化 左側にフィールドのリストが表示されています。右側のキャンバスはまだ空白です。データを追加する前に、 利用可能なビジュアルタイプ から KPI を選択します。 図 15. QuickSight のビジュアルタイプ グラフにデータを追加するには、左側のフィールドリストからフィールドをドラッグ&ドロップして、それぞれの領域に配置します。今回は、フィールド send を値の領域に配置し、集計に count を使用します。 図 16. Send フィールドの可視化への追加 左上から新しいビジュアルを追加し、ビジュアルタイプに KPI を選択します。 図 17. 新しいビジュアルの追加 図 18. KPI のビジュアルタイプ フィールド Delivery を値の領域に配置し、集計に count を使用します。 図 19. Delivery フィールドの可視化への追加 同様の手順 (ステップ 1 から 4) を繰り返し、Open、Click、Bounce、Complaint、Reject イベントの数をカウントします。最後に、次のような可視化が表示されるはずです。ビジュアルのサイズを変更して並べ替えると、下の画像のような分析結果が得られます。 図 20. KPI のプレビュー 現在のデータセットの右側にある鉛筆アイコンをクリックして、新しいデータセットを追加します。 図 21. 新しいデータセットの追加 次のダイアログボックスで Add Dataset  を選択します。 図 22. 新しいデータセットの追加 vwsesmaster と呼ばれるビューを選択し、 Select をクリックします。 図 23. vwsesmaster データセットの追加 vwsesmaster ビューの利用可能なフィールドがすべて表示されます。 図 24. vwsesmaster データセットの新しいフィールド 新しいビジュアルを作成し、ビジュアルタイプに表を選択します。 図 25. QuickSight のビジュアルタイプ 左側のフィールドリストからフィールドをドラッグ&ドロップして、それぞれの領域に配置します。今回は、フィールド eventtype、mailmessageid、mailsubject を グループ化の領域に配置しますが、必要に応じてさらにフィールドを追加できます。 図 26. eventtype、mailmessageid、mailsubject フィールドの追加 次に、このビジュアルにイベントタイプでフィルタリングするフィルターを作成します。まず、テーブルを選択し、左側のメニューからフィルターを選択します。 Create One をクリックし、ポップアップウィンドウでフィールド eventtype を選択します。次に、eventtype フィルターを選択すると、次のオプションが表示されます。 図 28. eventtype フィルターの作成 eventtype フィルターの右側の点をクリックし、 Add to Sheet を選択します。 図 29. フィルターのシートへの追加 すべてのデフォルト値をそのままにして、下にスクロールして Apply を選択します。 図 30. デフォルト値でフィルターを適用 これで、vwsesmaster ビューを eventtype でフィルターできます。 図 31. eventtype で vwsesmasterview をフィルター sesmaster テーブル、vwsesmaster ビューで利用可能なすべてのデータを使用して可視化をカスタマイズし続けることができます。さらに、vwSentMails、vwBouncedMails、vwComplainedemails ビューのデータを含めるためにデータセットを追加することもできます。以下に、これらのビューから作成された他の可視化をいくつか示します。 図 32. 最終的な視覚化 1 図 33. 最終的な視覚化 2 図 34. 最終的な視覚化 3 クリーンアップ このブログで作成したリソースを削除して、継続的な課金を避けてください。 Amazon QuickSight で作成した可視化を削除する。 他のプロジェクトで Amazon QuickSight を使用していない場合は、サブスクリプションを解除する。 Amazon Athena で作成したビューとテーブルを削除する。 Amazon SES の設定セットを削除する。 S3 バケットにログとして保存されている Amazon SES のイベントを削除する。 Amazon Kinesis Delivery Stream を削除するために、CloudFormation スタックを削除する。 結論 このブログでは、Amazon SES イベントに基づいてメール追跡ソリューションを迅速に作成する方法を、AWS のサービスおよび機能を使って示しました。 このソリューションは、サーバーレスアーキテクチャを完全に採用しているため、インフラを管理する必要がなく、Amazon SES の使用量が少なくても多くても、サーバーを気にすることなく柔軟にソリューションを利用できます。 我々は、ほとんどのお客様の要件に対応したダッシュボードと分析のサンプルをいくつか紹介しました。しかし、このソリューションを発展させ、ダッシュボードにチャートやフィルター、イベントを追加したり削除したりするなど、ニーズに合わせてカスタマイズすることができます。Amazon SES の利用可能なイベント、その構造、および Amazon QuickSight でのダッシュボードと分析の作成方法については、次のドキュメントを参照してください。 Amazon SES が Amazon SNS に公開するイベントデータの内容 クイックスタート: サンプルデータを使用して 1 つのビジュアルで Amazon QuickSight 分析を作成する パフォーマンスとコスト効率の観点から、この解決策を改善するための設定がいくつかあります。 たとえば、parquet などの列形式のファイルフォーマットを使用したり、Snappy で圧縮したり、メール送信の使用状況に応じて S3 のパーティション戦略を設定したりすることができます。 別の改善点として、Amazon QuickSight でデータを読み取るために SPICE にデータをインポートすることが考えられます。 SPICE を使用すると、Athena からデータが 1 回だけロードされ、手動で更新するかスケジュールを使用して自動的に更新されるまでキャッシュされます。 このウォークスルーを使用して、最初の SES ダッシュボードを構成し、イベントの詳細を可視化することができます。このブログで説明されているサービスは要件に応じて調整できます。 著者について Oscar Mendoza is a Solutions Architect at AWS based in Bogotá, Colombia . Oscar works with our customers to provide guidance in architectural best practices and to build Well Architected solutions on the AWS platform. He enjoys spending time with his family and his dog and playing music. Luis Eduardo Torres is a Solutions Architect at AWS based in Bogotá, Colombia. He helps companies to build their business using the AWS cloud platform. He has a great interest in Analytics and has been leading the Analytics track of AWS Podcast in Spanish. Santiago Benavídez is a Solutions Architect at AWS based in Buenos Aires, Argentina, with more than 13 years of experience in IT, currently helping DNB/ISV customers to achieve their business goals using the breadth and depth of AWS services, designing highly available, resilient and cost-effective architectures. 本記事は、 Analyzing Amazon SES event data with AWS Analytics Services を翻訳したものです。翻訳は Solutions Architect の 松岡勝也 が担当しました。

みなさん、こんにちは。ソリューションアーキテクトの西村です。今期から  週刊AWS を担当させていただくことになりました。これからよろしくお願いいたします。 11 月 15 日 (金) 14:00 – 16:00 に AWS セミナー「 生成 AI が切り拓く、今後のエンジニアリング環境 」が開催されます。生成 AI を活用して、実際にエンジニアリング環境の改善を進めているお客様より、具体的な取り組みについてお話しいただく予定です。生成 AI によるエンジニアリングの品質と効率化を高めるためのヒントが得られるチャンスですので、ぜひ、ご参加ください。 それでは、先週の主なアップデートについて振り返っていきましょう。 2024年11月4日週の主要なアップデート 11/4(月) Amazon Simple Email Service (Amazon SES) のメール送信用 API でインラインテンプレート機能をサポート Amazon Simple Email Service (Amazon SES) で SendBulkEmail API もしくは SendEmail API のリクエストにおいて、インラインテンプレート機能をサポートしました。今までは、事前に作成したメールテンプレートを Amazon SES に登録しておく必要がありましたが、今回のアップデートのインラインテンプレート機能を使用することで、事前のテンプレート登録と管理が不要で、直接メールコンテンツを組み立て、配信することが可能です。 Amazon Bedrock で Anthropic 社の Claude 3.5 Haiku モデルを提供開始 Amazon Bedrock で Anthropic 社の Claude 3.5 Haiku モデルが、米国西部(オレゴン)リージョンと米国東部(バージニア北部)リージョン(クロスリージョン推論経由)で利用可能になりました。Claude 3.5 Haiku は、高速な応答時間と向上した推論能力を組み合わせにより、Anthropic 社の旧世代の最大モデルである Claude 3 Opus に匹敵するパフォーマンスを実現しており、スピードと知能の両方が求められるタスクに最適です。現在、テキストのみのモデルとして提供されていますが、画像入力のサポートも追加される予定です。 11/5(火) （この日は週刊AWS でとりあげるアップデートがありませんでした。） 11/6(水) Amazon CloudFront で AWS WAF によってブロックされたリクエストに対する料金が無料化へ 2024 年 10 月25日より、AWS WAF によってブロックされた Amazon CloudFront へのリクエストに対して、リクエスト料金やデータ転送料金がかからなくなりました。この改訂は、アプリケーションなどの設定変更の必要はなく、AWS WAF と連携するすべての CloudFront ディストリビューションに対して自動で適用されます。AWS WAF 自体の料金には変更なく、引き続きリクエスト対する料金がかかりますので、お間違いのないようご注意ください。 Amazon EC2 で Microsoft Windows Server 2025 イメージを提供開始 Amazon EC2 で Microsoft Windows Server 2025 のライセンス付き Amazon Machine Images(AMIs) をサポートしました。Amazon EC2 で Windows Server 2025 を起動することで、AWS の強化されたセキュリティと信頼性を備え、性能とコストパフォーマンスに優れた環境で、最新の Windows Server の機能を活用できます。新しい AMI の詳細については、 AWS Windows AMI リファレンス をご覧ください。Amazon EC2 上での Windows Server 2025 の実行に関する詳細は、 Windows Workloads on AWS ページ をご確認ください。 11/7(木) Amazon Elastic Container Service(Amazon ECS) でサービスのバージョンとデプロイの履歴を表示開始 Amazon Elastic Container Service(Amazon ECS) でアプリケーションをデプロイした際のサービスのバージョンとデプロイの履歴を確認できるようになりました。この機能により、Amazon ECS 上で稼働するアプリケーションのサービスバージョンを追跡したり、進行中のデプロイ状況を監視することが可能になり、デプロイ失敗時のデバッグを容易に行えるようになります。2024 年 10 月 25 日以降にデプロイされたサービスについて、サービスバージョンとデプロイ履歴を確認できます。詳細はこちらの ブログ記事 と ユーザーガイド をご確認ください。 Amazon OpenSearch Service がデータ探索とコラボレーションにより効果的な次世代 UI ダッシュボードを提供開始 Amazon OpenSearch Service 次世代ダッシュボードを提供開始しました。データ探索の操作性が向上し、複数のデータソースから情報を 1 箇所に集中させることで、相互作用分析等の包括的なインサイトを得ることができます。また、OpenSeach Workspaces 機能もリリースされ、ユースケースに応じた専用のスペースを作成することで、共同作業者に限定したデータコラボレーションが可能です。詳細についてはこちらの ブログ記事 をご確認ください。 AWS Lambda で .NET のマネージドランタイムの JSON ロギングをサポート AWS Lambda で.NET のマネージドランタイムを使用する Lambda 関数のアプロケーションログを、 JSON 形式でキャプチャできるようになりました。今までは、.NET のマネージドランタイムのシステムログのみが JSON 形式 でキャプチャ可能で、アプリケーションログを JSON 形式でキャプチャするには、ロギングライブラリを手動で構成する必要がありました。今回のアップデートにより、独自の JSON ライブラリを使用する作業が不要で、アプリケーションログ を JSON 形式でキーと値のペアのシリーズとして構造化できるるようになるため、大量のログ検索、分析し、Lambda 関数の障害をすばやく特定できるようになります。 Amazon OpenSearch Service で延長サポートの提供開始 Amazon OpenSearch Service で Elasticsearch バージョンと OpenSeach バージョンで 延長サポートの提供を開始しました。Elasticsearch 6.7 以前のバージョン、Elasticsearch 7.1 から 7.8 のバージョン、OpenSearch 1.0 から 1.2 のバージョン、OpenSearch 2.3 から 2.9 のバージョンの標準サポートは 2025 年 11 月 7 日に終了します。延長サポートでは、通常のインスタンス料金に加えてサポート料金を支払うことで、標準サポート終了後も少なくとも 12 カ月の期間、重要なセキュリティアップデートを受け取ることができます。各バージョンにおける延長サポートの期限等の詳細は、 ブログ記事 をご確認ください。 11/8(金) Amazon Location Service の場所、ルート、マップ機能の強化による高度なルート計画が可能に Amazon Location Service の場所、ルート、マップ機能が強化され、開発者がアプリケーションに高度な位置情報機能を簡単に追加できるようになりました。このリリースにより、複数の配送地点の最適化、さまざまな移動制限のサポートなど、高度なルート計画機能が利用可能です。また、近隣の企業を見つける Search Nearby 機能、入力された住所を予測する Autocomplete 機能などの機能もリリースされており、位置情報ベースのユースケースを幅広くサポートできます。 Amazon DataZone の料金体系がユーザー単位の月額料金から従量課金モデルへ変更 Amazon DataZone は従量課金モデルへ料金体系を改定しました。今までのユーザー毎の月額料金が廃止され、2024 年 11 月 1 日から Amazon DataZone で使用したリソースに対してのみ課金されるようになります。これによりユーザー数に関係なく、利用した分だけの支払いでご利用いただけます。さらに同時に、Amazon DataZone のメタデータストレージの料金を 1GB あたり 0.417 USD から 0.40 USD へ引き下げと、 プロジェクト作成といった Amazon DataZone のコアとなる一部の DataZone API が無償化となりました。無償化の API リストページ で対象の API をご確認ください。 EC2 Auto Scaling でアベイラビリティーゾーンの厳密な均等化制御が可能に Amazon EC2 Auto Scaling グループ(ASG) はアベイラビリティーゾーン間でワークロードを厳密に均等化できるようになりました。今までは、ASG 内の EC2 インスタンスをアベイラビリティーゾーン間で均等化するには、ライフサイクルフックを使ってカスタムアクションを実施させるか、複数の ASG を維持する必要がありました。今回のリリースにより、容易にアベイラビリティーゾーン間での均等化を実現させ、アプリケーションのレジリエンシーをさらに高めることができます。 11 月も中旬に入り、 AWS re:Invent 2024 の開催まで、あと数週間となりました。ただ、お忙しい中、時差もあり、自身で１つ１つキャッチアップするのも大変という方もおられると思います。そこで、今年も AWS re:Invent 2024 で発表される新サービス、新機能を一挙紹介する AWS Black Belt Online Seminar 2024 年 AWS re:Invent 速報 を、2024 年 12 月 6 日 (金) 12:00 – 13:00 に開催いたします。登録不要でご視聴いただけますので、お気軽にご参加ください。 それでは、また来週！ 著者について 西村 忠己(Tadami Nishimura) / @tdmnishi AWS Japan のソリューションアーキテクトとして、小売・消費財業種のお客様を担当しています。データガバナンスの観点から、お客様がデータ活用を効果的に行えるようなデモンストレーションなども多く行っています。好きなサービスは Amazon Aurora と Amazon DataZone です。趣味は筋トレで、自宅に徒歩０分のトレーニングルームを構築して、日々励んでいます。

みなさん、こんにちは。AWS ソリューションアーキテクトの小林です。 Amazon Bedrockでサービス利用上限(制限)に当たってしまいサービスが利用できないというご相談をいただきます。そういった場合に参考にして頂ける ブログ記事 を公開していますので、該当する方はぜひご確認ください。モデルアクセスの設定方法と、サービス利用上限引き上げのリクエスト方法を解説しています。 年末が近づいてくると、いよいよAWS re:Inventの季節という感じがします。毎年たくさんのサービスアップデートが発表されますが、毎年恒例の「 新サービス・新機能の全てを1時間でサクッとお伝えするWebinar 」を今年も開催します。12月6日(金)の12:00-13:00ですので、ぜひご参加ください。生成AIも、それ以外も、たくさんのアップデートをギュッと凝縮してお伝えします。 「 AWSジャパン生成AI実用化推進プログラム 」のお申し込みも引き続き募集しています。11月22日が締め切りになりますので、検討されている方はお早めに意思表明をお願いします。 それでは、11 月 4 日週の生成AI with AWS界隈のニュースを見ていきましょう。 さまざまなニュース AWS生成AI国内事例ブログ: 株式会社コーテッグ様、生成AIによるAI-OCR機能で診察券読み取り業務を効率化し月間7,500時間の削減に成功 株式会社コーテッグ様は医療機関向けに予約・受付をスムーズにするサービス「 ソトマチ 」を開発・展開しています。ソトマチには診察券を読み取ってカルテを特定する機能がありますが、読み取り精度や精度向上のために労力がかかるといった課題がありました。この課題を解決するために、Amazon Bedrockで稼働するAnthropic社のClaude 3.5をはじめとするマルチモーダルモデルの活用を考えました。それによって医療機関ごとに異なるデザインの診察券に向けた調整が不要になり、読み取り精度が向上したことで30%の精度向上を実現、250の医療機関の合計で月間7,500時間の効率化を実現しています。 ブログ記事「階層化された認可による Amazon Bedrock エージェントのデータプライバシー強化」を公開 生成AIを活用してアプリケーションの能力を拡張するメリットは広く認知されつつありますが、同時に生成AIを組み込むことによって従来は存在しなかった考慮ポイントが発生するケースもあります。このブログ記事では、新たな考慮事項の一例としてデータ保護を取り上げ、Amazon Bedrock Agentsによる複数ステップの処理を実行する場合の対処例をご紹介しています。 ブログ記事「Amazon Bedrock と AWS Amplify を使った生成 AI トラベルアシスタントアプリの作成」を公開 この記事は、生成AIを活用したアシスタントアプリの開発方法について解説しています。お題は「旅行をアシストするアプリ」で、人気の観光地や隠れた名所をレコメンドすることでより良い旅行体験を提供することです。アプリケーションの構築にはAWS Amplifyを活用したインフラの自動設定と、Amazon Bedrockによる基盤モデル利用を組み合わせています。サンプルコードも付いていますので、生成AIアプリの作り方を知りたい方にもおすすめです。 ブログ記事「責任ある AI のベストプラクティス: 責任ある信頼できる AI システムの促進」を公開 ISO 42001は組織内でAIシステムを管理するためのガイドラインを提供するマネジメントシステム規格です。このブログ記事ではその公開をお知らせするとともに、AWSがその策定に積極的に協力してきたことと、今後も国際規格の策定に貢献することをお知らせするものです。 ブログ記事「AWS Skill Builder で、生成 AI に関しての知識を身につけてみませんか?」を公開 ビジネス課題の解決手法として生成AIを活用することを考えるためには、生成AIに対してある程度の知識を持っていることが必要になります。AWSでは AWS Skill Builder というクラウドについて学習するコンテンツをご用意していますが、今回AWS Skill Builderの一環として提供されるAWS Cloud Questで生成AIに関するトピックが日本語化され、学習がやりやすくなりました。AWS Cloud Questはロールプレイングゲームのようなスタイルで、ストーリーに沿って出題される課題を解決することを通じてスキル学習を進めるコンテンツで、実際のAWSアカウントを操作しながら実践的な知識を身につけることができるようになっていますので、ぜひ一度おためしください。 ブログ記事「Amazon Bedrock における Anthropic の Claude 3 Haiku モデルのファインチューニングの一般提供を開始」を公開 先日発表したAmazon BedrockのAnthropic Claude 3 Haikuがファインチューニングに対応しました、というお知らせに関するブログ記事の日本語版を公開しました。 ブログ記事「Amazon Bedrock のモデルアクセスの有効化や制限値の引き上げができない時の対応方法」を公開 冒頭でも触れましたが、Amazon Bedrockでモデルアクセスの有効化・推論回数の上限を変更できない際の対応方法をまとめたブログ記事を公開しています。 サービスアップデート Amazon Q Businessで利用開始を簡素化するWebエクスペリエンスを提供開始 Amazon Q Businessにおいて、企業内データのインデックス化が完了する前の段階でもユーザに対してWebアプリケーションを提供できるようになりました。ローカルのファイルに対する処理や、一般的な知識に関するユーザへのアシストをすぐに開始できるようになるのがポイントで、これまでよりも素早くAmazon Q Businessを使い始めることができます。 AWS Clean Rooms MLがセキュアな独自モデルの学習と推論をサポート AWS Clean Rooms MLでプライバシーが確保されたカスタムモデルの学習と、それによる推論に対応しました。この機能を利用すると、独自モデルのためのトレーニングデータや独自のモデル自体を共有することなく、独自モデルによる推測結果を共有することができます。つまり、機密情報はプライベートでセキュアな状態を保ったまま、モデルによる予測結果だけを利用したコラボレーションが可能になります。 Amazon Bedrock Prompt Managementが一般利用開始に Amazon Bedrockのプロンプトマネジメント機能が一般利用開始になりました。この機能ではAWSアカウントごとに保存されたプロンプトを簡単に実行したり、BedrockのConverse/InvokeModel APIでプロンプト識別子を利用して保存されたプロンプトを利用できます。また保存されたプロンプトについてバージョン毎の差分を検出することも可能です。詳細については ブログ と ドキュメント をご覧ください。 Amazon BedrockでAnthropic Claude 3.5 Haikuがご利用可能に Anthropic社が公開したClaude 3.5 HaikuがAmazon Bedrockでご利用頂けるようになりました。このモデルは素早い応答時間が期待できること、推論機能が改良されていることがポイントとされています。また、ベンチマークではClaude 3で最も大きいOpusを超える性能を発揮しているとのことです。Claude 3.5 Haikuは現時点ではバージニアとオレゴンのリージョンでご利用頂けます。 ブログ記事 もどうぞ。 Amazon Bedrockが欧州(チューリッヒ)リージョンでもご利用可能に Amazon Bedrockがチューリッヒのリージョンでもご利用頂けるようになりました。 リージョン毎にサポートされる機能 と リージョン毎に利用できるモデル はドキュメントにまとまっていますので、適宜参照してください。 著者について 小林 正人(Masato Kobayashi) 2013年からAWS Japanのソリューションアーキテクト(SA)として、お客様のクラウド活用を技術的な側面・ビジネス的な側面の双方から支援してきました。2024年からは特定のお客様を担当するチームを離れ、技術領域やサービスを担当するスペシャリストSAチームをリードする役割に変わりました。好きな温泉の泉質は、酸性-カルシウム-硫酸塩泉です。

本ブログは 2024 年 10 月 16 日に公開された Amazon News “ Amazon helps the US Department of Justice thwart international cybercriminal group Anonymous Sudan ” を翻訳したものです。 米国司法省は、サイバー犯罪グループ アノニマス・スーダンの背後にいる 2 人を起訴し、AWS の貢献を評価しました。 本日 2024 年 10 月 16 日に、米国司法省は、病院、政府機関、通信サービス、クラウドプロバイダー、および様々な他の組織を標的とした、非常に破壊的なサイバー犯罪活動の 2 人の首謀者に対する刑事起訴を公表しました。 司法省は、アノニマス・スーダンと呼ばれるこのグループの首謀者を裁きにかけるための取り組みに、Amazon Web Services (AWS) とそのセキュリティ専門家が貢献したことを評価しました。AWS は過去 2 年間で何十ものサイバー犯罪集団の解体に取り組んでおり、アノニマス・スーダンはそのうちの 1 つです。このグループは特に金銭目的で分散型サービス拒否 (DDoS) 攻撃を行っていました。 DDoS 攻撃では、悪意のある攻撃者が 1 秒間に何百万件ものリクエストでサーバーを集中的に攻撃します。カスタマーサービスセンターが大量の電話を受けると対応不能になるように、システムは新しいリクエストに対応できなくなり、実質的に停止状態になります。これらの攻撃は、数分間から、攻撃者が十分な資金とインフラを持っている場合は数時間から数日間続く可能性があります。このような攻撃とダウンタイムの影響として、ビジネスと生産性の損失が何百万ドルにも及ぶ可能性、そして最も必要とされる時に重要な医療やその他のインフラが利用できなり、人々への影響が発生してしまいます。 DDoS 攻撃は残念ながら珍しいものではありませんが、アノニマス・スーダンによる攻撃の規模と大胆さは、AWS のセキュリティチームにとっても想定外でした。 「彼らの大胆さと、知名度の高いターゲットへ簡単に影響を与えていたことに少し驚きました」と AWS の Vice President 兼 Distinguished Engineer の Tom Scholl 氏 は述べています。「彼らは DDoS 攻撃を DDoS-as-a-Service の提供して、この攻撃事例をマーケティングに活用して、DDoS サービスを購入するために料金プランや連絡方法など、すべてを揃えていました。」 アノニマス・スーダンは、1 日 100 ドル、1 週間 600 ドル、1 ヶ月 1,700 ドルで DDoS 攻撃を提供し、多数の顧客がいました。しかし、高度なセキュリティチームを持ち、クラウドベースのツールを利用できる企業にとって、DDoS 攻撃は一般的に簡単に防御できます。例えば AWS は、脅威を事前に特定するために、グローバルインフラストラクチャ全体で幅広いセキュリティ監視ツールを運用しています。そのため、大手クラウドプロバイダーを含む多くのターゲットに対して、これらの従来型の攻撃がこれほど効果的だったことは、やや驚きでした。 凶悪な犯罪集団 Scholl 氏によると、アノニマス・スーダンのような犯罪グループは攻撃を実行するために、ホスティング企業からサーバーをレンタルし「プロキシドライバー」と呼ばれる小規模なサーバー群を構成し、そこから攻撃を開始するとのことです。これは一般的な手法です。彼らが本当に大きな影響を与える可能性があるのは、その後、他の何千台ものマシン（通常は設定ミスのある Web サーバー）へのアクセスを獲得し、誰もがそこを経由して攻撃トラフィックを流せるようにした時です。この追加のマシン層は、通常、攻撃の真の発信源を標的から隠します。しかし、攻撃者は、Scholl 氏と彼のチームから隠れることはできませんでした。 Scholl 氏のグループは、2023 年 6 月から AWS の社内脅威インテリジェンスツールである MadPot を使用して アノニマス・スーダンの監視を始めました。それ以前は、アノニマス・スーダンは攻撃を公にしておらず、短期間活動してはすぐ停止する、ということを繰り返していました。MadPot のような脅威インテリジェンスツールの活用して、Scholl 氏と彼のチームは、アノニマス・スーダンが攻撃を仕掛けるためのプロキシサーバーのインフラをホストしていたホスティングプロバイダーを特定することができました。Scholl 氏と彼のチームは、これらのプロキシサーバーがネットワーク上で攻撃を仕掛けているのを観察し、様々なホスティングプロバイダーにプロキシドライバーとして悪用されていることの通知を行いました。司法省も並行して動いていました。 デジタル傭兵 アノニマス・スーダンはしばしば自らをハクティビストと称していましたが、彼らの Telegram チャンネルに投稿された自慢げなメッセージを見ると、単なるデジタル傭兵であることがわかります。犯罪集団やその他の悪意のあるグループは、アノニマス・スーダンのようなグループからサービスを購入して、ウェブサイトやインフラを停止させています。実際、このマーケットは非常に成熟しており、アノニマス・スーダンのようなグループは時として「顧客」に料金プランを提示し、攻撃が思うような効果がなかった場合には返金さえ行うこともあります。 残念ながら、これらの攻撃は特殊なものでも珍しいものでもないため、スケーラブルに対処する必要があります。AWS は MadPot のような脅威インテリジェンス機能により、AWS は アノニマス・スーダンのような DDoS 攻撃を仕掛けるグループを阻止するために、ホスティングプロバイダーやドメインレジストラに対して自動的に停止要請を生成することができます。過去 12 ヶ月間で、AWS チームは 2,500 以上のホスティングプロバイダーとドメインレジストラに対して、8 万以上の個別のホストとドメインの停止要請を行ってきました。 アノニマス・スーダンに対する刑事起訴の詳細についてはカリフォルニア州中部地区連邦地方検事局が公開した プレスリリース をご確認ください。 AWS のセキュリティ脅威の追跡と阻止する方法の詳細については、 「AWS によるクラウドの大規模なセキュリティ脅威の追跡と阻止の支援」 を確認ください。 本ブログは Security Solutions Architect の 中島 章博 が翻訳しました。

「 金融リファレンスアーキテクチャ日本版 」は、金融で求められるセキュリティと可用性に関するベストプラクティスを提供するフレームワークとして 2022 年 10 月に正式版として発表し、多くのお客様にご利用いただいております。 この度、皆様からいただいたご意見を踏まえ、v1.5を公開しました。変更点の概要は以下の通りです。 [v1.5 での変更点] 新ワークロード メインフレーム連携アーキテクチャー の提供 新ワークロード ハイブリッド (AWS Outposts) アーキテクチャー の提供 Well-Architected Framework FSI Lens for FISC の FISC 安全対策基準・解説書（第12版）対応 新ワークロード メインフレーム連携アーキテクチャー の提供 勘定系を当面はメインフレームから移行せず運用する金融機関にとって、メインフレーム上のデータ AWS 環境に連携して機能拡張やデータ分析を行うのは、現実的な選択肢の一つです。本リリースでは、以下の 3 つのアーキテクチャ概要を提供します。 データレプリケーション メインフレームで稼働する各種システムのデータを AWS にレプリケーションすることにより、データ分析や AI / 機械学習での活用や、新規サービスの開発を促進します。 非同期メッセージング メインフレームで稼働する各種システムと AWS 上で稼働するシステムの間の非同期メッセージングにより、アプリケーション間で直接同期的に接続することなく、シンプルな API でデータを授受します。 ファイル転送 メインフレームで稼働する各種システムと AWS の間のファイル転送により、外部システム連携や、データのバックアップやアーカイブにクラウドを活用します。 新ワークロード ハイブリッド (AWS Outposts) アーキテクチャー の提供 クラウドとオンプレミスを組み合わせたハイブリッドのワークロードのうち、AWS Outposts を用いた3つのアーキテクチャを提供します。 メインフレーム周辺システム オンプレミスで稼働するメインフレームの周辺システムに AWS Outposts を用いることにより、フロントエンドは AWS クラウドのスケーラビリティを活かし、バックエンドを AWS Outposts で処理して、メインフレームをはじめとするオンプレミスのデータも活用することができます。 データレジデンシーの実現 AWS クラウドでもお客様のデータプライバシー、セキュリティを実現することができますが、お客様のデータを特定のデータセンターに閉じた運用とする、データレジデンシーを Outposts で実現することによって、より明確に統制できます オンプレミスのデータベースへの低レイテンシーアクセス レガシーワークロードにおいて、バッチ処理などのトランザクション単位でネットワーク遅延が積み重なることがクリティカルな影響となる場合、データベースと同一のオンプレミスのデータセンターに設置した Outposts で処理を行うことにより、オンプレミスのデータベースへ低レイテンシーでアクセスすることができます AWS Well-Architected フレームワーク FSI Lens for FISC の FISC 安全対策基準・解説書（第12版）対応について AWS Well-Architected フレームワーク FSI Lens for FISC における ベストプラクティス の追加 「AWS Well-Architected フレームワーク FSI Lens for FISC」は、「FISC 安全対策基準・解説書」に沿って、回復力、セキュリティ、および運用パフォーマンスを促進する金融サービス業界 (FSI) のワークロードを設計、デプロイ、設計する方法に焦点を当てたベストプラクティス集です。今回、「FISC 安全対策基準・解説書（第12版）」で追加された内容に対応して、複数のベストプラクティスを追加しました。 AWS Well-Architected フレームワーク FSI Lens for FISC における FISC 安全対策基準 実務基準 リファレンス項目一覧表 の最新化 「AWS Well-Architected フレームワーク FSI Lens for FISC」では、「FISC 安全対策基準・解説書」の各実務基準において、参照すべき AWS Well-Architected フレームワーク、AWS Well-Architected フレームワーク FSI Lens for FISC の一覧表を提供しています。今回、「FISC 安全対策基準・解説書（第12版）」で追加された内容への対応や、一部見直しを行い、一覧表の最新化を行いました。 おわりに 金融リファレンスアーキテクチャ日本版の全てのコンテンツとコードは、パブリックの GitHub リポジトリ から参照でき、Git リポジトリとしてローカル環境にクローンすることもできます。フィードバックや質問については Issue として GitHub サイト上に登録いただけます。また、執筆者に直接ご連絡頂いても構いません。ご利用される皆様からのニーズや意見に基づいて今後の改善方針を決めていきたいと考えておりますので、ご質問やフィードバックをお待ちしております。 金融リファレンスアーキテクチャ日本版 v1.5 での変更点の詳細については Github リポジトリのv1.5リリースノート をご参照ください。 本ブログ記事は、AWS のソリューションアーキテクトである皆川元、谷口祐紀、佐藤航大が執筆いたしました。

Amazon DataZone は、AWS、オンプレミス、およびサードパーティのソースに保存されているデータを迅速かつ便利にカタログ化、発見、共有、管理できるデータ管理サービスです。Amazon DataZone では、データを保存して処理する仮想データレイクであるデータゾーンを作成および管理できます。詳細なコーディングやインフラストラクチャ管理は必要ありません。Amazon DataZone では、エンジニア、データサイエンティスト、プロダクトマネージャー、アナリスト、ビジネスユーザーが組織全体のデータに簡単にアクセスできるため、データ主導の洞察を引き出すための発見、利用、コラボレーションが可能になります。 Amazon SageMaker Canvas はコード不要の機械学習 (ML) サービスで、ビジネスアナリストや各分野の専門家が、コードを 1 行も記述せずに ML モデルを構築、トレーニング、デプロイできます。SageMaker Canvas は、 Amazon Simple Storage Service (Amazon S3)、 Amazon Redshift 、 Amazon Athena 、Snowflake、Salesforce、Databricks などの一般的なソースからのデータ取り込みを効率化し、 Amazon SageMaker Data Wrangler による堅牢なデータ準備、 Amazon SageMaker Autopilot による自動モデル構築、 Amazon Bedrock や Amazon SageMaker Jumpstart の基盤モデル (FM) を含むビルド済みの ML モデルを使用するための実行環境を提供します。 企業は、ノーコード機械学習ソリューションを使用して、運用を最適化し、多額の管理オーバーヘッドなしに意思決定を最適化できます。たとえば、金融機関が ML モデルを使用して不正検知分析を行う場合、ローコードおよびノーコードのソリューションを使用することで、不正検知モデルの迅速な反復が可能になり、効率と精度を向上させることができます。ただし、これらのモデルで使用されるデータが正確、安全、信頼できるものであることを担保するためには、ML ガバナンスが機能していることが前提です。Amazon DataZone と Amazon SageMaker の統合により、ユーザーはセキュリティコントロールを備えたインフラストラクチャをセットアップし、ML プロジェクトで共同作業を行い、データと ML アセットへのアクセスを管理できます。この統合の一環として SageMaker Canvas を使用して、承認された信頼できるデータセットから ML モデルを構築できます。 この投稿では、Amazon DataZone と SageMaker Canvas の統合により、ユーザーがデータアセットを公開できるようになり、同じ組織の他のビルダーが公開されたデータセットを検索して発見し、サブスクライブしてデータを使用する方法を示します。データアセットをサブスクライブすると、そのデータアセットを SageMaker Canvas から利用したり、特徴量エンジニアリングを実行したり、ML モデルを構築したり、そのモデルを Amazon DataZone プロジェクトに公開したりできます。新しいガバナンス機能により、対処中のビジネス上の問題に対するインフラストラクチャ、データ、ML リソースへのアクセスを簡単に管理できます。 ソリューション概要 このセクションでは、データ管理者、データパブリッシャー、データサイエンティストの 3 つのペルソナの概要を説明します。データ管理者は、Amazon DataZone の コンセプト に従って SageMaker との統合を可能にするために必要な Amazon DataZone リソースをプロビジョニングする責任があります。データ管理者は ML インフラストラクチャに必要なセキュリティコントロールを定義し、Amazon DataZone を使用して SageMaker 環境をデプロイします。データパブリッシャーは、 Amazon DataZone ビジネスデータカタログ 内にオーダーメイドのデータを公開し、アクセスを管理する責任があります。データサイエンティストは、データと ML リソースを見つけてサブスクライブし、SageMaker Canvas からデータにアクセスし、データを準備し、特徴量エンジニアリングを行い、ML モデルを構築し、モデルを Amazon DataZone カタログにエクスポートします。この投稿では一例として、ある金融機関のダイレクトマーケティングキャンペーンに関連するデータを含む 銀行データセット を使用します。このデータセットには、クライアントが定期預金を購読するかどうかを予測するために使用される連続変数、整数変数、カテゴリ変数が含まれています。以下の図はワークフローを示しています。 前提条件 この章以降では、以下の前提条件の下 SageMaker Canvas と Amazon DataZone のインテグレーション方法について解説します。 SageMaker と Amazon DataZone でリソースを作成および管理するための適切な権限を持つ AWS アカウントを準備する。 Amazon DataZone ドメイン とそれに関連する Amazon DataZone プロジェクトが AWS アカウントに設定されている。 Amazon SageMaker Studio 、SageMaker Canvas、SageMaker ノートブックなど、SageMaker とそのコンポーネントの機能を理解している。 この記事では 銀行データセット を使用して解説している。 データセットを Amazon S3 にアップロードし、データをクロールして AWS Glue データベースとテーブルを作成している。データをカタログ化する手順については、「 AWS Glue データカタログへの入力 」を参照してください。 Amazon DataZone でのデータ管理手順 データ管理者は、SageMaker との統合を可能にするために必要な Amazon DataZone リソースを設定する必要があります。AWS Glue データを使用した Amazon DataZone クイックスタート で説明されている手順に従うか、次の 動画 を参照して Amazon DataZone ドメインをセットアップし、SageMaker とデータレイクブループリントを有効にし、Amazon DataZone プロジェクトを作成し (データアセットを公開し、データカタログからデータアセットを購読するため)、各プロジェクトにデフォルトの SageMaker 環境とデフォルトのデータレイク環境をプロビジョニングします。Amazon DataZone カタログにアセットを公開するために使用される AWS Glue データベーステーブルを設定するには、データレイク環境が必要です。以下の動画では、(AWS Glue データベースから) データソースを設定し、Amazon DataZone カタログにデータセットを公開する方法を示しています。 データサイエンティストのワークフローを開始する前に、DataZoneプロジェクトは次の前提条件を満たしている必要があります。 本投稿のデータサイエンティストのワークフローで使用されるのは、Banking-Consumer-ML という名前の Amazon DataZone プロジェクトです。 本投稿では、デフォルトの SageMaker ブループリントを使用した SageMaker 環境プロファイルを使用します。 SageMaker 環境プロファイルに基づく SageMaker 環境を使うことで、データサイエンティストは Amazon DataZone プロジェクトコンソールから SageMaker Studio を直接起動できます。 本投稿では銀行の顧客の人口統計データ、財務データ、マーケティングキャンペーンデータを収集する銀行機関の顧客データを含む、Bank という名前のデータアセットを使用します。データアセットはすでに Amazon DataZone データカタログに公開されており、Amazon DataZone ドメインで作成されたどのプロジェクトからでも検索できる想定です。 データサイエンティストのワークフロー このセクションでは、データサイエンティストが SageMaker Studio アセットカタログから既存のデータアセットをサブスクライブし、そのデータセットを SageMaker Canvas にインポートし、ML モデルを構築し、そのモデルを Amazon DataZone データカタログに公開して、ドメイン内のプロジェクト間で再利用できる方法を説明します。データサイエンティストとして、次のステップを実行してください。 Banking-Consumer-ML プロジェクトの[ Environments ]セクションで、[ SageMaker Studio ]を選択します。 ナビゲーションペインで [ Assets ] を選択します。 [ Asset catalog ] タブで銀行データセットを検索します。 ここで銀行デーアセットのメタデータとスキーマを表示して、データ属性と列を確認できます。 データセットのサブスクライブをリクエストするために、[ Subscribe ] を選択します。 リクエストの理由を入力し、[ Submit ] を選択します。 データサイエンティストがサブスクリプションリクエストを送信すると、サブスクリプションリクエストが作成され、アセット公開プロジェクトからの承認を求める通知が送信されます。 アセット公開プロジェクトのデータ公開者は、データ所有プロジェクトコンソールに移動し、ナビゲーションペインの [ Published data ] で [ Incoming requests ] を選択してサブスクリプションリクエストを表示します。データ公開者は [ View request ] を選択してリクエストを表示し、組織のデータアクセスポリシーに基づいて受信したサブスクリプションリクエストを承認します。 データ公開者は、アセットのサブスクリプションステータスを確認できるほか、データ公開プロジェクトコンソールからいつでもサブスクリプションアクセスを取り消したり削除したりできます。 データ公開者は、SageMaker Studio の [ Assets ] ページの [ Manage asset requests ] でリクエストを表示して承認することもできます。 [ Assets ] ページに、データサイエンティストがサブスクライブしている銀行データセットが表示されるようになりました。 ナビゲーションペインの [Applications] で [Canvas] を選択し、 [Open Canvas] を選択して SageMaker Studio から SageMaker Canvas を起動します。 ナビゲーションペインで [ Data Wrangler ] を選択します。 [ Import and prepare ] ドロップダウンメニューで、 [ Tabular ] を選択します。 SageMaker Data Wrangler は、データ準備と特徴量エンジニアリングのプロセスを簡素化し、データ準備ワークフローの各ステップ (データ選択、クレンジング、探索、視覚化、大規模処理を含む) を単一のビジュアルインターフェイスから完了できます。 [ Select a data source ] で [ Athena ] を選択します。 Athena はサーバーレスのインタラクティブな分析サービスで、ペタバイト単位のデータをどこからでもシンプルかつ柔軟に分析できます。銀行データセットのデータソースは AWS Glue crawler を使用して AWS Glue Data Catalog に作成されたデータベースであるため、データは SageMaker Data Wrangler の Athena を使用してクエリされます。このステップにより、データサイエンティストは Data Wrangler ツールにデータをインポートして特徴量エンジニアリングを行い、ML モデリング用のデータを準備できます。 [ bankmarketing ] を展開し、銀行データセットをキャンバスにドラッグアンドドロップします。 SageMaker Canvas は、選択したデータセットを [ Import preview ] セクションに読み込みます。銀行データセットには、年齢、職業、婚姻状況、学歴、債務不履行状況などの銀行顧客に関する情報と、連絡手段、期間、連絡先数、前回のキャンペーンの結果などのマーケティングキャンペーンに関する詳細が含まれています。 [ Import ] を選択して、データセットを SageMaker Data Wrangler にインポートします。 Data Wrangler コンソールに新しいデータフローが作成されます。 [ Get data insights ] を選択すると、データ品質に関する潜在的な問題を特定し、品質向上のための推奨事項を知ることができます。 [ Create analysis ]ウィンドウで、次の情報を入力します。 [ Analysis type ] で [ Data Quality And Insights Report ] を選択します。 [ Analysis name ] に名前を入力します。 [ Problem type ] で [ Classification ] を選択します。 [ Target column ] に y と入力します。 [ Data size ] で [ Sampled dataset (20k) ] を選択します。 [ Create ] を選択します。 生成された Data Quality and Insights Report を確認すると、統計、重複、異常、欠損値、外れ値、目標漏れ、データの不均衡などを含むデータをより深く理解できます。生成されたレポートを読みデータに問題がなければ、引き続き Data Wrangler を使ってデータ処理を実行してください。エンドツーエンドのモデル構築に向けてデータを準備するプロセスの詳細については、 Accelerate data preparation for ML in Amazon SageMaker Canvas を参照してください。 オプションメニュー (3 つのドット) で、[ Create model ] を選択してデータセットを作成します。 Dataset name (例: Banking-Customer-DataSet) を入力し、[ Export ] を選択します。 データセットがエクスポートされると、コンソールに確認メッセージが表示されます。 [ Create model ] を選択して続行します。 エクスポートされたデータセットは、SageMaker Canvas コンソールの [ Datasets ] ページにも表示されます。ここで、代わりにデータセットを選択し、[ Create a model ] を選択して続行することもできます。 [ Create model ] を選択して続行します。 [ Model name ] に、モデルの名前 ( Banking-Customer-Prediction-Model など) を入力します。 [ Problem type ] で [ Predictive analysis ] を選択します。 [ Create ] を選択します。 このモデルの目的は、顧客が銀行の定期預金を購読する可能性が高いかどうか（変数y。 1なら購読する、0なら購読しない）を予測することです。 [ Build ] タブの [ Target column ] で、モデルが予測する列を選択します。 [ Preview model ] を選択します。 [ Preview model ] オプションでは、フルビルドを実行する前に、データのサブセットについて２値分類モデルのクイックビルドを10～15分間実行して結果をプレビューします。フルビルドには通常約4時間以上かかります。オプションで [ Configure model ] オプションを選択して ML モデルをカスタマイズできます。 [ Configure model ] オプションでは、モデルタイプ、評価指標、トレーニング方法、トレーニング/テストデータの分割をカスタマイズしたり、モデル作成ジョブの実行時間に制限を設定したりできます。 SageMaker Canvas はプレビューモデルを実行し、推定精度 (%) を示す結果と、重要度の高い順にデータセット内の特徴量のリストを表示します。モデルの予測に影響する主な特徴として、期間、給与、月、住居の列があることがわかります。 さらなるオプションとして、[ Build ] タブの [ View all ] を選択すると、重要でない列の削除、重複データの削除、欠損値の置換、データタイプの変更、列の結合による新しい列の作成など、特徴量変換とデータラングリングを実行するためのオプションの完全なリストを表示できます。これにより、モデルを構築する前に特徴量エンジニアリングを行うことができます。 [ Standard build ] を選択して、モデル構築プロセスを開始します。 モデル作成の進行状況を監視できます。 モデルが完成すると、モデルのステータスが [ Overview ]、[ Scoring ]、[ Advanced metrics ] オプションとともに表示されます。 [ Predict ] タブでモデルの状態を確認してモデルをテストできます。予測オプションでは、バッチ予測または単一予測のいずれかを実行してモデルをテストできます。 オプションメニュー (3 つのドット) で、[ Add to Model Registry ] を選択し、Amazon SageMaker Model Registry を使用してモデルを登録します。 グループ名 (この投稿の場合は canvas-Banking-Customer-Prediction-Model) を入力し、[ Add ] を選択します。 これ以降の ML モデルのビルドはバージョン管理され、SageMaker Studio Model Registry に同じグループ名で保存されます。 SageMaker Studio コンソールのナビゲーションで [ Models ] を選択すると、モデルレジストリに追加したモデルが表示されます。 [ Model Groups ] タブで公開されているモデルバージョンを選択し、オプションメニュー (3 つのドット) で [ Update model status ] を選択します。 [ Status ] で [ Approved ] を選択し、[ Save and update ] を選択します。 承認されたモデルを選択し、オプションメニュー（3つのドット）で、[ Publish to asset catalog ] を選択します。 ステータスが更新されたら、[ View asset ] を選択して公開されたアセットを表示します。 または、ナビゲーションペインで [ Assets ] を選択し、[ Asset catalog ] タブでカタログを検索するか、アセットタイプでフィルタリングして、公開されたモデルを表示します。 公開された ML モデルには、Amazon DataZone データポータルからもアクセスできます。Banking-Consumer-ML プロジェクトに移動し、[ Published data ] を選択すると、SageMaker Canvas 上に公開された ML モデルの詳細が表示されます。 公開されたモデルは、Amazon DataZone ドメインの他のプロジェクトからサブスクライブすることもできます。 Clean up 予期しないコストが発生しないように、未使用の可能性があるリソースをすべて削除することをお勧めします。たとえば、 Amazon DataZone ドメインを削除 して SageMaker Canvas から ログアウト すると、ワークスペースインスタンスを自動的に削除できます。 まとめ この投稿では、インフラストラクチャの制御、データ資産の共有と利用、ML モデルの作成と公開など、SageMaker Canvas と Amazon DataZone のエンドツーエンドの統合について説明しました。この統合は、ML プロジェクト全体にわたるデータガバナンス、コラボレーション、再利用のための強力なソリューションとなります。Amazon DataZone では、データ管理者がデータ資産を公開してアクセスを管理でき、データサイエンティストは SageMaker Canvas 内でそれらのデータセットを検索、登録、利用することができます。この合理化されたワークフローにより、データプロバイダーと消費者の間の効率的なコラボレーションが可能になります。さらに、トレーニング済みの ML モデルを Amazon DataZone カタログに公開できるため、再利用性が向上し、組織内の他のチームやプロジェクトがモデルを見つけて登録できるようになります。このアプローチにより、作業の重複が減り、ML ライフサイクル全体での知識共有が促進されます。 このソリューションは生成 AI のユースケースにも拡張できます。たとえば、厳選されたデータセットでトレーニングされた大規模言語モデル (LLM) やその他の FM を Amazon DataZone を通じて公開して共有できるため、さまざまなチームが強固なガバナンスポリシーを遵守しながら、これらのモデルを特定のアプリケーションに合わせて微調整したり適応させたりすることができます。これにより、組織はデータ資産の管理と監視を維持しながら、ML と生成 AI の可能性を最大限に引き出すことができます。 新しい Amazon DataZone と SageMaker Canvas の統合を今すぐ試してみてください。Amazon DataZone プロジェクトから公開されたデータセットを検索して発見したり、SageMaker Canvas からデータを購読して利用したり、特徴量エンジニアリングを実行したり、ML モデルを構築したり、モデルを Amazon DataZone プロジェクトに公開したりできます。 著者について Aparajithan Vaidyanathan は AWS のプリンシパルエンタープライズソリューションアーキテクトです。企業のお客様が AWS クラウド上でワークロードを移行および最新化できるようサポートしています。彼はクラウドアーキテクトであり、エンタープライズシステム、大規模ソフトウェアシステム、分散ソフトウェアシステムの設計と開発に 24 年以上携わってきました。データおよび特徴エンジニアリングの分野を中心に、機械学習とデータ分析を専門としています。彼は意欲的なマラソンランナーで、趣味はハイキング、サイクリング、妻と2人の男の子と過ごすことです。   Ajjay Govindaram は AWS のシニアソリューションアーキテクトです。複雑なビジネス上の問題を解決するために AI/ML を利用している戦略的顧客と仕事をしています。彼の経験は、中規模から大規模のAI/MLアプリケーション導入の技術的な方向性や設計支援を提供した経験があります。彼の知識は、アプリケーションアーキテクチャからビッグデータ、分析、機械学習まで多岐にわたります。彼は休憩しながら音楽を聴いたり、アウトドアを体験したり、愛する人と時間を過ごしたりすることを楽しんでいます。   Siamak Nariman は AWS のシニアプロダクトマネージャーです。組織全体の効率と生産性を向上させるために、AI/ML テクノロジー、ML モデル管理、ML ガバナンスに重点を置いています。プロセスの自動化とさまざまなテクノロジーの導入に豊富な経験があります。   Huong Nguyen は AWS のシニアプロダクトマネージャーです。SageMaker Canvas と SageMaker データラングラーの機械学習データ準備を率いており、15 年にわたり顧客中心のデータ主導型の製品を構築してきた経験があります。   翻訳は Solution Architect の Masanari Ikuta が担当しました。原文は こちら です。

本記事は、AWSブログ AWS re:Invent 2024 – Powering Automotive and Manufacturing Innovation を日本語に翻訳し、日本のお客様向けに 補足情報 を追加したものです。 毎年恒例の AWS re:Invent が目前に迫ってきました！今年の同イベントは特に自動車業界と製造業の皆様にとって最も興味深いイベントになるでしょう。2024 年 12 月 2 日から 6 日にかけてラスベガスで開催される re:Invent 2024 では、AWS を活用してイノベーションとトランスフォーメーションを加速している先進的な自動車および製造業の内部を垣間見られます。自動車や製造に特化したセッションやデモンストレーションだけでなく、刺激的な基調講演、スキルが身につくブートキャンプ、同じ業界の参加者どうしが交流できるネットワーキング機会も提供されます。 今年の自動車および製造の主役は、生成 AI の変革力です。 生成 AI がこれらの業界で根本的な変革をどのように成し遂げているか、グローバルなエンジニアリングチームのコラボレーション強化、ソフトウェア開発とテストの迅速化、製品の市場投入スピードアップなどについて学べます。re:Invent 2024 で何を学び、何を体験できるかの一部を以下でご紹介します。 自動車 – モビリティの未来を加速する 自動車業界は急速な技術進歩に伴い大きな変革の最中にあり、re:Invent の自動車セッションと Expo ホールのデモを通して、その変革の姿を学ぶことができます。 自動車セッション では、ブレイクアウトセッション、チョークトーク、ワークショップ、ビルダーズセッションなど、さまざまな形式のセッションが用意されています。テクニカルセッションでは、車載ソフトウェア開発の加速や、車両データ分析アシスタントの構築方法などについて掘り下げて学べます。ブレイクアウトセッションでは、トヨタ、ホンダ、フォード、リヴィアン などのお客様事例を紹介します。 ベネチアンの Expo ホールにある「Industries Pavilion」では自動車デモを体験できます。トヨタの新型車に触れ、より詳しく知るためにバーチャルアシスタントと対話できます。さらに、生成 AI を活用したクラウド上でのソフトウェア開発・テストの高速化デモも体験できます。クラウド上でソフトウェアを変更し、それがデジタルコックピットのハードウェアで実際に動作するのを確認できます。 さらに、レーシングシートに座ってシミュレーション走行し、ダッシュボードでリアルタイムのドライビングデータを確認できます。そして、生成 AI 搭載のアプリケーションを使ってそのデータについて質問し、洞察を得ることもできます。 製造 – ものづくりの革新を加速する re:Invent 2024 では、お客様事例やインタラクティブに会話ができる展示を通じて、製造業でどんなことが実現できるようになるのかを示す、最先端のテクノロジーを紹介します。さまざまなセッションや Expo ホールのデモを通じて、製品開発の高速化、工場運営の最適化、新しい顧客体験を生み出す　software defined (ソフトウェア定義) プロダクトの創造など、AWS のテクノロジーを活用してものづくりを加速させている事例を見ることができます。 製造トラックはこれまでで最大規模となり、 幅広いコンテンツ が用意されています。ブレイクアウトセッションでは、フォルクスワーゲン、 Gousto、 Samsung、 Georgia-Pacific、 Rehrig Pacific などのお客様事例を紹介します。テクニカルなチョークトーク、ワークショップ、ビルダーズセッションでは、産業データファブリックの構築方法から、生成 AI を活用したオペレーターアシスタントの開発、製造現場とクラウドを結ぶシームレスなネットワークの構築など、幅広いトピックをカバーします。設計からスマートプロダクト、サプライチェーン、サステナビリティまで、製造バリューチェーン全体に関連するセッションを用意しています。 Expo ホールの製造エリアでは、設計・エンジニアリングからスマートマニュファクチャリングまで、さまざまな戦略的ワークロードに合わせたデモを展示します。このエリアの中心には「e-Bike スマートファクトリー」が展示されます。このデモでは、電動自転車の製造プロセス全体を再現し、AWS のサービスやソリューションを活用して、製品品質、操業効率、俊敏性の向上を実現する方法を紹介します。このスマートファクトリーのデモは、自転車シェアサービスのための e-Bike を設計、製造、管理する企業の事例を示しています。 デモでは、溶接、検査、シーリングの 3 つのステーションを通過する自転車フレームの動きを見ることができます。各ステーションでは、データを継続的に収集・処理し、分析してメトリクスを導出しています。これらのメトリクスは、アセット監視、予知保全、異常検知などのユースケースに活用され、メーカーが異常、欠陥、設備の問題を特定し、予測することを支援します。 e-Bike スマートファクトリーの他にも、生成 AI を活用して産業機械を大規模に接続する方法やデータ自動マッピング、産業データファブリックの構築など、 6 つのデモを展示します。 Industry Partner の参加 自動車と製造業の存在感をさらに高めるため、 Siemens、 Matterport、 MongoDB、 Belden、 Wind River Systems、 Upstage、 Claroty の 7 社の AWS パートナーが、 Industry Partnership Expo エリアに専用のブースを設けます。 AWS で動作するそれぞれのソリューションを紹介します。 re:Invent 2024 を体験しよう AWS re:Invent 2024 は、自動車および製造業のお客様にとって、自社のビジネストランスフォーメーションを加速する絶好の機会となります。洞察に満ちた 1 週間を過ごすことができる、必見のイベントです。ぜひ以下の準備をして、re:Invent 2024 に参加しましょう。 re:Invent 2024 の公式サイト で、最新情報を確認 「 自動車業界向け参加者ガイド 」と「 製造業向け参加者ガイド 」を活用して、カスタマイズしたアジェンダを作成 ベネチアンの Expo ホールにある「Industries Pavilion」を訪れ、 AWS の自動車および製造ソリューションについて詳しく学ぶ 日本のお客様に向けた情報 日本からのお客様向けには、現地において AWS Japan メンバーによる日本語でのブースのご案内や、個別ミーティング等を実施しています。担当の営業経由でお申し込みください。また、現地でも日本人スタッフへお気軽にお声がけください。 このブログは、Solutions Architect の黒田が翻訳しました。原文は こちら です。 Tiffany Pfremmer Tiffany は、Amazon Web Services の製造業および製造業に焦点を当てるシニアマーケティングマネージャーです。Rockwell Automation で 15 年以上の経験を持ち、マーケティング、品質、サービスなどさまざまな役割を担ってきました。Tiffany は、製造業のお客様に対して、バリューチェーンのあらゆる側面でお客様中心のソリューションを提供することにフォーカスしてきました。

みなさん、こんにちは。AWS ソリューションアーキテクトの小林大樹です。 近年、AI の進歩は目覚ましいものがありますが、特に生成 AI の発展には目を見張るものがあります。私自身もアイデアの壁打ちやプログラミングに大規模言語モデル (LLM) を活用しており、日々その有用性を実感しています。ところで、生成 AI の真価はテキスト処理だけにとどまらない、ということをご存知でしょうか。 例えば、最新のモデルには、画像も入力として利用できるマルチモーダルモデルと呼ばれるものもあります。本記事では、マルチモーダルモデルを利用した Amazon Bedrock の活用事例として、 株式会社コーテッグ様 の取り組みをご紹介します。 コーテッグ様の状況と経緯 株式会社コーテッグ様は、総合病院やクリニック、動物病院などの医療機関向けに、予約や受付の対応をスムーズに行うためのサービス「 ソトマチ 」を開発・提供されています。 ソトマチは、患者が医療機関の予約・受付を行う際に利用します。院内に設置された iPad 受付機や、ユーザー自身のスマホにインストールされた LINE のチャット UI から「診察券や保険証」(以降まとめて診察券と記載) の写真を送信することで、ユーザー登録やログインを不要としたスムーズな予約・受付を実現しています。 医療機関側では、診察券に記載された診察券番号や名前から患者のカルテを特定し、受付を行います。従来は受付のスタッフが人手で行っていたこの作業を自動化するために、ソトマチでは診察券に記載された内容を OCR で読み取り、システム上の登録データと照合する仕組みを導入しました。 しかし、この OCR システムには課題がありました。診察券は医療機関ごとに多種多様なデザインがあります。そのため、新しい医療機関にサービスを導入いただく際には、読み取り項目の設定や、読み取り精度の検証や調整といった事前設定に多くの時間を費やしていました。加えて、診察券のデザインが異なることから、単一の画像認識モデルでは読み取り精度が安定せず、誤って文字起こしが行われるケースも多く、そのような場合には、読み取り後に医療機関のスタッフの方が人手で修正を行っていました。 このような課題に対応するために Amazon Bedrock を活用し、機能改善を行いました。新しい「診察券の自動読み取り機能」は、事前設定を行わずとも、様々な診察券のデザインに対応することができます。さらに、正確に記載内容を読み取ることができており、受付業務の効率化やユーザー体験の向上に大きく貢献しています。 ソリューション／構成内容 Amazon Bedrock を利用した「診察券の自動読み取り機能」は以下のようなアーキテクチャから構成されています。従来の自動読み取り機能からの変更点として、診察券の OCR を行うコンポーネントを、従来の画像認識 AI モデルから、Amazon Bedrock に切り替えたことがあげられます。 Amazon Bedrock から利用できる基盤モデルの中には、Anthropic 社の Claude 3.5 Sonnet など、インプットとしてテキストだけではなく、画像も利用できるマルチモーダルモデルがあります。画像データを入力したうえで、「この画像から診察券番号と氏名を抽出してください」といったプロンプトを入力することで、OCR のように文字の読み取り処理を行うことが可能です。 ソトマチでは、従来の OCR 処理コンポーネントを Claude 3.5 Sonnet に置き換えました。診察券から抽出する項目などの条件をプロンプトで定義し、診察券の画像と併せて Claude 3.5 Sonnet に入力するだけで、高い精度で文字の読み取りができるようになりました。また、Amazon Bedrock は AWS Lambda から呼び出しており、既存のアーキテクチャをほとんど変更することなく、機能を置き換えることができています。 導入効果 ソトマチの「診察券の自動読み取り機能」を Amazon Bedrock で置き換えた結果、以下の 3 つの効果を得ることができました。 1. 医療機関ごとのフォーマット調整時間の削減 従来の画像認識モデルの場合は、診察券番号や氏名が書かれている位置が異なる場合、読み取り精度を向上させるために記載位置情報などの設定を行う必要がありました。しかし、Amazon Bedrock を利用した自動読み取りは特に設定を調整せずとも、柔軟に文字を読み取ることができるため、医療機関ごとの診察券フォーマットの調整が不要となりました 2. 読み取り精度の向上 患者名や診察券番号の抽出精度が向上しました。従来のモデルと比較して約 30% の精度改善が見られ、これにより読み取りミスが大幅に減少しています。以前は読み取りミスが発生すると、医療機関のスタッフが手作業でデータを修正する必要がありましたが、読み取り精度が向上したことにより、効率化を行うことができました。具体的には、1 医療機関あたり月間 30 時間もの作業量を削減することができており、導入医療機関 250 医院全体で見ると月間 7,500 時間の効率化に繋がっています。 3. 生成 AI を利用する際のセキュリティの担保 Amazon Bedrock へのすべての入出力データは、自身の AWS アカウント以外には非公開となっています。また、入出力データはサービスの改善や学習に利用されることがありません。そのため、診察券などの個人の情報が含まれるようなデータについても、安心して入力をすることが可能となっています。 まとめ 今回は AWS の生成 AI サービスである Amazon Bedrock を活用し、「診察券の自動読み取り機能」を改善する、というコーテッグ様の挑戦について紹介させていただきました。本事例は、最新の LLM が持つ画像解釈能力を実業務で活かした好例です。ソトマチではこの仕組みを応用して、 医療機関にて運用されている様々な書類 (紹介状や予約表、処方箋など) についてもデジタル化を行う機能を提供予定です。業務の特性上、従来の運用を大きく変えることができない医療施設に対して、生成 AI を活用したソリューションを提供し、医療施設の業務効率化に貢献していきたいとのことです。 コーテッグ様の成功事例が示すように、生成 AI の活用は業務プロセスの根本的な改善をもたらす可能性を秘めています。Amazon Bedrock を利用した生成 AI の活用にご興味をお持ちのお客様は、ぜひ AWS までお問い合わせください。 ソリューションアーキテクト 小林 大樹 (X – @kobayasd )

近年、ミッションクリティカルなワークロードでの AWS 活用が進むなか、レジリエンシーの確保は業務継続性、および、お客様体験の強化には必須となってきています。例えば、2023年４月には金融庁から「 オペレーショナル・レジリエンス確保に向けた基本的な考え方 」が公表され、「オペレーショナル・レジリエンス（業務の強靭性・復旧力）を確保することは国際的にも重要視されている」と記載されており、レジリエンスに対する関心は高まってきています。 AWS は目的別のレジリエンスサービス、統合型のレジリエンス機能、専門家によるガイダンスで構成された包括的なポートフォリオを通じて、お客様が可用性の高いアプリケーションをより容易に設計、構築、実行できるようにしています。 AWS Resilience Day はワークロードの回復力向上に役立つアーキテクチャのベストプラクティスや AWS サービスについて学べる対面イベントです。レジリエンスについて学ぶ座学と、ハンズオンを含む実践的なワークショップを通して、災害復旧、高可用性ワークロードの設計、エラー修正プロセスの実装について学んで頂けます。2023年に初めてミュンヘンで開催されてからこれまで世界13都市へ展開、今回ついに東京での開催となりました。 清々しい秋晴れの下、早朝から 70 名のお客様に目黒オフィスまで足を運んでいただきました。首都圏だけでなく、関西や九州からのご参加も！遠くからお越し頂き本当にありがとうございました！！ アジェンダ このセミナーは座学と ハンズオン を交互に織り交ぜながら進めていきます。 形式 タイトル スピーカー 資料 – オープニング 深森 広英 ※1 – 座学 AWSにおけるレジリエンス入門 Hyuntae Park ※6 Download 座学 レジリエンスの目標を設定する 猪又 赳彦 ※5 Download ハンズオン AWS Resilience Hubを活用したRPO/RTOの設定 川端 将宏 ※3 – 座学 レジリエンスの設計と実装 松本 耕一朗 ※2 Download ハンズオン 高可用性のための設計と実装 深森 広英 ※1 – ハンズオン ディザスタリカバリに備えた設計と実装 安藤 麻衣 ※2 – 座学 レジリエンスの評価とテスト 河角 修 ※2 Download 座学 レジリエンスの運用 新谷 歩生 ※1 Download ハンズオン AWS Fault Injection Serviceを用いたレジリエンス評価とテスト 三好 史隆 ※2 – 座学 インシデントへの対応と学習 中戸川 浩 ※6 Download ハンズオン インシデント対応からの学習 石倉 徹 ※4 – ※1. Sr.Solutions Architect, ※2. Solutions Architect, ※3. Partner Sales Solutions Architect, ※4. Partner Solutions Architect, ※5. Sr. Technical Account Manager, ※6. Technical Account Manager オープニング 総合司会の深森よりご挨拶です。本セミナーは、 AWS レジリエンスライフサイクルフレームワーク の 5 つの主要なステージに沿って進められます。みなさまにレジリエンスの向上に役立つさまざまな戦略、サービス、ツールについての学びを持ち帰って頂きたいという熱い思いをお伝えしました。 深森 広英 Sr. Solutions Architect AWS におけるレジリエンス入門 Q: 停止しないシステムを構築するにはどうすればよいでしょう？ A: システムは常に故障します。重要なのはシステムに障害が発生したときに何が起こるかです セッションはこんな問答から始まりました。このセッションではレジリエンスに関する AWS の責任共有モデルに基づき、AWS で耐障害性のあるアーキテクチャを構築し維持するためのコラボレーション、計画、継続的なレジリエンス活動の重要性を説くAWS レジリエンスライフサイクルフレームワークを紹介しました。またサービスオーナーシップモデルや Correction of Error (CoE) processes など AWS 自身がクラウドのレジリエンスを確保するために取り組んでいる活動や文化についても紹介しました。 Hyuntae Park Technical Account Manager レジリエンスの目標を設定する このセッションでは、ビジネスの要求とアプリケーションの回復力要件を一致させることの重要性について紹介しました。 レジリエンシーを考える際にはシステム全体で一つの RTO/RPO 目標を掲げがちですが、収益に直結するクリティカルなシステムと、それ以外の付加的なシステムを同列に扱うことは現実的ではありません。アプリケーションが提供する個々のユーザージャーニーの重要度に合わせたサービスレベル目標を定義し、より重要なものにレジリエンスの取り組みを集中させることの大切さをお伝えしました。このようにレジリエンシーはビジネス要件と密接に関わるため、経営陣を含む主要なステークホルダーの理解と関与を得て進めることが推奨されています。 猪又 赳彦 Sr. Technical Account Manager AWS Resilience Hub を活用したRPO/RTO の設定 AWS 上で稼働するアプリケーションのレジリエンシーは具体的にどう高めていけばよいでしょうか。ハンズオンでは AWS 上のアプリケーションの回復力を分析、管理、改善できるサービス AWS Resilience Hub の使い方も学びます。 AWS Resilience Hub – 目標 RTO / RPO を入力 まずは AWS Resilience Hub へアプリケーションの目標 RTO/RPO を入力します。 レジリエンスの設計と実装 再び座学セッションです。ここではレジリエンスの設計原則を活用してアーキテクチャとエンジニアリングのベストプラクティスを実装する方法について紹介しました。 セルアーキテクチャ、コントロールプレーンとデータプレーン、サーキットブレーカー、障害分離、静的安定性、グレースフルデグラデーション、バイモーダル動作など様々な例を挙げながら回復力のあるアーキテクチャやソフトウェアデザインパターンをご紹介しました。実開発でのトレードオフなど講師の経験を交えた Dive Deep した内容でした。 松本 耕一朗 Solutions Architect 高可用性とディザスタリカバリのための設計と実装 再びハンズオンです。AWS Resilience Hub を使ってアプリケーションのレジリエンシーを評価します。 AWS Resilience Hub – レジリエンシーの評価結果（改善前） アプリケーションが目標 RTO/RPO を満たしているかどうかの結果が得られました。リージョン障害時の RTO / RPO ともに目標値 (2hour/1hour) を満たしていません (Unrecoverable)。 AWS Resilience Hub – レジリエンシーの評価結果（改善後） AWS Resilience Hub が推奨する改善案に沿ってアプリケーションを修正し、目標 RTO / RPO を満たすようになったことを確認できました。 レジリエンスの評価とテスト 設計と実装の次は、評価とテストです。このセッションではカオスエンジニアリングを使用してシステムの弱点、脆弱性、障害モードを特定する方法について紹介しました。 システムが分散して大規模になるにつれ、起こりうる障害を予測しづらくなってきます。カオスエンジニアリングとテストは、予測不可能な状況においても回復力を発揮するアプリケーションを構築するためには欠かせない手法です。本番環境で問題が起きる前にアプリケーションをさまざまな障害シナリオにさらし、潜在的な弱点を発見する方法やその重要性について理解を深めました。 河角 修 Solutions Architect レジリエンスの運用 評価とテストを終えたら運用です。このセッションではシステムの健全性を効果的に監視し、プロセスを自動化する方法について紹介しました。 システムの健全性を担保するにはメトリクスを監視しますが、過剰にデータを集めてしまうと余計なコストがかかったり多すぎるアラートに圧倒されたりして、検知や復旧の遅れを生んでしまい返って逆効果です。ビジネス目標を踏まえ、アプリケーションにとって重要な測定項目を見つけることが大切であることをお伝えしました。 新谷 歩生 Sr. Solutions Architect AWS Fault Injection Service を用いたレジリエンス評価とテスト AWS Resilience Hub はレジリエンシーの目標 RTO / RPO を満たすアーキテクチャを提案するだけでなく、障害注入実験を行うための AWS CloudFormation テンプレートも提供します。これには AWS Resilience Hub の一機能である AWS Fault Injection Service が利用されます。 AWS Resilience Hub – 障害注入実験のテンプレート AWS CloudWatch Dashboard – バックエンドの応答状況 AWS Fault Injection Service が推奨するテンプレートから必要なものを選択し、“RDS インスタンスがフェイルオーバーした場合にも、フロントエンドとバックエンドは 2 分以上オフラインにならない” という仮説を検証しました。 インシデントへの対応と学習 インシデント発生後にはその分析を行いますが、最も重要なことは根本原因に立ち返りアクション項目を関係者で共有することです。このセッションでは根本原因を分析し、学んだ教訓を組織全体で共有して、同様のインシデントが将来的に発生しないようにすることの重要性について理解を深めました。 そしてレジリエンスに関する活動を継続することの重要性をお伝えしました。人やテクノロジーは常に変化するため、レジリエンスもそれらに適応させていく必要があります。 中戸川 浩 Technical Account Manager インシデント対応からの学習 最後のハンズオン演習では、AWS Resilience Hub でアプリケーションを再評価し、ベンチマークに対して継続的に評価する方法を学びました。 AWS Resilience Hub – 耐障害性スコア RTO/RPO の目標値に対する達成状況や、オペレーションに関する推奨事項の実装状況を基にして AWS Resilience Hub が算出する耐障害性スコアを確認しました。 ハンズオンは以上です。AWS Resilience Hub を利用して レジリエンスの目標設定、設計と実装、評価とテスト、運用、学習の レジリエンスライフサイクルフレームワーク を体感して頂きました。ハンズオンは 川端 将宏、深森 広英、安藤 麻衣、三好 史隆、石倉 徹 の 5 名が担当させて頂きました。 ハンズオンで学んだ AWS Resilience Hub については AWS Black Belt Online Seminar でもご紹介しております。こちらも是非ご参照ください。 AWS Resilience Hub Part1 基礎編 PDF / 動画 AWS Resilience Hub Part2 実践編 PDF / 動画 おわりに 本記事では東京で開催した AWS Resilience Day in Tokyo についてレポートしました。参加頂いたお客様からは「レジリエンスを高めるには技術だけでなく人やプロセスも極めて重要だと改めて気付いた」「AWS Resilience Hub や AWS Fault Injection Service などの具体的な使い方を学ぶ良い機会になった」などのご評価を頂きました。ご参加頂いたみなさま、本当にありがとうございました。頂いたフィードバックをもとにこれからも改善を重ねて参ります。本日の内容が少しでも皆様の業務のお役に立てば幸いです。 著者について 川端 将宏 (Kawabata Masahiro) Partner Sales Solutions Architect パートナー様のお客様担当チームをご支援するソリューションアーキテクトとして、主に金融サービス事業領域を担当しています。パートナー様のAWS案件創出支援や案件推進、技術支援、AWSスキル向上施策実施などを通じて、AWSのファンになっていただけるよう活動しています。 三好 史隆 (Fumitaka Miyoshi) Solutions Architect ソリューションアーキテクトとして主に製造業のお客様を担当しています。システム構築のためのアーキテクチャ提案や人材育成のためのワークショップ提供など、技術的な面からお客様のクラウド活用をご支援しています。

本ブログは 2023 年 12 月 18 日に公開された「 ISO 42001: A new foundational global standard to advance responsible AI 」を翻訳したものとなります。 人工知能（AI）は私たちの世代で最も変革をもたらす技術の 1 つであり、善のための力となり経済成長を促進する機会を提供しています。数千億のパラメータを持つ大規模言語モデル（LLM）の成長により、顧客体験の向上や従業員の生産性の向上など、新しい生成 AI のユースケースが開拓されました。AWS では、お客様と協力して安全性、公平性、セキュリティを最優先に AI システムを開発・使用することで、AI を責任を持って活用することに引き続き取り組んでいます。 AI 業界は 2023 年 12 月、 ISO 42001 の発行により重要な節目を迎えました。簡単に言えば、ISO 42001 は組織内で AI システムを管理するためのガイドラインを提供する国際的な マネジメントシステム規格 です。これは、組織が AI の開発と展開に関連するリスクを体系的に対処し、コントロールするためのフレームワークを確立します。ISO 42001 は責任ある AI 実践への取り組みを強調し、組織が自社の AI システムに特化したコントロールを採用することを奨励し、グローバルな相互運用性を促進し、責任ある AI の開発と展開の基盤を築くものです。 AI に対する信頼は極めて重要であり、AI ガバナンスを推進する ISO 42001 のような規格を取り入れることは、責任ある使用のアプローチを支援し、公衆の信頼を得るための 1 つの方法です。 AWS は、幅広い国際的な専門家コミュニティの一員として、 2021 年から ISO 42001 の開発に積極的に協力してきました。そして、この規格の最終発行前から基盤作りを始めていました。 国際規格は、責任ある AI ソリューションの開発と実装における世界的な協力を促進します。おそらく他のどの技術よりも、これらの課題に対処するには、テクノロジー企業、政策立案者、コミュニティグループ、科学者、その他の人々の間での協力と真の学際的な取り組みが必要であり、国際規格はその中で貴重な役割を果たしています。 また国際規格は、国内の規制要件をコンプライアンスメカニズムに変換するのに役立つ重要なツールであり、これには主にグローバルに相互運用可能なエンジニアリングの実践が含まれます。効果的な規格は、AI とは何か、責任ある AI とは何かについての混乱を減らし、業界が潜在的な危害の軽減に焦点を当てるのに役立ちます。AWS は、多様な国際的なステークホルダーのコミュニティと協力して、リスク管理、データ品質、バイアス、透明性など、さまざまなトピックに関する新たな AI 規格の改善に取り組んでいます。 AI システムやアプリケーションを責任を持って開発・展開する上での卓越性へのコミットメントを示す方法の 1 つとして、新しい ISO 42001 規格への適合があります。私たちは ISO 42001 の採用を引き続き追求し、お客様と共にそれを実現することを楽しみにしています。 私たちは、責任ある AI の未来に投資し、お客様や私たち全員が生活し活動するコミュニティの利益のために、国際規格の形成に貢献することに尽力しています。 著者について Swami Sivasubramanian は AWS のデータおよび機械学習部門の副社長です。この役職において、Swami は AWS のすべてのデータベース、分析、AI および機械学習サービスを統括しています。彼のチームの使命は、組織がデータを活用できるよう、保存、アクセス、分析、可視化、予測を行うための完全なエンドツーエンドのデータソリューションを提供することです。 翻訳はプロフェッショナルサービス本部の藤浦 雄大が担当しました。

この記事は 「 BayCare’s St. Joseph’s Hospital cuts café wait times and improves operating efficiency with Just Walk Out 」（記事公開日： 2024 年 8 月 23 日）の翻訳記事です。 忙しい病院スタッフや来院者にとって、手短に食事を購入したいのに列に並ぶことは最も避けたいことです。フロリダ州タンパのセントジョセフ病院 (ベイケア・ヘルスシステムの一部) のカフェテリアは、アマゾンの Just Walk Out テクノロジーでリニューアルされ、もう列に並ぶ必要はなくなりました。 Just Walk Out は、ショッピング体験を簡素化し、スピードアップするために設計されています。人工知能( AI )、コンピュータービジョン、物体認識、深層学習モデルを組み合わせることで、あらゆる小売の環境で買い物客が選んだ商品を正確に判断できます。 セントジョセフ病院では、来院者は Season’s Café の入り口で、クレジットカード、モバイルウォレット、または従業員バッジを使ってゲートを通過します。このテクノロジーは、買い物客が棚から商品を手に取ったり、戻したりしたことを検知し、仮想の買い物カゴを作成します。会計の準備ができたら、買い物客は列に並ぶことなく退店し、選択した支払い方法で商品代金が決済されます。 Season’s Café. 出典: セントジョセフ病院 セントジョセフ病院は、病院が所有するカフェテリアに Just Walk Out を導入した全国初の病院です。「この技術がもたらした利便性と利用のしやすさに、みんな喜んでいます。私たちのスタッフ、医師、そして来院者も、素早く食品や飲み物を手に入れ、休憩や大切な人と過ごす時間を優先することができます。」と、ベイケア東部地区の食事、および栄養サービスディレクターの Erica Salgado 氏は述べています。 レジ待ちにさようなら 常にそうだったわけではありませんが、パンデミック中、病院は人手不足に陥り、長いレジ待ち列と20分以上の待ち時間が発生していました。そこで Salgado 氏はベイケアヘルスのイノベーションの VP である Craig Anderson 氏と一緒に、より迅速で円滑なカフェ体験を設計することにしたのです。 「患者のケアと品質は私たちの目標であり、Just Walk Out テクノロジーは、患者とそのゲストに合理化されたシンプルかつ正確なショッピング体験を提供し、時間を節約してくれます。」と Salgado 氏は述べています。 迅速になったサービスと営業時間の拡大 現在、カフェの飲食品コーナーの滞在時間はかつてないほど短くなりました。カフェで費やしていた平均時間は 25 分からわずか 3 分にまで短縮されました。「日勤の従業員は、列に並んで待つ必要がなく、その分、昼食時に休憩を取ることができます。従業員に多くの時間を返してあげることができました。」と Salgado 氏は述べています。 Season’s Café. 出典: セントジョセフ病院 病院の三交代勤務の従業員も、Season’s Café のアップグレードを喜んでいます。このカフェでは、24 時間新鮮な食品を提供しています。以前、カフェは午後 9 時に閉店していたため、夜勤の従業員の中には、シフト中ずっと食事なしで過ごさざるを得ない人もいました。「ヘルスケア組織として、私たちは患者と、患者のために働く人々の両方を第一に考えています」と、ベイケアのアプリケーションの VP である Brenda Goralski 氏は付け加えます。「Just Walk Out により、従業員はいつでもカフェを利用できるようになり、その結果、従業員は患者にさらに良いサービスを提供できるようになります。」 効率を高める合理的なオペレーション レジの列をなくしたことで、病院はレジを担当する従業員を、パンデミック以降、閉鎖されていた患者サービスや医師ラウンジなどのエリアに再配置することができました。「Just Walk Out テクノロジーにより、レジ係やバリスタなどの職種を再考し、労働力を最適化することができました。このテクノロジーは、コロナ後に対処できなかった労働力不足を間違いなく緩和してくれました。」とSalgado 氏は述べています。 結果として効率が向上し、病院は顧客スループットを向上させ、高い収益成長目標を達成するのに役立っています。カフェが再開されて以来、深夜シフトの売上は毎週増加しており、マネージャーは、簡単に商品を手に取って出るだけであることから、人々が平均してより多くの商品を購入するようになったことを確認しています。また、レジなし形式のおかげで、カフェにはより多くの商品を置くスペースができました。「レジがあった場所にドライ商品売り場を作りました。ヒートマップから、ここが非常に人気のあるスペースになっていることがわかります。」と Salgado 氏は述べています。 また、病院では、従業員がバッジを使ってカフェに入り、食事の支払いを行えるようになっています。そのためには、給与天引き、プリペイド定額支払い、食事プラン、ロイヤルティ特典など、様々なキャッシュレス決済プログラムを提供する Transact Campus の部門である Quickcharge に Just Walk Out を統合する必要がありました。「Amazon のスムーズなチェックアウト体験と統合された当社のキャッシュレス決済テクノロジーが、スピードが不可欠な医療環境の向上に役立っているのは喜ばしいです。」と、Transact のコマースソリューション担当 SVP 兼 GM である Arun Ahuja 氏は述べています。 可能性の拡大 Season’s Café. 出典: セントジョセフ病院 まだ始まったばかりですが、Salgado 氏はカフェの業績と買い物客からの前向きなフィードバックの両方に満足しています。また、常に学ぶ機会があると考えています。「前例のないことに取り組む際は、予測や計画できなかったことが多くあるものです」と述べています。得られた教訓の一つは、従業員が店舗をテストし、必要な調整を行えるよう、グランドオープン前に「ソフトローンチ」(練習期間)を設けることです。 総じて、ベイケア・セントジョセフ病院のチームは、彼らが成し遂げたことに大変喜んでいます。「私たちがこれを実行しているという事実は、私たちが限界を押し広げ、先を見据え、地域社会に最高のものを提供できるよう革新的かつ創造的であることの証です」と Salgado 氏は結論付けています。 お客様にスムーズでチェックアウト不要のショッピングを提供しましょう。ビジネスオペレーションを最適化および合理化しながら、より迅速でシームレスなショッピングをお客様に提供したいとお考えであれば、Just Walk Out テクノロジーがどのように役立つかについて、 お問い合わせください 。 著者について Sarah Yacoub Sarah Yacoub は、AWS のマーケティングシニアマネージャーで、アマゾンの Just Walk Out テクノロジーのマーケティングを担当しています。彼女はワシントン DC に拠点を置いています。 その他、Just Walk Out 事例に関連するブログ記事はこちらもご覧ください。 Aramark が米国本社に初の Just Walk Out ストアをオープン 本稿はソリューションアーキテクトの齋藤が翻訳を担当しました。原文は こちら 。

不気味な季節がやってきて、そして過ぎ去りました。ハロウィーンをテーマにしたリリースはありませんが、AWS は 10 月 28 日週、エキサイティングな数多くのリリースでハロウィーンを盛大に祝いました! AWS re:Invent 2024 までのカウントダウンが進む中、毎週ますます興味深いリリースが発表されているため、私たちは本当に「プレ」re:Invent の段階に入ったと言っても過言ではないと思います。 ご紹介すべきことがたくさんありますので、魔法使いの帽子をかぶり、「トリート」の大きな袋を開けて、10 月 28 日週の新着情報を詳しく見ていきたいと思います! デベロッパー向け 2024 年のハロウィーンでは、AWS から提供される、デベロッパー向けの「トリート」が不足することはありませんでした! AWS が VS Code IDE と AWS Toolkit で Lambda アプリケーションの構築エクスペリエンスを強化 – AWS は AWS Toolkit for Visual Studio Code で AWS Lambda 開発を強化し、IDE 内で直接、Lambda アプリケーションをコーディング、テスト、およびデプロイするためのガイド付きセットアップを提供するようになりました。サンプルのチュートリアルとワンクリックデプロイが含まれており、開発プロセスが簡素化されます。Lambda を使用したアプリケーションの構築は、魔法使いの工房で呪文を唱えるのと同じくらい直感的になりました! 静的ウェブサイトホスティングのための Amazon S3 との AWS Amplify の統合 – AWS Amplify Hosting は、シームレスな静的ウェブサイトホスティングのために Amazon S3 と統合し、 Amazon CloudFront を介したグローバル CDN サポートが提供されるようになりました。これによりセットアップが簡素化され、カスタムドメインと SSL 証明書を使用した安全で高パフォーマンスの配信が提供されます。サイトのホスティングは、ハロウィーンの夜にジャック・オー・ランタンを見つけるよりも簡単になりました! AWS Lambda が AWS Fault Injection Service (FIS) アクションのサポートを開始 – AWS Lambda が AWS Fault Injection Simulator (FIS) アクションのサポートを開始しました。これにより、デベロッパーは、レイテンシーや実行エラーなどの制御された障害を注入することで回復力をテストできるようになりました。これは、コードを変更せずに実際の障害をシミュレートし、モニタリングと運用の準備状況を改善するのに役立ちます。古いキャンディディスペンサーのテストに最適です! AWS CodeBuild がビルドの自動再試行のサポートを開始 – AWS CodeBuild は、ビルドの自動再試行を提供するようになりました。これにより、デベロッパーは、失敗したビルドの再試行制限を設定できます。これは、指定された制限までビルドを自動再試行することで手動での介入を減らし、幽霊に取りつかれたパイプラインを一掃するゴーストバスターのように、厄介で断続的な障害に対処できます! Amazon Virtual Private Cloud が新しいセキュリティグループ共有機能をリリース – Amazon VPC は、同じアカウント内の複数の VPC 間でのセキュリティグループの共有、および共有 VPC 内の参加者アカウントとのセキュリティグループの共有をサポートするようになりました。これにより、セキュリティ管理が合理化され、組織全体で一貫したトラフィックフィルタリングを実現できます。これで、ネットワークを安全に保つことが、デジタルゴブリンを追い払うのと同じくらいシームレスになりました! Amazon DataZone が、Tableau、Power BI などのツールでデータアクセスを拡張 – Amazon DataZone は、 Amazon Athena JDBC ドライバーをサポートするようになりました。これにより、Tableau や Power BI などの BI ツールからデータレイクアセットにシームレスにアクセスできます。これを使用することで、アナリストはデータを簡単に接続して分析できます。これで、データへのアクセスは、魔女がほうきに乗って飛ぶように容易になりました! 生成 AI Amazon Q と Amazon Bedrock では、生成 AI が魔法のように機能し続けています。10 月 28 日週のリリースをいくつかご紹介します。 Amazon Q Developer インラインチャット – Amazon Q Developer はインラインチャットサポートを導入しました。これにより、デベロッパーは、最適化、コメント、テスト生成などのアクションをコードエディタ内で直接実行できるようになりました。リアルタイムのインライン diff により、変更を簡単に確認できます。Visual Studio Code と JetBrains IDE でご利用いただけます。これは実質的にコードの魔法です。魔女の大釜は必要ありません! Meta の Llama 3.1 8B および 70B モデルが Amazon Bedrock でファインチューニング可能に – Amazon Bedrock は、Meta の Llama 3.1 8B および 70B モデルのファインチューニングをサポートするようになりました。これにより、デベロッパーは、独自のデータを使用して、これらの AI モデルをカスタマイズできます。128K のコンテキスト長を備えた Llama 3.1 は、大量のテキストを効率的に処理するため、ドメイン固有のアプリケーションに最適です。これで、暗い嵐の夜でも、AI は恐ろしいほど大量のデータを処理することに怯むことはないでしょう! Amazon Bedrock における Anthropic の Claude 3 Haiku のファインチューニングの一般提供を開始 – Amazon Bedrock における Claude 3 Haiku モデルのファインチューニングの一般提供が開始されました。これにより、精度を高めるために、データを使用してカスタマイズできます。AI をハロウィーンのコスチュームと同じくらいユニークにしましょう! コスト計画、コスト削減、追跡 予算を把握し、購入するキャンディの量をモニタリングするのに役立つ新しいリリースをいくつかご紹介します。 AWS で部分的なカード支払いが可能に – AWS は、クレジットカードまたはデビットカードによる部分的な支払いをサポートするようになりました。これにより、ユーザーは、複数のカードに月々の請求を分割できます。この柔軟性により、予算管理が、幽霊が幽霊屋敷中をすり抜けるようにスムーズになります! Amazon Bedrock が推論プロファイルにおけるコスト配分タグのサポートを開始 – Amazon Bedrock は、推論プロファイルのためのコスト配分タグをサポートするようになりました。これにより、お客様は、部門またはアプリケーションごとに生成 AI のコストを追跡および管理できます。これにより、財務管理が「トリック」ではなく、「トリート」になります! AWS Deadline Cloud が予算関連イベントを追加 – 視覚効果とアニメーションのワークロードのレンダリングと管理のために使用されるサービスである AWS Deadline Cloud は、予算関連のイベントを Amazon EventBridge を介して送信するようになりました。これにより、支出のリアルタイム更新と自動通知が可能になります。これは、想定外の不安を感じることなく、プロジェクトコストを管理するのに役立ちます! 「10 月 28 日週最も忙しいチーム」賞に輝いたのは…Amazon Redshift です! どうやら、 Amazon Redshift チームはハロウィーンが大好きで、多くのリリースで盛大に祝うことにしたようです! ハイライトをご紹介します。 生成 AI のための Amazon Redshift と Amazon Bedrock の統合 – Amazon Redshift は、SQL を使用した生成 AI タスクのために Amazon Bedrock と統合するようになりました。これにより、データウェアハウスで直接、テキスト生成などの AI 機能が追加されます。複雑な呪文なしで、リッチなインサイトを引き出すことができるようになりました! Amazon Redshift 向けの自動コピーの一般提供の開始を発表 – Amazon S3 から Amazon Redshift への継続的なデータインジェストの自動コピーの一般提供が開始されました。これにより、ワークフローが合理化され、データ統合が柔らかいカボチャを彫るのと同じくらいスムーズになります! Amazon Redshift がデータレイクテーブルのマテリアライズドビュー (MV) における増分更新のサポートを開始 – Amazon Redshift は、データレイクテーブルのマテリアライズドビューのための増分更新をサポートするようになりました。これにより、変更されたデータのみが更新され、効率性が高まります。これを使用することで、取りついてくるかのようなオーバーヘッドなしで、データを最新の状態に維持できます! AI 駆動型のスケーリングと最適化を備えた Amazon Redshift Serverless の発表 – Amazon Redshift Serverless は、AI 駆動型のスケーリングを提供し、ワークロードに基づいてリソースを自動調整するようになりました。これにより、身も凍るような驚きなしで、スムーズなパフォーマンスを実現できます! Amazon Redshift Data API の CSV 結果フォーマットのサポート – Amazon Redshift Data API は、SQL クエリ結果の CSV 出力をサポートするようになりました。これにより、データ処理の柔軟性が高まります。これにより、データの処理が、幽霊のささやきのようにスムーズになります! ハロウィーンウィークコンテストの準優勝は…Amazon CloudWatch です! Amazon CloudWatch チームも、今年のハロウィーンはキャンディを配るのに忙しくしていました! 早速見てみましょう。 Amazon CloudWatch がプロビジョンドパフォーマンスを超える EBS ボリュームをモニタリング – Amazon CloudWatch は、Amazon EBS ボリュームが IOPS またはスループットの制限を超えているかどうかを確認するメトリクスを提供するようになりました。これは、取りつかれているかのように感じる問題になる前に、パフォーマンスの問題を迅速に特定して解決するのに役立ちます! Amazon EBS ボリュームの I/O レイテンシーをモニタリングするための新しい Amazon CloudWatch メトリクス – Amazon CloudWatch は、Amazon EBS ボリュームの平均読み取りおよび書き込み I/O レイテンシーのメトリクスを提供するようになりました。これは、パフォーマンスの問題を特定するのに役立ちます。これらのインサイトは、追加コストなしで 1 分単位で使用できます。これは、ハロウィーンの幽霊のようにレイテンシーが忍び寄るのを防ぐのに役立つことでしょう! Amazon ElastiCache for Valkey がサーバー側の応答時間をモニタリングするための新しい CloudWatch メトリクスを追加 – Amazon ElastiCache は、読み取りおよび書き込みリクエストのレイテンシーに関するメトリクスを含むようになりました。これは、サーバーの応答時間をモニタリングするのに役立ちます。これは、パフォーマンスの問題が恐ろしいサプライズになる前に、迅速に特定して解決するのに資する機能です! まとめ 以上が 2024 年のハロウィーンのまとめです。皆さんはどうかわかりませんが、私にとってはこの時期が 1 年で一番のお気に入りで、その次に好きなのは新年です。どちらも予測不能な要素があり、とても楽しんでいます。ハロウィーンでは、どのようなコスチュームを着るのかにワクワクする一方で、新年には新しい可能性と新しい地平の開拓に焦点が当たります。 幸いなことに、AWS では 1 年を通して興奮とイノベーションをもたらしているため、新年まで待たなくても AWS を利用して新しい境地を開拓できます。そして、これを目の当たりにするには、 AWS re:Invent 2024 が最適です! 2025 年のハロウィーンには、どのような呪文やサプライズが待っているのでしょうか。次回まで、最新情報に注目しつつ、ほうきを準備しておいてください! 原文は こちら です。

11 月 1 日、米国西部 (オレゴン) AWS リージョンで、 Amazon Bedrock における Anthropic の Claude 3 Haiku モデル のファインチューニングの一般提供が開始されることをお知らせします。Amazon Bedrock は、Claude モデルをファインチューニングできる唯一のフルマネージドサービスです。Claude 3 Haiku モデルを独自のタスク固有のトレーニングデータセットでファインチューニングおよびカスタマイズして、モデルの精度、品質、一貫性を高め、ビジネスに合わせて 生成 AI をさらにカスタマイズできるようになりました。 ファインチューニングとは、重みを更新し、学習率やバッチサイズなどのハイパーパラメータをチューニングして最適な結果を得られるようにすることで、事前トレーニング済みの大規模言語モデル (LLM) を特定のタスクに合わせてカスタマイズする手法をいいます。 Anthropic の Claude 3 Haiku モデル は、Claude 3 モデルファミリーの中で最も高速かつコンパクトなモデルです。Claude 3 Haiku をファインチューニングすると、次の大きな利点がビジネスにもたらされます。 カスタマイズ – 企業やドメインの知識をエンコードすることで、より一般的なモデルと比較して、ビジネスにとって重要な分野で優れたパフォーマンスを発揮するモデルをカスタマイズできます。 専門的なパフォーマンス – より質の高い結果を生成し、会社の独自の情報、ブランド、製品などを反映した独自のユーザーエクスペリエンスを生み出すことができます。 タスク固有の最適化 – 分類、カスタム API とのインタラクション、業界固有のデータ解釈など、ドメイン固有のアクションのパフォーマンスを強化できます。 データセキュリティ – 安全な AWS 環境で安心してファインチューニングできます。Amazon Bedrock は、お客様のみがアクセスできるベース基盤モデルの別のコピーを作成し、このモデルのプライベートコピーをトレーニングします。 ドメイン固有のラベル付きデータを提供して Amazon Bedrock における Claude 3 Haiku モデルをファインチューニングすることで、特定のビジネスユースケースのためにパフォーマンスを最適化できるようになりました。 2024 年の初めに、当社は、お客様独自のデータソースで Anthropic の Claude モデルをファインチューニングするのをサポートするために、 AWS 生成 AI イノベーションセンター のエキスパートチームを通じてお客様との連携を開始しました。Amazon Bedrock における Anthropic の Claude 3 Haiku モデルを、 Amazon Bedrock コンソール で直接ファインチューニングできるようになりました。 Amazon Bedrock における Anthropic の Claude 3 Haiku モデルのファインチューニングを開始する Amazon Bedrock における Claude 3 Haiku モデルを簡単にファインチューニングする方法をご紹介します。ファインチューニングのワークフローの詳細については、AWS 機械学習ブログの記事「 Fine-tune Anthropic’s Claude 3 Haiku in Amazon Bedrock to boost model accuracy and quality 」にアクセスしてください。 Amazon Bedrock コンソール でシンプルなファインチューニングジョブを作成するには、ナビゲーションペインの [基盤モデル] セクションに移動し、 [カスタムモデル] を選択します。 [モデル] セクションで、 [モデルをカスタマイズ] ボタンを選択し、 [ファインチューニングジョブを作成] を選択します。 次に、独自のデータでカスタマイズするモデルを選択し、結果として得られたモデルに名前を付け、必要に応じて、 [モデルの詳細] セクションでモデルに関連付ける暗号化キーとタグを追加します。ジョブの名前を入力し、必要に応じて、 [ジョブの設定] セクションでジョブのタグを追加します。 トレーニングデータセットファイルの Amazon S3 の場所と、該当する場合は検証データセットファイルを [入力データ] セクションで選択できます。 各データセットは、シングルターンまたはマルチターンのメッセージング形式を使用した複数の JSON 行を含む JSON Lines (JSONL) ファイルを使用して作成できます。各 JSON 行は、 system とメッセージ ( message オブジェクトの配列) を含むサンプルです。 Amazon Bedrock における Anthropic の Claude 3.5 Sonnet モデル に関する最新情報をいくつかご用意しました。詳細については、Amazon Bedrock ドキュメントの「 Prepare the datasets 」にアクセスしてください。 {"system": "You are an helpful assistant.","messages":[{"role": "user", "content": "What’s the latest models to support Amazon Bedrock"},{"role": "assistant", "content": "Amazon Bedrock is a fully managed service that support Anthropic’s Claude 3 Sonnet, Haiku, and Opus models and the latest Claud 3.5 Sonnet model."}]} {"system": "You are an helpful assistant.","messages":[{"role": "user", "content": "How long context window of Claude 3.5?"},{"role": "assistant", "content": "Anthropic's Claude 3 models have a 200,000 token context window enabling you to relay a large volume of information to Claude.This translates to roughly 150,000 words, or over 500 pages of material."}]} {"system": "You are an helpful assistant.","messages":[{"role": "user", "content": "Is Claude 3.5 available in Bedrock?"},{"role": "assistant", "content": "Anthropic’s most intelligent and advanced model, Claude 3.5 Sonnet, demonstrates exceptional capabilities across a diverse range of tasks and evaluations while also outperforming Claude 3 Opus."}]} [ハイパーパラメータ] セクションで、エポック、バッチサイズ、学習率乗数など、トレーニングで使用する ハイパーパラメータ の値を入力します。検証データセットを含めた場合は、 [早期停止] を有効にすることができます。これは、過学習を防ぎ、検証損失の改善が停止したときにトレーニングプロセスを停止するために使用される手法です。早期停止のしきい値と Patience の値を設定できます。 また、 [出力データ] セクションで、Amazon Bedrock がジョブの出力を保存する出力場所を選択することもできます。 [サービスアクセス] セクションで、適切な許可を持つ AWS Identity and Access Management (IAM) カスタムサービスロールを選択します。詳細については、Amazon Bedrock ドキュメントの「 Create a service role for model customization 」をご覧ください。 最後に、 [ファインチューニングジョブを作成] を選択し、ファインチューニングジョブが開始されるのを待ちます。 [カスタムモデル] セクションの [ジョブ] タブで、進行状況を追跡したり、停止したりできます。 モデルのカスタマイズジョブが完了したら、ジョブの送信時に指定した出力 Amazon Simple Storage Service (Amazon S3) フォルダ内のファイルを確認してトレーニングプロセスの結果を分析したり、モデルに関する詳細を表示したりできます。 カスタマイズされたモデルを使用する前に、 Amazon Bedrock のプロビジョンドスループット を購入し、その結果として得られたプロビジョンドモデルを推論のために使用する必要があります。プロビジョンドスループットを購入すると、コミットメント期間を選択し、モデルユニットの数を選択して、時間単位、日単位、月単位の推定コストを確認できます。Claude 3 Haiku モデルのカスタムモデル料金の詳細については、「 Amazon Bedrock の料金 」にアクセスしてください。 これで、コンソールプレイグラウンドでカスタムモデルをテストできます。カスタムモデルを選択し、Anthropic の Claude 3.5 Sonnet モデルが Amazon Bedrock で使用できるかどうかをたずねます。 次の回答が提示されます。 Yes.You can use Anthropic’s most intelligent and advanced model, Claude 3.5 Sonnet in the Amazon Bedrock.You can demonstrate exceptional capabilities across a diverse range of tasks and evaluations while also outperforming Claude 3 Opus. このジョブは、 AWS API 、 AWS SDK 、または AWS コマンドラインインターフェイス (AWS CLI) を使用して完了できます。AWS CLI の使用の詳細については、AWS ドキュメントの「 Code samples for model customization 」にアクセスしてください。 Jupyter Notebook を使用している場合は、 GitHub リポジトリ にアクセスし、カスタムモデルのハンズオンガイドに従ってください。本番レベルのオペレーションを構築するには、AWS 機械学習ブログで「 Streamline custom model creation and deployment for Amazon Bedrock with Provisioned Throughput using Terraform 」を読むことをお勧めします。 データセットとパラメータ Claude 3 Haiku をファインチューニングする場合、最初に行うべきことはデータセットを確認することです。Haiku のトレーニングには、トレーニングデータセットと検証データセットの 2 つのデータセットが関係します。トレーニングを成功させるには、特定のパラメータに従う必要があります。これらは、 次の表に 概説されています。 トレーニングデータ 検証データ ファイル形式 JSONL ファイルサイズ <= 10GB <= 1GB 行数 32～10,000 行 32～1,000 行 トレーニング + 検証の合計 <= 10,000 行 トークンの制限 < 32,000 トークン/エントリ 予約キーワード プロンプトに「 \nHuman: 」または「 \nAssistant: 」が含まれないようにしてください データセットを準備する際には、小規模で高品質のデータセットから始めて、チューニング結果に基づいてイテレーションしてください。トレーニングデータを改良および改善するのに役立つよう、Claude 3 Opus や Claude 3.5 Sonnet などの Anthropic のより大きなモデルを使用することも考えられます。また、これらのモデルを使用して、Claude 3 Haiku モデルをファインチューニングするためのトレーニングデータを生成することもできます。これは、より大きなモデルが既にターゲットタスクで優れたパフォーマンスを発揮している場合に非常に効果的である場合があります。 適切なハイパーパラメータの選択とデータセットの準備に関する詳細なガイダンスについては、AWS 機械学習ブログの記事「 Best practices and lessons for fine-tuning Anthropic’s Claude 3 Haiku in Amazon Bedrock 」をお読みください。 デモ動画 Amazon Bedrock における Anthropic の Claude 3 Haiku モデルのファインチューニングを開始するのに役立つステップバイステップのチュートリアルについては、この詳細なデモ動画をご覧ください。 今すぐご利用いただけます Amazon Bedrock における Anthropic の Claude 3 Haiku モデルのファインチューニングの一般提供が、米国西部 (オレゴン) AWS リージョンで開始されました。今後の更新については、 詳細なリージョン一覧 をご確認ください。詳細については、Amazon Bedrock ドキュメントの「 Custom models 」にアクセスしてください。 今すぐ Amazon Bedrock コンソール で Claude 3 Haiku モデルのファインチューニングをお試しいただき、 AWS re:Post for Amazon Bedrock に、または通常の AWS サポートの連絡先を通じて、フィードバックをぜひお寄せください。 お客様がこの新しいテクノロジーをビジネスで活用して生み出す成果を目にするのを楽しみにしています。 – Channy 原文は こちら です。

10 月 31 日、 Amazon QuickSight を搭載した AWS Supply Chain Analytics の一般提供についてお知らせします。この新機能は、AWS Supply Chain のデータを使用してカスタムレポートダッシュボードを構築するのに役立ちます。この機能により、ビジネスアナリストやサプライチェーンマネージャーは、カスタム分析の実行、データの視覚化、サプライチェーン管理オペレーションに関する実用的なインサイトの取得を行うことができます。 この仕組みを以下に示します。 AWS Supply Chain Analytics は AWS Supply Chain データレイクを活用し、Amazon QuickSight に埋め込まれたオーサリングツールを AWS Supply Chain のユーザーインターフェイスに直接提供します。この統合により、オペレーション分析のためのカスタムインサイト、メトリクス、主要業績評価指標 (KPI) を作成するための構成可能な統合エクスペリエンスが提供されます。 さらに、AWS Supply Chain Analytics には、そのまま使用することも、必要に応じて変更することもできる事前構築済みのダッシュボードが用意されています。起動時には、以下の事前構築済みダッシュボードが表示されます。 Plan-Over-Plan Variance: 2 つの需要計画を比較して、製品、サイト、期間などの主要なディメンションにおける単位と値の両方の差分が表示されます。 Seasonality Analytics: 前年同期の比較で需要が表示され、平均需要量の傾向に加えて、月次レベルと週次レベルの両方のヒートマップを通して季節性のパターンが示されます。 使用を開始する AWS Supply Chain Analytics の機能について順を追って説明します。 最初のステップは、AWS Supply Chain Analytics を有効にすることです。 [設定] に移動し、 [組織] を選択して [分析] を選択します。ここで、 Analytics のデータアクセスを有効化 できます。 これで、既存のロールを編集することや、分析アクセス許可を持つ新しいロールを作成することができるようになりました。詳細については、「 ユーザーのアクセス許可ロール 」を参照してください。 この機能を有効にした後に AWS Supply Chain にログインすると、 [Connecting to Analytics] (Analytics に接続) カードまたは左側のナビゲーションメニューの [分析] を選択して AWS Supply Chain Analytics の機能にアクセスできます。 これで、埋め込みの Amazon QuickSight インターフェイスをすぐに使用することができます。開始するには、 事前構築済みダッシュボード に移動します。 次に、 [Supply Chain Function] (サプライチェーン機能) ドロップダウンリストで必要な事前構築済みダッシュボードを選択できます。 この事前構築済みダッシュボードで私が最も気に入っているのは、簡単に始められることです。AWS Supply Chain Analytics によってすべてのデータセットと分析に加えて、ダッシュボードも用意されます。 [追加] を選択して開始します。 ダッシュボードページに移動すると、結果が表示されます。このダッシュボードはチームと共有することもできるので、コラボレーションの面でも改善できます。 カスタムダッシュボードを作成するために他のデータセットを含める必要がある場合は、 [データセット] に移動して [新しいデータセット] を選択します。 ここでは、AWS Supply Chain データレイクを既存のデータセットとして使用します。 次に [データセットを作成] を選択する必要があります。 分析に含める必要のあるテーブルを選択できます。 [データ] セクションには、使用可能なすべてのフィールドが表示されます。 asc_ で始まるすべてのデータセットは、Demand Planning、Insights、Supply Planning など、AWS Supply Chain によって生成されるデータセットです。 また、AWS Supply Chain に取り込んだすべてのデータセットも見つけることができます。データエンティティの詳細については、 AWS Supply Chain のドキュメントページ を参照してください。ここで注意すべき点は、AWS Supply Chain データレイクにデータを取り込んでいない場合、AWS Supply Chain Analytics を使用する前にデータを取り込む必要があるということです。データレイクにデータを取り込む方法については、 データレイク のページを参照してください。 この段階で分析を開始できます。 今すぐご利用いただけます AWS Supply Chain Analytics は、AWS Supply Chain が提供されているすべてのリージョンでの一般提供が開始されました。 AWS Supply Chain Analytics を活用して、オペレーションを変革してみてください。 構築がうまくいきますように。 –  Donnie 原文は こちら です。

こんにちは、Amazon Connect ソリューションアーキテクトの梅田です。 2024 年 9 月のアップデートまとめ はお読みいただけましたでしょうか。11月に入り、徐々に冬の訪れを感じる季節となりました。同時に、AWS re:Invent の開催が近づいてきていることも実感します。今年の re:Invent は12月2日から6日の開催となります。リアルタイム視聴を予定している方は今からスケジュールと体調を整えておきましょう！ それでは今号も以下の内容をお届けします。皆さんのお役に立つ内容があれば幸いです！ 注目のアップデートについて 2024 年 10 月のアップデート一覧 AWS Contact Center Blog のご紹介 1.注目のアップデートについて Amazon Connect now offers screen sharing ( Amazon Connect で画面共有が可能になりました ) Amazon Connect は、ウェブサイトやモバイルアプリケーションからパーソナライズされた音声およびビデオエクスペリエンスを提供できる アプリ内通話、ウェブ通話、ビデオ通話 を提供しています。今回のアップデートにより、Amazon Connect の画面共有機能を使ってエージェントは顧客の問題をすばやく理解し、解決を促進し、顧客の不満を軽減することができます。エージェントとエンドユーザーは、Amazon Connect のウェブ通話やビデオ通話で画面共有を活用し、コンテキスト情報を Amazon Connect に渡してカスタマーエクスペリエンスをパーソナライズできます。さらに、画面共有を特定のウェブページに制限することで、安全で安心なカスタマーエクスペリエンスを確保できます。フルマネージド型のコミュニケーションウィジェットを使用すると、わずか 1 行のコードで音声通話やビデオ通話に画面共有を追加できます。また、SDK を活用して、顧客向けに完全にカスタマイズされたエクスペリエンスを作成することも可能です。設定内容は こちら をご参照下さい。 2. 2024年10月のアップデート一覧 Amazon Connect now provides published forecast data in analytics data lake (Amazon Connect が公開された予測データを分析データレイクで提供) – 10/28/2024 Amazon Connect は、公開された予測 (短期および長期) データを分析データレイクとして提供を開始しました。これにより、分析データからレポートや洞察を簡単に生成できるようになりました。データレイクに公開された予測データを使用して、予測と実績を比較するダッシュボードを構築したり、これらのデータを売上予測などの他のデータセットと組み合わせて表示したりすることも可能です。今回のアップデートにより、公開されている各予測を手動でダウンロードする必要がなくなるため、分析データをビジネスインテリジェンスツールに自動的に取り込むことも可能になります。これらのレポートやインサイトを生成するには、 Amazon Athena を Amazon QuickSight やその他の任意のビジネスインテリジェンスツールと組み合わせて使用できます。この機能は、Amazon Connect の予測、キャパシティプランニング、およびスケジューリングが利用可能なすべての AWS リージョン で利用できます。 関連リンク 管理者ガイド Release Notes Monitor Amazon Q in Connect by using CloudWatch Logs (CloudWatch Logs を使用して Amazon Q in Connect をモニタリングする) – 10/25/2024 Amazon Q in Connect は、エージェントに提供するリアルタイムのレコメンデーションや、自然言語を理解して検出された顧客の意図を把握するために Amazon CloudWatch Logs を使用できるようになりました。CloudWatch Logs でクエリを実行すると、会話、トリガー、インテント、レコメンデーションなど、問い合わせジャーニー全体を把握できます。また、この情報をデバッグに使用したり、AWS サポートに問い合わせたときに提供したりすることもできます。 関連リンク 管理者ガイド Release Notes Amazon Connect now offers screen sharing (Amazon Connectで画面共有が可能になりました) – 10/23/2024 Amazon Connect の画面共有機能により、エージェントは問題をすばやく理解して顧客を導き、解決を促進し、顧客の不満を軽減できます。エージェントとエンドユーザーは、Amazon Connect のウェブ通話やビデオ通話で画面共有を活用し、コンテキスト情報を Amazon Connect に渡してカスタマーエクスペリエンスをパーソナライズできます。さらに、画面共有を特定のウェブページに制限することで、安全で安心なカスタマーエクスペリエンスを確保できます。フルマネージド型のコミュニケーションウィジェットを使用すると、わずか1行のコードで音声通話やビデオ通話に画面共有を追加できます。また、SDK を活用して、顧客向けに完全にカスタマイズされたエクスペリエンスを作成することもできます。この画面共有機能は、アプリ内通話、ウェブ通話、ビデオ通話の機能が利用可能なすべての AWS リージョン で利用できます。 関連リンク 管理者ガイド Release Notes Amazon Connect launches iOS and Android Chat SDKs to support in-app chat experiences (Amazon Connect がアプリ内チャット体験をサポートする iOS および Android Chat SDK を発表) – 10/23/2024 Amazon Connect Chat で iOS と Android 用の SDK が提供されるようになりました。これにより、ネイティブのアプリ内チャットエクスペリエンスを提供して、顧客満足度を高め、運用コストを削減することができます。これらの SDK には、ネットワークとセッションを管理するための事前構築済みのコンポーネントとサンプル UX アプリケーションが用意されているため、統合を効率化し、シームレスで回復力のあるアプリ内チャットエクスペリエンスを保証します。Amazon Connect Chat SDK の機能では、Amazon Connect の通話、タスク、SMS、ウェブ通話と同じ生成 AI を活用したチャットボット、ルーティング、設定、分析、エージェントエクスペリエンスが活用されるため、オムニチャネル体験の提供が容易になります。たとえば、コールキューで待機している顧客にアプリ内チャットに切り替えるオプションを提供することで、待ち時間を短縮し、顧客満足度と業務効率の両方を向上させることができます。iOS と Android 用の Amazon Connect Chat SDK は、Amazon Connect Chat が利用できるすべての AWS リージョン で利用できます。 関連リンク 管理者ガイド Release Notes Amazon Connect Chat SDK for iOS Amazon Connect Chat SDK for Android Sample App Examples Amazon Connect Contact Lens dashboards now support additional customization capabilities (Amazon Connect Contact Lens ダッシュボードが、追加のカスタマイズ機能のサポートを開始) – 10/11/2024 Amazon Connect Contact Lens ダッシュボードに、メトリクスのパフォーマンスを色分けしたり、サービスレベルしきい値をカスタマイズしたり、ウィジェット内でメトリクスを切り替えたりする機能が追加されました。これらのダッシュボードを使用すると、カスタム定義の期間 (週ごとなど)、概要グラフ、時系列グラフなどを使用して、リアルタイムおよび履歴の集計パフォーマンス、傾向、インサイトを表示および比較できます。監視するメトリクスを変更してダッシュボードをさらにカスタマイズしたり、カスタム定義のしきい値に基づいてメトリクスのパフォーマンスを色分けすることも可能です。たとえば、サービスレベルが 70% を下回った場合は赤、70～90% の場合は黄色、90% を超える場合は緑を自動的に表示し、サービスレベルのパフォーマンスをすばやく視覚的に確認できます。この機能は、Amazon Connect が提供されているすべての AWS リージョン で利用できます。 関連リンク 管理者ガイド Release Notes Amazon Connect now supports using your customer’s initial chat message to personalize the customer experience (Amazon Connect では、お客様の最初のチャットメッセージを使用してカスタマーエクスペリエンスをパーソナライズできるようになりました) – 10/09/2024 Amazon Connect Chat では、顧客からの最初のメッセージをフローで使用できるようになったため、セルフサービスの完結率を向上させ、カスタマーエクスペリエンスをパーソナライズできるようになりました。最初のチャットメッセージを使用して、適切なステップバイステップガイドを表示したり、 Amazon Lex からのインタラクティブメッセージ (リストピッカー、カルーセルなど) をトリガーしたり、チャットを最適なエージェントにルーティングすることができます。たとえば、最初のメッセージが注文の問題に関するものであれば、直近の注文のリストピッカーをすぐにお客様に表示できます。あるいは、メッセージが配達のスケジュールの変更に関するものである場合は、日付と時刻のピッカーを表示して変更を促すこともできます。Amazon Lex でお客様の最初のメッセージを使用するには、Amazon Connect のフローデザイナー内の [ 顧客の入力を取得する ] ブロックにある [カスタマープロンプトまたはボットの初期化] オプションで[メッセージでボットを初期化]にチェックをするだけです。さらに、InitialMessage フロー属性 を使用してお客様の初期メッセージにアクセスし、 AWS Lambda を使用したフローの分岐や統合に活用できます。この機能は、Amazon Connect が提供されているすべての AWS リージョン で利用できます。 関連リンク 管理者ガイド Amazon Q in Connect adds personalized guidance for agents (Amazon Q in Connect がエージェント向けのカスタマイズされたガイダンスを追加) – 10/08/2024 コンタクトセンターのエージェント向け生成 AI 搭載アシスタントである Amazon Q in Connect は、Amazon Connect およびその他のサードパーティ CRM システムからの顧客データを使用して、エージェントにパーソナライズされたガイダンスを推奨するようになりました。Amazon Q in Connect は、リアルタイムの音声またはチャットでの会話から顧客の意図を検出し、顧客データを理解してエージェントが言うべきことや取るべき行動を提案します。たとえば、顧客が客室をアップグレードするためにホテルに問い合わせをすると、Amazon Q in Connect はリアルタイムに会話を分析し、顧客のロイヤルティレベルを特定して、顧客に提供するアップグレードオプションと割引に関するステップバイステップガイドをエージェントに示します。Amazon Q in Connect を使用すると、コンタクトセンターのエージェントは、顧客満足度を高めながら、よりパーソナライズされた効率的な顧客対応を行えるようになります。この機能は、Amazon Q in Connect が提供されているすべての AWS リージョン で利用できます。 関連リンク 管理者ガイド Release Notes Amazon Connect launches prompt customizations for Amazon Q in Connect (Amazon Connect が Amazon Q in Connect でのプロンプトカスタマイズをリリース) – 10/08/2024 コンタクトセンターのエージェント向け生成 AI 搭載アシスタントである Amazon Q in Connect で、コンタクトセンターのスーパーバイザーが会社のブランドやビジネスガイドラインに合わせて LLM プロンプトを事前設定できるようになりました。スーパーバイザーは、Amazon Q in Connect のトーンや行動を変えるようにプロンプトをカスタマイズして、特定の企業フレーズを取り入れたり、言語ガイドラインに従ったり、絶対的な一貫性が求められる状況に対して特定の「固定」応答を指定したりできます。例えば、顧客が医療保険会社に連絡したときに、請求拒否などのユースケースに敏感になるように Amazon Q in Connect をカスタマイズできます。請求の異議申し立てプロセスにステップバイステップガイドを使用するエージェントには、さまざまな種類の医学的アドバイスについて、共感のこもった言葉遣いと自動化された免責事項が提供されます。Amazon Q in Connect を使用すると、コンタクトセンターのエージェントは一貫性を持って会社のブランドを代表できるようになり、コンプライアンスリスクを軽減し、顧客満足度を高めることができます。この機能は、Amazon Q in Connect が提供されているすべての AWS リージョン で利用できます。 関連リンク 管理者ガイド Amazon Connect can now generate forecast for workloads with as little as one contact (Amazon Connect で、わずか 1 件の問い合わせからより小規模なワークロードの予測生成が可能に) -10/04/2024 Amazon Connect の 予測、キャパシティプランニング、スケジューリング 機能で、わずか 1 件の問い合わせから、小規模なワークロードの予測を生成できるようになりました。これにより、コンタクトセンターのマネージャーは需要予測を立てやすくなります。また、最小データ要件を満たすために履歴データを手動で準備する必要がなくなります。最小データ要件が緩和されることで、マネージャーは以前よりも小規模なワークロードの予測を作成できるようになり、キャパシティプランニングや人員配置が容易になります。また、Amazon Connect を使い始めたばかりのユーザーも本機能をすぐに利用を開始することが可能です。この機能は、Amazon Connect エージェントのスケジューリングが利用可能なすべての AWS リージョン で利用できます。 関連リンク 管理者ガイド Amazon Connect Contact Lens supports new read-only permissions for reports and dashboards (Amazon Connect Contact Lens が、レポートとダッシュボードの新しい読み取り専用権限のサポートを開始) -10/04/2024 Amazon Connect Contact Lens で、ユーザーがレポートとダッシュボードを読み取り専用として保存および公開できるようになりました。レポートを読み取り専用として公開すると、レポートまたはダッシュボードを作成したユーザーのみがレポートを編集でき、他のユーザーは閲覧やコピーの作成は可能ですが、編集はできません。たとえば、コンタクトセンターのマネージャーが、カスタムの読み取り専用ダッシュボードを設定し、それをチームのスーパーバイザーと共有して同じ指標を監視できるようにすると同時に、スーパーバイザーが独自のバージョンをカスタマイズして保存し、さらなる分析を行えるようにすることができます。この機能は、Amazon Connect が提供されているすべての AWS リージョン で利用できます。 関連リンク 管理者ガイド Amazon Connect now supports multi-day copy and paste of agent schedules (Amazon Connect が数日間のエージェントスケジュールのコピーアンドペーストのサポートを開始) – 10/04/2024 Amazon Connect では、数日間のエージェントスケジュールのコピーがサポートされるようになり、エージェントスケジュールの管理がより効率的になりました。あるエージェントから別のエージェントに、または同じエージェントに数日間 (一度に最大 14 日間) のシフトスケジュールをコピーすることが可能です。たとえば、新しいエージェントが月の途中でチームに加わった場合、既存のエージェントのスケジュールから最大 14 日間のシフトスケジュールをコピーすることで、新しいエージェントに対してすぐにスケジュールを提示することができます。同様に、エージェントが数週間にわたって柔軟な勤務形態をとる場合は、最初の週のスケジュールを編集して、それを残りの週にコピーすることができます。数日間のエージェントスケジュールのコピーにより、エージェントスケジュールの管理に費やす時間が短縮され、マネージャーの生産性が向上します。この機能は、Amazon Connect エージェントのスケジューリングが利用可能なすべての AWS リージョン で利用できます。 関連リンク 管理者ガイド Amazon Connect launches the ability to initiate outbound SMS contacts (Amazon Connect がアウトバウンド SMS コンタクトを開始する機能をリリース) – 10/01/2024 Amazon Connect では、アウトバウンド SMS コンタクトを開始する機能がサポートされるようになりました。これにより、顧客が希望する通信チャネルで働きかけを行って、顧客満足度を高めることができます。コンタクト後のアンケート、予約のリマインダー、サービスの更新などのシナリオでプロアクティブな SMS エクスペリエンスを提供できるようになり、顧客は都合の良いときに対応できます。さらに、顧客に対し、コールキューで待機中に SMS に切り替えるオプションを提供できるため、保留時間をなくせます。開始するには、新しいメッセージ送信ブロックをコンタクトフローに追加するか、新しい StartOutboundChatContact API を使用してアウトバウンド SMS コンタクトを開始します。 関連リンク 管理者ガイド API Reference 3. AWS Contact Center Blog のご紹介 Amazon Connect と Service Quotas による効果的なコンタクトセンターの拡張 (日本語翻訳) Amazon Connect の利用拡大が進むと、顧客は効率的にスケーリングを管理し、クォータ(制限)を超過することによるデプロイの失敗やサービスの中断を防ぐために、クォータの可視性が必要になります。 Amazon Connect は Service Quotas との統合により、Amazon Connect インスタンスのサービスクォータ管理が改善されました。Service Quotas は、AWS マネジメントコンソールや AWS Command Line Interface(AWS CLI) を通じてアクセスできる、 AWS アカウント全体のクォータを効率的に管理し追跡するためのハブです。この統合によりアカウントとリソースのクォータ割り当てをナビゲートし最適化する上で、より広範な制御と柔軟性が実現されます。Service Quotas を使用することで、複数のソースにアクセスする必要なく、一つの場所で Connect のクォータを中央管理できます。またサポートされているクォータでは、 Amazon CloudWatch との統合により、設定可能なアラームを通じて積極的な管理も可能になり、指定されたクォータに近づくと適時アラートを提供します。このブログ記事では、Service Quotas の管理コンソール、AWS CLI を通して、リソース管理できるようになった Amazon Connect のクォータについて詳しく説明します。さらに、管理者が特定の Amazon Connect リソースのクォータを設定および管理する方法についても説明します。 Amazon Connect で簡単に実現する、生成 AI を活かしたより良いカスタマーエクスペリエンス (日本語翻訳) 生成 AI は 2023 年の大半において注目のトピックであり、2024 年になってもその勢いは衰えていません。この驚くべき技術に対する新しいイノベーションと創造的なユースケースは日々生まれています。カスタマーエクスペリエンス(CX)のユースケースにおける生成 AI の可能性は明確で魅力的です。しかし、新しい魅力的なアイデアにも、責任を持って安全に使用する方法や、効果を最大化する方法についての考慮すべき事項があります。3 部構成のブログ投稿シリーズの 第 1 部 では、生成 AI がコンタクトセンターの運用に直近で影響を与えうる 3 つの主要な領域について説明しました。それはエージェントの効率性の向上、分析と品質モニタリングの改善、そして顧客セルフサービスの改善です。シリーズの 第 2 部 では、これら 3 つの領域についてより深く掘り下げ、生成 AI を活用する際に生じる可能性のある課題と、リスクを軽減しながら価値を最大化するためのアプローチ方法について説明しました。そして今回の第 3 部では、カスタマーサービスのユースケースに対して生成 AI を迅速かつ簡単に有効化する方法をご紹介します。 AWS recognized as a Leader in 2024 Gartner Magic Quadrant for Contact Center as a Service with Amazon Connect (英語記事) Gartner が発表した 2024 年のコンタクトセンター・アズ・ア・サービス(CCaaS) のマジッククアドラントにおいて、Amazon Web Services(AWS) が2年連続でリーダーに選出されました。これは、AWS のクラウドコンタクトセンターソリューションである Amazon Connect の革新性と、あらゆる規模の企業に優れたカスタマーエクスペリエンスを提供する取り組みが評価された結果です。この記事では、Gartner の CCaaS マジッククアドラントにおける AWS の位置づけと、Amazon Connect の特徴について紹介します。 Rhythm Energy harmonizes customer experience with Amazon Connect (英語記事) テキサス州ヒューストンを拠点とする電力小売業者 Rhythm Energy 社は、カスタマーエクスペリエンスを重視し、再生可能エネルギーの普及に取り組んでいます。同社は、顧客サポート業務の効率化とカスタマーエクスペリエンスの向上を目指して、 従量課金モデル の Amazon Connect を導入し、チャットへの問い合わせボリュームの 600 %増加や 40 %のコスト削減など、大きな成果を上げています。この記事では、Rhythm Energy 社 の取り組みと、Amazon Connect 導入による具体的な効果、そして今後の取り組みについて紹介します。 Unlock organization-wide auditing ability for Amazon Connect flow changes (英語記事) コンタクトセンターの運用において、詳細な監査記録を保持し、一元的に状況を把握することは、セキュリティ、法令遵守、そして運用のベストプラクティスにとって非常に重要です。 以前のブログ記事 では、 AWS CloudTrail と Amazon Athena を活用して Amazon Connect の API の稼働を調査する方法を紹介しました。今回、Amazon Connect はさらに一歩進んで、Amazon Connect コンソールでのフロー管理アクティビティに対する AWS CloudTrail サポートが提供されました。これにより、ユーザーがコンタクトフローを追加、更新、または削除する都度、その記録が CloudTrail ログに取り込まれます。この新しい機能は、コンタクトセンターチームにさらなる可視性、レポーティング、およびコンプライアンス上の利点をもたらします。本ブログ記事では、AWS CloudTrail と Amazon Athena を組み合わせて、組織全体の AWS 環境における Amazon Connect のフロー管理アクティビティを一元的に分析および監査する方法について詳しく説明します。 Make your Amazon Connect chat experience more engaging with custom participants and generative AI-powered chatbots (英語記事) 現代の顧客は単なる迅速な回答以上のものを求めており、自然で直感的、かつ個人の好みに合わせたやりとりを期待しています。 Amazon Bedrock やサードパーティの AI ツールと Amazon Connect チャットを統合することで、企業が生成 AI の力を活用して顧客とのやりとりを強化することができます。この統合により、洗練された自然な会話が可能になり、単純な FAQ を超えた顧客にパーソナライズされたサポートを提供できるようになります。本ブログ記事では「Amazon Connect のチャット機能と生成 AI を統合し、顧客サービスを革新的に向上させる方法」、「Amazon Bedrock の基盤モデルに  Claude v2 を使用した生成 AI 駆動のメッセージングを、 Amazon Connect のチャットフロー に CreateParticipant API を通じて統合する方法」について説明します。また、事例紹介では、Adobe Inc. が自社開発のボットと Amazon Connect の統合が、デジタルメディア顧客サービスの自動化にどのように貢献しているかを説明します。 Personalize agent assistance with Amazon Q in Connect (英語記事) このブログでは、 Amazon Q in Connect のパーソナライゼーション機能によって、エージェントがカスタマイズされたカスタマーエクスペリエンスを提供するためにどのように時間を節約し、平均処理時間(AHT)の短縮と一次解決率(FCR)の向上につながるかを詳しく説明します。また、顧客データを活用して状況に応じたレコメンデーションを提供する方法や、エージェントの効率とエンドカスタマーエクスペリエンスの両方を向上させるために、業界の要件に合わせて Amazon Connect 内でその動作を直接カスタマイズする方法についても説明します。 Improve routing and self-service using Amazon Connect Customer Profiles and step-by-step guides (英語記事) 多くの組織が異なるシステムからの顧客データ統合に苦戦しており、これがパーソナライズされたカスタマーエクスペリエンスの提供を困難にしています。 Amazon Connect Customer Profiles と ステップバイステップガイド を組み合わせると、対話型メッセージングをチャットインタラクションに簡単に組み込むことができ、エージェントなしで顧客情報を収集できるようになるため、IVR 内で顧客を特定するための複雑な開発作業が不要になります。本ブログ記事では、顧客データへのアクセスと更新をより簡単に行える解決策を紹介し、複数のチャネルにわたる様々なパターンで顧客情報をシームレスに取得する方法を紹介します。これにより、IVR ルーティング、自動化されたセルフサービスの強化、効率的な問題解決のための顧客向けインターフェースのカスタマイズなどが可能になります。 re:Invent 2024: Your guide to customer experience with Amazon Connect (英語記事) AWS re:Invent 2024 は 2024 年 12 月 2 日から 6 日までラスベガスで開催され、世界中の参加者を迎えます。ブレイクアウトセッション、チョークトーク、ビルダーズセッション、ワークショップなど、多様な学習機会が提供されます。本ブログ記事では、AWS re:Invent 2024 における Amazon Connect 関連のセッションの概要と、参加者がイベントスケジュールを計画する際に役立つ情報をお知らせします。 今月のお知らせは以上です。皆さんのコンタクトセンター改革のヒントになりそうな内容はありましたでしょうか？ぜひ、実際にお試しいただき、フィードバックをお聞かせ頂けますと幸いです。 シニア Amazon Connect ソリューションアーキテクト 梅田 裕義

 はじめに 分散アプリケーションにおいてオブザーバビリティはパフォーマンスボトルネックやエラー率・アプリケーション全体が正常に稼働しているかを特定するのに重要な役目を果たします。コンテナでデプロイした AWS Lambda 関数を OpenTelemetry で計装しトレースを AWS X-Ray に送信するにはいくつか準備が必要です。このブログでは、OpenTelemetry Collector をビルドし、 Amazon ECR リポジトリにプッシュし、 Lambda のコンテナイメージにそれをコピーすることでこの問題を解決する方法を示します。 今回はセキュアで AWS がサポートする OpenTelemetry プロジェクトのディストリビューションである AWS Distro for OpenTelemetry を活用します。アプリケーションコードは OpenTelemetry SDK によって計装され、Lambda 関数の中で動作している OpenTelemetry Collector がトレースを収集し X-Ray に送信します。これによりコンテナでデプロイされた Lambda のパフォーマンスやアプリケーションが正常に動作しているかを監視できるようになります。 アーキテクチャ コンテナ化した Lambda からトレースを送信するアーキテクチャの全体像をお示しします。 画像を Amazon S3 バケットにアップロードすると Lambda 関数が実行されます Lambda 関数では外部のコンポーネントに対して API コールを実行します(今回の例だと Amazon Rekognition ) この処理は OpenTelemetry SDK によって計装されておりトレースを生成します Lambda Extension に追加されている OpenTelemetry Collector のなかの otlp receiver がトレースを受信し、 awsxrayexporter を使って X-Ray にトレースが送信されます 今回の例ではトレースを可視化するために X-Ray を用いていますが、他のオブザーバビリティバックエンドに切り替えることも可能です。 コンテナでデプロイした Lambda から X-Ray にトレースを送信するには zip で Lambda をデプロイする場合は Lambda Layer を使って比較的簡単にトレースを送信することができます。一方でコンテナで Lambda をデプロイする場合は Lambda Layer を使うことができず、依存物全てをコンテナにパッケージングする必要があります。 このブログでは OpenTelemetry Collector Lambda Extension を独自にビルドし、ECR リポジトリに保存し、Lambda のコンテナイメージにそれをコピーします。これによりコンテナで Lambda をデプロイしつつ OpenTelemetry を使ってトレースを X-Ray に送信することができます。 OTLP Receiver のエンドポイントについて ソースコードの中で OTLP Exporter のエンドポイントが設定されていないことに疑問を感じる方がいらっしゃるかもしれません。これについては OpenTelemetry Specification v1.38.0 時点では OTLP Exporter のデフォルトエンドポイントは localhost:4317 になって いて、今回ビルドした OpenTelemetry Lambda の Collector も OTLP Receiver が localhost:4317 で接続を受け付ける設定になっている ため明示的にエンドポイントを設定していません。今回使用している opentelemetry-otlp クレートでは ドキュメント にあるように opentelemetry_otlp::new_exporter() .tonic().with_endpoint() か環境変数 OTEL_EXPORTER_OTLP_ENDPOINT でエンドポイントを明示的に指定することもできます。 手順 こちらのリポジトリ の README に書かれた手順を実行していきます。 事前に必要なもの 以下のツールが必要です。 AWS CLI v2 Node.js Docker OpenTelemetry Collector Lambda Layer をビルドする Lambda からのトレースを収集し X-Ray などのバックエンドに送信するためには OpenTelemetry Collector が必要です。 OpenTelemetry Collector Lambda Extension Layer には awsxrayexporter が含まれておらず、このままでは X-Ray にトレースを送信することができません。そこで依存ライブラリに awsxrayexporter を追加した上で OpenTelemetry Collector をビルドします。まずはリポジトリをクローンしましょう。 git clone https://github.com/aws-samples/opentelemetry-lambda-container.git cd opentelemetry-lambda-container git clone https://github.com/open-telemetry/opentelemetry-lambda.git -b layer-collector/0.4.0 cp -r opentelemetry-lambda/collector/ otel-collector-lambda-extension rm -rf opentelemetry-lambda/ 1. awsxrayexporter を依存ライブラリに追加します。 otel-collector-lambda-extension/lambdacomponents/go.mod を以下のように編集します。 cd otel-collector-lambda-extension/lambdacomponents/ go mod edit --require=github.com/open-telemetry/opentelemetry-collector-contrib/exporter/awsxrayexporter@v0.92.0 2. otel-collector-lambda-extension/lambdacomponents/default.go を編集し awsxrayexporter を exporter に追加します。 import ( // import awsxrayexporter "github.com/open-telemetry/opentelemetry-collector-contrib/exporter/awsxrayexporter" ) func Components(extensionID string) (otelcol.Factories, error) { ... exporters, err := exporter.MakeFactoryMap( // add awsxrayexporter here awsxrayexporter.NewFactory(), loggingexporter.NewFactory(), otlpexporter.NewFactory(), otlphttpexporter.NewFactory(), prometheusremotewriteexporter.NewFactory(), ) ... return factories, multierr.Combine(errs...) } 3. otel-collector-lambda-extension/Dockerfile を作成します。 FROM public.ecr.aws/docker/library/golang:1.20 as collector-builder WORKDIR /src COPY . . RUN go mod tidy RUN GO111MODULE=on CGO_ENABLED=0 installsuffix=cgo go build -trimpath -o collector . FROM scratch COPY --from=collector-builder /src/collector src/collector OpenTelemetry Collector のコンテナイメージをビルドし、ECR リポジトリにプッシュして Lambda 関数が Collector を Lambda Extension として使えるようにします。手順の中では us-east-1 リージョンを使用しますが、 AWS_DEFAULT_REGION で変更することも可能です。 export AWS_ACCOUNT_ID=$(aws sts get-caller-identity --query Account --output text) export AWS_DEFAULT_REGION=us-east-1 cd opentelemetry-lambda-container/otel-collector-lambda-extension aws ecr create-repository --repository-name lambda-extension/otel-collector aws ecr get-login-password | docker login --username AWS --password-stdin ${AWS_ACCOUNT_ID}.dkr.ecr.${AWS_DEFAULT_REGION}.amazonaws.com docker build -t lambda-extension/otel-collector . docker tag lambda-extension/otel-collector:latest ${AWS_ACCOUNT_ID}.dkr.ecr.${AWS_DEFAULT_REGION}.amazonaws.com/lambda-extension/otel-collector:v1 docker push ${AWS_ACCOUNT_ID}.dkr.ecr.${AWS_DEFAULT_REGION}.amazonaws.com/lambda-extension/otel-collector:v1 Collector を Lambda 関数に含める opentelemetry-lambda-container/lambda-function/Dockerfile の <Your AWS account id> と <AWS Region> をお使いの AWS アカウントの ID とリージョンに書き換えます。 FROM public.ecr.aws/docker/library/rust:1.76.0 as rust-builder WORKDIR /rust/rust_app COPY src/ /rust/rust_app/src/ COPY Cargo.toml /rust/rust_app/ RUN apt-get update RUN apt-get install musl-tools -y RUN rustup update && \ rustup target add x86_64-unknown-linux-musl RUN cargo build --release --target x86_64-unknown-linux-musl FROM public.ecr.aws/lambda/provided:al2023 COPY --from=rust-builder /rust/rust_app/target/x86_64-unknown-linux-musl/release/bootstrap ${LAMBDA_RUNTIME_DIR}/bootstrap COPY --from=<Your AWS account id>.dkr.ecr.<AWS Region>.amazonaws.com/lambda-extension/otel-collector:v1 /src/collector /opt/extensions/collector COPY adot-config.yaml /opt/collector-config/config.yaml CMD [ "lambda-handler" ] AWS CDK でリソースをデプロイする Lambda 関数とその他のリソースを CDK でデプロイします。S3 バケットに画像をアップロードすると Lambda 関数が実行されるように設定されており、CloudFormation に出力される RekognitionSourceBucketName がその S3 バケット名を表しています。 以下のコマンドでデプロイします。 cd opentelemetry-lambda-container/lambda-trace npm install cdk deploy Lambda 関数を実行して動作確認する 以下のコマンドで画像ファイルを S3 バケットにアップロードします。 aws s3api put-object --bucket <RekognitionSourceBucketName> --key image.png --body <Some image file> ここ で生成される detect-label スパンが X-Ray のコンソール上で確認できます。 ここ で付与される label_num メタデータも確認できます。 おわりに このブログでは OpenTelemetry Collector の設定をカスタマイズして X-Ray 向けの Exporter を追加してビルドすることで、コンテナでデプロイした Lambda 関数から X-Ray にトレースを送信する方法を示しました。より詳細な情報は AWS Distro for OpenTelemetry , AWS Distro for OpenTelemetry Lambda で確認することができます。 One Observability Workshop を試して AWS でのオブザーバビリティを手を動かして体感いただけます。   著者について 苅野 秀和(Hidekazu Karino) 飛行機の勉強をしていたのが気づいたらなんやかんやあって AWS に入社してました。現在はウェブ系のお客様の技術支援を行いながら Rust を書いています。 週末は美味しいクロワッサンを求めてパン屋を探訪しています。

この記事では、 Itaú Unibanco が顧客からのデジタル資産サービスの需要増加にどのように対応し、 Amazon Managed Blockchain Access 、 Amazon Managed Blockchain Query 、および AWS Nitro Enclaves を活用して、企業レベルの革新的なサービスをデジタル資産分野に迅速かつスケーラブルに導入した方法をご紹介します。 ブラジルにおける導入動向 暗号資産の普及は、消費者とビジネスの好ましいトレンドの収束と、規制面での後押しが相まって、ラテンアメリカ全域で加速しています。 特にブラジルは、暗号資産の普及においてリーダーとしての地位を確立しつつあります。 ブラジルは近年、モバイル技術、政府の支援、消費者の習慣の変化により、デジタル決済へのシフトが加速しています。2020 年にブラジル中央銀行が導入したインスタント決済システム Pix は、ブラジル人が友人への送金、請求書の支払い、商品の購入を行う非常に人気のある方法となっています。1 億 5,000 万人以上のブラジル人が利用している Pix は、電話番号、メールアドレス、または ID を使用して銀行口座間の即時送金を可能にするリアルタイム決済システムです。デジタル決済手段をすでに利用している消費者は、暗号資産も早くから取り入れており、推定 1,600 万人が暗号資産を所有し、12,000 社が貸借対照表に暗号資産を保有しています。暗号資産は、高インフレに対する価値の保存、低手数料の送金の実現、分散型金融への参加などのユースケースで引き続き普及が進んでいます。 Chainalysis によると 、ブラジルは暗号資産の普及において世界第 9 位にランクされています。 地域の規制当局は、暗号資産およびデジタル資産業界の成長に向けた明確なガイドラインを確立しています。例えば、ブラジルの証券規制当局 CVM は、2022 年に 規制番号 175 を制定し、規制対象の投資ファンドがポートフォリオの最大 10% まで暗号資産に配分することを許可しました。これは、一般投資家の暗号資産へのアクセスを拡大する前向きな動きです。 さらに、2022 年 12 月、ブラジルは 仮想資産に関する法的枠組み （暗号資産法としても知られる）を公布し、2023 年 6 月に施行されました。この法律は、仮想資産を定義し、ブラジルで事業を行う仮想資産サービスプロバイダー (VASP) の要件を規定しています。 ブラジルは 2024 年に中央銀行デジタル通貨 (CBDC) である DREX を導入する計画を立てており、これは取引のセキュリティと効率性を向上させることを目的としています。この取り組みは、コアとなる金融ビジネスにおけるブロックチェーン技術とデジタル資産の利用を一層促進しており、その一環として、ブラジル中央銀行は DREX のパイロット版をテストするため、Itaú Unibanco などの主要な地元銀行を含む 14 の金融機関をプログラムの参加者として選定しました。さらに、このプロジェクトでは、標準的な決済を超えて、実世界の資産をブロックチェーン上でデジタル化するプロセスであるアセットトークン化など、多くの先進的なアプリケーションが実現可能になる可能性があります。 Itaú のデジタル資産管理ソリューション 2023 年 12 月 4 日、ラテンアメリカ最大手の銀行の 1 つである Itaú Unibanco は、選定された顧客向けに ÍON アプリを使用した Bitcoin と Ether のカストディサービスおよび暗号資産取引サービスの提供を開始しました。 これは、従来の資産を預けている信頼できるブランドによる暗号資産サービスを求める消費者需要に応えて、2022 年に設立された Itaú Digital Assets の取り組みの一環です。 現在、Itaú Unibanco は顧客向けの暗号資産取引サービスを段階的に展開しています。 資産管理サービスでは、すでに 10 億米ドルを取り扱っています。 2024 年には、新しい暗号資産商品の提供を開始し、リテールプラットフォームへのサービス拡大を予定しています。 資産管理ソリューションの開発にあたり、Itaú は従来のサービスと同様の厳格なセキュリティ、コンプライアンス、規制要件を満たしながら、ブロックチェーン技術の革新的な活用事例にも対応することを目指しました。 カストディサービスは、これらの目標を達成するために、次の図に示すように 5 つのレイヤーで構成されています。 レイヤーは以下のように構成されています。 セキュリティ – 第 1 層は、ハードウェアセキュリティモジュール (HSM) やマルチパーティ計算、機密計算などの実績のあるソリューションと先進技術を組み合わせて、安全なトランザクションを可能にし、顧客の鍵を (生成から保管まで) 保護することで、インフラストラクチャレベルのセキュリティに重点を置いています コンプライアンス – 第 2 層は、ブロックチェーンに保存されているデータとクレジットカードの購入や銀行取引などの従来のデータを分析し、KYC、KYT、AML (Know Your Counterparty、Know Your Transaction、Anti-Money Laundering) の要件を満たすことでコンプライアンスに対応します ガバナンス – 第 3 層は、各顧客に適切な権限とコントロールが設定されていることを確認することでガバナンスを提供します 監査 – 第 4 層は監査要件を満たします サービス – 最後に、第 5 層はステーキング、トレーディング、分散金融との統合などのサービスとともにカストディアプリケーション自体を提供します この資産管理ソリューションを構築するにあたり、Itaú は以下の 3 つの主要な課題を克服する必要がありました： 第一に、エンタープライズグレードのワークロードに必要な回復性を備えたブロックチェーンインフラストラクチャ自体の管理を簡素化する必要がありました。これには、ブロックチェーンノードの実行と保守、ノードクライアントソフトウェアを最新の状態に保つこと、ノード間のトラフィックのロードバランシングが含まれます。 第二に、パブリックブロックチェーンノードへの送信時点までのトランザクション情報を保護し、プライベート情報の共有を防ぐ、堅牢なデータ暗号化を実装する必要がありました。 第三に、セキュリティと暗号化レイヤーを使用して、鍵の生成、保存、トランザクションの署名を保護する必要がありました。この鍵はデジタル資産を保持する顧客のウォレットへのアクセスを制御するもので、情報の漏えいや不正使用があれば顧客の資金が危険にさらされることになります。 技術的な詳細 デジタル資産カストディの急速に進化する状況において、 AWS Nitro Enclaves は重要な技術として台頭しています。Nitro Enclaves は、 Amazon Elastic Compute Cloud (Amazon EC2) インスタンス内に、暗号鍵の管理やトランザクションの署名などの機密性の高い操作に不可欠な、隔離された高度なセキュリティ環境を提供します。この隔離は、暗号鍵のセキュリティと整合性が最も重要となるデジタル資産の分野において不可欠です。Nitro Enclaves により、Itaú はデジタル資産取引に使用される鍵を外部の脅威から保護し、最高水準のセキュリティとコンプライアンスを維持することができます。 次の図は、デジタル資産のカストディ (保管) のアーキテクチャを示しています。これは、トランザクションを安全に署名し、パブリックブロックチェーンネットワークにブロードキャストするものです。 Amazon Managed Blockchain は、ブロックチェーン管理の運用面を大幅に効率化し、Bitcoin や Ethereum などの主要なネットワークに不可欠なインフラストラクチャサポートを提供します。 AMB Access は、これらのブロックチェーンノードへのフルマネージド型のゲートウェイを提供し、さまざまなブロックチェーンネットワークへの接続と対話を簡素化します。 さらに、AMB Query はブロックチェーンデータの処理効率を向上させます。 インデックス化されたブロックチェーンデータを提供し、複雑なブロックチェーンクエリをシンプルな API 呼び出しに変換することを可能にします。 このプロトコルを横断した統合アプローチにより、ブロックチェーンデータ管理に必要な複雑さと時間が削減され、全体的な効率性が向上し、コストを軽減し、リスクと運用の負担を低減します。 次の図は、AMB Access for Ethereum および Bitcoin を使用して、ブロックチェーン上の管理対象資産の入金、出金、送金を監視するためのアーキテクチャを示しています。 Nitro Enclaves と Managed Blockchain は AWS のファーストパーティサービスであり、セキュリティを維持しながら他のサービスとの連携を容易に実現できます。 Managed Blockchain とサーバーレスアプリケーションの統合により、Itaú はカスタムトランザクション管理と規制に準拠したインデックス作成ソリューションを開発することができます。 この統合により、デジタル資産管理の特定のニーズに合わせた、スケーラブルで効率的かつ安全なアプリケーションの作成が容易になります。 AWS のサーバーレスアーキテクチャにより、Itaú はサーバーインフラストラクチャの管理に手間をかけずに、デジタル資産サービスの革新と強化に注力でき、より俊敏で応答性の高い開発サイクルを実現できます。 「ブラジルは世界で最も急成長している暗号資産市場の 1 つであり、小売部門や機関投資家からの関心に加え、政府からの支援的な規制も整っています。Itaú は信頼できる規制対象の事業体として、包括的な暗号資産イニシアチブを通じてこのニーズに応えることで、最前線に立っています。AWS とのパートナーシップと AMB Access の活用により、市場投入までの時間を数か月短縮することができました。これは、急速に進化する市場における複数の事業分野での Itaú のリーダーシップ維持において、大きな戦略的意義を持っています。さらに、Amazon Managed Blockchain のスケーラビリティ、セキュリティ、信頼性により、私たちの取り組みが支えられているという安心感のもと、革新的な製品の提供に注力することができています。AMB Access のメリットを目の当たりにした後、ブロックチェーンに保存されている重要な残高や取引情報をより迅速に取得するために、AMB Query の活用を検討しています。」 – Itaú Digital Assets CIO、Caio Cesar Lopes Gomes まとめ AWS Managed Blockchain や Nitro Enclaves のような AWS テクノロジーの統合は、デジタル資産の安全かつ効率的な管理において大きな前進を表しています。 特にブラジルのような地域で暗号資産のユースケースが成長し続け、進化する中、堅牢でスケーラブル、かつ安全なデジタル資産ソリューションの必要性がますます重要になっています。 AWS は、ブロックチェーンソリューションを通じて、デジタル資産とトークン化の大きな可能性を探求しようとするビジネスに向けて強力なツールキットを提供しています。 デジタル資産への取り組みを強化したい企業の皆様には、AWS が提供するソリューションの数々をぜひ探求していただき、この変化の激しく急速に進化する領域で革新的なリーダーとしての地位を確立していただきたいと思います。 Ethereum、Bitcoin、Polygon 向けの AMB Access と AMB Query で 今すぐ始める ことができます。 本記事は、 How Itaú Bank simplified cryptocurrency custody with Amazon Managed Blockchain Access and Query を翻訳したものです。翻訳は Blockchain Prototyping Engineer の 深津颯騎 が担当しました。 著者について John Liu は AWS の Web3/Blockchain 部門のプロダクトヘッドです。 製品部門の執行役員として 13 年、ポートフォリオマネージャーとして 10 年の経験を持っています。 AWS に入社する前は、クロスチェーンテクノロジー、DeFi、NFT に重点を置いたパブリックブロックチェーンプロトコルでプロダクトおよびビジネス開発のリーダーを 4 年間務めました。 それ以前は、フィンテック企業の最高製品責任者や、様々なヘッジファンドのポートフォリオマネージャーとして金融の専門知識を積み重ねてきました。 Everton Fraga は AWS のシニア Web3/ブロックチェーンスペシャリスト SA として、世界中の企業の Web3 インフラストラクチャとアプリケーションの構築を支援しています。 以前は Ethereum Foundation でソフトウェアエンジニアを務めていました。

こんにちは ! テクニカルインストラクターの室橋です。暑い暑いと思っていたら、突然寒くなってきましたね。体調にお気をつけてお過ごしください。 さて、生成 AI があらゆる業界で流行する昨今、生成 AI を適切に理解して利用することが求められています。 AWS Skill Builder では、生成 AI をこれから利用、学習される方向けの無償コースや、より実践的に学習をしていくことが可能なサブスクリプションのコースなど、様々なトレーニングをご提供しております。本ブログの内容を参考にして、生成 AI の活用をより良く進めていただけますと幸いです。 AWS Cloud Quest の生成 AI ロールが日本語化されました ! AWS クラウドをゲームベースで学習できるコンテンツである「 AWS Cloud Quest (以下 Cloud Quest) 」はご利用いただいておりますでしょうか ? Cloud Quest は、ゲーム内で、ストーリーに沿って出題されるソリューション構築に関する課題を、実際の AWS のアカウントを使用しながら解いていく、RPG テイストのコンテンツです。ゲーム内で用意される AWS アカウントを一時的に使用できるため、サービスの使用料金などは気にせず、学習に集中してご利用いただけます。例えば、皆さんが車の運転をしたい、と思ったときには「学科試験の勉強」や「教習所での実技試験の練習」をして、免許を取って運転が出来るようになりますよね。Cloud Quest では、それと同じく「何度でも失敗できる安全な環境の中で、実際の環境を触りながら練習が可能 (もちろん、触るにあたってのサービスに関する知識の習得も可能) 」なコンテンツです。「Cloud Quest をまだ知らないよ」という方は、 こちらのブログ にて詳しくご案内しておりますので、是非ご確認ください。 Cloud Quest の中には、様々なカテゴリ (ロール) の課題が含まれています。無料でチャレンジ可能な Cloud Practitioner ロールをはじめとして、サブスクリプションにお申込みいただくことにより、 Solutions Architect、Machine Learning、Networking、Serverless Developer、Security、Data Analytics などの様々なカテゴリの課題に挑戦することができます。そしてこの度、 生成 AI ロール のすべての課題が日本語対応いたしました。生成 AI ロールには現在 27 の課題が用意されており、Amazon SageMaker や Amazon Bedrock を含めた、様々なサービスを組み合わせながら、生成 AI を利用したソリューション構築を学習することができます (生成 AI ロールのご利用には AWS Skill Builder のサブスクリプション登録が必要です) 。 ここで再度強調しておきますが、Cloud Quest では、ゲームの中で一時的に利用可能になる AWS アカウントを使用し、AWS を実際に操作しながらスキルを身につけていくことができます。このアカウントは、チャレンジが終了すると自動的に終了するアカウントのため、ご自身の AWS アカウントを使用することなく、サービスの利用料や、リソースの誤作成、削除漏れなどのミスを気にすることなく、ソリューションの構築に取り組んでいただけます。初めて利用するサービスを使ったソリューション構築には不安なところもあるかもしれませんが、Cloud Quest を使用して、より良い学習をお楽しみください。 さて、この度日本語化された課題を含め、生成 AI ロールの課題と、その中で触れられるサービスについて、一覧を掲載いたします。なお、課題や、課題中で使用するサービスには変更が発生する可能性があります。最新の情報はコンテンツ内にてご確認下さい。 2024年11月7日現在 課題名 主な利用サービス クラウドコンピューティングの基本 Amazon S3 クラウド、はじめの一歩 AWS, Amazon EC2 生成 AI の概要 AWS Lambda, Amazon API Gateway, Amazon CloudFront, Amazon SageMaker, Amazon S3 Amazon SageMaker での LLM のファインチューニング Amazon SageMaker, Amazon API Gateway, AWS Lambda, Amazon S3 LangChain のパワーを活用 AWS Lambda, Amazon API Gateway, Amazon CloudFront, Amazon SageMaker RLHF による基本モデルのファインチューニング Amazon API Gateway, Amazon DynamoDB, Amazon S3, Amazon SageMaker 基盤モデルによる 生成 AI アプリの構築 AWS Cloud 9, Amazon SageMaker ベクターデータベースによる LLM 機能の強化 Amazon SageMaker, Amazon OpenSearch Service, Amazon S3 翻訳サービスのバイアス緩和 AWS Lambda, Amazon API Gateway, Amazon CloudFront, Amazon SageMaker 生成 AI コンテンツのモデレーター AWS Lambda, Amazon API Gateway, Amazon Comprehend, Amazon Rekognition, Amazon SageMaker 生成 AI チャットアプリの会話を中程度 AWS Lambda,Amazon SageMaker, Amazon DynamoDB, AWS Elastic Container Service, AWS Elastic Container Registry, AWS Fargate LLM によるインテリジェントなビデオとオーディオの Q&A AWS Lambda, Amazon S3, Amazon SageMaker, Amazon Transcribe 生成 AI によるノーコードインサイト抽出 Amazon Kendra, Amazon S3, Amazon SageMaker 安全な環境での SageMaker のプロビジョニング Amazon SageMaker, AWS IAM, AWS Service Catalog, Amazon S3, Amazon VPC LLM のファインチューニングを自動化 Amazon SageMaker, AWS CodeBuild, AWS CodeCommit, AWS CodePipeline, AWS Step Functions, Amazon SageMaker, Amazon S3 Amazon Bedrock によるプロンプトエンジニアリング AWS Lambda, Amazon API Gateway, Amazon Bedrock, Amazon S3 LLM エージェントを使用したツールのビルドとデプロイ AWS Lambda, AWS Secrets Manager, Amazon Bedrock, Amazon Relational Database Service(RDS), Amazon S3 プロンプトエンジニアリングによるコード生成 AWS Lambda, Amazon API Gateway, Amazon Bedrock, Amazon CloudFront, Amazon CloudWatch 生成 AI によるコード品質の向上 Amazon SageMaker, Amazon CodeGuru, AWS CodeBuild, AWS Fargate, Amazon Bedrock, Amazon Elastic Container Registry ベクトルデータベースで信頼できる LLM を作成 AWS Secrets Manager, Amazon Bedrock, Amazon Relational Database Service(RDS), Amazon S3 Amazon Bedrock へのプライベートアクセスを設定する AWS Lambda, AWS PrivateLink, Amazon Bedrock, Amazon VPC 教育と学習のための生成 AI アプリ Amazon Bedrock, Amazon EC2, Amazon Elastic Container Registry, Amazon Elastic Container Service LLM を備えた最新のデータアーキテクチャ AWS Glue, Amazon Athena, Amazon Bedrock, Amazon SageMaker パーソナライズされたマーケティングのための生成 AI Amazon Bedrock, Amazon Personalize, Amazon SageMaker マルチモーダルエージェントによる財務洞察 AWS Lambda,Amazon SageMaker, Amazon Athena, Amazon Bedrock, Amazon Comprehend, Amazon DynamoDB プライベートデータを使用するサーバーレスチャットボット AWS Amplify, AWS Lambda, Amazon API Gateway, Amazon Bedrock, Amazon CloudFront AWS Q&A アプリケーションの生成 AWS Lambda, Amazon API Gateway, Amazon Bedrock, Amazon CloudFront, Amazon S3 興味のある内容が見つかりましたら、是非 Skill Builder のページ にアクセスして、 Cloud Quest の生成 AI ロール にチャレンジしてみてください。いきなりサブスクリプションはちょっと・・・と思われる方には、 無料でプレイ可能な Cloud Practitioner ロール もご用意しておりますので、まずは無料で学習を始めてみましょう ! Skill Builder 自体への登録は無料です。また、AWS アカウントをお持ちでない方も登録、利用が可能です 。 その他、生成 AI 関連コースを多数ご用意しております AWS Skill Builder では、上記の AWS Cloud Quest 以外にも、生成 AI 関連のコースを多数ご用意しております。下記にいくつか関連コースをピックアップしてみましたが、その他にも様々なコースをご用意しております。皆様の知りたい内容やニーズに合ったトレーニングを探して、是非知識を深めてみてください。 ■AWS Flash – AWS で始める生成 AI for Entry (Japanese) 日本語実写版 これから生成 AI を業務で活用していく上で、そもそも生成 AI とは何なのか、どのような技術的背景や、種類があり、業務で活用する上でのユースケースや課題を学習します。また、それらの課題に対して、AWS がどのように活用できるかを学習します。本コースは、AWS における生成 AI の学習の第一歩となる無償コースで、ユーザー登録のみでどなたでも学習いただけます。 ■AWS Flash – Introduction to Responsible AI (Japanese) このコースでは「責任ある AI」とは何か、なぜそれが重要なのかを概説します。責任ある AI とは、倫理的、透明、公正、かつ説明責任のある方法で AI を開発、デプロイ、使用することです。このコースでは、責任ある AI の主な要素と、公平性、説明可能性、プライバシー、堅牢性、ガバナンス、透明性に関するベストプラクティスの確立について説明します。このコースには、プレゼンテーション、実践例、ナレッジチェックが含まれます。本コースも無償コースのため、ユーザー登録のみでどなたでも学習いただけます。 ■Exam Prep Official Pretest: AWS Certified AI Practitioner (AIF-C01 – Japanese) AWS 認定プレテストは、本番のテストと同じ問題数を同じ制限時間で解くことができる AWS の公式コンテンツです。このプレテストは AWS の新しい認定である AWS Certified AI Practitioner (AIF-C01) の試験および試験ガイドに準拠しています。本番と同じ問題数、同じ制限時間で練習することで、自信を持って試験当日を迎えましょう。本コースのご受講にはサブスクリプションが必要です。 ■Digital Classroom – Developing Generative AI Applications on AWS (Japanese) このコースは、ファインチューニングなしで大規模な言語モデルを活用することに関心のあるソフトウェア開発者に、生成 AIを紹介することを目的としています。このコースでは、生成 AI の概要、生成 AI プロジェクトの計画、Amazon Bedrock 入門、プロンプトエンジニアリングの基礎、Amazon Bedrock と LangChain を使用して生成 AI アプリケーションを構築するためのアーキテクチャパターンについて説明します。本コースのご受講には年契約のサブスクリプションが必要です。 ※ Skill Builder のサブスクリプションについての説明に関しては こちらのページ より「AWS Skill Builder のサービスを比較」をご参照ください。 AWS Skill Builder にまだ慣れていない方は … AWS Skill Builder の利用自体が初めてで、コースの効率良い探し方を知りたい、という場合は AWS Skill Builder Learner Guide という、学習者用のガイドもご用意しております。Skill Builder の操作方法や、利用可能な様々なタイプのトレーニングについてご紹介しておりますので、利用が初めての方は是非ご参照ください。こちらは本ブログを作成している私が動画の声を当てております (笑)。 さて、季節が急に変わったようで、突然寒くなってきた今日この頃ですが、寒くなってきたからこそ ! 暖かなご自身のお部屋の中、オフィスなどで、AWS Skill Builder や AWS Cloud Quest を使ってクラウドの学習を楽しんでいただければと思います。

本ブログは 2023 年 9 月 15 日に公開された「 Responsible AI Best Practices: Promoting Responsible and Trustworthy AI Systems 」を翻訳したものとなります。 生成 AI の出現により、私たちの働き方、生活、世界との関わり方に変革をもたらす可能性と恩恵をもたらす潜在力が生まれました。しかし、このような強力な技術には責任が伴うことを認識することが重要です。 この頃、エグゼクティブの方々とお話しすると、AI を始めることに大きな熱意と興奮があります。生成 AI については特にです。しかし、彼らはよく「どうすれば責任ある安全な方法で、顧客に最高の体験を提供できるでしょうか？」と尋ねます。特に生成 AI に関して新たな課題が生じているのを目にするにつれ、これは重要な質問になります。 本ブログでは、公平性、透明性、アカウンタビリティ、プライバシーを重視した責任ある AI に関するいくつかの考慮事項とベストプラクティスをご紹介します。また、このエキサイティングな新技術を採用しイノベーションに乗り出す際に、エグゼクティブ、取締役、リーダーの方々が責任ある構築のために検討すべきステップについてもお伝えします。 生成 AI の時代における責任ある AI 生成 AI は、その増大する能力と高まるアクセシビリティにより、イノベーション、進歩、そして素晴らしい成果を達成する能力において、エキサイティングな機会を提供しています。しかし、こうした刺激的な機会に恵まれる中、潜在的なバイアスや害をよりよく理解し、対処する責任の増大が求められています。最近、AWS はホワイトハウス、政策立案者、テクノロジー組織、AI コミュニティと共に、自主的な取り組みを通じて AI の責任ある安全な使用を推進することに参加しました。これは、将来の生成 AI モデルを安全かつ責任を持って開発するために協力する必要性を認識したものです。 責任ある AI のベストプラクティスは、AI システムの責任ある、透明性のある、アカウンタビリティのある使用を促進する上で極めて重要です。AI テクノロジーが進化し、私たちの生活に浸透し続けるにつれて、責任ある AI の採用を促進するガイドラインとフレームワークを確立することが不可欠です。これらのベストプラクティスは、AI に関連する潜在的なリスク、バイアス、社会的影響に対処すると同時に、その変革の可能性を活用して個人、組織、社会に利益をもたらす必要があります。 これから説明する 9 つの責任ある AI のベストプラクティスは、技術的側面に留まらず、AI 導入の組織的および文化的側面に焦点を当てています。また組織内で責任ある AI の文化を促進するために、 リーダーシップのコミットメント 、部門横断的な協力、継続的な教育と啓発プログラムの必要性を強調しています。 人間中心のアプローチを取る 1. 多様で学際的なチームを組成する 必要な方針や戦略を決定するには、AI 専門家、データサイエンティスト、倫理学者、法律の専門家、ドメインエキスパートなど、多様な専門知識を持つチームを編成するのが最適です。チームは、AI 技術、責任ある考慮事項、法的枠組み、および AI が展開される特定のドメインについて、幅広い理解を持つべきです。この学際的なアプローチにより、AI の影響に関する全体的な視点と包括的な理解が確保されます。このチームは、あらゆる組織で責任ある AI 思考を形成し導入する上で重要な役割を果たします。 責任ある AI は単一の組織やグループ専属の管轄ではなく、AI エコシステムに関わるすべてのステークホルダーの積極的な参加と関与を必要とする、協力的な取り組みであることを覚えておくことが重要です。 2. 教育を優先する 責任ある AI の実践に関する教育は、AI 開発者やデータサイエンティストを超えて、従業員、ステークホルダー、そしてより広いコミュニティにまで及ぶ必要があります。教育プログラムは、責任ある AI の考慮事項、潜在的リスク、ベストプラクティス（責任ある AI の方針と手順を含む）についての意識を高めることに焦点を当てるべきです。バイアスの緩和、プライバシー保護、AI システムの説明可能性、AI 技術の責任ある使用に関するトレーニングの提供に特に重点を置く必要があります。 さらに、ガイドライン、ベストプラクティス文書、ケーススタディ、責任ある AI の実装例を含む内部リソースを作成することをお勧めします。これらのリソースを簡単にアクセスできるようにし、責任ある AI の進化する状況を反映するために定期的に更新します。 ここ には役立つリソースがあります。 3. AI の能力と人間の判断のバランスを取る 生成 AI の技術は、テキスト、画像、動画を含む非常にリアルなコンテンツを作成できます。しかし、AI はもっともらしく見えるが誤りを含む出力を生成することもあります。生成 AI を使用して法的文書を準備した弁護士が、存在しない判例を引用したという 報道 を見たことがあるかもしれません。このようなハルシネーション (幻覚) は、過度の最適化、データバイアス、文脈理解の限界、不十分または古いトレーニングデータなどの要因により発生する可能性があります。 AI システムはプロセスを合理化し効率を高める比類のない能力を提供しますが、人間の判断を十分に考慮する必要があります。人間は、幅広い知識、因果推論、共感、思いやり、文脈理解など、重要な資質を備えています。これは複雑で高リスクな意思決定シナリオにおいて重要となる可能性があります。AI を含むアプリケーションの責任ある使用と展開を促進するために、AI の能力と人間の判断の適切なバランスを取ることが重要です。 AI システムの決定の重要性と複雑さに基づいて、適切なレベルの人間の関与を検討する必要があります。この関与には、人間がAI システムと共に意思決定プロセスに積極的に関与する「ヒューマン・イン・ザ・ループ」、人間が AI システムの監視とコントロールを行う一方リアルタイムでの意思決定プロセスには積極的に関与しない「ヒューマン・オン・ザ・ループ」、あるいは人間が AI システムに対する最終的な意思決定権限とコントロールを持つ「ヒューマン・オーバー・ザ・ループ」のアプローチが含まれます。 バイアスを緩和し透明性を促進するための新しいメカニズムと手法を特定する 4. バイアスの緩和 生成 AI モデルは膨大な量のデータで訓練されています。基盤モデルや訓練データにバイアスが入り込むと、出力を生成する際に増幅され、永続化される可能性があります。これをそのまま放置すると、不公平、ステレオタイプの永続化、また多様性と表現が制限されることに繋がります。訓練データに偏りがあったり、サンプルのサイズに格差がある場合、または関連する特徴量に多様性が欠けている場合、バイアスが生じる可能性があります。 AI のバイアスの緩和には 2 つのアプローチが必要です。まず、組織は AI モデルの訓練中に多様で代表的なデータを優先的に使用する必要があります。幅広い視点、背景、人口統計を包む代表的なデータセットを取り入れることで、バイアスを緩和するのに役立ちます。次に、AI システムの開発と展開を通じてバイアスを緩和するための手法を実装することが重要です。これには、バイアスを緩和するためのデータの前処理や、公平でキャリブレーションされた AI 出力を促進するための後処理技術の実装が含まれます。 5. 透明性と説明可能性を促進する 生成 AI モデルは複雑で、モデルがどのように出力に至ったかを理解するのは難しい場合があります。生成 AI を使用していることをエンドユーザーいつ開示するか検討する必要があります。同様に、生成 AI モデルがどのように出力に至ったかの説明が必要な場合を考慮することが重要です。 モデルの開発と展開に関連する適切なプロセスを促進するメカニズムに焦点を当てます。これには、モデルのアーキテクチャ、入力データの要約、訓練プロセス、意思決定のメカニズムが含まれる場合があります。決定木やルールベースのシステムなどの解釈可能なアルゴリズムと手法を活用して、モデルがどのように機能するか理解を深めます。これには、特徴量の重要度分析、アテンションメカニズム、またはモデルの出力に最も影響を与える要因を強調する顕著性マップなどの手法が含まれる場合があります。 6. テスト、テスト、テスト 責任ある AI プログラムの有効性を確保するには、継続的なテストと評価が必要です。このテストには、モデル自体と、訓練に使用したデータセットを含むモデルの両方が含まれていることを確認してください。責任ある AI の実践を評価する際は、異なる人口統計グループ間の結果の格差やバイアスを測定するために公平性を評価する指標を検討してください。さらに、調査、フィードバックメカニズム、またはユーザーエクスペリエンスの評価を通じて、AI システムに対するユーザーの満足度と信頼度を測定します。責任ある AI プログラムの改善を推進するために、これらの調査結果を適切に文書化し、ステークホルダーに伝えることを検討してください。 リスクを最小限に抑えプライバシーを保護するために主要なセーフガードとガードレールを導入する 7. プライバシーに関する考慮事項を組み込む 生成 AI はモデルのトレーニングに大規模なデータセットを使用します。リスクを最小限に抑えるため、トレーニング中に匿名化技術を含む個人データの取り扱いに関するベストプラクティスを実施することが重要です。また、データの収集、処理、使用の制限など、適用されるプライバシー法や規制を考慮し、AI ガバナンスフレームワークにプライバシーに関する考慮事項を組み込む必要があります。 8. アプリケーションを特定のユースケースで定義する 生成 AI を広範囲に、あるいは際限のない自由回答形式の質問に答えるための万能ツールとして使用したくなるかもしれません。しかし、AWS のお客様には、特定のビジネスニーズに焦点を当てた価値の高いアプリケーションの特定のユースケースを定義することをお勧めします。アプリケーションのユースケースを特定することにより、アカウンタビリティとオーナーシップがより明確になり、透明性が高まり、リスクの評価と緩和が簡素化されます。また、より的を絞ったテスト、モニタリング、エラー処理も可能になります。 9. 知的財産権を保護し尊重する 生成 AI の台頭により、入力、出力、モデル自体の著作権、AI が生成したコンテンツの所有権、営業秘密の保護など、複雑な知的財産権 (IP) の課題が生じています。コンテンツを独自に作成する生成 AI モデルの自律性により、従来のクリエーターシップとオーナーシップの境界線が曖昧になっています (訳者注: 人間のクリエイターがコンテンツのオーナーであるという従来の対応関係が崩れてきていることを意味しています)。そのため、生成 AI の使用には、入力と出力の適切な使用を促進するための IP の法的な枠組みの慎重な検討が必要です。 AI システムで使用される独自のアルゴリズム、技術、プロセスを営業秘密として保護することは不可欠であり、機微情報への不正アクセスや開示を防ぐための堅固なセキュリティ対策が必要です。さらに、特定のモデルのデータフローを理解し、安全であることを確認し、入力が望まない形で第三者と共有されないようにすることが重要です。 結論 AI を責任を持って構築するための措置を講じることは、責任ある公正な成果を促進しながら AI の可能性を活用するために不可欠です。エグゼクティブは、安全で信頼できる AI を推進しながら、次の 10 年の AI イノベーションへと組織を導く機会があります。透明性、公平性、アカウンタビリティ、プライバシーの原則に従いバイアスに対処することで、信頼を構築し、社会的利益を促進し、AI システムに関連するリスクを緩和しながら、組織は生成 AI の可能性を最大限に活用できます。 Tom Godden Tom Godden は Amazon Web Services (AWS) のエンタープライズストラテジストでありエバンジェリストです。AWS に入社する前は、Foundation Medicine の最高情報責任者として、FDA が 規制する世界有数の癌ゲノムの診断、研究、患者転帰プラットフォームの構築を支援し、転帰の改善と次世代の精密医療への情報提供に貢献しました。それ以前は、オランダのアルフェン・アーン・デン・レインにある Wolters Kluwer で複数の上級技術リーダーシップの役割を務め、ヘルスケアおよびライフサイエンス業界で 17 年以上の経験を持っています。Tom はアリゾナ州立大学で学士号を取得しています。 翻訳はプロフェッショナルサービス本部の藤浦 雄大が担当しました。