TECH PLAY

AWS

AWS の技術ブログ

å…š3314ä»¶

補品の戊略は、消費者の需芁、技術、競争の組み合わせによっお圢成されたす。業界では、倉化のたびに新補品が登堎したす。倚くの堎合、最新のテクノロゞヌを掻甚した新機胜が远加され、ナヌザヌ゚クスペリ゚ンスが向䞊したす。 これにより、以前のバヌゞョンの補品の段階的な廃止も開始されたす。 その代衚的な䟋が、スマヌトフォンの新しいモデルの導入ず前モデルの段階的な廃止を特城ずする幎間リリヌスサむクルです。 新補品には需芁の実瞟がないため、組織や需芁蚈画担圓者にずっお運甚䞊の重倧な課題ずなりたす。新補品の導入にあたっお、新補品の需芁に察応し、叀い補品や埓来補品の予枬をスムヌズに枛らすために、粟床の高い予枬が必芁です。需芁の実瞟がないため、需芁蚈画担圓者は新補品ず埓来補品の類䌌点を導き出すのに勘・コツに頌りがちです。このような手動の予枬調敎は最適ではなく、非効率的で、予枬の粟床向䞊の難しさによっお耇雑になりたす。組織は、より迅速か぀効率的な需芁蚈画のための自動化された゜リュヌションを求めおいたす。 このブログ蚘事では、過去の売䞊デヌタがない新補品の導入に䌎う課題に察凊するために AWS Supply Chain Demand Planning が提䟛する゜リュヌションに぀いお詳しく説明したす。補品系統ず補品ラむフサむクルの䞡方の機胜を怜蚎し、デヌタず蚭定を行うための重芁な手順をご案内したす。 ラむフサむクルにおける段階の管理 正確性を確保するために、補品の予枬は、補品の実際に提䟛販売されおいる期間にのみ適甚させる必芁がありたす。このアプロヌチを芋萜ずすず、過剰圚庫など圚庫に関する重倧な問題が発生する可胜性がありたす。AWS Supply Chain Demand Planning を䜿甚するず、補品ラむフサむクルを定矩できるため、補品のアクティブなラむフサむクルに぀いおのみ予枬を䜜成できたす。補品の導入ず廃止のための予枬パラメヌタを蚭定するこずで、新補品の䞍足ず廃止補品の過剰圚庫のリスクを最小限に抑えるこずができたす。 段階的な販売プロファむルを持぀補品のラむフサむクルの境界を定矩するには、補品マスタヌデヌタファむルに 発売日 ( product_available_day 列), 販売終了日 ( discontinue_day 列) の日付を取り蟌むこずができたす。以䞋のスクリヌンショットは、補品マスタヌのサンプルデヌタの蚭定䟋で、フィヌルドが匷調衚瀺されおいたす。 デヌタ蚭定の詳现に぀いおは、 補品ラむフサむクル ナヌザヌガむドを参照しおください。さたざたなレガシヌシステムからデヌタを倉換およびアップロヌドする手順ず前提条件に぀いおは、以前の ブログ をご芧ください。 柔軟性を高める远加の蚭定 次に、以前の ブログ で取り䞊げた蚭定に基づいお、 発売日 ず 販売終了日 の倀を倉曎しお、特定のビゞネス芁件に合わせお調敎できたす。これは、特に戊略的な圚庫管理の目的で、暙準的な発売日や販売終了日を超えおさらなる柔軟性を求める堎合に重芁になりたす。次のスクリヌンショットに蚭定画面が瀺されおいたす。ここで、補品ラむフサむクルに合わせお、予枬開始日ず終了日を蚭定できたす。 正確な予枬のためのデヌタ収集 効果的な需芁蚈画には、蚈画担圓者が以前のモデルや代替補品の販売履歎を含めお、正確な予枬を䜜成する必芁がありたす。 補品系統 を䜿甚するず、補品ずその前のバヌゞョンや代替補品ずの間にリンクを確立できるようになりたした。このリンクには、予枬のために䜿甚する履歎の範囲を定矩するルヌルが組み蟌たれ、補品の補品履歎の代替デヌタが䜜成されたす。 以䞋の手順で 履歎がほずんどない、たたは党くない補品に察しお product_alternate ゚ンティティを利甚しお、デヌタを取り蟌むこずができたす。 alternative_product_id 列で、予枬パタヌンをコピヌする元ずなる補品を定矩できたす。予枬パタヌンのコピヌ元補品は、 product_id 列で指定されたタヌゲット補品にコピヌされたす。 alternate_product_qty は、代替補品の過去の販売実瞟に割り圓おられた重みを瀺しおいたす。有効期間は、考慮する代替補品の過去の販売実瞟の期間を瀺しおいたす。 product_alternate ゚ンティティを蚭定したサンプルデヌタを次のスクリヌンショットに瀺したす。匷調衚瀺されたフィヌルドは、代替補品ずタヌゲット補品に぀いお耇補できる履歎の範囲を瀺しおいたす。 デヌタセットアップの詳现に぀いおは、 補品系統 のナヌザヌガむドを参照しおください。 需芁蚈画を実行に移す デヌタを取り蟌み、予枬開始ず終了の蚭定を行った埌、アプリケヌションは需芁蚈画を生成したす。画面䞊では、補品ラむフサむクルフェヌズ NPI ( New Product Introduction新補品の導入 ) たたは EOL ( End of Life廃止 ) が状況確認のために衚瀺されたす。予枬に補品系統の履歎が組み蟌たれおいる堎合は、透明性のために、その旚が泚釈ずしお远蚘衚瀺されたす。 たずめ 補品系統ず補品ラむフサむクルの機胜は、重芁なプロセスを自動化し、予枬の粟床を向䞊させ、手動による調敎の必芁性を䜎枛させたす。この掗緎されたアプロヌチは、業務効率を向䞊させ、新補品の先進的なサプラむチェヌン管理を容易にしたす。 AWS Supply Chain は、前払いのラむセンス料や長期契玄なしで利甚できたす。ニヌズに合わせお拡匵できる゜リュヌションを提䟛したす。そしお、AWS Supply Chain Demand Planning はすべおのお客様が利甚できたす。詳现ず開始の仕方に぀いおは、 AWS Supply Chain &nbsp;をご芧ください。たた、むンスタンスの䜜成、デヌタの取り蟌み、ナヌザヌむンタヌフェヌスの操䜜、むンサむトの䜜成、需芁蚈画の生成に関する技術的な抂芁を自分のペヌスで確認できる AWS Workshop Studio &nbsp;もご芧ください。 本ブログは゜リュヌションアヌキテクトの氎野 貎博が翻蚳したした。原文は こちら 。 著者に぀いお Vikram Balasubramanian は、サプラむチェヌンのシニア・゜リュヌション・アヌキテクトです。Vikram は、サプラむチェヌンの経営幹郚ず緊密に連携しお、圌らの目暙や問題点を理解し、解決策の芳点からベストプラクティスず連携させおいたす。Vikram は17幎以䞊にわたり、サプラむチェヌン分野のさたざたな業皮のフォヌチュン500䌁業で働いおきたした。Vikram は、パデュヌ倧孊でむンダストリアル゚ンゞニアリングの修士号を取埗しおいたす。ノィクラムはノヌスダラス地域を拠点ずしおいたす。 Harini Kidambi は AWS Supply Chain Demand Planning のプロダクトマネヌゞャヌです。 BlueYonderずアマゟンりェブサヌビス (AWS) の䞡方でサプラむチェヌンず分析の分野で5幎以䞊の経隓がありたす。 圌女は AWS Supply Chain のお客様ず協力しお、お客様のビゞネスニヌズを理解し、技術゜リュヌションずナヌザヌ゚クスペリ゚ンスを調敎し、最倧のビゞネス䟡倀を実珟できるよう支揎しおいたす。 <!-- '"` -->
チヌムを線成しお優れた゜フトりェア補品を提䟛するには、さたざたな方法がありたす。 Amazon の Two-Pizza チヌム のように、補品に関する゚ンドツヌ゚ンドの責任を単䞀のチヌムに割り圓おおいる䌁業もあれば、耇数のチヌムがむンフラストラクチャ (たたはプラットフォヌム) チヌムずアプリケヌション開発チヌムの間で責任を分担しおいる䌁業もありたす。この蚘事では、 AWS Cloud Development Kit (CDK) を掻甚しお Split-Team アプロヌチの堎合に、コラボレヌションの効率をどのように改善できるかに぀いおのガむダンスを提䟛したす。 AWS CDK は、クラりドアプリケヌションリ゜ヌスを定矩するためのオヌプン゜ヌスの゜フトりェア開発フレヌムワヌクです。そのためには、TypeScript、Python、Java、C#、Go などの䜿い慣れたプログラミング蚀語を䜿甚したす。これにより、埓来のむンフラストラクチャでは AWS CloudFormation や HashiCorp Terraform などの IaC ツヌルで衚珟されおきたむンフラストラクチャを定矩するコヌドず、アプリケヌションをバンドル、コンパむル、パッケヌゞングするコヌドを組み合わせるこずができたす。 これは、補品に関連するすべおのコヌドを 1 か所ず 1 ぀のプログラミング蚀語にたずめるこずができるため、゚ンドツヌ゚ンドの責任を持぀自埋的なチヌムに最適です。1 ぀のチヌムでむンフラストラクチャコヌドずアプリケヌションコヌドを別のリポゞトリに分ける必芁はありたせんが、チヌムが分割されるモデルに぀いおはどうでしょうか。 倧䌁業は通垞、むンフラストラクチャ (たたはプラットフォヌム) チヌムずアプリケヌション開発チヌムの間で責任を分担したす。この蚘事では耇数のチヌムが関䞎しおいる堎合でも、AWS CDK を䜿甚しおチヌムの独立性ず俊敏性を確保する方法を芋おいきたす。チヌムごずに異なる責任ず各チヌムが䜜成した成果物を芋おいきたす。たた、チヌムがスムヌズに連携する方法に぀いおも説明したす。 このブログ蚘事は、AWS CDK ずその抂念に関する基本的な知識があるこずを前提ずしおいたす。さらに、むベント駆動型アヌキテクチャに関する非垞に高いレベルの理解も必芁です。 チヌムトポロゞ たず、さたざたなチヌムトポロゞず各チヌムの責任に぀いお簡単に芋おみたしょう。 One-Team アプロヌチ このブログ蚘事では、以降で説明する Split-Team アプロヌチに焊点を圓おたす。ただし、「1 ぀のチヌムがアプリケヌションを゚ンドツヌ゚ンドで所有する」ずいう “One-Team” アプロヌチが䜕を意味するのかを理解しおおくず圹に立ちたす。この郚門の枠を超えたチヌムは、次に実装する機胜、䜿甚するテクノロゞヌ、そしおその結果埗られるむンフラストラクチャずアプリケヌションコヌドの構築方法ずデプロむ方法を独自に決定したす。チヌムの責任は、むンフラストラクチャ、アプリケヌションコヌド、デプロむメント、開発したサヌビスの運甚です。 このような環境で AWS CDK アプリケヌションを構築する方法に興味がある堎合は、Alex Pulver のブログ蚘事 “ Recommended AWS CDK project structure for Python applications ” を参照しおください。 Split-Teamアプロヌチ 実際には、アプリケヌション開発ずむンフラストラクチャの開発ず展開を別々のチヌムに分けるお客様が倚く居たす。 むンフラストラクチャチヌム ここで蚀及するむンフラストラクチャチヌムは、プラットフォヌムチヌムたたは運甚チヌムずも呌ばれたす。むンフラストラクチャチヌムは、他のチヌムがアプリケヌションを実行するために䜿甚する共有のむンフラストラクチャを蚭定、デプロむ、運甚したす。これには、 Amazon SQS キュヌ、 Amazon Elastic Container Service (Amazon ECS) クラスタヌ、新しいバヌゞョンのアプリケヌションを本番環境に導入するために䜿甚される CI/CD パむプラむンなどがありたす。 アプリケヌションチヌムが開発したアプリケヌションパッケヌゞを AWS にデプロむしお実行させるこず、およびアプリケヌションの運甚サポヌトを提䟛する事がむンフラストラクチャチヌムの責任です。 アプリケヌションチヌム 埓来、アプリケヌションチヌムはアプリケヌションのパッケヌゞ (JAR ファむルや npm パッケヌゞなど) を提䟛するだけで、AWS でのデプロむ、蚭定、実行の方法を考えるのはむンフラストラクチャチヌムの責任でした。しかしながら、むンフラストラクチャチヌムは耇数のチヌムが開発したさたざたなアプリケヌションをサポヌトしなければならないため、このような埓来の手法ではボトルネックになるこずがよくありたす。さらに、むンフラストラクチャチヌムは倚くの堎合、それらのアプリケヌションの内郚構造に぀いおほずんど知識がありたせん。これはしばしば、サヌビスのために最適化された遞択肢を提䟛できないこずに぀ながりたす。むンフラストラクチャチヌムが提䟛するサヌビス実行のための遞択肢が十分でない堎合、アプリケヌションチヌムはワヌクロヌドに最適化されたオプションを䜿甚できたせん。 そのため、このブログ蚘事では、アプリケヌションチヌムの埓来の責任を拡匵しおいたす。チヌムはアプリケヌションを提䟛し、さらにアプリケヌションの実行に必芁なむンフラストラクチャの説明も提䟛したす。「必芁なむンフラストラクチャ」ずは、アプリケヌションの実行に䜿甚される AWS サヌビスのこずです。このむンフラストラクチャの説明は、むンフラストラクチャチヌムが理解できる圢匏で蚘述する必芁がありたす。 このような責任範囲の倉化によっおアプリケヌションチヌムに远加のタスクが远加されるこずは理解しおいたすが、長期的には努力する䟡倀があるず考えおいたす。これが DevOps の抂念を組織に導入する出発点になり埗たす。ただし、このブログ蚘事で説明されおいる抂念は、アプリケヌションチヌムにこの責任を課したくない堎合にも、ただ有効です。誰が䜕を提䟛するのかずいう境界線が、むンフラストラクチャチヌムの方ぞ曎に移るだけです。 このアプロヌチを成功させるには、アプリケヌションの匕き枡し方、むンフラストラクチャの定矩、本番環境ぞの導入方法に぀いお、2 ぀のチヌムが共通の圢匏に぀いお合意する必芁がありたす。Construct ずいうコンセプトを備えた AWS CDK は、そのための圹立぀手段を提䟛したす。 入門: AWS CDK Construct このセクションでは、コヌドを構築するために AWS CDK が提䟛する抂念ず、これらの抂念を䜿甚しお CDK プロゞェクトをチヌムトポロゞにフィットさせる方法を芋おいきたす。 Constructs Construct は AWS CDK アプリケヌションの基本的な構成芁玠です。AWS CDK アプリケヌションは耇数の Construct で構成されおおり、最終的には AWS CloudFormation によっおデプロむされる方法ず内容が定矩されたす。 AWS CDK には、AWS サヌビスをデプロむするための Construct が付属しおいたす。ただし、䜿甚できるのは AWS CDK によっお提䟛される Construct だけに限定されないこずを理解しおおくこずが重芁です。AWS CDK の真の利点は、デフォルトの Construct の䞊に独自の抜象化を䜜成しお、特定の芁件を満たす゜リュヌションを䜜成できるこずです。これを実珟するには、独自のカスタム Construct を䜜成、公開、䜿甚する必芁がありたす。特定の芁件をコヌド化し、抜象化レベルを高め、他のチヌムがその Construct を利甚したり䜿甚したりできるようにしたす。 以降ではカスタム Construct を䜿甚しお、アプリケヌションずむンフラストラクチャチヌムの責任を分担したす。アプリケヌションチヌムは、アプリケヌションコヌドの実行に必芁なむンフラストラクチャずその 蚭定を蚘述した Construct をリリヌスしたす。むンフラストラクチャチヌムはこの Construct を䜿甚しお AWS にワヌクロヌドをデプロむしお運甚したす。 Split-Team で AWS CDK を䜿甚する方法 次は、AWS CDK を䜿甚しおアプリケヌションチヌムずむンフラストラクチャチヌムの間で責任を分担する方法を芋おみたしょう。サンプルシナリオを玹介し、このシナリオにおける各チヌムの責任を説明したす。 シナリオ 架空のアプリケヌション開発チヌムが AWS Lambda 関数を䜜成し、AWS にデプロむしたす。 Amazon SQS キュヌ内のメッセヌゞがこの関数を呌び出したす。関数が泚文を凊理し (この䟋では詳现な意味は関係ありたせん)、各泚文はキュヌ内のメッセヌゞによっお衚されるずしたす。 アプリケヌション開発チヌムは AWS Lambda 関数を柔軟に䜜成できたす。どのランタむムを䜿甚するか、どのくらいのメモリを蚭定するかを決定できたす。関数が凊理する SQS キュヌは、むンフラストラクチャチヌムによっお䜜成されたす。アプリケヌションチヌムは、メッセヌゞがどのようにキュヌに入るのかを知る必芁はありたせん。 これで、チヌムごずに実装䟋を芋おいきたしょう。 アプリケヌションチヌム アプリケヌションチヌムは、アプリケヌションコヌド (JAR ファむルや npm モゞュヌルなど) ず、アプリケヌションの実行に必芁なむンフラストラクチャ (AWS Lambda 関数ずその蚭定) を AWS にデプロむするための AWS CDK Construct ずいう 2 ぀の異なる成果物を担圓したす。 これらの成果物のラむフサむクルは異なりたす。アプリケヌションコヌドは、実行されるむンフラストラクチャよりも頻繁に倉曎されたす。だからこそ、成果物は別々にしおおきたいのです。これにより、それぞれの成果物は、倉曎された堎合のみ独自のペヌスでリリヌスできたす。 このような個別のラむフサむクルを実珟するためには、アプリケヌションのリリヌスは CDK Construct のリリヌスから完党に独立しおいる必芁があるこずに泚意するこずが重芁です。これは、CDK Construct 内でアプリケヌションコヌドをビルドしおパッケヌゞ化する暙準的な CDK の方法ず比范しお、チヌムを分けるずいう私たちのアプロヌチに合っおいたす。 しかし、このサンプル゜リュヌションではどのように実珟するのでしょうかチヌムは CDK に関係のないアプリケヌションを構築しお公開したす。 この Construct を含む CDK スタックを合成するず、指定されたバヌゞョン番号のビルド枈みアヌティファクトを AWS CodeArtifact からダりンロヌドし、それを䜿甚しお Lambda 関数のための zip ファむルを䜜成したす。CDK の合成の間は、アプリケヌションパッケヌゞのビルドは行われたせん。 Constructずアプリケヌションコヌドを分離したので、CodeArtifact から取埗するアプリケヌションコヌドの特定のバヌゞョンを CDK Construct に䌝える方法を芋぀ける必芁がありたす。この情報をコンストラクタヌのプロパティを介しおConstructに枡したす。 アプリケヌションチヌムの責任範囲倖のむンフラストラクチャぞの䟝存関係に぀いおは、䟝存性泚入のパタヌンに埓いたす。共有 VPC や Amazon SQS キュヌなどの䟝存関係は、むンフラストラクチャチヌムから Construct に枡されたす。 䟋を芋おみたしょう。SQS キュヌぞの倖郚䟝存関係を、目的の appPackageVersion ずその CodeArtifact の詳现ずずもに枡したす。 export interface OrderProcessingAppConstructProps { queue: aws_sqs.Queue, appPackageVersion: string, codeArtifactDetails: { account: string, repository: string, domain: string } } export class OrderProcessingAppConstruct extends Construct { constructor(scope: Construct, id: string, props: OrderProcessingAppConstructProps) { super(scope, id); const lambdaFunction = new lambda.Function(this, 'OrderProcessingLambda', { code: lambda.Code.fromDockerBuild(path.join(__dirname, '..', 'bundling'), { buildArgs: { 'PACKAGE_VERSION' : props.appPackageVersion, 'CODE_ARTIFACT_ACCOUNT' : props.codeArtifactDetails.account, 'CODE_ARTIFACT_REPOSITORY' : props.codeArtifactDetails.repository, 'CODE_ARTIFACT_DOMAIN' : props.codeArtifactDetails.domain } }), runtime: lambda.Runtime.NODEJS_16_X, handler: 'node_modules/order-processing-app/dist/index.lambdaHandler' }); const eventSource = new SqsEventSource(props.queue); lambdaFunction.addEventSource(eventSource); } } lambda.Code.fromDockerBuild(...) ずいうコヌドに泚意しおください。ここでは AWS CDK の機胜を䜿甚しお、Docker ビルドを介しお Lambda 関数のコヌドをバンドルしおいたす。提䟛された Dockerfile 内で発生する凊理は以䞋のものだけです。 事前ビルド枈みのアプリケヌションコヌドのパッケヌゞが栌玍されおいる AWS CodeArtifact リポゞトリぞのログむン アプリケヌションコヌドのアヌティファクトを AWS CodeArtifact (この堎合は npm 経由) からダりンロヌドしおむンストヌルするこず AWS CDK アセットをビルド、バンドル、デプロむする方法に぀いお詳しく知りたい堎合は、 Cory Hall による蚘事 “ Building, bundling, and deploying applications with the AWS CDK ” を匷くお勧めしたす。ここで説明しおいる内容よりもずっず詳现に説明されおいたす。 Dockerfile の䟋を芋るず、䞊蚘の 2 ぀のステップが分かりたす。 FROM public.ecr.aws/sam/build-nodejs16.x:latest ARG PACKAGE_VERSION ARG CODE_ARTIFACT_AWS_REGION ARG CODE_ARTIFACT_ACCOUNT ARG CODE_ARTIFACT_REPOSITORY RUN aws codeartifact login --tool npm --repository $CODE_ARTIFACT_REPOSITORY --domain $CODE_ARTIFACT_DOMAIN --domain-owner $CODE_ARTIFACT_ACCOUNT --region $CODE_ARTIFACT_AWS_REGION RUN npm install order-processing-app@$PACKAGE_VERSION --prefix /asset 以䞋の点にご泚意ください。 npm のむンストヌルコマンドで --prefix /asset を䜿甚したす。これにより、CDK がコンテナヌにマりントするフォルダヌに䟝存関係をむンストヌルするよう npm に指瀺したす。Docker build の出力に含たれるはずのすべおのファむルをここに配眮する必芁がありたす。 aws codeartifact login を続行するには、適切な暩限を持぀認蚌情報が必芁です。これを AWS CodeBuild や CDK Pipelines 内で実行する堎合は、䜿甚するロヌルに適切なポリシヌがアタッチされおいるこずを確認する必芁がありたす。 むンフラストラクチャチヌム むンフラストラクチャチヌムは、アプリケヌションチヌムが公開した AWS CDK Constructを䜿甚したす。圌らはアプリケヌション党䜓を構成する AWS CDK スタックを所有しおいたす。おそらく、これはむンフラストラクチャチヌムが所有する耇数のスタックのうちの 1 ぀に過ぎないでしょう。他のスタックは、共有むンフラストラクチャ (VPC、ネットワヌクなど) や他のアプリケヌションを䜜成する可胜性がありたす。 アプリケヌションのスタック内では、むンフラストラクチャチヌムがアプリケヌションチヌムの Construct を利甚しおむンスタンス化し、䟝存関係を解決しおから、適切ず思われる手段 (AWS CodePipelines、GitHub Actions、たたはその他の CI/CD ツヌル) でスタックをデプロむしたす。 アプリケヌションチヌムの Construct ぞの䟝存関係は、むンフラストラクチャチヌムの CDK アプリの package.json に衚れおいたす。 { "name": "order-processing-infra-app", ... "dependencies": { ... "order-app-construct" : "1.1.0", ... } ... } 䜜成された CDK スタックには、アプリケヌションパッケヌゞの䟝存バヌゞョンず、むンフラストラクチャチヌムが远加情報䜿甚するキュヌなどを枡す方法が衚瀺されたす。 export class OrderProcessingInfraStack extends cdk.Stack { constructor(scope: Construct, id: string, props?: cdk.StackProps) { super(scope, id, props); const orderProcessingQueue = new Queue(this, 'order-processing-queue'); new OrderProcessingAppConstruct(this, 'order-processing-app', { appPackageVersion: "2.0.36", queue: orderProcessingQueue, codeArtifactDetails: { ... } }); } } 新しいリリヌスの普及 これで、各チヌムが所有するアヌティファクトずずもに、各チヌムの責任を敎理できるようになりたした。しかし、アプリケヌションチヌムが行った倉曎を本番環境に反映するにはどうすればよいでしょうか。あるいは、アプリケヌションチヌムの最新バヌゞョンのアヌティファクトを䜿甚しお、むンフラストラクチャチヌムの CI/CD パむプラむンを呌び出すにはどうすればよいでしょうか。 アプリケヌションたたは AWS CDK Construct のいずれかの新しいバヌゞョンが公開されるたびに、むンフラストラクチャチヌムのアプリケヌションチヌムのアヌティファクトぞの䟝存関係を曎新する必芁がありたす。䟝存関係が曎新されたら、リリヌスパむプラむンを開始できたす。 1 ぀のアプロヌチは、 Amazon EventBridge 経由で AWS CodeArtifact によっお発行されたむベントを受け取るこずです。リリヌスごずに、AWS CodeArtifact は Amazon EventBridge にむベントを発行したす。そのむベントのペむロヌドから新しいリリヌスのバヌゞョン番号を抜出し、CDK Construct ぞの䟝存関係 (䟋えば CDK アプリケヌションの package.json) を曎新するワヌクフロヌを開始するか、むンフラストラクチャチヌムが利甚する Construct に枡す appPackageVersion を曎新するワヌクフロヌを開始できたす。 新しいアプリケヌションのリリヌスがシステム内を流れる仕組みは次のずおりです。 図 1 — アプリケヌションパッケヌゞがリリヌスされるず、むンフラストラクチャチヌムの CDK スタックが倉曎され、デプロむされる アプリケヌションチヌムは新しいアプリケヌションバヌゞョンを AWS CodeArtifact に公開したす。 CodeArtifact は Amazon EventBridge でむベントをトリガヌしたす。 むンフラストラクチャチヌムが発行されたむベントを受け取りたす。 むンフラストラクチャチヌムは、最新の appPackageVersion が含たれるように CDK スタックを曎新したす。 むンフラストラクチャチヌムの CDK スタックがデプロむされたす。 図 2 – アプリケヌションチヌムのCDK Constructの倉曎をトリガヌにむンフラストラクチャチヌムのCDK スタックが倉曎され、デプロむされる。 そしお、CDK Constructの新しいバヌゞョンのリリヌスも非垞によく䌌おいたす。 アプリケヌションチヌムは新しい CDK Construct を AWS CodeArtifact に公開したす。 CodeArtifact は Amazon EventBridge でむベントをトリガヌしたす。 むンフラストラクチャチヌムが発行されたむベントを受け取りたす。 むンフラストラクチャチヌムは䟝存関係を最新の CDK Construct に曎新したす。 むンフラストラクチャチヌムの CDK スタックがデプロむされたす。 このようなワヌクフロヌがどのようになるかに぀いおは詳しく説明したせん。なぜなら、各チヌム向けに高床にカスタマむズされおいる可胜性が高いからです (コヌドリポゞトリや CI/CD に䜿甚されるさたざたなツヌルを考えおみおください)。ただし、これをどのように実珟できるかに぀いおのアむデアをいく぀か玹介したす。 CDK Construct 䟝存関係の曎新 CDK Construct の䟝存関係バヌゞョンを曎新するには、むンフラストラクチャチヌムの package.json (たたは pom.xml のような䟝存関係の远跡に䜿甚される他のファむル) を曎新する必芁がありたす。゜ヌスコヌドをチェックアりトしお npm install sample-app-construct@NEW_VERSION (NEW_VERSION は EventBridge むベントペむロヌドから読み取られた倀) のようなコマンドを発行するオヌトメヌションを構築できたす。次に、この倉曎をメむンブランチに組み蟌むためのプルリク゚ストを自動的に䜜成したす。これがどのようなものかに぀いおのサンプルは、ブログ蚘事 “ Keeping up with your dependencies: building a feedback loop for shared librares ” を参照しおください。 appPackageVersion の曎新 むンフラストラクチャチヌムの CDK スタック内で䜿甚されおいる appPackageVersion を曎新するには、䞊蚘ず同じ方法に埓うか、CDK の機胜を䜿甚しお AWS Systems Manager (SSM) Parameter Store から読み取るこずができたす。そうすれば、 appPackageVersion の倀を゜ヌス管理に入力するのではなく、SSM パラメヌタストアから倀を読み取るこずになりたす。その方法に぀いおは、AWS CDK のドキュメントに Systems Manager Parameter Store から倀を取埗する ずいうものがありたす。次に、 パラメヌタが倉曎されたむベント に基づいおむンフラストラクチャチヌムのパむプラむンを開始したす。 垞に䜕がデプロむされおいるかを明確に把握し、CloudFormation で䜿甚されおいるパラメヌタヌ倀を確認するために、 合成時の Systems Manager の倀を読み取り で説明されおいるオプションを䜿甚するこずをおすすめしたす。 結論 耇数のチヌム (この堎合はアプリケヌション開発チヌムずむンフラストラクチャチヌム) が協力しおアプリケヌションの新しいバヌゞョンを本番環境に導入する堎合でも、AWS Cloud Development Kit ずその Construct のコンセプトがチヌムの独立性ず俊敏性を確保するのにどのように圹立぀かを芋おきたした。そのために、アプリケヌションチヌムにアプリケヌションコヌドだけでなく、アプリケヌションを実行するために䜿甚するむンフラストラクチャの郚分の管理も任せたした。すべおの共有むンフラストラクチャず最終的なデプロむメントはむンフラストラクチャチヌムが管理し、アプリケヌションチヌムの Construct はこの䞭で利甚されるため、ここたで芋おきた Split-Team アプロヌチず合臎しおいたす。 著者 ゜リュヌションアヌキテクトずしお、Jörg はドむツの補造業のお客様ず協力しおいたす。2019 幎に AWS に加入する前は、開発者、DevOps ゚ンゞニア、SRE など、さたざたな圹割を担圓しおいたした。そのため、Jörg はビルドず自動化のこずが倧奜きです。AWS Cloud Development Kit に恋をしたのです。 Mo は2020幎にテクニカルアカりントマネヌゞャヌずしお AWS に加入し、7幎間の AWS DevOps の実践経隓ず6幎間のシステム運甚管理者ずしおの経隓を持っおいたす。 AWS 内の2぀のコミュニティ(クラりド運甚ずビルダヌ゚クスペリ゚ンス)のメンバヌであり、CI/CD パむプラむンず AI for DevOps を䜿っお、ビゞネスニヌズに合った適切な゜リュヌションを持っおいるこずを確認するために、お客様をサポヌトするこずに焊点を圓おおいたす。 本蚘事は、 Joerg Woehrle ず Mohamed Othman による “Improve collaboration between teams by using AWS CDK constructs” を翻蚳したものです。翻蚳は゜リュヌションアヌキテクトの平川 倧暹が担圓したした。
11月26日、 Amazon Detective は、時間の節玄ずセキュリティ運甚の匷化に圹立぀ 4 ぀の新機胜を远加したした。 1 ぀目は、 IAM の Detective 調査 です。これは、セキュリティアナリストが、ナヌザヌやロヌルなどの AWS Identity and Access Management (IAM) オブゞェクトを調査しお 䟵害の痕跡 (IOC) がないかを確認し、 MITRE ATT&amp;CK フレヌムワヌク に含たれる既知の戊術に関係しおいる可胜性があるかどうかを刀断するのに圹立ちたす。これらの自動調査は、 AWS マネゞメントコン゜ヌル の [Detective] セクションで利甚でき、新しい API を通じお分析やむンシデント察応を自動化したり、 AWS Security Hub や SIEM などの他のシステムに怜出結果を送信できたす。 2 ぀目は、 Detective 怜出結果グルヌプの芁玄 です。これは、生成系人工知胜 (AI) を䜿甚しお調査を゚ンリッチ化したす。怜出結果グルヌプを自動的に分析し、自然蚀語でむンサむトを提䟛するこずで、セキュリティ調査を加速したす。むベントを開始したアクティビティずその圱響 (存圚する堎合) の説明など、関連する芁玄されたむンサむトを含む怜出結果グルヌプの分析に基づいお、平易な蚀葉でタむトルを提䟛したす。怜出結果グルヌプの芁玄は、耇数の AWS デヌタ゜ヌスにわたっお構築された怜出結果グルヌプの分析ずいう面倒な䜜業を凊理するため、異垞なアクティビティや疑わしいアクティビティをより簡単か぀迅速に調査できたす。 この蚘事で説明するこれらの 2 ぀の新機胜に加えお、Detective は、ここでは取り䞊げおいない別の 2 ぀の機胜を远加しおいたす。 Detective は、 Amazon GuardDuty ECS Runtime Monitoring によっお怜出される脅嚁に぀いおのセキュリティ調査をサポヌトするようになりたした。 Detective は Amazon Security Lake ず統合し、セキュリティアナリストは Security Lake に保存されおいるログをク゚リおよび取埗できるようになりたした。 Amazon Detective を利甚するず、セキュリティに関する怜出結果や疑わしいアクティビティの根本原因の分析、調査、および迅速な特定がより容易になりたす。Detective は、機械孊習 (ML)、統蚈分析、グラフ理論を掻甚しお、セキュリティ調査を芖芚化し、より迅速か぀効率的に実斜できるようサポヌトしたす。Detective は、 AWS CloudTrail ログ、 Amazon Virtual Private Cloud (Amazon VPC) フロヌログ 、 Amazon GuardDuty 怜出結果、 Amazon Elastic Kubernetes Service (Amazon EKS) 監査ログ、AWS セキュリティ怜出結果などの゜ヌスからログデヌタずむベントを自動的に収集したす。Detective は、分析ず調査のために最倧 1 幎分の集蚈デヌタを保持したす。 クラりドセキュリティの専門家は、脅嚁ハンティングずむンシデント調査に、倧量のリ゜ヌスず長い時間を芁するず感じるこずがよくありたす。さたざたな゜ヌスからデヌタを手動で収集しお分析し、朜圚的な IAM 関連の脅嚁を特定する必芁がありたす。IAM の調査は、クラりド蚱可ず認蚌情報が動的であるこずにより、特に困難です。アナリストは、分散しおいる可胜性のある監査ログ、゚ンタむトルメントレポヌト、CloudTrail むベントなど、さたざたなシステムから埗られたデヌタをたずめる必芁がありたす。クラりドの蚱可は、倚くの堎合、オンデマンドで、たたはオヌトメヌションスクリプトを通じお付䞎されるため、認可の倉曎を远跡するのが困難です。アクティビティのタむムラむンを再構築し、䞍芏則な゚ンタむトルメントを特定するには、その耇雑さに応じお、数時間から数日かかる堎合がありたす。レガシヌシステムに぀いおの可芖性が限られ、ログが䞍完党である堎合には、IAM の調査がさらに耇雑になり、䞍正アクセスを明確に把握するこずが困難になりたす。 IAM の Detective 調査は怜出結果に優先順䜍を付けお、極めお重倧で疑わしい問題のみを明らかにするため、セキュリティアナリストは高床な調査に集䞭できたす。機械孊習ず脅嚁むンテリゞェンスを䜿甚しお、AWS 環境内のリ゜ヌスを自動的に分析し、朜圚的な䟵害の痕跡や疑わしいアクティビティを特定したす。これにより、アナリストはパタヌンを特定し、どのリ゜ヌスがセキュリティむベントの圱響を受けるかを把握できるため、脅嚁の特定ず緩和に察するプロアクティブなアプロヌチを採るこずができたす。 調査はコン゜ヌルで利甚できるだけではありたせん。新しい StartInvestigation API を䜿甚しお、修埩ワヌクフロヌを自動化したり、関係するすべおの IP や䟵害された AWS リ゜ヌスに関する情報を収集したりできたす。たた、API を䜿甚しおデヌタを他のシステムにフィヌドし、セキュリティ䜓制の統合ビュヌを構築するこずもできたす。 怜出結果グルヌプの芁玄は、環境党䜓のセキュリティむベント間の関係を評䟡し、関連する脅嚁、䟵害されたリ゜ヌス、悪意のある攻撃者の行動を結び぀けるむンサむトを自然蚀語で提䟛したす。この説明は、個々のサヌビスレポヌトにずどたらないセキュリティむンシデントの包括的な抂芁をセキュリティアナリストに提䟛したす。耇数の゜ヌスから埗られたデヌタをグルヌプ化およびコンテキスト化するこずにより、怜出結果グルヌプの芁玄は、むンサむトが分離されおいる堎合には気付かれない可胜性のある脅嚁を特定したす。このアプロヌチにより、調査ず察応の速床ず効率が向䞊したす。セキュリティアナリストは、怜出結果グルヌプの芁玄を利甚しお、セキュリティむベントずその盞互関係を総合的に理解できたす。これは、封じ蟌めず修埩に関しお、十分な情報に基づいた意思決定を䞋すのに圹立ちたす。 これらの 2 ぀の機胜がどのように動䜜するのかを芋おみたしょう このデモでは、 コン゜ヌルの [Detective] セクション にある IAM の Detective 調査から始めたす。Detective ダッシュボヌドには、実行された調査の数ず、疑わしいアクティビティに関䞎した IAM ロヌルおよびナヌザヌの数が衚瀺されたす。 そこから、調査のリストを詳しく確認したす。 そしお、特定の調査を 1 ぀遞択しお詳现を把握したす。最初に芁玄がありたす。 ペヌゞを䞋方向にスクロヌルしお、どの IP アドレスが関䞎しおいるか、およびどのような皮類のアクティビティに関䞎しおいるかを確認したす。この䟋は、物理的な䞍可胜性を瀺しおいたす。短時間で、オヌストラリアず日本ずいう 2 ぀の異なる堎所から同じ IP が䜿甚されたした。 私の意芋では、このペヌゞで最も興味深いのは、 戊術、技術、手順 (TTP) に察するマッピングです。すべおの TTP は重倧床に埓っお分類されたす。コン゜ヌルには、䜿甚された技術ずアクションが衚瀺されたす。特定の TTP を遞択するず、右偎のペむンに詳现が衚瀺されたす。この䟋では、IAM ロヌルの信頌できるポリシヌを倉曎しようずしお倱敗した 2,000 回を超える詊行に、疑わしい IP アドレスが関䞎しおいたす。 最埌に、 [指暙] タブに移動しお指暙のリストを確認したす。 たた、怜出結果グルヌプの芁玄は、 [怜出結果グルヌプ] で確認できたす。怜出結果グルヌプを遞択しお、怜出結果ず関連するリスクに぀いおの自然蚀語での説明を確認したす。 料金ず利甚可胜なリヌゞョン これらの 2 ぀の新機胜は珟圚、すべおの AWS のお客様にご利甚いただけたす。 IAM の Detective 調査は、 Detective が利甚可胜な すべおの AWS リヌゞョンでご利甚いただけたす。怜出結果グルヌプの芁玄は、米囜東郚 (バヌゞニア北郚)、米囜西郚 (オレゎン)、アゞアパシフィック (シンガポヌル、東京)、欧州 (フランクフルト) の 5 ぀の AWS リヌゞョンでご利甚いただけたす。 Amazon Detective に関するすべおの詳现を確認し、今すぐ䜿甚を開始したしょう 。 — seb 原文は こちら です。
むントロダクション Karpenter は AWS によっお開発された Kubernetes のノヌドラむフサむクルマネヌゞャヌで、クラスタヌのノヌドの蚭定を最小化するこずを目的ずしお、2021 幎にリリヌスされたした。この 1 幎で、GitHub の Star 数は 4900 を超え、200 人以䞊のコントリビュヌタヌによるコヌドがマヌゞされるなど、玠晎らしい成長を遂げおいたす。珟圚、Kubernetes Autoscaling Special Interest Group の䞀郚ずしお、Cloud Native Computing Foundation (CNCF) に寄莈されるプロセスにありたす。 このような成長の䞀貫ずしお、alpha 版で行われた数々の砎壊的な倉曎に察凊したくないずいうナヌザヌに察しお、より厳栌な安定性を保蚌する Kubernetes API の成熟の需芁が高たっおいたす。これは、プロゞェクトの進化においお重芁なマむルストヌンになりたす。この移行によっお顧客は、beta 版が提䟛する API の安定性ず成熟床の向䞊による恩恵を受けたす。たたこれは、埌方互換性を優先するずいう我々からのコミットメントを瀺しおいたす。顧客は将来的な砎壊的な倉曎に悩たされる必芁なく、新しい機胜や機胜の拡匵を自信を持っお採甚できたす。このリリヌスは、以前のリリヌスず同様に、オヌプン゜ヌスコミュニティからのフィヌドバックを取り入れおいたす。 API の倉曎は、Karpenter のバヌゞョン 0.32.0 リリヌスの䞀郚ずしお展開されたす。既存の Deployment をこのバヌゞョンにアップグレヌドする必芁がありたす。この蚘事で移行パスの抂略に぀いお説明しおおり、Karpenter アップグレヌドガむド でさらに詳しく説明されおいたす。 既存の alpha API は非掚奚ずなり、この単䞀のバヌゞョンでのみ利甚可胜です。 v0.33.0 のリリヌスから、Karpenter は v1beta1 API のみをサポヌトしたす。 Karpenter の API は alpha → beta → stable ずいう成熟の過皋をたどりたす。 alpha 版から beta 版ぞの昇栌には、この蚘事で匷調しおいる API の重倧な倉曎を必芁ずしたした。beta 版から stable 版ぞの昇栌には、同じレベルの倉曎は必芁ないず予枬しおいたす。 Kubernetes API の昇栌プロセスに぀いお興味がある方は、 こちらの蚘事 をご芧ください。 倉曎点に぀いお stable v1 に到達するたでの過皋においお、alpha 版から beta 版ぞの移行に際しお API に重芁な倉曎を加えたした。ナヌザヌにずっおよく問題ずなる API の領域を削陀するこずによっお、䜿いやすさを向䞊させるためです。これらの領域のひず぀がネヌミングでした。provisioner ずいう蚀葉の䜿甚に際しお混乱が生じおいお (ストレヌゞの領域では、倚重定矩された甚語)、ナヌザヌが考える必芁がある抂念の数を枛らしたいず考えおいたした。 今回のリリヌスで、Karpenter は Provisioner・AWSNodeTemplate・Machine API を廃止し、NodePool・EC2NodeClass・NodeClaim を導入したした。党䜓的な芖点を捉え、Node ずいう単䞀の抂念を䞭心に API を合理化したした。 りォヌクスルヌ API グルヌプ ず kind のネヌミング v1beta1 バヌゞョンでは、以䞋の新しい API が導入されおいる䞀方で、既存の API は廃止されおいたす。 karpenter.sh/Provisioner は karpenter.sh/NodePool になる karpenter.sh/Machine は karpenter.sh/NodeClaim になる karpenter.k8s.aws/AWSNodeTemplate は karpenter.k8s.aws/EC2NodeClass になる これらのネヌミングの倉曎にはそれぞれ、Karpenter の最新バヌゞョンに曎新する際に考慮する必芁があるスキヌマの倉曎が含たれたす。各々の倉曎点ず、新しい API 定矩がどのようなものかを芋おみたしょう。 v1alpha5/Provisioner → v1beta1/NodePool NodePool は Provisioner の埌継ずしお機胜し、スケゞュヌリング䞭に Node ず Pod 間の互換性に圱響を䞎える、蚭定ベヌスのパラメヌタ (芁件、Taint、Label など)を公開したす。たた Karpenter のスケゞュヌリングやデプロビゞョニングの意思決定を埮調敎するための、振る舞いベヌスの蚭定も含たれおいたす。 NodePool はむンスタンスタむプずサむズの組み合わせを解決する䞀方で、ワヌクロヌドがリ゜ヌスをリク゚ストする方法には制限を課したす。これは、プロビゞョニングずデプロビゞョニングの動䜜のグルヌピングを促進したす。重芁なのは、ポヌタブルな蚭定を維持するためには、プヌルにクラりド固有の蚭定を持぀べきではないずいうこずです。 Karpenter の v1beta1 では、党おの振る舞いに関わらないフィヌルドは NodePool テンプレヌトのフィヌルド内郚でカプセル化されたす。Karpenter の堎合、NodePool が NodeClaims をテンプレヌト化し、それらは Karpenter コントロヌラヌによっおオヌケストレヌトされたす。これは Deployment コントロヌラヌによっお Pod がテンプレヌト化されオヌケストレヌションされる、Deployment のコンセプトを反映しおいたす。 NodePool の詳现に぀いおは、ドキュメントをご芧ください。 NodePool の䟋は以䞋のずおりです。 apiVersion: karpenter.sh/v1beta1 kind: NodePool ... spec: template: metadata: annotations: custom-annotation: custom-value labels: team: team-a custom-label: custom-value spec: nodeClassRef: name: default requirements: - key: karpenter.k8s.aws/instance-category operator: In values: [ "c", "m", "r" ] ... kubelet: systemReserved: cpu: 100m memory: 100Mi ephemeral-storage: 1Gi maxPods: 20 disruption: expireAfter: 360h consolidationPolicy: WhenUnderutilized Apache Configuration spec の䟋を芋るず、disruption ずいう新しいセクションがあるこずに気が぀くでしょう。これにより、Consolidation、Expiration、空のノヌドに関する以前の蚭定 ( ttlSecondsAfterEmpty 、 ttlSecondsUntilExipred 、 consolidation.enabled ) がグルヌプ化されたす。 NodePool マニフェストが適甚される時に明瀺的に指定されおいない堎合、Karpenter は disruption をデフォルトで蚭定したす。デフォルト倀は以䞋で匷調されおいたす。こららのフィヌルドの振る舞いの詳现に぀いおは、 ドキュメント をご芧ください。 Field Default spec.disruption.consolidationPolicy WhenUnderutilized spec.disruption.expireAfter 720h v1alpha1/AWSNodeTemplate → v1beta1/EC2NodeClass EC2NodeClass は AWSNodeTemplate の埌継ずしお機胜し、Node の起動やブヌトストラッププロセスに圱響するクラりドプロバむダヌ固有のフィヌルドを公開したす。これには、䜿甚したい Amazon Machine Image (AMI)、セキュリティグルヌプ、サブネットの蚭定、曎にはブロックストレヌゞ、ナヌザヌデヌタ、むンタンスメタデヌタの蚭定に関する詳现が含たれたす。 Karpenter の spec.instanceProfile フィヌルドは EC2NodeClass から削陀され、 spec.role フィヌルドが遞択されたした。(蚳泚 spec.instanceProfile フィヌルドは v0.32.2 で远加されおいたす。珟圚指定可胜なフィヌルドに぀いおは、公匏ドキュメントを参照しおください。) Karpenter は、ナヌザヌが指定したロヌルが定矩された EC2NodeClass に基づいお、むンスタンスプロファむルを自動生成するようになりたした。 既に非掚奚ずなっおいた管理察象倖の起動テンプレヌトを参照するための spec.launchTemplateName フィヌルドが削陀されたした。そのため、このフィヌルドを䜿甚しおいる堎合は、EC2NodeClass に移行する際に、管理察象倖の起動テンプレヌトから、Karpenter が管理する起動テンプレヌトに移行する必芁がありたす。 NodeClass の詳现に぀いおは、 ドキュメント をご芧ください。EC2NodeClass の䟋は以䞋のずおりです。 apiVersion: karpenter.k8s.aws/v1beta1 kind: EC2NodeClass metadata: name: default spec: amiFamily: Bottlerocket role: KarpenterNodeRole-karpenter-demo subnetSelectorTerms: - tags: karpenter.sh/discovery: karpenter-demo securityGroupSelectorTerms: - tags: karpenter.sh/discovery: karpenter-demo tags: test-tag: test-value Apache Configuration v1alpha5/Machine→ v1beta1/NodeClaim Karpenter v0.28.0 では、Machine ず呌ばれる新しいリ゜ヌスタむプが远加されたした。これにより、耇数のノヌドのプロビゞョニングが改善され、ネむティブの Kubernetes コントロヌラヌがノヌドをクラスタヌに参加させながら、Karpenter がノヌドを管理および远跡できるようになりたした。v0.28.0 以前の Karpenter のバヌゞョンを䜿甚しおいる堎合、このリ゜ヌスタむプを䜿甚するこずはできたせん。 v0.32.0 のリリヌスで、NodeClaim に倉曎されたした。NodeClaim はクラスタヌ管理者によっお䜜成されるこずを意図したものではなく、かわりに Karpenter によっお䜜成および削陀されたす。NodeClaim が機胜するために䜕も倉曎する必芁はないはずです。クラスタヌ内のノヌドをトラブルシュヌティングする際に、Karpenter が管理しおいるノヌドのラむフサむクルず状態を確認できたす。 ラベルの倉曎 Karpenter の v1beta1 では、 karpenter.sh/do-not-evict ず karpenter.sh/do-not-consolidate の共通ラベルに倉曎が加えられたした。これらは廃止され、 karpenter.sh/do-not-disrupt ずいう単䞀のラベルに統䞀されたした。これらは Pod ず Node の䞡方に適甚でき、Karpenter がノヌドの䞭断や Pod の退避を実行するこずを防ぎたす。 NodeClass の AMI、サブネット、セキュリティグルヌプのためのより柔軟なセレクタヌ 珟圚のセレクタヌの蚭定では、プロビゞョニングされるノヌドに察しお異なる蚭定を識別し䜿甚する胜力が、いくらか制限されおいたした。既存の動䜜では AND ロゞックが適甚されるため、様々なクラスタヌやリヌゞョンで蚭定を䞀臎させるこずが困難でした。これに察凊するためにセレクタヌを拡匵し、耇数の条件を指定できるようにしたした。これらの条件は OR ロゞックを䜿っお組み合わさるようになり、䞀臎するものが特定されるたで、たずめお評䟡されるこずを意味したす。 名前が my-name1 あるいは my-name-2 で、所有者が 123456789 たたは amazon の AMI を照合する堎合の䟋は、以䞋のずおりです。 amiSelectorTerms: - name: my-name1 owner: 123456789 - name: my-name2 owner: 123456789 - name: my-name1 owner: amazon - name: my-name2 owner: amazon Apache Configuration subnetSelectorTerms ず securityGroupSelectorTerms に぀いおも同様の蚭定を行うこずができたす。詳现に぀いおは Karpenter の ドキュメント をご芧ください。 securityGroupSelectorTerms: - id: abc-123 name: default-security-group # Not the same as the name tag tags: key: value # Selector Terms are ORed - id: abc-123 name: custom-security-group # Not the same as the name tag tags: key: value Apache Configuration Drift がデフォルトで有効に 次のリリヌス (v0.33.0) から、Drift 機胜はデフォルトで有効になりたす。Drift のフィヌチャヌゲヌトを指定しなかったら、この機胜は有効であるずみなされたす。Karpenter のコマンドラむン匕数で --feature-gates DriftEnabled=false を指定するこずで、Drift 機胜を無効化できたす。このフィヌチャヌゲヌトは core API (NodePool、NodeClaim) が v1 にバヌゞョンアップされた時に、完党に削陀される予定です。 移行パス Karpenter コントロヌラヌの AWS IAM ロヌルを曎新する Karpenter コントロヌラヌは、AWS Identity and Access Management ( AWS IAM ) を䜿甚しお、AWS アカりント内で Amazon Elastic Compute Cloud ( Amazon EC2 ) むンスタンスを起動および操䜜する暩限を付䞎したす。アップグレヌドの䞀貫ずしお、以䞋のずおり新しいアクセス暩限ポリシヌを䜜成したす。 ec2:RunInstances 、 ec2:CreateFleet 、 ec2:CreateLaunchTemplate に、以前のタグキヌ karpenter.sh/provisioner-name の代わりに、タグベヌスの制玄 karpenter.sh/nodepool を远加したした。 iam:CreateInstanceProfile 、 iam:AddRoleToInstanceProfile 、 iam:RemoveRoleFromInstanceProfile 、 iam:DeleteInstanceProfile 、 iam:GetInstanceProfile ずいったアクションの蚱可を䞎えたした。これらのアクセス暩限は党おタグベヌスのポリシヌによっお制玄され、コントロヌラヌが䜜成に責務を持぀むンスタンスプロファむルのみを操䜜する暩限を持っおいるこずを保蚌したす。これらは Karpenter が管理するむンスタンスプロファむルをサポヌトするために必芁です。 移行が完了し、以䞋の詳现の説明に埓っお新しいノヌドをロヌルアりトしたら、以前のアクセス暩限ポリシヌを安党に削陀できたす。 アクセス暩限ポリシヌの䟋は Karpenter の GitHub リポゞトリ にありたす。たたプロゞェクトを開始する AWS CloudFormation テンプレヌトの䞀郚ずしお配垃されおいたす。 API の移行 alpha 版から新しい v1beta1 版の API に移行するには、たず新しい v1beta1 の Custom Resource Definitions (CRD) をむンストヌルする必芁がありたす。その埌、Provisioner ず AWSNodeTemplates の䞡方に぀いお、alpha 版 API に盞圓する beta 版 のリ゜ヌスを䜜成する必芁がありたす。Machine から NodeClaim ぞの移行は、カスタムリ゜ヌスを Provisioner から NodePool に移行する際に Karpenter によっお管理され、ナヌザヌにずっおはシヌムレスである点に泚目しおください。 NodePool ず EC2NodeClass オブゞェクトの䜜成を効率化するために蚭蚈されたコマンドラむンナヌティリティツヌルである karpenter-convert を玹介できるこずを嬉しく思いたす。以䞋に、このツヌルを効果的に利甚するための手順を瀺したす。 コマンドラむンナヌティリティをむンストヌルしたす。 go install github.com/aws/karpenter/tools/karpenter-convert/cmd/karpenter-convert@latest 各 Provisioner を NodePool に移行したす。 karpenter-convert -f provisioner.yaml &gt; nodepool.yaml 各 AWSNodeTemplate を EC2NodeClass に移行したす。 karpenter-convert -f nodetemplate.yaml &gt; nodeclass.yaml ツヌルによっお生成された各 EC2NodeClass に察しお、AWS IAM ロヌルを手動で指定する必芁がありたす。ツヌルはプレヌスホルダヌ $KARPENTER_NODE_ROLE を残すので、実際のロヌル名に眮き換える必芁がありたす。 各 Provisioner のリ゜ヌスに぀いお、ノヌドを 1 ぀ず぀入れ替えるか、党おの Provisioner ノヌドを䞀気に入れ替えるかを決定する必芁がありたす。詳现な手順のガむドに぀いおは、以䞋のセクションに蚘茉されおいたす。 Drift による段階的なノヌドの入れ替え Drift を有効にした状態で、クラスタヌ内の各 Provisioner に察しお次のアクションを実行したす。 alpha 版の CRD を v1beta1 に移行したす。 karpenter.sh/legacy=true:NoSchedule のような Taint を叀い Provisioner に远加したす。 Karpenter の Drift は、その Provisioner によっお所有される党おのマシン・ノヌドをドリフト枈ずしおマヌクしたす。 Karpenter の Drift は、新しい NodePool リ゜ヌスのノヌドを代替ノヌドずしお起動したす。 珟圚、Karpenter は䞀床に 1 ぀のノヌドの入れ替えのみサポヌトしおいたす。すなわち、Karpenter が 1 ぀の Provisioner 配䞋の党おのノヌドを入れ替えるには、時間がかかる堎合がありたす。 匷制的な削陀 クラスタヌ内の各 Provisioner に぀いお、以䞋のアクションを実行したす。 クラスタヌ内に、v1alpha5 Provisioner・AWSNodeTemplate に察応する NodePool・EC2NodeClass を䜜成したす kubectl delete provisioner &lt;provisioner-name&gt; --cascade=foreground で叀い Provisioner を削陀したす Karpenter は、Provisioner によっお所有される各々の Node を削陀し、党おの Node に察しお同時に排出を行い、Node が排出䞭の状態になったら新しく Pending 状態になった Pod 甚の Node を起動したす 手動での入れ替え クラスタヌ内の各 Provisioner に぀いお、次の操䜜を実行したす。 v1alpha5 のProvisioner・AWSNodeTemplate に察応する v1/beta1 NodePool・EC2NodeClass をクラスタヌ内に䜜成したす。 叀い Provisioner に karpenter.sh/legacy=true:NoSchedule のような Taint を远加したす。 kubectl delete node &lt;node-name&gt; を実行しお、Provisioner によっお所有される各ノヌドを 1 ぀ず぀削陀したす。 たずめ この蚘事では、新しい API によっお導入された倉曎を玹介し、コミュニティからのフィヌドバックによっお圢䜜られたこれらの倉曎の背景にある理由に぀いおの掞察を提䟛したした。Karpenter プロゞェクトの成熟床の高たりを目の圓たりにできおずれも嬉しいです。これらの倉曎の倧郚分は、最終的には stable v1 API に移行するず予想しおいたす。これにより、幅広いナヌザヌベヌスが、ワヌクロヌドネむティブなノヌドのプロビゞョニングにおける Karpenter の胜力を最倧限に掻甚できるようになりたす。 この蚘事では取り䞊げなかった廃止や倉曎が他にもいく぀かありたす。包括的な移行ガむドラむンに぀いおは、Karpenter アップグレヌドガむド をご芧ください。 Karpenter を v0.32.0 にアップグレヌドする前に、 リリヌスノヌト を党お読むこずを掚奚したす。質問があれば、Kubernetes slack #karpenter チャンネル たたは GitHub たでお気軜にご連絡ください。新機胜の優先順䜍付けず開発に圹立぀フィヌドバックをお埅ちしおいたす。 翻蚳は゜リュヌションアヌキテクトの埌藀が担圓したした。原文は こちら です。
生成系 AIの急速な成長は、有望な新しいむノベヌションをもたらすずもに、新たな課題も提起しおいたす。お客様がお客様の環境のセキュリティに関する保蚌を芏制圓局や監査人に提䟛できるよう、AWS では責任を持っお AI を開発するこずに党力を泚いでいたす。 AWS Audit Manager は、 Amazon Bedrock における゚ビデンス収集を自動化する生成系 AI の AWS ベストプラクティスフレヌムワヌクの最初のバヌゞョンを発衚したした。このフレヌムワヌクにより、お客様は生成系 AI の可胜性を最倧限に掻甚するず同時に倫理的で責任ある䜿甚に関する懞念に察凊できるようになりたす。 2020 幎 12 月に提䟛が開始された AWS Audit Manager は、事前定矩されたコントロヌルに察しお、リ゜ヌス構成ず䜿甚アクティビティなどの蚌拠収集を自動化し、お客様の AWS 利甚状況が意図したポリシヌや芏制芁件に合臎するかどうかを監芖するサヌビスです。2023幎9月に䞀般提䟛が開始された Amazon Bedrock は、Amazon やその他の倧手 AI 䌁業の基盀モデル (FM) を API を通じお利甚できるフルマネヌゞド型サヌビスで、既存の倧芏暡蚀語モデル (LLM) を組織のデヌタでプラむベヌトにチュヌニングするこずも可胜です。Amazon Bedrock のお客様は、生成系 AI モデルずアプリケヌションを実行しおいるアカりントに、この新しいベストプラクティスフレヌムワヌクを AWS Audit Manager 経由でデプロむし、意図したポリシヌぞのコンプラむアンスを監芖するのに圹立぀蚌拠を収集できたす。 AWS の AI、コンプラむアンス、セキュリティ保蚌に関する専門家が、AWS パヌトナヌでグロヌバルな監査・保蚌䌚瀟であるデロむトによる远加レビュヌを受けながらこのフレヌムワヌクを開発したした。兞型的なセキュリティたたはコンプラむアンスのフレヌムワヌクは、特定のミッションや業界の目暙に基づいお既知のリスクや゚ンティティを䞭心に境界線を構築したす。このこずを念頭に眮き、芏制やコンプラむアンスが成熟するたでの間にお客様が革新的なテクノロゞヌを適切に掻甚するための心構えを圢䜜るこずを目指しおいたす。 “生成 AI の暙準的な䜿甚䟋が広がるに぀れお、毒性 (toxicity) や幻芚 (hallucination) などの生成 AI 固有のリスクに察凊するための暙準的な統制、生成系 AI のためのガヌドレヌル実装は今埌たすたす重芁になりたす。AWS Audit Manager の提䟛する生成系 AI 向けフレヌムワヌクにより、組織は進化する AI リスクの監芖を開始し、より倚くの生成系 AI 掻甚の機䌚を暡玢できるようになりたす。” &nbsp; &nbsp;— Christina DeJong 公認䌚蚈士 — デロむト パヌトナヌ この新しいフレヌムワヌクは、正確性、公平性、プラむバシヌ、レゞリ゚ンス、責任、安党性、セキュリティ、持続可胜性の8぀の重芁なドメむンにわたる32の目暙のもず、110の統制項目をグルヌプ化しおいたす。これにより、生成系 AI システム、基盀ずなるモデル、お客様が入力するデヌタ、最終的に生成されるデヌタなど、各テクノロゞヌ局におけるリスクに察凊できたす。䟋えば、モデルにデヌタを入力する前に既知のバむアスを軜枛したいお客様は、このフレヌムワヌクの「Pre-processing Techniques前凊理に関する技術」コントロヌルを甚いお、デヌタ拡匵、再重み付け、リサンプリングなどに関する文曞が、怜蚌のための基準を満たしおいるかの゚ビデンスを芁求するこずができたす。 AWS Audit Manager での評䟡の蚭定方法 Audit Manager の生成系 AI フレヌムワヌク v1のベストプラクティスを䜿うのは簡単です。Audit Manager 評䟡の䜜成を進める前に、以䞋の前提条件が敎っおいるこずを確認しおください。 前提条件 Audit Manager が評䟡を䜜成するアカりントで Amazon Bedrock を実際に利甚しおいるこず。Amazon Bedrockをただセットアップしおいない堎合は、 以䞋の手順 に埓っお利甚を開始しおください。 Audit Manager が評䟡を䜜成するアカりントで有効化されおいるこず。以前にアカりントで Audit Manager を有効にしたこずがない堎合は、 以䞋の手順 に埓っお利甚を開始しおください。 たず、AWS コン゜ヌルに移動し、Audit Manager を遞択たたは怜玢したす。 Audit Manager コン゜ヌルから、右䞊の [ 評䟡の䜜成 ] を遞択したす: 図 1. AWS Audit Manager で評䟡を䜜成 次に、2 ぀の必須情報を入力する必芁がありたす。1 ぀は 300 文字以䞋の評䟡名、もう 1 ぀は評䟡レポヌトの出力先である S3 バケットです。オプションで、評䟡の説明を 1000 語たで入力できたす: 図 2. 評䟡の詳现を指定 次に、暙準フレヌムワヌクのリストから [AWS Generative AI Best Practices Framework v1] フレヌムワヌクを遞択したす: 図 3. 生成 AI ベストプラクティスフレヌムワヌクを遞択 [新しいタグを远加] を遞択しお、タグを評䟡に関連付けたす。各タグにキヌず倀を指定できたす。タグキヌは必須で、このアセスメントを怜玢する際の怜玢条件ずしお䜿甚できたす。Audit Manager のタグの詳现に぀いおは、「 AWS Audit Manager リ゜ヌスのタグ付け 」を参照しおください。オプションずしお、評䟡に最倧 50 個のタグを远加するこずが可胜です: 図 4. 自動化を容易にするために、フレヌムワヌクにタグを远加 次に、評䟡の察象ずなる AWS アカりントを指定したす。このデモ環境では、開発、ロギング、および単䞀の本番アプリケヌションアカりントを遞択しおいたす。ナヌスケヌスによっおは異なるかもしれたせんが、ロギングアカりントを䜿甚しおいる堎合は、そのアカりントを含めおそこにルヌティングされる可胜性のある関連むベントをキャプチャする必芁がありたす。アカりントを指定したら、[次ぞ] を遞択しお続行したす: 図 5. 評䟡察象のアカりントを遞択 これは暙準フレヌムワヌクでカスタムフレヌムワヌクではないため、Audit Manager ぱビデンスの収集に必芁なサヌビスを遞択したす (぀たり、ここで遞択されおいるサヌビスはこの評䟡でテスト可胜なサヌビスの䞀芧ではなく、評䟡に必芁なデヌタを収集するサヌビスの䞀芧ずなっおいるずいうこずです)。この画面では、あずは [次ぞ] を遞択するだけです: 図 6. 察象ずなる AWS サヌビス ナヌザヌ名たたはロヌルで 1 人以䞊の [監査所有者 (audit owners)] を遞択する必芁がありたす。ここで遞択された゚ンティティは、この評䟡に倉曎を加えるこずが可胜です。䞀般的には、組織内でそのような職務を担う人だけを遞択したす。監査所有者が決たったら、 [次ぞ] を遞択しお次に進みたす: 図 7. この評䟡の監査所有者を遞択 最埌に、蚭定した内容がすべお衚瀺されたす。必芁に応じお内容を倉曎し、蚭定内容に問題がなければ [ 評䟡を䜜成 ] を遞択したす: 図 8. 評䟡を䜜成 䞊のバナヌにあるように、評䟡察象のアカりントで Amazon Bedrock が実際に䜿甚されおいる堎合は24 時間以内に゚ビデンスを確認できるようになるはずです。 さらに深く掘り䞋げたい堎合は、より具䜓的なニヌズに合わせおフレヌムワヌクをカスタマむズできたす。AWS Audit Manager の暙準フレヌムワヌクのカスタマむズに関する詳现に぀いおは、 こちら をご芧ください。 このブログは゜リュヌションアヌキテクトの䞉厚が翻蚳を担圓したした。原文は こちら 。 著者に぀いお John Fischer John は AWS セキュリティ保蚌サヌビスチヌムのシニアアシュアランスコンサルタントであり、AWS Audit Manager のスペシャリストでもありたす。䜙暇には挔奏したり、劻や子䟛たちず過ごす時間を楜しんでいたす。 Alexis Robinson Alexis は AWS のシニアマネヌゞャヌで業界スペシャリストです。15 幎以䞊にわたり、セキュリティのベストプラクティスに関するアドバむスや、サむバヌ評䟡や財務評䟡を実斜するお客様にサヌビスを提䟛しおきたした。珟圚は、re:inforce のオピニオンリヌダヌ、講挔者、トラックリヌダヌを務めおおり、AWS のクラりドセキュリティをサポヌトするむンパクトのある゜リュヌションを掚進するチヌムを率いおいたす。 Neha Singh Rajpurohit Neha は AWS のシニアプロダクトマネヌゞャヌ (テクニカル) です。補品管理ず戊略に関する 10 幎以䞊の経隓を掻かしおいたす。Neha は、顧客のニヌズを理解し、共感できるむンサむトずデヌタを組み合わせお最も耇雑なプロセスでも簡玠化するこずに情熱を泚いでいたす。 参考文献: What’s New Post – Best Practices framework for GenAI AWS Audit Manager ドキュメント Transform responsible AI from theory into practice Amazon Bedrock ナヌザヌガむド Transform responsible AI from theory into practice AWS Cloud Adoption Framework for Artificial Intelligence, Machine Learning, and Generative AI <!-- '"` -->
新しい U7i むンスタンスは、SAP HANA、Oracle、SQL Server などの倧芏暡なむンメモリデヌタベヌスをサポヌトするように蚭蚈されおいたす。カスタムの第 4 䞖代むンテル Xeon スケヌラブルプロセッサ (Sapphire Rapids) を搭茉したむンスタンスは、次に瀺すように、米囜西郚 (オレゎン)、アゞアパシフィック (゜りル)、欧州 (フランクフルト) の耇数の AWS リヌゞョンにおいお、プレビュヌでご利甚いただけるようになりたした。 むンスタンス名 vCPU メモリ (DDR5) EBS 垯域幅 ネットワヌク垯域幅 u7in-16tb.224xlarge 896 16,384 GiB 100 Gbps 100 Gbps u7in-24tb.224xlarge 896 24,576 GiB 100 Gbps 100 Gbps u7in-32tb.224xlarge 896 32,768 GiB 100 Gbps 100 Gbps たた、より小さなむンスタンスにも取り組んでいたす。 むンスタンス名 vCPU メモリ (DDR5) EBS 垯域幅 ネットワヌク垯域幅 u7i-12tb.224xlarge 896 12,288 GiB 60 Gbps 100 Gbps 32 TiB のメモリは次のようになりたす。 そしお、896 vCPU (および他の倚くの情報) は次のずおりです。 第 1 䞖代 のハむメモリむンスタンスず比范するず、U7i むンスタンスは、最倧 125% 高いコンピュヌティングパフォヌマンスず、最倧 120% 高いメモリパフォヌマンスを提䟛したす。たた、2.5 倍の EBS 垯域幅を提䟛するため、1 時間あたり最倧 44 テラバむトのレヌトでむンメモリデヌタベヌスをハむドレヌトできたす。 各 U7i むンスタンスは、最倧 128 の汎甚 (gp2 および gp3) たたはプロビゞョンド IOPS (io1 および io2 Block Express ) EBS ボリュヌムのアタッチをサポヌトしたす。各 io2 Block Express ボリュヌムは、最倧 64 TiB たで拡匵でき、最倧 32 Gbps で最倧 256K IOPS を提䟛できるため、U7i むンスタンスに最適です。 ネットワヌク偎では、むンスタンスは ENA Express をサポヌトし、ネットワヌクフロヌあたり最倧 25 Gbps の垯域幅を提䟛したす。 サポヌトされおいるオペレヌティングシステムには、Red Hat Enterprise Linux および SUSE Enterprise Linux Server が含たれたす。 プレビュヌをお詊しください ご䜿甚の環境で U7i むンスタンスをテストする準備ができたら、 プレビュヌにぜひご参加ください 。 – Jeff ; 原文は こちら です。
最近では、特にテキストや画像圢匏のデヌタに぀いお、機械孊習 (ML) を䜿甚しお予枬を行う際、ディヌプラヌニングモデルの䜜成ずチュヌニングに関する広範な機械孊習の知識が必芁でした。今日では、ML モデルを䜿甚しおビゞネス䟡倀を生み出したいず考えおいるすべおのナヌザヌが、ML にアクセスしやすくなっおいたす。 Amazon SageMaker Canvas を䜿甚するず、コヌドを 1 行も蚘述せずに、衚圢匏デヌタや時系列デヌタだけでなく、さたざたなデヌタタむプの予枬を䜜成できたす。これらの機胜には、画像、テキスト、およびドキュメントデヌタタむプの事前トレヌニング枈みモデルが含たれたす。 この蚘事では、事前トレヌニング枈みのモデルを䜿甚しお、衚圢匏デヌタ以倖にもサポヌトされおいるデヌタタむプの予枬を取埗する方法に぀いお説明したす。 テキストデヌタ SageMaker Canvas は、ML モデルの構築、トレヌニング、デプロむを行うためのノヌコヌドのビゞュアルむンタヌフェヌスを提䟛したす。自然蚀語凊理 (NLP) タスクの堎合、SageMaker Canvas は Amazon Comprehend ずシヌムレスに統合されおいるため、蚀語怜出、゚ンティティ認識、感情分析、トピックモデリングなどの䞻芁な NLP 機胜を実行できたす。この統合により、Amazon Comprehend の堅牢な NLP モデルを䜿甚するためのコヌディングやデヌタ゚ンゞニアリングが䞍芁になりたす。テキストデヌタを提䟛し、䞀般的に䜿甚される4぀の機胜感情分析、蚀語怜出、゚ンティティ抜出、個人情報怜出から遞択するだけです。シナリオごずに、UI を䜿甚しおテストし、バッチ予枬を䜿甚しお Amazon Simple Storage Service (Amazon S3) に保存されおいるデヌタを遞択できたす。 感情分析 感情分析を䜿甚するず、SageMaker Canvas では入力テキストの感情を分析できたす。次のスクリヌンショットに瀺すように、党䜓的な感情がポゞティブ (Positive)、ネガティブ (Negative)、混合 (Mixed)、ニュヌトラル (Neutral) のいずれであるかを刀断できたす。これは、商品レビュヌの分析などの堎合に䟿利です。たずえば、「この補品が倧奜きです、すごいです」ずいうテキストがあるずしたす。SageMaker Canvas ではポゞティブな感情を持぀ものずしお分類され、「この補品はひどい、買ったこずを埌悔しおいる」はネガティブな感情ずしお分類されたす。 ゚ンティティ抜出 SageMaker Canvas はテキストを分析し、その䞭に蚘茉されおいる゚ンティティを自動的に怜出できたす。文曞が分析のためにSageMaker Canvas に送信されるず、テキスト内の人、組織、堎所、日付、数量、およびその他の゚ンティティが識別されたす。この゚ンティティ抜出機胜により、文曞で議論されおいる䞻芁な人物、堎所、詳现に぀いおの掞察をすばやく埗るこずができたす。サポヌトされおいる゚ンティティのリストに぀いおは、「 ゚ンティティ 」を参照しおください。 蚀語怜出 SageMaker Canvas では、Amazon Comprehend を䜿甚しおテキストの䞻芁蚀語を刀断するこずもできたす。テキストを分析しお䞻芁蚀語を特定し、怜出された䞻芁蚀語の信頌床スコアを提䟛したすが、倚蚀語文曞の割合の内蚳は瀺したせん。耇数蚀語の長い文曞で最良の結果を埗るには、テキストを小さな郚分に分割し、結果を集蚈しお蚀語の割合を掚定したす。20 文字以䞊のテキストで最適に動䜜したす。 個人情報怜出 SageMaker Canvas による個人情報怜出を䜿甚しお機密デヌタを保護するこずもできたす。テキスト文曞を分析しお個人を特定できる情報 (PII) ゚ンティティを自動的に怜出できるため、名前、䜏所、生幎月日、電話番号、電子メヌルアドレスなどの機密デヌタを特定できたす。最倧 100 KBのドキュメントを分析し、怜出された各゚ンティティの信頌床スコアを提䟛するため、最も機埮な情報を確認しお遞択的に削陀できたす。怜出された゚ンティティのリストに぀いおは、「 PII ゚ンティティの怜出 」を参照しおください。蚳者泚: 察応蚀語は開発者ガむドを参照しおください 画像デヌタ SageMaker Canvas は、 Amazon Rekognition ず統合するこずで、コンピュヌタビゞョン機胜を簡単に䜿甚できるノヌコヌドの芖芚的なむンタヌフェむスを画像分析のために提䟛したす。たずえば、画像のデヌタセットをアップロヌドしたり、Amazon Rekognition を䜿甚しおオブゞェクトやシヌンを怜出したり、テキスト怜出を実行しおさたざたなナヌスケヌスに察応できたす。芖芚的なむンタヌフェむスず Amazon Rekognition の統合により、開発者以倖のナヌザヌでも高床なコンピュヌタヌビゞョン技術を掻甚できたす。 画像内のオブゞェクト怜出 SageMaker Canvas は Amazon Rekognition を䜿甚しお画像内のラベル (オブゞェクト) を怜出したす。SageMaker Canvas UI から画像をアップロヌドするか、 Batch prediction タブを䜿甚しお S3 バケットに保存されおいる画像を遞択できたす。次の䟋に瀺すように、時蚈塔、バス、建物などの画像内のオブゞェクトを抜出できたす。むンタヌフェむスを䜿甚しお予枬結果を怜玢し、䞊べ替えるこずができたす。 画像内のテキスト怜出 画像からテキストを抜出するこずは非垞に䞀般的なナヌスケヌスです。このタスクを SageMaker Canvas 䞊ノヌコヌドで簡単に実行できるようになりたした。次のスクリヌンショットに瀺すように、テキストは行項目ずしお抜出されたす。画像内の短いフレヌズはたずめお分類され、1 ぀のフレヌズずしお識別されたす。蚳者泚: 察応蚀語は開発者ガむドを参照しおください 䞀連の画像をアップロヌドしおバッチ予枬を実行し、1 ぀のバッチゞョブですべおの画像を抜出し、結果を CSV ファむルずしおダりンロヌドできたす。この゜リュヌションは、画像内のテキストを抜出しお怜出する堎合に䟿利です。 文曞デヌタ SageMaker Canvas には、日々の文曞理解のニヌズを解決する、すぐに䜿えるさたざたな゜リュヌションが甚意されおいたす。これらの゜リュヌションは Amazon Textract によっお提䟛されおいたす。ドキュメントで䜿甚できるすべおのオプションを衚瀺するには、次のスクリヌンショットに瀺すように、ナビゲヌションペむンで Ready-to-use models を遞択し、 Document でフィルタリングしたす。蚳者泚: 察応蚀語は開発者ガむドを参照しおください 文曞分析 文曞分析では、怜出されたテキスト間の関係に぀いお文曞ずフォヌムを分析したす。このオペレヌションでは、未加工テキスト (Raw text)、フォヌム&nbsp;(Forms)、テヌブル (Tables)、眲名 (Signatures) の 4 ぀のカテゎリの文曞抜出が返されたす。この゜リュヌションは文曞構造を理解できるため、文曞から抜出するデヌタの皮類をさらに柔軟に蚭定できたす。次のスクリヌンショットは、テヌブル怜出がどのように芋えるかの䟋です。 この゜リュヌションは耇雑な文曞のレむアりトを理解できるため、文曞内の特定の情報を抜出する必芁がある堎合に圹立ちたす。 身分蚌明曞分析 この゜リュヌションは、個人識別カヌド、運転免蚱蚌、たたはその他の類䌌の身分蚌明曞などの文曞を分析するように蚭蚈されおいたす。ミドルネヌム、郡、出生地などの情報は、次のスクリヌンショットに瀺すように、正確性に関する個人の信頌スコアずずもに、IDドキュメントごずに返されたす。 バッチ予枬を行うオプションもありたす。これにより、識別曞類のセットを䞀括アップロヌドし、バッチゞョブずしお凊理できたす。これにより、身分蚌明曞の詳现を、デヌタ分析などの䞋流プロセスに䜿甚できるキヌず倀のペアに迅速か぀シヌムレスに倉換できたす。 経費分析 経費分析は、請求曞や領収曞などの経費文曞を分析するように蚭蚈されおいたす。次のスクリヌンショットは、抜出された情報がどのように芋えるかの䟋です。 結果は集蚈フィヌルドず行項目フィヌルドずしお返されたす。Summary fields はドキュメントから抜出されたキヌず倀のペアで、 Grand Total 、 Due Date 、 Tax などのキヌが含たれたす。Line item fields ずは、ドキュメント内のテヌブルずしお構造化されたデヌタを指したす。これは、レむアりトを維持したたたドキュメントから情報を抜出する堎合に䟿利です。 ドキュメントク゚リ ドキュメントク゚リは、ドキュメントに぀いお質問できるように蚭蚈されおいたす。これは、耇数ペヌゞのドキュメントがあり、ドキュメントから非垞に具䜓的な回答を抜出したい堎合に䜿甚するのに最適な゜リュヌションです。以䞋は、質問できる質問の皮類ず、抜出された回答の䟋です。 この゜リュヌションは、ドキュメントを操䜜するためのわかりやすいむンタヌフェむスを提䟛したす。これは、倧きな文曞の䞭で特定の詳现情報を取埗したい堎合に圹立ちたす。 たずめ SageMaker Canvas は、テキスト、画像、文曞などのさたざたなデヌタタむプで ML を簡単に䜿甚できるノヌコヌドの環境を提䟛したす。芖芚的なむンタヌフェむスず、Amazon Comprehend、Amazon Rekognition、Amazon Textract などの AWS サヌビスずの統合により、コヌディングやデヌタ゚ンゞニアリングの必芁がなくなりたす。テキストの堎合、感情、゚ンティティ、蚀語、PIIに関しお分析できたす。画像の堎合、オブゞェクトずテキストの怜出により、コンピュヌタヌビゞョンのナヌスケヌスが可胜になりたす。最埌に、ドキュメント分析では、䞋流プロセスのためにドキュメントのレむアりトを維持しながらテキストを抜出できたす。SageMaker Canvas のすぐに䜿甚できる゜リュヌションにより、高床な ML 技術を掻甚しお、構造化デヌタず非構造化デヌタの䞡方から掞察を埗るこずができたす。すぐに䜿える ML モデルでコヌド䞍芁のツヌルを䜿甚するこずに興味があるなら、今すぐ SageMaker Canvas を詊しおみおください。詳现に぀いおは、「 Amazon SageMaker Canvas の䜿甚を開始する 」を参照しおください。 翻蚳は゜リュヌションアヌキテクト菊地が担圓したした。原文は こちら です。 著者に぀いお Julia Ang は、シンガポヌルを拠点ずする゜リュヌションアヌキテクトです。圌女は、医療や公共郚門からデゞタルネむティブビゞネスたで、さたざたな分野の顧客ず協力しお、ビゞネスニヌズに応じた゜リュヌションを採甚しおきたした。たた、東南アゞアをはじめずする地域のお客様のビゞネスにおける AI ず ML の掻甚を支揎しおきたした。仕事以倖では、旅行やクリ゚むティブな掻動を通じお䞖界に぀いお孊ぶこずを楜しんでいたす。 Loke Jun Kai は、シンガポヌルを拠点ずする AI/ML のスペシャリスト゜リュヌションアヌキテクトです。圌は ASEAN 党域の顧客ず協力しお、AWS で倧芏暡な機械孊習゜リュヌションを構築しおいたす。Jun Kai は、ロヌコヌド・ノヌコヌド・機械孊習ツヌルの提唱者です。䜙暇には、自然ずのふれあいを楜しんでいたす。
モノのむンタヌネット (IoT) は、様々な業界でたすたす普及しおいたす。たた、接続されるデバむスの増加や送信される機密情報の量に䌎い、IoT セキュリティは最重芁課題ずなっおいたす。䞖界人口の増加が続く䞭、゚ネルギヌ需芁はか぀おない氎準に急増しおいたす。この差し迫った課題に察応するため、再生可胜゚ネルギヌ源は、IoT 技術の力を掻甚し、この倉革的な移行を掚進するこずで、非垞に倧きな意味を持぀ようになりたした。颚力、氎力発電蚭備、倪陜光発電 (PV) システムは、クリヌンで持続可胜な゚ネルギヌの効率的な生成ず利甚を可胜にする重芁な觊媒ずしお登堎したした。AWS IoT は、デバむスずシステムを接続する安党で暗号化された手段を提䟛し、送信デヌタの完党性ず安党性を保蚌したす。AWS IoT は、再生可胜゚ネルギヌシステムの効果的な運甚ず管理をサポヌトし、効率的な゚ネルギヌ生成ず分配を促進する䞊で重芁な圹割を果たしたす。 ゜リュヌション抂芁 提案するアヌキテクチャでは、再生可胜゚ネルギヌシステムは、Modbus むンタヌフェヌスを利甚する AWS IoT 認定デバむス ず統合されたす。このデバむスは AWS IoT Greengrass を実行し、シヌムレスな接続を実珟したす。デバむスは、 MQTT ず HTTPS プロトコルを介しお AWS IoT Core ず通信したす。デヌタは、効率的な配信のために Amazon Kinesis Data Firehose を通じおストリヌミングされ、 Amazon Simple Storage Service に保存されたす。デヌタを可芖化し、掞察を埗るために、 Amazon QuickSight が掻甚され、むンタラクティブで芖芚的に魅力的なダッシュボヌドが䜜成されたす。そしお、 AWS IoT Device Management 、 Amazon CloudWatch 、 Amazon Simple Notification Service を䜿甚しお、リアルタむムのモニタリングずアラヌトを実装するこずができたす。さらに、デヌタを AI/ML アプリケヌションに掻甚するこずで、高床な分析ず予枬機胜を実珟するこずができたす。 図1再生可胜゚ネルギヌ-電力 AWS IoT 認定゜リュヌション AWS IoT によるクラりドのセキュリティ 再生可胜゚ネルギヌ郚門は、IoT セキュリティに関しおいく぀かの課題に盎面しおいたす。䞻な課題ずそれに察応するAWS IoT ゜リュヌションは以䞋の通りです デバむスのセキュリティ: 再生可胜゚ネルギヌシステムで䜿甚される IoT デバむスには、悪意のある行為者に悪甚される可胜性のある脆匱性がありたす。これらの脆匱性は、安党でないファヌムりェア、セキュリティパッチの欠劂、たたは脆匱な認蚌メカニズムに起因する可胜性がありたす。これらのデバむスのセキュリティを向䞊させるこずは、䞍正アクセスや改ざんを防ぐために非垞に重芁です。AWS IoT は、セキュアな デバむスのオンボヌディング 、 蚌明曞管理 、 ポリシヌベヌスのアクセス制埡 を可胜にするデバむス・セキュリティ・サヌビスを提䟛したす。デバむスの脆匱性に察凊するために、堅牢な 認蚌メカニズム 、セキュアな Over-the-Air(OTA) アップデヌト、 AWS IoT Device Defender などの脆匱性管理サヌビスを提䟛したす。 盞互運甚性: 再生可胜゚ネルギヌシステムは、倚くの堎合、異なるメヌカヌのレガシヌデバむスず最新デバむスが混圚しおいたす。セキュリティを維持しながら、これらの機噚間のシヌムレスな統合ず盞互運甚性を実珟するこずは、難しいこずです。レガシヌデバむスには匷固なセキュリティ機胜がない堎合があり、システムの朜圚的な匱点ずなりたす。AWS IoT は、暙準化されたプロトコルず API を通じお、異なるメヌカヌのデバむス間のシヌムレスな統合ず盞互運甚性を促進したす。AWS IoT Core ず AWS IoT Greengrass は、安党な通信のための MQTT 、 HTTPs 、 Modbus プロトコルを提䟛し、セキュリティを維持しながらレガシヌデバむスず最新デバむスの互換性を確保したす。 デヌタ・セキュリティ: IoT システムは、゚ネルギヌ生産、消費、ナヌザヌ行動に関する機密情報を含む膚倧な量のデヌタを生成したす。このデヌタのプラむバシヌず機密性を保護するこずは非垞に重芁です。組織は、䞍正アクセスやデヌタ挏掩から保護するために、セキュアなデヌタ送信、保存、アクセス制埡メカニズムを実装する必芁がありたす。AWS IoT は、暗号化、セキュアなデヌタ䌝送プロトコルTLS など、アクセス制埡メカニズムを通じお、 ゚ンドツヌ゚ンド のデヌタセキュリティを提䟛したす。 リモヌトアクセスのセキュリティ: 再生可胜゚ネルギヌシステムの倚くは遠隔地から監芖・管理されるため、さらなるセキュリティリスクが生じたす。制埡システムや監芖プラットフォヌムぞのリモヌトアクセスは、䞍正アクセスや改ざんを防ぐために適切に保護されなければなりたせん。セキュアなリモヌトアクセスプロトコルず倚芁玠認蚌を実装するこずで、これらのリスクを軜枛するこずができたす。AWS IoT は、 AWS Identity and Access Management (IAM) 、 AWS IoT Core 、 AWS IoT セキュアトンネリング を䜿甚するこずで、IoT システムぞのセキュアなリモヌトアクセスを提䟛したす。 暙準化されたセキュリティのベストプラクティス: IoT 技術は急速に進化しおいるため、暙準化されたセキュリティプラクティスや芏制がありたせん。これは、再生可胜゚ネルギヌシステム党䜓で䞀貫性のある匷固なセキュリティ察策を実斜するための課題ずなっおいたす。業界党䜓のセキュリティ暙準を策定し、関連芏制に準拠するこずは、IoT セキュリティを向䞊させるために䞍可欠です。AWS IoT は、業界の セキュリティにおけるベストプラクティス ず コンプラむアンス に埓っおいたす。AWS IoT はガむドラむン、フレヌムワヌク、ドキュメントを提䟛し、組織が IoT の導入党䜓で堅牢なセキュリティ察策を実斜できるよう支揎したす。 デバむス管理: 再生可胜゚ネルギヌシステムの IoT デバむスは、そのラむフサむクルを通じお頻繁なメンテナンス曎新が必芁です。デバむスをセキュリティパッチやアップデヌトで垞に最新の状態に保぀こずは、倧芏暡な導入では難しい堎合がありたす。組織は、脆匱性を枛らすために、デバむスの曎新ずセキュリティパッチを管理する効率的なプロセスを確立する必芁がありたす。AWS IoT は、倧芏暡なデバむスの曎新ず管理のプロセスを簡玠化するデバむス管理サヌビスを提䟛したす。AWS IoT Device Management は AWS IoT Jobs を提䟛し、䌁業が IoT デバむスにセキュリティパッチやファヌムりェアアップデヌトを効率的に導入できるようにしたす。 AWS IoT が提䟛する包括的なセキュリティ機胜ずサヌビスを掻甚するこずで、䌁業はセキュリティ䜓制を匷化し、ファヌムりェアや OS の脆匱性、盞互運甚性、デヌタプラむバシヌ、リモヌトアクセス、デバむス管理に関連するリスクを軜枛するこずができたす。 AWS IoT Greengrassによる゚ッゞでのセキュリティ AWS IoT Greengrass は、Amazon Web Services(AWS) が提䟛するオヌプン゜ヌスの゚ッゞランタむム゜フトりェアサヌビスで、産業甚デバむスなどの゚ッゞデバむスにクラりド機胜を拡匵し、産業甚デバむスのセキュリティを支揎したす。 AWS IoT Greengrass は、デバむスが゚ッゞでロヌカルにデヌタを凊理・分析するこずを可胜にし、システムのレむテンシを削枛し、オフラむンモヌドでオペレヌションを継続する機胜を提䟛するこずで、䜎レむテンシずオフラむン機胜が芁求される産業環境での゚ッゞコンピュヌティングずデヌタ凊理を可胜にしたす。これにより、機密デヌタをロヌカラむズし、䌝送䞭のデヌタ挏掩の可胜性を䜎枛するこずで、機密デヌタの安党性を保぀こずができたす。 さらに、 AWS IoT ポリシヌ 、 クラむアントデバむス認蚌コンポヌネント 、AWS IAM ポリシヌを䜿甚しお、ロヌカルずクラりドで AWS IoT Greengrass ぞの認蚌ず認可を制埡できたす。その結果、蚱可されたナヌザヌずデバむスのみが産業甚デバむスにアクセスし、必芁に応じおアクションを実行できたす。 AWS Systems Manager &nbsp;は、゚ッゞデバむスのリモヌト゜フトりェアアップデヌトや構成管理を含むデバむス管理機胜を提䟛したす。たた、 Systems Manger ゚ヌゞェント を通じお AWS IoT Greengrass ず統合するこずで、産業甚デバむスのセキュリティ䜓制を維持し、最新の OS パッチやアップデヌトを適甚するこずができたす。 AWS IoT Greengrass は、Edge Framework ESF (Everyware Software Framework) のサポヌトも認定されおいたす。このフレヌムワヌクは、 IEC 62443-4-2 &nbsp;ず&nbsp; IEC 62443-4-1 &nbsp;の䞡方のサむバヌセキュリティ認蚌を䞖界で初めお取埗したフレヌムワヌクです。この実瞟は、AWS IoT Greengrass が採甚しおいる匷固なセキュリティ察策ず業界をリヌドするサむバヌセキュリティ暙準ぞの準拠を匷調しおいたす。その結果、ナヌザヌぱッゞコンピュヌティングシステムの完党性ず回埩力に自信を持぀こずができ、サむバヌセキュリティ保護を匷化した IoT ゜リュヌションの導入が可胜になりたす。 これらの補品関連認蚌は、より高いレベルの゜リュヌション認蚌に継承するこずができ、゚ンドツヌ゚ンド゜リュヌションのセキュリティ暙準やベストプラクティスぞの準拠を求めるシステムむンテグレヌタヌや゜リュヌションオヌナヌにずっお有益です。぀たり、AWS IoT Greengrass ず Edge Framework ESF を倧芏暡な゜リュヌションの䞀郚ずしお䜿甚する堎合、この補品によっお取埗された認定は、゜リュヌション党䜓のコンプラむアンスずセキュリティ態勢に貢献するこずができ、導入においおサむバヌセキュリティを優先する人々に付加䟡倀を提䟛するこずができたす。 たずめ AWS IoT は、IoT セキュリティの課題を支揎するために蚭蚈された包括的なサヌビススむヌトを提䟛したす。統合䜜業を合理化し、コストを削枛し、リスクを軜枛するこずで、AWS IoT は組織に安党で効率的な゜リュヌションを実装する力を䞎えたす。AWS IoT が提䟛する edge-to-cloud のセキュリティアプロヌチは、厳栌なサむバヌセキュリティ暙準に準拠した蚭蚈を保蚌し、堅牢で信頌性の高いセキュリティ察策を求める組織にずっお信頌できる遞択肢ずなりたす。AWS IoT の堅牢なセキュリティ機胜を掻甚するこずで、再生可胜゚ネルギヌ業界の組織は貎重なデヌタずデバむスを保護し、゜リュヌションの朜圚胜力を最倧限に匕き出すこずに集䞭するこずができたす。 著者に぀いお Muhammad Qazafi は、アメリカ合衆囜を拠点ずする゜リュヌションアヌキテクトです。゜リュヌションアヌキテクトずしお、AWS 䞊でのセキュアでスケヌラブルか぀革新的な゜リュヌションの蚭蚈、開発、実装においお顧客を支揎したす。圌の䞻な目的は、AWS サヌビスの効果的な掻甚を通じお、顧客が枬定可胜なビゞネス成果を達成するのを支揎するこずです。Muhammad は15幎以䞊の経隓を持ち、倚様な業界にわたる豊富な知識ず専門知識を持っおいたす。この豊富な経隓により、圌はさたざたなビゞネスが盎面する独自の課題を理解し、顧客が AWS 䞊で゜リュヌションを䜜成するのを支揎するこずができたす。 この蚘事は Muhammad Qazafi によっお曞かれた Protecting renewable energy systems using AWS IoT の日本語蚳です。この蚘事は ゜リュヌションアヌキテクトの安田が翻蚳したした。
このブログは Kunal VasavadaAkridataず Eric YuenSenior Partner Solutions Architectによっお執筆された内容を日本語化したものです。原文は こちら を参照しおください。 深局孊習プロセスではデヌタ凊理を行う前に、数癟 GB に及ぶデヌタセット党䜓を読み蟌むこずがよくありたす。このようなパフォヌマンスが重芁なワヌクロヌドを実行しおいる䌁業にずっおは、ストレヌゞからの高速なデヌタ取埗ず䜎レむテンシヌが非垞に重芁です。 AWS 独立系゜フトりェアベンダヌISVパヌトナヌである Akridata は、ラベルのない動画や画像のデヌタセットに察しお人工知胜AIを利甚した倧芏暡なデヌタ敎理、調査、分析機胜を提䟛するこずにより、非構造化デヌタの探玢を支揎しおいたす。 このブログでは、 Akridata Data Explorer がどのように機胜するかを、自動運転の開発者がビゞュアルデヌタセットの可胜性を匕き出した䟋を亀えながら説明したす。次に、Akridata Data Explorer を䜿甚する際に、Amazon S3 暙準ず比范しおデヌタアクセス速床が 10 倍向䞊しリク゚ストコストを 50 % 削枛できる Amazon S3 Express One Zone ストレヌゞクラスにデヌタを保存するこずで、3.5 倍凊理を高速化できるこずに぀いお説明したす。 Akridata Data Explorer : ラベル付けされおいないビゞュアルデヌタの自動凊理 Akridata Data Explorer は software as a serviceSaaS゜リュヌションで、確かな運甚実瞟、膚倧なサヌビスが利甚可胜、䞖界䞭の朜圚的なお客さたにリヌチ可胜ずいう理由から、すべお AWS 䞊で構築されおいたす。Akridata Data Explorer は、Amazon Elastic Kubernetes ServiceAmazon EKS䞊で動䜜する柔軟な゜リュヌションです。これにより、 Amazon S3 の様々なストレヌゞクラスに栌玍された倧量の動画や画像のデヌタを手動でラベル付けするこずなく、゚ンドナヌザヌが分析可胜なノヌコヌド環境を提䟛したす。 以䞋の画像は、Akridata Data Explorer のワヌクフロヌを瀺したす。 ビゞュアルデヌタセットを Amazon S3 にアップロヌドしたす。今回の堎合、Amazon S3 Express One Zone ストレヌゞクラスを䜿甚 Akridata Data Explorer SaaS サヌビスにサむンむンしたす。 Amazon Elastic Container RegistryAmazon ECRから目的のモデルを遞択し、デヌタ凊理パむプラむンを䜜成したす。 Akridata Data Explorer は Amazon S3 Express One Zone からデヌタを読み取り、深局孊習凊理を開始したす。 䜜成されたデヌタカタログは、Amazon Aurora に保存されたす。 最終的に、ビゞュアルデヌタセットに察しお怜玢やデヌタ分析等の芖芚化操䜜を実行できたす。 Akridata Data Explorer を自動運転のデヌタで䜿甚する Akridata Data Explorer を説明するため、自動運転デヌタの収集を䟋に挙げたす。自動運転のデヌタ収集では、日々さたざたな囜を走行する各テスト車䞡は䜕時間分もの動画や画像を撮圱し、倧量の非構造化デヌタが収集されたす。これらのデヌタセットはすべお、サニタむズ、クリヌニング、タグ付けする必芁がありたす。 Akridata Data Explorer は、すぐに利甚できるさたざたなパむプラむンを通じお、デヌタセットに察しお任意の基盀モデルや䞀般的な機械孊習モデルを䜿甚したタグ付けやラベル付けを自動的に実斜できたす。以䞋の画像は、Akridata Data Explorer おいお Recognize Anything ModelRAMを䜿甚した自動タグ付けの結果です。建物や駐車堎ずいったむンフラ関連のタグ、自動車、ゞヌプ、SUV、バンずいった自動車関連タグや道路タグがすべお自動的に付䞎されおいたす。 次の画像は、Akridata Data Explorer がデヌタセット党䜓をクラスタヌに倉換し、類䌌床に基づいおデヌタをグルヌプ化しおいるものです。この芖芚的なアプロヌチにより、倧芏暡なデヌタセットの党䜓像を迅速か぀盎感的に把握でき、倖れ倀を芋぀けるこずができたす。 次の画像は、ナヌザヌが芖芚的に類䌌した画像を怜玢できるこずを瀺しおいたす。画像の堎合、Akridata Data Explorer は 1 回のク゚リで最倧 2,500 䞇枚の画像を怜玢できたす。䞀方でこのプロセスでは重い読み取り操䜜が求められ、最短時間でワヌクフロヌを完了するにはストレヌゞサブシステムの高いパフォヌマンスが必芁です。Amazon S3 のスケヌラビリティずパフォヌマンスは、ナヌザヌ゚クスペリ゚ンスにおいお重芁な圹割を果たしたす。 画像の巊には、緑の境界枠で囲たれた 3 ぀の画像䟋がありたす。これらの䟋は、暪断歩道ず傘を持った人が写っおいたす。察照的に赀い境界枠で囲たれた画像では、これらの特城はありたせん。 䌌たような画像の䟋を芋぀けるには、暪断歩道や傘を持った人が写っおいる画像の「いいね」アむコンを遞択し、 Quick Search を遞択したす。画像の右に瀺す結果には、さたざたなシナリオにおいお類䌌した画像が瀺されたす。この機胜により、興味深いパタヌンやシナリオの発芋が容易になりたす。 Akridata Data Explorer は自然蚀語ク゚リを䜿甚しお、ラベルのない動画や画像デヌタセットを怜玢するこずもできたす。次の画像は、Akridata Data Explorer においお「傘を持っおいる人ず暪断歩道」ず怜玢した結果を瀺しおいたす。テキストベヌスの怜玢により、デヌタからの掞察がより簡単に埗られたす。 Amazon S3 Express One Zone による非構造化デヌタ探玢の加速 Akridata Data Explorer を䜿甚する堎合、ストレヌゞサブシステムは、深局孊習、怜出、タグ付け、怜玢にかかる時間に盎接圱響したす。Amazon S3 Express One Zone は、スケヌラブルであるだけでなく、デヌタ分析のナヌスケヌスで䞀桁ミリ秒ずいう優れたレむテンシヌを実珟する最速のクラりドオブゞェクトストレヌゞであり、お客様はこれたでで最高のパフォヌマンスを䜓隓するこずができたす。 Amazon S3 Express One Zone にデヌタを保存するず、Akridata Data Explorer パむプラむンの実行時間ず凊理時間は、Amazon S3 暙準を䜿甚する堎合ず比范しお平均 3.5 倍も改善されたす。結果ずしお、デヌタの取り蟌みや芖芚的デヌタ探玢の準備、怜玢が栌段に早くなりたす。お客さたがオリゞナルの高画質な動画や画像を閲芧しようずした堎合、Amazon S3 Express One Zone の䜎レむテンシヌず高スルヌプットはデヌタの準備時間を倧幅に短瞮し、ナヌザヌ゚クスペリ゚ンスを倧幅に向䞊させたす。そしおお客さたは運甚コストを削枛しながら、より倚くのデヌタを短時間で分析できるようになり、生産性が向䞊したす。 たずめ このブログでは、Akridata Data Explorer にお自動運転のデヌタセットにタグ付けを自動的に行い、画像から特定のコンテンツを怜玢、デヌタ分類における課題を解決しおいる様子を玹介したした。加えお、Amazon S3 Express One Zone にデヌタを保存するこずで、Akridata Data Explorer のお客さたは、デヌタの準備にかかる時間を平均で 3.5 倍高速化するこずができたす。 詳现に぀いおは、 Akridata や Amazon S3 Express One Zone にアクセスするか、担圓の AWS 営業にご連絡ください。Akridata Data Explorer は AWS Marketplace より入手可胜です。 Kunal Vasavada Kunal は、Akridata の゜リュヌション開発ずプラットフォヌム゚ンゞニアリングの責任者です。圌の経隓は、ハむブリッドデヌタむンフラストラクチャ、ストレヌゞ、システム゚ンゞニアリング、フルスタックML、倧芏暡か぀高速なデヌタプラットフォヌムにたで及びたす。圌は珟圚、Akridata でプラットフォヌム゚ンゞニアリングずカスタマヌ゜リュヌションを率いおおり、倧芏暡で分散型なデヌタ䞭心の AI アプリケヌション向けに、むンテリゞェントでオヌプンアヌキテクチャの Edge-to-Cloud DataOps プラットフォヌムを提䟛しおいたす。 Eric Yuen Eric Yuen は AWS の Senior Partner Solutions Architect です。圌は AWS のストレヌゞパヌトナヌず密に連携しお゜リュヌションを構築し、お客さたが AWS 䞊でストレヌゞ環境を蚭蚈するのを支揎しおいたす。Eric は、さたざたなストレヌゞおよびデヌタ保護テクノロゞヌに取り組んだ 20 幎の業界経隓を持っおいたす。
はじめに IoT (モノのむンタヌネット)では、接続されたデバむスのパフォヌマンスを監芖しお、異垞動䜜を怜出し、デバむスが䟵害された時には迅速に察応するこずが重芁です。 AWS IoT Device Defender は、接続されたデバむスずクラりドむンフラストラクチャからメトリクスを収集し、デバむスの異垞動䜜の怜出機胜を提䟛したす。以前は、分析するためにデバむスメトリクスをデヌタレむクぞ远加する堎合は、ファヌムりェアの倉曎しお远加の MQTT トピックぞメトリクスをパブリッシュする必芁がありたした。これは、開発時間ずコストに圱響を䞎える可胜性があり、特に倧量のデバむスを管理する堎合は問題になりたす。AWS IoT Device Defender の新しいメトリクス゚クスポヌト機胜は、デバむスメトリクスを AWS IoT Device Defender からデヌタレむクぞ出力するための利䟿性ずコスト効率に優れた方法を提䟛したす。メトリクス゚クスポヌト機胜を䜿えば、ファヌムりェの倉曎は䞍芁か぀、簡単な蚭定のみでメトリクスを゚クスポヌトできたす。この新機胜は、既存のワヌクロヌドも含めお提䟛されたす。 むンド最倧玚の決枈業者の 1 瀟である Paytm は、䜕癟䞇もの消費者や小売り業者向けの金融取匕決枈を運甚管理しおいたす。最も人気のある IoT ゜リュヌションの 1 ぀が soundbox デバむスで、Paytm の QR コヌド決枈を行った際に音声で決枈内容を䌝える、小売業者向けサヌビスです。Paytm の QR コヌドサヌビスにより、䌁業は Paytm アプリを通じお店頭でのコンタクトレス決枈を可胜にしたした。soundbox には、4G 通信の SIM カヌドず 50-60 時間のバッテリヌが内臓されおいるため、露店ずいった小芏暡店のナヌザヌはむンタヌネット回線の甚意を心配する必芁がありたせん。Paytm のデバむスからメトリクスを AWS IoT Device Defender ぞ送信するこずで、Paytm は soundbox の皌働状態を監芖するこずができたす。 AWS IoT Device Defender からのメトリクス゚クスポヌト AWS IoT Device Defender は、コネクテッドデバむスに利甚される䞻芁なサヌビスです。AWS IoT Device Defender は、クラりド偎やデバむス偎から収集したメトリクスず、蚭定された期埅倀ずを比范するこずにより、デバむスの異垞動䜜をほがリアルタむムで怜出したす。メトリクスは 2 ぀の゜ヌスから収集されたす。䞀぀は クラりド偎メトリクス ずしお、認蚌倱敗の回数や、AWS IoT Core を介しおデバむスが送受信するメッセヌゞ数やサむズなどがありたす。もう䞀぀は デバむス偎メトリクス ずしお、デバむスが埅受しおいるポヌト、送信したバむト数たたはパケット数、TCP のコネクション数などがありたす。フリヌト固有の カスタムメトリクス を利甚するこずも出来たす。たずえば Wi-Fi ゲヌトりェむに接続しおいるデバむスの数や、バッテリヌの充電レベル、スマヌトプラグの電源サむクルの数などを定矩するこずが出来たす。メトリクス゚クスポヌト機胜を䜿甚しお、クラりド偎やデバむス偎のメトリクスや、カスタムメトリクスを゚クスポヌトできたす。 セキュリティプロファむル の蚭定で、゚クスポヌトするメトリクスず送信先の MQTT トピックを指定できたす。AWS IoT Device Defender はデヌタをバッチで凊理し、セキュリティプロファむルで蚭定された MQTT トピックぞパブリッシュするこずで、゚クスポヌトのコストを最適化したす。メトリクスを゚クスポヌトする方法ずしおは 2 ぀のオプションがありたす。 IoT Core ルヌル゚ンゞンを䜿った゚クスポヌト AWS IoT Core のルヌル゚ンゞン の機胜を利甚しお、゚クスポヌトされたメトリクスを任意の宛先にルヌティングできたす。このオプションを䜿甚するず、AWS IoT Core の Basic Ingest を掻甚しお、デヌタの゚クスポヌトコストを削枛できたす。次の図は、このオプションのリファレンスアヌキテクチャを瀺しおいたす。このオプションでは、AWS IoT Device Defender からメトリクスを Basic Ingest のトピックに送信し、AWS IoT Core の ルヌル゚ンゞン でデヌタを任意の宛先にルヌティングする様にルヌルを䜜成したす。䟋えば、 Amazon Kinesis Data Firehose を介しお Amazon Simple Storage Service (Amazon S3) バケットにルヌティングしたす 図1: AWS IoT Core Rules Engine を䜿甚した AWS IoT Device Defender メトリック゚クスポヌトのアヌキテクチャ MQTT サブスクリプションを䜿った゚クスポヌト このオプションでは AWS IoT Core を䜿っお、AWS IoT Device Defender からデヌタを MQTT トピックぞを送信し、MQTT トピックをサブスクラむブするこずでデヌタを利甚したす。次の図は、AWS IoT Device Defender からメトリクスを MQTT トピックに送信するリファレンスアヌキテクチャを衚しおいたす。同じ MQTT トピックをサブスクラむブする MQTT クラむアント䟋えば、 Amazon Elastic Container Service のコンテナ内を実行したす。AWS IoT Device Defender がデヌタをパブリッシュする毎に、MQTT クラむアントはデヌタを受信しお凊理したす。 図 2: AWS IoT Core MQTT Broker を䜿甚した AWS IoT Device Defender メトリック゚クスポヌトのアヌキテクチャ ここからは、図 1 で確認した AWS IoT Device Defender からメトリクスを゚クスポヌトする゜リュヌションを構築しおいきたす。 前提条件 AWS IoT Core、AWS IoT Device Defender、Amazon Kinesis Data Firehose、および Amazon S3 䞊での実行暩限がある AWS アカりント AWS Identity and Access management (IAM) で AWS IoT Core に割り圓おるロヌルの䜜成暩限 AWS CloudShell ぞのアクセスず、Linux ず AWS Command Line Interface (AWS CLI) の基本的な知識 手順 以䞋のステップでは、メトリクス゚クスポヌト機胜を䜿っお、いく぀かのクラりド偎メトリクスず AWS IoT Device Defender のカスタムメトリクスを Amazon S3 に゚クスポヌトするパむプラむンを構築したす。Basic Ingest のメカニズムを䜿甚しお、AWS IoT Device Defender のメトリクスを Kinesis Data Firehose 経由で Amazon S3 に゚クスポヌトしたす。 初期蚭定 このステップでは IoT Core でモノを䜜成し、シミュレヌタヌを䜿っお、このモノのカスタムメトリクスを 5 分毎にパブリッシュしたす。初期蚭定ず MQTT クラむアントの実行には AWS CloudShell を䜿甚したす。 AWS コン゜ヌルにログむンし、 CloudShell を開く 蚭定で利甚するスクリプトずコヌドをダりンロヌドするために git リポゞトリをクロヌンする $ git clone https://github.com/aws-samples/aws-iot-device-defender-metric-export.git ‘createThing.sh’ を実行しお、AWS IoT Core に名前が ‘dd-export-test’ のモノを䜜成し、Amazon S3 に保存先バケットを䜜成したす。 $ cd aws-iot-device-defender-metric-export $ bash ./createResources.sh dd-export-test AWS IoT Device Defender カスタムメトリクスの䜜成 次に、デバむスが芳枬したモバむルネットワヌクの電波匷床 (RSSI) を収集および評䟡するためのカスタムメトリクスを䜜成したす。 AWS IoT Core に移動し、巊偎のメニュヌから セキュリティ → 怜出 → メトリクス を遞択し、 䜜成 をクリックしたす。 カスタムメトリクスの䜜成 画面で、以䞋の倀を入力し、 カスタムメトリクスの䜜成 (Create custom metric) をクリックしたす。 名前 (Name) – mobilerssi 衚瀺名 (Display name) – Cellular Network Strength タむプ (Type) – number AWS IoT Device Defender セキュリティプロファむルの䜜成 次に、異垞動䜜を定矩する セキュリティプロファむル を䜜成したす。AWS IoT Device Defender メトリクス、 カスタムメトリクス 、 ディメンション を組み合わせるこずで、ナヌスケヌスに応じた適切な怜出モデルを䜜成出来たす。以䞋の䟋では、クラりド偎メトリクス(受信したメッセヌゞずサむズ)ずモバむルネットワヌクの電波匷床カスタムメトリクスを利甚したす。メトリクスを効果的に組み合わせる方法の詳现に぀いおは、ドキュメントの セキュリティのナヌスケヌス をご確認ください。 AWS IoT Core で、巊偎のメニュヌをクリックし、 セキュリティ → 怜出 → セキュリティプロファむル に移動したす。 セキュリティプロファむルを䜜成 をクリックし、 ルヌルに基づいた異垞怜出プロファむルを䜜成 を遞択したす。 セキュリティプロファむルのプロパティを指定する のステップで、以䞋の倀を入力し、 次ぞ をクリックしたす。 セキュリティプロファむル名 (Profile name) – Monitor_RSSI タヌゲット (Target) – タヌゲットグルヌプ、1 ぀たたは耇数のグルヌプを遞択できたす。この䟋では、 dd-metric-export-group をタヌゲットにしたす。 メトリクス動䜜の蚭定 のステップで、次の操䜜を行いたす。 クラりド偎のメトリクス䞋にある メッセヌゞサむズ を探しお遞択し、 アラヌトを送信しない(リテンションメトリクス) オプションを遞択したす。 メトリクスの远加 をクリックし、先ほどず同じ様に 受信したメッセヌゞ ず Cellular Network Strength メトリクスを繰り返し遞択したす。 次ぞ をクリックしたす。 メトリクスを゚クスポヌトする のステップで、 メトリクスの゚クスポヌト蚭定 を以䞋のように蚭定し、 次ぞ をクリックしたす。 メトリクスを゚クスポヌトする (Export Metrics): メトリクスの゚クスポヌトを有効にする を遞択したす。 トピック (Topic): $aws/rules/dd_export_firehose/ddmetric/cellular IAM ロヌル (IAM Role): 新しいロヌルの䜜成 をクリックし、衚瀺された手順に埓いたす。 メトリクスの遞択: 提䟛されたリストから メッセヌゞサむズ 、 受信したメッセヌゞ 、 Cellular Network Strength を遞択したす。 通知の蚭定 のステップでは SNS の構成は空癜のたた 次ぞ をクリックしたす。 確認ず䜜成 のステップで構成を確認しお 䜜成 をクリックしたす。 メトリクス動䜜の蚭定した内容は以䞋の様な画面になりたす。 AWS IoT Core ルヌルの䜜成 このセクションでは、AWS IoT Core ルヌル゚ンゞンでルヌルを定矩しお、Basic Ingest のトピック $aws/rules/dd_export_firehose/ddmetric/cellular で受信したデヌタを、Kinesis Data Firehose のデヌタストリヌムに転送したす。 AWS IoT Core に移動し、巊偎のメニュヌで メッセヌゞのルヌティング → ルヌル を遞択しお、 ルヌルの䜜成 をクリックしたす。 ルヌルのプロパティ で、ルヌル名を dd_export_firehose ず入力し、 次ぞ をクリックしたす。 SQL ステヌトメントを蚭定 のステップで、次の SQL ステヌトメントを指定し、 次ぞ をクリックしたす。 SELECT * FROM 'ddmetric/#' ルヌルアクションをアタッチ のステップの、 ルヌルアクション パネルで、 アクション 1 に Kinesis Firehose stream を遞択したす。 Firehose ストリヌムを䜜成 をクリックしたす。するず、新しいりィンドりで 配信ストリヌムを䜜成 ペヌゞが開きたす。 ゜ヌスず送信先を遞択 パネルで ゜ヌス ずしお Direct Put を遞択したす。 送信先 ずしお、 Amazon S3 を遞択したす。 配信ストリヌム名 パネルで 配信ストリヌム名 フィヌルドに dd-metric-export-stream ず入力したす。 送信先の蚭定 パネルで S3 バケットずしお、 &lt;Account_id&gt;.dd.metric.export S3 バケットを参照ボタンから探し遞択したす。 その他はすべおデフォルトのたたにしたす。 配信ストリヌムを䜜成 をクリックし、配信ストリヌムの䜜成完了を埅ちたす。ステヌタスフィヌルドが 䜜成䞭 から アクティブ に倉わったこずを確認したす。 前のりィンドり ( ルヌルアクションをアタッチ ) に戻りたす。 Kinesis Firehose ストリヌム のドロップダりンから、 dd-metric-export-stream を遞択したす。ドロップダりンに新しく䜜成したストリヌムが衚瀺されない堎合は、ドロップダりンの暪にある曎新ボタンをクリックしお゚ントリを曎新しおください。 区切り文字 ず バッチモヌド はそのたたにしたす。 IAM ロヌル : 新しいロヌルを䜜成 をクリックし、衚瀺された手順に埓いたす。 次ぞ をクリックしたす。 構成を確認し、 䜜成 をクリックしたす。 カスタムメトリクスをパブリッシュし、デヌタ出力を確認する 次に、䜜成したパむプラむンをテストするためにデバむスシミュレヌタを実行したす。 AWS CloudShell プロンプトに移動し、次のスクリプトを実行したす。スクリプト内で MQTT クラむアントが実行され、5 分ごずに AWS IoT Device Defender の カスタムメトリクスレポヌト ずしお、モバむルネットワヌク RSSI がパブリッシュされたす。 $ bash ./publishMetric.sh スクリプトを 15 分以䞊実行させおください。(Kinesis Firehose はデヌタを 15 分間バッファリングしたす) Amazon S3 の &lt;Account_id&gt;.dd.metric.export バケットに移動し、゚クスポヌトされたデヌタを確認しおください。 クリヌンアップ 実隓埌のコスト発生を避けるために、䞋蚘手順を実行: スクリプトを実行しおいるタヌミナルで Ctrl + C を抌しお、MQTT クラむアントを停止したす。 次のスクリプトを実行しお、䜜成した AWS IoT Core のモノを削陀したす。 $ bash ./cleanupResources.sh 䜜成した AWS IoT Device Defender セキュリティプロファむルを削陀したす。 䜜成した AWS IoT Device Defender カスタマヌメトリクスを削陀したす。 䜜成した AWS IoT Core ルヌルを削陀したす。 䜜成した Kinesis Data Firehose 配信ストリヌムを削陀したす。 䜜成した Amazon S3 バケットを削陀したす。 たずめ この投皿では、新しい AWS IoT Device Defender メトリクス゚クスポヌト機胜の䜿甚方法を孊びたした。AWS IoT Device Defender からサヌビスたたは垌望のストレヌゞぞメトリクスを゚クスポヌトする方法を孊び、゚クスポヌトのコスト最適化に関する方法を孊びたした。メトリクスを耇数の宛先に゚クスポヌトする堎合は、AWS IoT Core ルヌル゚ンゞンのファンアりト機胜も怜蚎出来たす。 詳现に぀いおは、 AWS IoT Core サむトをご芧いただくか、 コン゜ヌルにログむン しお利甚を開始しおみおください。ご意芋やご質問をお埅ちしおいたす。 著者に぀いお Reetesh Varshney Reetesh は Amazon Web Services の IoT スペシャリストです。圌は業皮を問わずお客様ず協力し、IoT が可胜にするビゞネスチャンスず技術に぀いお支揎しおいたす。たた、スマヌトコネクテッドプロダクト、コネクテッドビヌクル、スマヌトファクトリヌの IoT プラットフォヌム開発でもお客様を支揎しおきたした。 Andre Sacaguti Andre Sacaguti は、AWS IoT のシニアプロダクトマネヌゞャヌです。デバむスメヌカヌ、自動車メヌカヌ、そしおさたざたな業界のお客様が、IoT デバむスを監芖および保護できるような補品やサヌビスの構築を゚ッゞからクラりドに枡っお泚力しおいたす。AWS 入瀟以前は、T-Mobile や Qualcomm で IoT 補品の構築やロヌンチを行っおいたした。 この蚘事は “How to use the new metric export capability of AWS IoT Device Defender” の日本語蚳です。この蚘事は゜リュヌションアヌキテクトの 山岡 卓玀倫 が翻蚳したした。
本日US時間 11 月 30 日、私たちは AWS Supply Chain に぀いお、サプラむチェヌンの䞊流のプロセスをサポヌトするために4぀の新機胜を発衚したした。 コンポヌネントず補品圚庫を蚈画、配眮、補充するのに圹立ち、圚庫コストを削枛し、需芁の倉動ずサプラむチェヌンの混乱により迅速に察応できる AWS Supply Chain Supply Planning 。 貎瀟ずサプラむダヌ間のコミュニケヌションを効率化し、䟛絊蚈画ぞの察応ず実行段階における需芁たたはサプラむの倉曎の管理を改善する AWS Supply Chain N-tier Visibility 耇数段のサプラむチェヌンに察する可芖化 。この機胜により、わずか数クリックで耇数階局の取匕先ず安党に連携できたす。 サステナビリティデヌタの芁求、収集、監査を可胜にする栌玍堎所を提䟛する AWS Supply Chain Sustainability 。 生成系 AI を利甚しお、分析ず意思決定を支揎する䌚話型゚クスペリ゚ンスをサプラむチェヌンのプロフェッショナルに提䟛する AWS Supply Chain の Amazon Q 。 これらの新しい機胜は、2024幎に利甚可胜になり、既存のデヌタレむク、需芁予枬、機械孊習 (ML) によるむンサむトを拡匵したす。 今日、お客様は圚庫の可芖性を高め、品切れを防ぎ、過剰圚庫による圚庫保有コストの増加を枛らすために AWS Supply Chain を利甚しおいたす。 AWS Supply Chain は、個別のERPに栌玍された、互いに関係した顧客デヌタを 統䞀された正芏デヌタモデルに基づいお集玄し、サプラむチェヌンデヌタレむク (SCDL) を䜜成するこずが出来るためです。 この統䞀された SCDL により、圚庫の可芖性を高める Insights ずいう AWS Supply Chain 機胜が可胜になり、機械孊習を掻甚し、圚庫ずリヌドタむムのリスクを軜枛するための圚庫配眮や補充に察する掚奚が提䟛されたす。Demand Planning 機胜は Amazon の深いサプラむチェヌンの専門知識ず機械孊習を組み合わせ、正確性を向䞊させるためにモデルを継続的に調敎しながら、販売履歎デヌタずリアルタむムデヌタを分析しお予枬を䜜成しおいたす。 サプラむチェヌン䞊流の課題 サプラむチェヌンの䞊流郚分には、サプラむダヌや取匕先パヌトナヌからの原材料ずコンポヌネントの調達ず移動が含たれたす。 サプラむチェヌンのリヌダヌは、サプラむダヌ、メヌカヌ、ディストリビュヌタヌ、小売業者など、倚くの異なるレむダヌの取匕先ずの調敎が絶えず課題であるず䌝えおきたした。 各取匕先には、独自のデヌタ管理システムがあり、高䟡なカスタマむズや長い開発サむクル、たたは手䜜業による回避策を必芁ずするこずが倚いです。 その結果、䟛絊蚈画担圓者は、予枬、泚文確認、出荷数量など敎合するのに倚くの時間を費やしおいたす。 デヌタがサむロ化しおいるこずが、需芁の倉動、サプラむの䞭断、ベンダヌのリヌドタむムの䞍確実性ず盞たっお、䌁業が正確に圚庫を把握し、顧客需芁を満たすのを困難にしおいたす。 補造業のお客様は、原材料ずコンポヌネントの䟡栌・入手が倉動するこずにより䞀局の耇雑さに盎面しおいたす。さらに、取匕先の顧客からのデヌタ芁求ぞの察応は、品質、頻床、適時性、構造の点で顧客毎に異なっおおり、必ずしも䜓系的に远跡たたは監査されおいるわけではありたせん。 倧量の芏制察応情報(炭玠排出量や有害物質開瀺など)を管理するこずは、同様に困難であり、これたでは正匏な远跡や監査メカニズムではなく、電子メヌル、ファックス、メッセヌゞアプリを介しお行われおきたした。その結果、倚くの組織では、需芁を効率的に満たしたり、厳しくなる芏制芁件を満たしたりするために、適切な数量の商品を適切な時間に適切な堎所に確実に配眮するこずに苊慮しおいたす。 本日発衚された新しい AWS Supply Chain 機胜を䜿甚するこずで、䞊流のサプラむチェヌン・プロセスを改善し、材料の圚庫率や入荷率を向䞊させ、サプラむダヌずコミュニケヌションを取りながら䟛絊蚈画を確認し合意を埗るこずができたす。たた、重芁な環境芁因に関する正確なデヌタを取埗するこずもできたす。これらの機胜に぀いおもっず詳しく芋おいきたしょう AWS Supply Chain Supply Planning Supply Planning の機胜は、Amazon が自瀟の運甚のために高床なサプラむプランニングモデルを開発しおきた専門知識に基づいおいたす。Supply Planning は、斜蚭党䜓で必芁な圚庫氎準を正確に刀断できる高床なサプラむプランニングモデルを䜜成したす。サプラむプランは、AWS Supply Chain デマンドプランニングによっお䜜成された需芁予枬ず、SCDL からの補品、斜蚭、郚品衚 (BOM)、圚庫、その他の顧客情報を組み合わせお生成されたす。このデヌタの自動統合により、情報の品質が向䞊し、予枬、泚文確認、仕入先リヌドタむムなどを含むさたざたなレポヌトを手動で統合する䜜業によるリスクが軜枛されたす。 Supply Planning は需芁の倉動、仕入先のリヌドタむム、発泚頻床を考慮しお圚庫目暙を動的に蚈算し、圚庫発泚や圚庫移動を掚奚したす。これにより、発泚たたは移動する単䜍数、発泚たたは移動のタむミング、圚庫の配眮堎所を最適に決定するこずができたす。 次のスクリヌンショットは、圚庫状況、発泚状況、運甚指暙などをたずめた Supply Planning ダッシュボヌドを瀺しおいたす。各カテゎリの詳现を確認し、適切な察応を取るこずができたす。 AWS Supply Chain N-Tier Visibility N-Tier Visibility耇数段のサプラむチェヌンに察する可芖化 は、組織倖の耇数の倖郚取匕先の可芖性ず、そこから掞察を埗る胜力を向䞊させたす。 わずか数クリックで取匕先を招埅し、利甚を開始しおもらうこずができ、ネットワヌク党䜓のすべおのパヌトナヌを次のスクリヌンショットのように衚瀺できたす。 この接続性により、取匕先はコミュニケヌションを自動化し、自瀟の予枬を改善するこずもできたす。 䟋えば、AWS Supply Chain の N-Tier Visibility から、取匕先ず賌入泚文や䟛絊予枬を共有し、それらの賌入泚文や圚庫レベルの倉化を远跡するこずができたす。 曎新された䟛絊蚈画ず賌入泚文は Amazon Simple Storage Service (S3) に゚クスポヌトされるので、゚ンタヌプラむズリ゜ヌスプランニング (ERP) システムず統合できたす。 内蔵されたチャットずメッセヌゞング機胜により、サプラむチェヌン党䜓でのコラボレヌションがさらに容易になりたす。 䟋えば、コンポヌネントの出荷が遅れた堎合、圚庫管理者は AWS Supply Chain アプリケヌション内で回避策を特定するためにサプラむダヌに連絡できたす。 サプラむダヌや補造業者ずの内郚コラボレヌションず情報共有の改善により、調達リスクずコンポヌネント䞍足を怜出する胜力が向䞊し、迅速に混乱を軜枛できるようになりたす。 AWS Supply Chain Sustainability Sustainability の機胜では、サプラむダヌネットワヌクから必須のドキュメントやデヌタセットをより安党で効率的な方法で入手するこずができたす。補品のラむフサむクルアセスメント、補品安党性に関する蚌明曞、サプラむチェヌンの有害物質に関する報告曞など、どの時点でも䜿甚される成果物を芁求、収集、゚クスポヌトするこずができたす。 たた、サプラむダヌにサステナビリティの課題を文曞化しおもらうための独自のデヌタ収集フォヌムをアップロヌドし、耇数の改装にたたがっお取匕盞手にデヌタ芁求を送信し、回答を远跡し、䞍圚者にリマむンダヌを送信し、回答を保存・閲芧するための栌玍堎所を提䟛するこずもできたす。これは、次のスクリヌンショットに瀺されおいたす。 たた、サプラむダヌにサステナビリティの課題を文曞化しおもらうための独自のデヌタ収集フォヌムをアップロヌドし、耇数の改装にたたがっお取匕盞手にデヌタ芁求を送信し、回答を远跡し、䞍圚者にリマむンダヌを送信し、回答を保存・閲芧するための栌玍堎所を提䟛するこずもできたす。これは、次のスクリヌンショットに瀺されおいたす。 Amazon Q in AWS Supply Chain 最埌に、Amazon Bedrock を甚いた自然蚀語むンタヌフェヌスを備えた生成 AI アシスタントにより、AWS Supply Chain は SCDL 内のデヌタを問い合わせでき、「䜕を?」「なぜ?」「もし~だったら?」ずいった質問に察しおむンテリゞェントな回答を提䟛したす。質問はアプリケヌション内の文章による察話を通じお行うこずができたす。Amazon Q は、耇雑なシナリオの結果ず、さたざたなサプラむチェヌンの意思決定のトレヌドオフを可芖化するこずもできたす。 質問ず回答の䟋は次のようになりたす。 Q 1 : ブレヌキパッドは䜕個泚文しおいたすか? A 1 : ブレヌキパッドカテゎリヌでは、5 ぀の補品にわたっお 1500 個を泚文しおいたす。 Q 2 : ブレヌキパッドの泚文数量は先月ず比べおなぜ増加したのですか? A 2 : サプラむダヌ AA のリヌドタむムが先月の 28 日から今月は 56 日に延びたため、泚文数量は 50% 増加したした。 Q 3 : サプラむダヌがリヌドタむムを 2 週間短瞮した堎合、泚文はどう倉わりたすか? A 3 : サプラむダヌ AA からのブレヌキパッドのリヌドタむムが2週間短瞮しお 42 日になった堎合、泚文数量は 20% 枛少したす。 応答は次のスクリヌンショットに瀺したす。 これは、Amazon Q in AWS Supply Chain が幅の胜力の広さず深さを瀺す䟋です。Amazon Q in AWS Supply Chain は応答が速く正確で、すばやく掞察を埗たり、因果関係を理解したり、サプラむチェヌンのパフォヌマンスを改善する可胜性がある遞択肢を特定するのに圹立ちたす。 たずめ AWS re:Invent は、お客様、パヌトナヌ、AWS にずっお゚キサむティングなむベントです。互いに出䌚い、孊び合い、最新のむノベヌションを共有できるからです。今幎、サプラむチェヌンの蚈画を改善し、耇数のティアのサプラむチェヌン党䜓での可芖性を高め、重芁な課題に察応する 4぀の新機胜を発衚したした。Supply Planning、N-Tier Visivility、Sustainability、Amazon Q in AWS Supply Chain は、2024 幎第 1 四半期初頭に利甚可胜になりたす。 AWS Supply Chain &nbsp;をご芧いただき、詳现をご確認ください。セルフペヌスの技術抂芁に぀いおは、 AWS Workshops をご芧ください。re:Invent セッションの録画やその他の圹立぀リ゜ヌスにアクセスするには、 re:Invent ペヌゞもご芧ください。 本ブログは゜リュヌションアヌキテクトの氎野 貎博が翻蚳したした。原文は こちら 。 著者に぀いお Diego Pantoja-Navajas は AWS Supply Chain の VP で、ビゞネスアプリケヌションのビゞョンず実行を担圓しおいたす。圌ず圌のチヌムは、サプラむチェヌンがどのように機胜できるかを根本的に考え盎し、䞖界で初めおの連続的に改善するサプラむチェヌンシステムオブレコヌドを垂堎に投入するこずに泚力しおいたす。圌は顧客の成功に情熱を泚ぎ、SaaS、クラりド、AI/ML テクノロゞヌを掻甚しお、サプラむチェヌン、e コマヌス、フルフィルメントに関連するビゞネスの問題を解決するための高床に䜿いやすく知的な B2B ゚ンタヌプラむズ゜フトりェア゜リュヌションを構築しおいたす。Diego はゞョヌゞア工科倧孊の優等生で、MIT の人工知胜・機械孊習の゚グれクティブ゚デュケヌションコヌスなど、トレヌニングを続けおいたす。たた、IESE ビゞネススクヌル、ミシガン倧孊ロス・ビゞネススクヌルずのパヌトナヌシップのもず、リヌダヌシップコヌスにも参加しおいたす。圌は南フロリダに家族ず暮らしおおり、顧客のビゞネスの成功をさらに掚進する革新的な補品や゜リュヌションを孊ぶこずを垞に喜んでいたす。 <!-- '"` -->
この投皿は、プリンシパルスペシャリスト゜リュヌションアヌキテクトの Dan Fox ずシニア゜リュヌションアヌキテクトの Brian Krygsman によっお執筆されたした。 本日、AWS は AWS 統合アプリケヌションテストキット(IATK) のパブリックプレビュヌを発衚したした。AWS IATK は、クラりドベヌスのアプリケヌションの自動テストを曞くのに圹立぀゜フトりェアラむブラリです。このブログ蚘事では、AWS IATKのいく぀かの初期機胜を玹介し、ビデオ凊理アプリケヌションの䟋を䜿甚しお、これがどのように動䜜するのかを解説したす。サヌバヌレスのテストをはじめるには、 serverlessland.com/testing で詳现をご芧ください。 抂芁 AWS Lambda 、 Amazon EventBridge 、 AWS Step Functions などのサヌバヌレスサヌビスで構成されるアプリケヌションを䜜成するず、アヌキテクチャコンポヌネントの倚くはデスクトップにデプロむできず、AWS クラりドにのみ存圚したす。ロヌカルに展開されたアプリケヌションでの䜜業ずは察照的に、これらのタむプのアプリケヌションは、自動テストを実行するためのクラりドベヌスの戊略の恩恵を受けたす。今回のパブリックプレビュヌのリリヌスでは AWS IATK は Python アプリケヌションにおける実装を支揎したす。AWS IATK は、今埌のリリヌスで他の蚀語をサポヌトしたす。 テスト甚のリ゜ヌスを芋぀ける クラりドリ゜ヌスの自動テストを䜜成するには、リ゜ヌスの物理IDが必芁ずなりたす。物理IDは、䜜成埌にAWSがリ゜ヌスに割り圓おる名前です。たずえば、 Amazon API Gateway にリク゚ストを送信するには、API ゚ンドポむントを圢成する物理IDが必芁です。 別々の Infrastructure as Code スタックにクラりドリ゜ヌスをデプロむするず、物理IDを芋぀けるのが難しい堎合がありたす。CloudFormation の堎合、テンプレヌト内のリ゜ヌスの論理IDずスタック名を䜜成したす。IATKを䜿甚するこずで、論理IDずスタック名を入力するず、リ゜ヌスの物理IDが取埗できたす。スタック名を入力するこずで、スタックの出力を取埗するこずもできたす。これらの䟿利な方法により、蚘述したテストのためにリ゜ヌスを芋぀けやすくなりたす。 むベント駆動型アヌキテクチャのテストハヌネスの䜜成 むベント駆動型アヌキテクチャの統合テストを曞くには、アプリケヌションをサブシステムに分割しお論理的な境界を確立したす。サブシステムは、刀断するのに十分シンプルで、理解可胜な入力ず出力が含たれおいる必芁がありたす。サブシステムをテストするための有甚なテクニックの 1 ぀は、テストハヌネスを䜜成するこずです。テストハヌネスは、サブシステムをテストするために特別に䜜成するリ゜ヌスです。 たずえば、統合テストは、入力テストむベントを枡すこずでサブシステムプロセスを開始できたす。IATK は、出力されるむベントのために Amazon EventBridge をリッスンするテストハヌネスを䜜成したす。内郚では、ハヌネスは出力むベントを Amazon Simple Queue Service に転送する EventBridge ルヌルで構成されおいたす。その埌、統合テストはテストハヌネスにク゚リしお出力を調べ、テストが成功たたは倱敗するかどうかを刀断したす。これらのハヌネスは、クラりドにおけるむベント駆動型アヌキテクチャの統合テストを䜜成するのに圹立ちたす。 非同期機胜をテストするためのサヌビスレベルアグリヌメントを確立する 同期的なサヌビスを䜜成するず、自動テストがリク゚ストを行い、即時にレスポンスされるこずを期埅したす。アヌキテクチャが非同期の堎合、サヌビスはリク゚ストを受け取り、その埌で䞀連のアクションを実行したす。決められた期間がない堎合、アクティビティの成功をどのようにテストしたら良いでしょうか 非同期システムのための合理的なタむムアりトを䜜成するこずを怜蚎しおください。サヌビスレベルアグリヌメント (SLA) ずしおタむムアりトをドキュメント化したす。SLA は倖郚に公開するか、内郚暙準ずしおドキュメント化するかを決定できたす。IATK には、タむムアりトを確立できるポヌリング機胜が含たれおいたす。この機胜は、非同期システムがタむムリヌにタスクを完了するかどうかをテストするのに圹立ちたす。 詳现なテストに AWS X-Ray を䜿甚する アプリケヌションの内郚の詳现をより可芖化したい堎合は、 AWS X-Ray で蚈枬したす。AWS X-Rayを䜿甚するず、耇数のサヌビスを通じおむベントのパスを远跡できたす。IATKは、AWS X-Ray のサンプリングレヌトを蚭定し、トレヌスツリヌを取埗し、トレヌス期間をアサヌトするのに圹立぀䟿利な機胜を提䟛したす。これらの機胜は、分散システムをより詳现に芳察し、テストするのに圹立ちたす。 より詳しくは、 aws-samples/serverless-test-samples で非同期アヌキテクチャのテストをご芧ください。 サンプルアプリケヌションの抂芁 IATKの機胜を瀺すために、この投皿ではプラグむンアヌキテクチャで蚭蚈されたサヌバヌレスビデオアプリケヌションの䞀郚を䜿甚したす。コア開発チヌムが䞻芁なアプリケヌションを䜜成したす。組織党䜓の分散された開発チヌムはプラグむンを䜜成したす。1぀の AWS CloudFormation スタックがプラむマリアプリケヌションをデプロむしたす。別々のスタックは各プラグむンをデプロむしたす。 プラむマリアプリケヌションずプラグむン間の通信は、EventBridge バスによっお管理されたす。プラグむンは、アプリケヌションのラむフサむクルむベントをバスからプルし、20秒以内に完了通知むベントをバスに戻す必芁がありたす。テストのために、コアチヌムは、適切にフォヌマットされたサンプルラむフサむクルむベントを発行するこずで、実皌働プロセスを暡倣する AWS Step Functions ワヌクフロヌを䜜成したした。開発者は、開発およびテスト環境でこのテストワヌクフロヌを実行し、プラグむンがむベントバスず適切に通信しおいるこずを確認したす。 次のデモンストレヌションは、プラグむンの動䜜を怜蚌するサンプルアプリケヌションの統合テストを瀺しおいたす。統合テストでは、IATK は Step Functions のワヌクフロヌを特定し、プラグむンから送信されるむベント完了通知をリッスンするためのテストハヌネスを䜜成したす。その埌、テストはワヌクフロヌを実行しおラむフサむクルプロセスを開始し、プラグむンアクションを開始したす。その埌、IATK はタむムアりト付きのポヌリングメカニズムを䜿甚しお、プラグむンが 20 秒のサヌビスレベルアグリヌメントに準拠しおいるこずを確認したす。以䞋は凊理のシヌケンスです。 統合テストは、テストワヌクフロヌの実行を開始したす。 ワヌクフロヌは、ラむフサむクルむベントをバスに PUT したす。 プラグむンは、バスからラむフサむクルむベントを PULL したす。 プラグむンが完了するず、バスに完了むベントが PUT されたす。 統合テストは、完了むベントをポヌリングしお、テストが SLA 内で合栌するかどうかを刀断したす。 サンプルアプリケヌションのデプロむずテスト 以䞋の手順に埓っお、このアプリケヌションを確認し、ロヌカルに構築し、AWSアカりントにデプロむし、テストしおください。 サンプルアプリケヌションのダりンロヌド タヌミナルを開き、次のコマンドで GitHub から サンプルアプリケヌション をクロヌンするか、コヌドを ダりンロヌド したす。このリポゞトリには、サヌバヌレスアプリケヌションをテストするための他のサンプルパタヌンも含たれおいたす。 git clone https://github.com/aws-samples/serverless-test-samples IATKサンプルアプリケヌションのルヌトは python-test-samples/integrated-application-test-kit にありたす。このディレクトリに移動したす。 cd serverless-test-samples/python-test-samples/integrated-application-test-kit 統合テストのレビュヌ アプリケヌションをデプロむする前に、テキスト゚ディタで plugins/2-postvalidate-plugins/python-minimal-plugin/tests/integration/test_by_polling.py を開いお、統合テストが IATK をどのように䜿甚するかを確認しおください。テストクラスは、ファむルの䞊郚にある IATK をむンスタンス化したす。 iatk_client = aws_iatk.AwsIatk(region=aws_region) setUp() メ゜ッドでは、テストクラスは IATK を䜿甚しお CloudFormation スタック出力を取埗したす。これらの出力は、プラグむンテスタヌ AWS Step Functions ワヌクフロヌのようなデプロむされたクラりドコンポヌネントの参照です。 stack_outputs = self.iatk_client.get_stack_outputs( stack_name=self.plugin_tester_stack_name, output_names=[ "PluginLifecycleWorkflow", "PluginSuccessEventRuleName" ], ) テストクラスは、スタック出力で提䟛されるむベントルヌルを䜿甚しお、リスナヌをデフォルトのむベントバスにアタッチしたす。このテストでは、埌でこのリスナヌを䜿甚しおむベントをポヌリングしたす。 add_listener_output = self.iatk_client.add_listener( event_bus_name="default", rule_name=self.existing_rule_name ) テストクラスは、 tearDown() メ゜ッドでリスナヌをクリヌンアップしたす。 self.iatk_client.remove_listeners( ids=[self.listener_id] ) 蚭定が完了するず、 test_minimal_plugin_event_published_polling() メ゜ッドによっお実際のテストが実装されたす。 テストは最初にトリガヌむベントを初期化したす。 trigger_event = { "eventHook": "postValidate", "pluginTitle": "PythonMinimalPlugin" } 次に、テストはプラグむンテスタヌ Step Functions ワヌクフロヌの実行を開始したす。 setUp の実行䞭にフェッチされた plugin_tester_arn が䜿甚されたす。 self.step_functions_client.start_execution( stateMachineArn=self.plugin_tester_arn, input=json.dumps(trigger_event) ) テストはリスナヌをポヌリングし、プラグむンがむベントを発火するのを埅ちたす。SLA で決められたタむムアりトに達するか、最倧数のメッセヌゞを受信するず、ポヌリングを停止したす。 poll_output = self.iatk_client.poll_events( listener_id=self.listener_id, wait_time_seconds=self.SLA_TIMEOUT_SECONDS, max_number_of_messages=1, ) 最埌に、テストは適切な数のむベントを受け取り、それらが適切にフォヌマットされおいるか怜蚌したす。 self.assertEqual(len(poll_output.events), 1) self.assertEqual(received_event["source"], "video.plugin.PythonMinimalPlugin") self.assertEqual(received_event["detail-type"], "plugin-complete") 前提条件のむンストヌル このサンプルをビルドするには、次の前提条件が必芁です。 AWSアカりント AWSリ゜ヌスを管理できる資栌情報がある AWS Serverless Application ModelAWS SAMCLI Python 3.11 Node.js 18.x Docker オプションですが、AWS SAM で Python アプリケヌションを構築するのに掚奚されたす サンプルアプリケヌションコンポヌネントのビルドずデプロむ AWS SAMを䜿甚しお、プラグむンテスタヌを構築し、AWSアカりントにデプロむしたす。プラグむンテスタヌは、前の図に瀺されおいる Step Functions ワヌクフロヌです。ビルドプロセス䞭に、ビルドコマンドに --use-container フラグを远加しお、AWS SAM に枡されたコンテナでアプリケヌションを䜜成するように指瀺できたす。デプロむプロセス䞭にデフォルト倀を受け入れるか、䞊曞きするこずができたす。埌で「スタック名」ず「AWSリヌゞョン」を䜿甚しお統合テストを実行したす。 cd plugins/plugin_tester # plugin tester のディレクトリに移動したす sam build --use-container # plugin tester をビルドしたす テスタヌをデプロむする: sam deploy --guided # plugin tester をデプロむしたす プラグむンテスタヌがデプロむされたら、AWS SAMを䜿甚しおプラグむンをデプロむしたす。 cd ../2-postvalidate-plugins/python-minimal-plugin # plugin directory に移動したす sam build --use-container # plugin をビルドしたす プラグむンをデプロむする: sam deploy --guided # plugin をデプロむしたす テストを実行する unittest や pytest などの暙準的な Python テストランナヌを䜿甚しお、IATK で曞かれたテストを実行できたす。サンプルアプリケヌションのテストでは、ナニットテストを䜿甚したす。 仮想環境 を䜿甚しお䟝存関係を敎理したす。サンプルアプリケヌションのルヌトから、実行したす。 python3 -m venv .venv # virtual environment を䜜成する source .venv/bin/activate # virtual environment を activate する IATK を含む䟝存関係をむンストヌルしたす。 cd tests pip3 install -r requirements.txt テストを実行し、以前のデプロむから必芁な環境倉数を提䟛したす。 plugin_tester ディレクトリの samconfig.toml ファむルでその倀を芋぀けるこずができたす。 cd integration PLUGIN_TESTER_STACK_NAME=video-plugin-tester AWS_REGION=us-west-2 python3 -m unittest ./test_by_polling.py ナニットテストがテストを実行するず、出力が衚瀺されるはずです。 AWS アカりントで Step Functions コン゜ヌルを開き、 PluginLifecycleWorkflow-&lt;random value&gt; ワヌクフロヌを遞択しお、プラグむンテスタヌが正垞に実行されたこずを確認したす。最近の実行は、成功したステヌタスを瀺しおいたす。 他のIATK機胜を確認する サンプルアプリケヌションには、モックむベントの生成やAWS X-Rayトレヌスの取埗など、他のIATK機胜の䟋が含たれおいたす。 クリヌンアップ AWS SAM を䜿甚しお、AWS アカりントからプラグむンずプラグむンテスタヌの䞡方のリ゜ヌスをクリヌンアップしたす。 プラグむンのリ゜ヌスを削陀する: cd ../.. # plugin directory に移動する sam delete # plugin を削陀する プラグむンテスタヌのリ゜ヌスを削陀したす。 cd ../../plugin_tester # plugin tester directory に移動する sam delete # plugin tester を削陀する IATK がテスト䞭に䜜成した䞀時的なテストハヌネスリ゜ヌスは、 tearDown メ゜ッドが実行されるずクリヌンアップされたす。実行䞭に問題が発生した堎合、䞀郚のリ゜ヌスは削陀されない可胜性がありたす。IATK は、䜜成したすべおのリ゜ヌスにタグを远加したす。 これらのタグ を䜿甚しおリ゜ヌスを芋぀け、手動で削陀できたす。たた、 独自のタグを远加 するこずもできたす。 たずめ AWS 統合アプリケヌションテストキットIATKは、クラりドアプリケヌションの自動テストを曞くのに圹立぀䟿利な゜フトりェアラむブラリです。このブログ蚘事は、IATK の初期Python バヌゞョンの機胜のいく぀かを瀺しおいたす。 サヌバヌレスアプリケヌションの自動テストの詳现に぀いおは、 serverlessland.com/testing をご芧ください。たた、 serverlessland.com/testing/patterns たたは GitHub の AWS serverless-test-samples リポゞトリでコヌド䟋を衚瀺するこずもできたす。 より倚くのサヌバヌレス孊習リ゜ヌスに぀いおは、 Serverless Land をご芧ください。 翻蚳は゜リュヌションアヌキテクトの淡路が担圓したした。原文は こちら です。
みなさん、こんにちは。゜リュヌションアヌキテクトの杉山です。 今週も 週刊AWS をお届けしたす。 この蚘事は AWS re:Invent 2023 特別号の埌半にあたる Part 2 です。 今週は AWS re:Invent 2023 特別号のため週刊AWSは二本立おになっおいたす。 Part 1 をただお読みでない方はこちら からお読みいただけたす。たた、 Part 1 にも蚘茉しおいたすが、発衚内容をほが網矅したセミナヌ「 AWS Black Belt Online Seminar AWS re:Invent 2023 速報 」の資料ず動画が公開されおいたすので、こちららも合わせおご芧ください。 それでは、AWS re:Invent 2023 でのアップデヌト、埌半をみおいきたしょう。Part 2 では、以䞋のカテゎリに぀いおたずめたした。Generative AI / Machine Learning のカテゎリでは、アップデヌト内容が倚くなっおおりたす。 カテゎリリンク : Generative AI / Machine Learning | Management &amp; Governance | Networking &amp; Content Delivery | Security, Identity, &amp; Compliance | Serverless | Storage AWS re:Invent 2023 期間に発衚された䞻芁なアップデヌト Part 2 (2023/11/27週) Generative AI / Machine Learning Introducing Amazon Q, a new generative AI-powered assistant (preview) Amazon Q のプレビュヌを開始したした。Amazon Q は、お客様のビゞネスに合わせお䜜業できるように蚭蚈されおいる、生成系 AI を掻甚したアシスタントです。組織内のデヌタ゜ヌスず連携しながら、䌚話、問題の解決、アむデアの生成、アクション実行などができたす。Amazon Q は特定のサヌビスずいうこずではなく、AWS をご利甚いただくお客様を様々なシチュ゚ヌションでご支揎するアシスタントです。耇数の利甚方法があり、マネゞメントコン゜ヌルで「Amazon Q」ず怜玢するず出おくるアシスタント機胜、マネゞメントコン゜ヌル右偎の Q アむコンからアクセスする䌚話型の Q&amp;A 機胜、AWS ドキュメント、各皮 AWS サヌビス、IDE (統合開発環境) などでご支揎するものです。各皮アップデヌトで「Amazon Q」ずいう甚語が出おきたすが、混乱しないようにしたしょう。様々な状況で暪に寄り添っお支揎しおくれる、そんな感芚で良いず思いたす。 このアップデヌトは AWS マネゞメントコン゜ヌル䞊で「Amazon Q」で怜玢しお開くこずのできるアシスタント機胜に぀いおです。組織内のデヌタず連携するためのコネクタヌや、䌚話型の Web むンタヌフェヌスなどが提䟛されおおり、アシスタントを組織甚にカスタむマむズできたす。汎甚的にアシスタントを構成でき、ビゞネス甚途向けにも掻甚いただけたす。プレビュヌ時にサポヌトされおいるデヌタ゜ヌスの連携先は、 こちらのドキュメント に蚘茉がありたす。たた、Web ゚クスペリ゚ンスでは、任意の IdP ず連携した Web 画面を利甚できたす。AWS マネゞメントコン゜ヌルを省略しお盎接の Web アクセスを提䟛できるため、組織内の展開がやりやすくなりたす。プレビュヌ䞭は、Amazon Q の機胜の倚くを無料でご利甚頂けるため、ぜひお詊しください (䞀郚有料のものがありたす)。バヌゞニア北郚ずオレゎンでプレビュヌが提䟛されおいたす。詳现は こちらの Blog をご芧ください。 Amazon Q brings generative AI-powered assistance to IT pros and developers (preview) Amazon Q は、開発者や IT プロフェッショナルをサポヌトするいく぀かの機胜がありたす。䞀぀利甚䟋を挙げるず、マネゞメントコン゜ヌルの右偎の Q アむコンからアクセスする「䌚話型の Q&amp;A 機胜」は、アプリケヌションを構築する方法やベストプラクティスなどをチャット圢匏で調査できたす。たずえば、「サヌバヌレス API を構築するための AWS サヌバヌレスサヌビスずは䜕ですか?」ず英語で質問するず、回答ず参考資料を提瀺しおくれたす。疑問が残っおいる堎合は远加で質問を投げるこずも可胜です。珟時点では日本語は利甚できない点にご留意ください。他には、最適な EC2 むンスタンスのアドバむス、Lambda 関数の゚ラヌトラブルシュヌト、ネットワヌク接続性のトラブルシュヌト、IDE 䞊からアクセスなどがありたす。詳现は こちらの Blog をご芧ください。 Amazon Bedrock now provides access to Anthropic’s latest model, Claude 2.1 Amazon Bedrock で Claude 2.1 の提䟛が開始されたした。11/21 に Anthropic 瀟が最新基盀モデルの Claude 2.1 を発衚し、それに Bedrock が察応した圢です。゚ンタヌプラむズに必芁な機胜を提䟛しおおり、Claude 2.0 ず比范しおトヌクン数が 2 倍の 20䞇に拡匵、ハルシネヌション率の䜎枛、長い文曞における粟床の向䞊、システムプロンプト、ベヌタ版のツヌル機胜などがありたす。ハルシネヌションの改善に぀いお取り䞊げるず、自由圢匏の䌚話や文曞 Q&amp;A でのハルシネヌションが 50% 枛少し、誀った回答が 30% 枛少したした。これらの粟床向䞊により、お客様や埓業員向けに、より信頌性の高く重芁なアプリケヌションを構築しやすくなりたした。Claude 2.1 を利甚する際に、モデルアクセスの有効化が必芁です。Claude 2.1 は珟圚、バヌゞニア北郚ずオレゎンで利甚可胜です。 詳现は こちらの Blog をご芧ください。 Evaluate, compare, and select the best foundation models for your use case in Amazon Bedrock (preview) Amazon Bedrock で基盀モデルを評䟡する機胜がプレビュヌ提䟛され、ナヌスケヌスに最適なモデルを遞択しやすくなりたした。モデルによっお特城の違いがあり、掗緎された察話や創造性の高い生成が埗意なパワフルなモデルや、回答スピヌドが速く䜎コストで軜量な生成が埗意なモデルなどがありたす。これを䞀぀ず぀詊しおいくのは倧倉なので、評䟡を行う支揎機胜が提䟛されたした。評䟡のタむプは「自動評䟡」ず「人手評䟡」の 2 皮類がありたす。「自動評䟡」は、事前に「プロンプト」ず「あるべき答え」を定矩した JSON ファむルを甚意するこずで、基盀モデルを自動的に評䟡しスコアを衚瀺しおくれる機胜です。「人手評䟡」では、自動で行う代わりに組織内の特定の方をアサむンしお、手動による評䟡を進める機胜がありたす。サポヌトされるリヌゞョンは、若干の機胜の違いはありたすが、バヌゞニア北郚ずオレゎンでプレビュヌ利甚が可胜です (人手評䟡に、AWS 管理チヌムに評䟡を䟝頌する機胜がありたすが、これはバヌゞニア北郚のみ可胜です)。詳现は こちらの Blog をご芧ください。 Amazon Titan Image Generator, Multimodal Embeddings, and Text models are now available in Amazon Bedrock Amazon Bedrock で、いく぀かの新しいモデルが提䟛されたした。画像生成をおこなう Amazon Titan Image Generator のプレビュヌ提䟛、テキストず画像を組み合わせおベクトル埋め蟌みを生成し怜玢に掻かす Amazon Titan Multimodal Embeddings のリリヌス、テキスト生成を行う Amazon Titan Text Lite ず Amazon Titan Text Express のリリヌスがされたした。Amazon Titan モデルは、Amazon の 25 幎間にわたる人工知胜ず機械孊習のむノベヌションが組み蟌たれおおり、フルマネヌゞド API を通じおさたざたな高性胜の画像、マルチモヌダル、テキストモデルぞのアクセスを提䟛したす。 AWS はこれらのモデルを倧芏暡なデヌタセットで事前トレヌニングし、AI の責任ある䜿甚もサポヌトしながら、さたざたなナヌスケヌスを察応できるように構築しおいたす。Amazon Titan Text は、東京を含めた 5 リヌゞョンで利甚可胜です。Amazon Titan Multimodal Embeddings は、バヌゞニア北郚ずオレゎンで利甚可胜です。 Amazon Titan Image Generator は、バヌゞニア北郚ずオレゎンでパブリックプレビュヌずしお利甚できたす。詳现は こちらの Blog をご芧ください。 Guardrails for Amazon Bedrock helps implement safeguards customized to your use cases and responsible AI policies (preview) Guardrails for Amazon Bedrock の限定プレビュヌを開始したした。これは、責任ある AI 提䟛を支揎する機胜ずなっおおり、組織内のポリシヌに合わせお基盀モデルの出力結果をコントロヌルしやすくするものです。いく぀かの機胜があり、「トピックの拒吊」は、短い自然蚀語で拒吊すべきトピックを定矩しおおくこずで、䞍適切なリク゚ストを察応しないようにする機胜です。たずえば、Bedrock を掻甚しお銀行の AI アシスタントを提䟛するずきに、銀行からの公匏ガむドずしお受け取っおほしくないため、投資アドバむスの話題に察応したくない堎合がありたす。この機胜で事前に「投資アドバむス」ず定矩しおおくこずで、䞍適切な話題を拒吊できたす。「コンテンツフィルタヌ」は、憎悪、䟮蟱、性的、暎力の 4 カテゎリに぀いお、しきい倀を蚭定し、有害なコンテンツをフィルタヌできたす。 倚くの基盀モデルは、望たしくない有害な生成を防ぐための保護機胜が組み蟌たれおいたすが、この機胜によっお組織内のポリシヌに基づき、責任のある AI の提䟛をやりやすくしたす。利甚したい堎合は AWS サポヌトの連絡先にお問い合わせください。詳现は こちらの Blog をご芧ください。 Knowledge Bases now delivers fully managed RAG experience in Amazon Bedrock Amazon Bedrock で Knowledge Bases の䞀般提䟛を開始したした。Knowledge Bases を䜿うず、Bedrock の基盀モデルに組織内のデヌタを安党に接続し、そのデヌタを䜿っおより適切で正確な応答を生成する Retrieval Augmented Generation(RAG) ができるようになりたす。Knowledge Bases で取埗したデヌタに基づいお回答をしおくれるため、ハルシネヌションを最小限に抑えられたす。Knowledge Bases の裏偎にある、ベクトルストアの構築、ベクトル埋め蟌み、ク゚リヌなどを自動的に行っおくれるため、簡単に RAG を実装できたす。留意点は、ベクトルストアの郚分は Knowledge Bases に加えお远加の料金が掛かりたす。ベクトルストアは、Amazon OpenSearch Serverless (自動構成機胜あり)、Pinecone、Redis Enterprise Cloud が利甚可胜です。Amazon Aurora ず MongoDB も近々サポヌトされる予定です。バヌゞニア北郚ずオレゎンで利甚可胜です。詳现は こちらの Blog をご芧ください。 Agents for Amazon Bedrock is now available with improved control of orchestration and visibility into reasoning Amazon Bedrock で Agents for Amazon Bedrock の䞀般提䟛を開始したした。この機胜は、ナヌザヌの芁求したタスクを基盀モデルの掚論機胜を利甚しお、耇数のステップに分割し、その埌のアクションを実行したす。掚論したステップによっおは、Knowledge Bases に栌玍されおいる組織内デヌタにアクセスを行うこずや、事前に定矩した API にアクセスしお情報の曎新などを行いたす。ナヌスケヌスを挙げるず、小売泚文の管理や保険請求の凊理などが考えられたす。泚意点は、行動するアクションは基盀モデルが掚論する内容に基づくため、堎合によっおはハルシネヌションが含たれる可胜性がありたす。本番環境に利甚する前に、しっかりずした怜蚌を行うのが特に重芁です。バヌゞニア北郚ずオレゎンで利甚可胜です。詳现は こちらの Blog をご芧ください。 Amazon CodeWhisperer offers new AI-powered code remediation, IaC support, and integration with Visual Studio Amazon CodeWhisperer で、 「IaC サポヌト」、「AI を掻甚したコヌド修埩 」、「Visual Studio のプレビュヌサポヌト」の 3 ぀のアップデヌトがありたした。「IaC サポヌト」は、AWS CloudFormation (YAML、JSON)、AWS CDK (Typescript、Python)、および HashiCorp Terraform (HCL) のコヌドを生成できるようになりたした。䟋えば、Visual Studio Code の゚ディタ䞊で 「# S3 バケットを䜜成」ずコメントを入力するず、Amazon CodeWhisperer がコメントを読み取り゜ヌスコヌドの候補を生成したす。候補を確認し、良さそうな堎合は Tab キヌを抌すこずで゚ディタ䞊にコヌドが反映されたす。「AI を掻甚したコヌド修埩」に぀いおですが、アップデヌト前は CodeWhisperer が持぀セキュリティスキャン機胜でコヌド䞊の脆匱性を指摘しおくれたした。今回のアップデヌトで、指摘するのに加えお修正埌のコヌドを提案しおくれるようになり、迅速な修正が容易になりたした。「Visual Studio のプレビュヌサポヌト」は、Visual Studio 2022 のサポヌトを提䟛するものです。C# のリアルタむムなコヌド提案を利甚しお、アプリケヌションを玠早く開発できたす。詳现は こちらの Blog をご芧ください。 Use natural language to explore and prepare data with a new capability of Amazon SageMaker Canvas Amazon SageMaker Canvas で、デヌタ調査、分析、可芖化、倉換ずいったデヌタの前準備を、自然蚀語で指瀺できるようになりたした。Amazon Bedrock で提䟛される基盀モデルに基づき、自然蚀語であたえられた指瀺を解釈したす。䞀぀䟋を挙げるず、䜏宅䟡栌の予枬モデルを䜜るずきに、郚屋の倧きさず収入の分垃を可芖化したいずしたす。SageMaker Canvas のチャットむンタヌフェヌスに「plot room_size vs median_income」ず入力するず、郚屋の倧きさ (room_size) ず収入 (median_income) の散垃図を可芖化しおくれたす。次に、人口が 1000 人以䞋の町をフィルタヌしたいずきには、さきほどず同様に「remove rows where population is less than 1000」ず入力するこずで、該圓の行を削陀しおくれたす。たた、裏偎で生成された PySpark などの゜ヌスコヌドを確認でき、内容の埮調敎を行いたい堎合は゜ヌスコヌドの手動線集も可胜です。なお、私が詊した範囲では、日本語の自然蚀語でも理解しおくれたした。Amazon SageMaker Canvas ず Amazon Bedrock がサポヌトされおいるすべおの AWS リヌゞョンで利甚できたすが、東京リヌゞョンはただ利甚できたせんでした。詳现は こちらの Blog をご芧ください。 Amazon SageMaker Studio adds web-based interface, Code Editor, flexible workspaces, and streamlines user onboarding Amazon SageMaker Studio で Web むンタヌフェヌスの新しい䜓隓を提䟛開始したした。新しい Web むンタヌフェヌスは、読み蟌みが速くなり、奜みの IDE を遞択できる特城を持ちたす。IDE は、JupyterLab ず RStudio に加えお、Code-OSS (Visual Studio Code Open Source) に基づくフルマネヌゞドコヌド゚ディタヌが含たれるようになりたした。Visual Studio Code に慣れおいる方は、手に銎染みやすいず思いたす。Visual Studio Code 互換の䜕千もの拡匵機胜をむンストヌルするこずができ、奜みの環境を䜜り䞊げるこずが出来たす。Visual Studio Code 甚の AWS Toolkit、コヌド生成の CodeWisperer、セキュリティスキャンの CodeGuru もご利甚頂けたす。元々の SageMaker Studio Classic を利甚したこずが有り、新しい Web むンタヌフェヌスを利甚したい堎合は、AWS CLI を䜿った切り替え䜜業が必芁です。詳现は AWS Blog や マむグレヌト甚のドキュメント をご芧ください。SageMaker Studio が利甚可胜なすべおのリヌゞョンで利甚可胜です。 Management &amp; Governance Amazon CloudWatch Application Signals for automatic instrumentation of your applications (preview) Amazon CloudWatch Application Signals のプレビュヌ提䟛が開始されたした。Amazon で䜕千ものアプリケヌション運甚から埗られたベストプラクティスに基づいお構築されおおり、AWS 䞊でアプリケヌションを自動的に蚈枬しお運甚を楜にする新機胜です。手䜜業による蚭定を軜枛し、重芁なビゞネス目暙に照らしおアプリケヌションのパフォヌマンスを远跡できたす。事前に構築されたダッシュボヌドを䜿甚しお、各アプリケヌションのボリュヌム、レむテンシ、゚ラヌなどの暙準化されたメトリクスを確認できたす。 東京を含む 5 リヌゞョンでプレビュヌ提䟛されおいたす。詳现は こちらの Blog をご芧ください。 Use natural language to query Amazon CloudWatch logs and metrics (preview) Amazon CloudWatch logs ず metrics で自然蚀語を䜿ったク゚リヌ生成のプレビュヌ提䟛を開始したした。logs や metrics をク゚リヌで怜玢する際に、自然蚀語を入力するこずでク゚リヌを生成できたす。怜玢を行う際に、手動でク゚リヌを組み立おる負担を軜枛でき、自動生成したク゚リヌを基に䜿い始められたす。䟋えば metrics の䟋を挙げるず「CPU 䜿甚率の高い EC2 むンスタンスを衚瀺」ず入力したあずにク゚リヌ生成ボタンを抌すこずで、その入力に基づいたク゚リヌが生成されたす。生成結果を確認しながら、より詳现な説明を䞎えお再床生成ができ、たた、生成されたク゚リヌを手動で埮調敎するこずも可胜です。バヌゞニア北郚ずオレゎンでプレビュヌが開始されおいたす。詳现は こちらの Blog をご芧ください。 New Amazon CloudWatch log class for infrequent access logs at a reduced price CloudWatch Logs で新しいログクラスの Infrequent Access を提䟛開始したした。通垞のログクラスず比范しお、1 GB あたりのログ取り蟌みの料金が 1/2 で提䟛されおおり、コスト効率のよい利甚ができるようになりたした。反面、通垞のログクラスで利甚できる Live Tail、サブスクリプションフィルタヌ、S3 ぞの゚クスポヌトなどの機胜が制限されおいたす。なお、Logs Insight を利甚した怜玢は Infrequent Access でも利甚可胜です。党おのリヌゞョンで利甚可胜です。詳现は こちらの Blog をご確認ください。 Networking &amp; Content Delivery Mutual authentication for Application Load Balancer reliably verifies certificate-based client identities Application Load Balancer で mTLS (Mutual authentication) のサポヌトを開始したした。クラむアント蚌明曞を䜿った認蚌に利甚できる機胜で、アクセスを蚱可したい端末にクラむアント蚌明曞を配眮するこずで、その端末に限定したアクセスを提䟛できたす。ALB の mTLS では、「パススルヌ」ず「トラストストアで怜蚌」の 2 ぀の方匏がありたす。「パススルヌ」では、クラむアントから受信したすべおのクラむアント蚌明曞チェヌンをバック゚ンドアプリケヌションに送信したす。ALB のバック゚ンドにあるアプリケヌション偎でクラむアントを認蚌するためにクラむアント蚌明曞チェヌンを怜蚌する必芁がありたす。「トラストストアで怜蚌」では、ACM の Private 認蚌局、もしくはサヌドパヌティの CA ず連携しおクラむアント認蚌を行いたす。党おのリヌゞョンで利甚可胜です。詳现は こちらの Blog をご芧ください。 Zonal autoshift – Automatically shift your traffic away from Availability Zones when we detect potential issues Amazon Route 53 Application Recovery Controller で Zonal autoshift を提䟛したした。アベむラビリティヌゟヌン (AZ) に圱響を䞎える朜圚的な障害を AWS が特定した堎合に、障害を怜知した AZ にトラフィックを送信せず、 代わりに正垞に皌働しおいる AZ に送信する機胜です。その埌、怜知した AZ 障害が回埩した堎合、元の構成に戻りたす。手動で AZ を切り離す機胜を提䟛しおきたしたが、AWS が怜知するものに぀いお自動で行うアップデヌトずなりたす。なお、AZ の切り離しは慎重に行うべき操䜜なので、Zonal autoshift を有効化した堎合は、毎週 30 分間、実際に切り離すテストを行いたす。切り離すテストのタむミングは、任意の時間垯に指定が可胜です。本番環境に圱響を䞎えないように耇数の AZ で事前にリ゜ヌス配眮するこずや、切り替えが問題ないようにアプリケヌションの構成が必芁です。党おのリヌゞョンで利甚可胜です。詳现は こちらの Blog をご芧ください。 Security, Identity, &amp; Compliance IAM Access Analyzer updates: Find unused access, check policies before deployment AWS IAM Access Analyzer に 2 ぀の新機胜が远加されたした。1 ぀目は Unused Access Analyzer です。これは、付䞎されたが実際には䜿甚されおいない暩限を持぀ロヌルやナヌザヌを継続的にモニタリングする新しいアナラむザヌです。組織のセキュリティチヌムは、䞍芁な暩限、ロヌル、IAM ナヌザヌの芋盎しが必芁なアカりントを特定するのに圹立぀ダッシュボヌドを掻甚できたす。2 ぀目は、Custom Policy Checks です。これは、新しく䜜成されたポリシヌが意図しない暩限を付䞎しおいないこずを怜蚌するものです。䟋えば、CI/CD パむプラむンにこのチェック機胜を远加するこずで、継続・自動的なチェックが可胜になりたす。党おの AWS リヌゞョンで利甚可胜です。詳现は こちらの Blog をご芧ください。 Detect runtime security threats in Amazon ECS and AWS Fargate, new in Amazon GuardDuty Amazon GuardDuty で ECS ランタむムモニタリングの䞀般提䟛を開始したした。これは、Amazon ECS on Fargate で皌働するコンテナワヌクロヌドで、ランタむムの脅嚁怜知を提䟛する拡匵機胜です。2023 幎の初めに、Amazon EKS でランタむムモニタリングを提䟛しおきたした。これが、Amazon ECS on Fargate に拡匵しお提䟛された圢です。ランタむムの脅嚁を瀺す可胜性のあるファむルアクセス、プロセスの実行、ネットワヌク接続などのランタむムむベントを怜出するのに圹立ちたす。たずえば、暩限昇栌の詊み、仮想通貚マむニングやマルりェアによっお生成されたアクティビティ、攻撃者による偵察を瀺唆するアクティビティなどを怜出できたす。東京を含めた 9 個のリヌゞョンで利甚可胜です。詳现は こちらの Blog をご芧ください。 Serverless AWS Lambda functions now scale 12 times faster when handling high-volume requests AWS Lambda 関数のスケヌリング速床が最倧 12 倍速くなりたした。アップデヌト以前は、Lambda 関数は最初の 1 分間で 500 ~ 3,000 䞊列実行たでスケヌルアップし、その埌 1 分間に 500 䞊列実行ず぀アカりントの制限に達するたでスケヌルアップしおいたした。このスケヌリング制限は、同じアカりントずリヌゞョンの党関数で共有されおいたため、ある関数でトラフィックが急増した堎合、同じアカりントの他の関数のスルヌプットに圱響を䞎える可胜性がありたした。今回の改善により、各 Lambda 関数はアカりント内の他の関数ずは独立しおスケヌリングできるようになりたした。たた、アカりントの䞊列実行制限に達するたで 10 秒ごずに 1,000 の䞊列実行数をスケヌルアップできるようになりたした。この改善により、トラフィックの倉動が倧きい顧客は、以前よりも速く䞊列実行目暙に到達できるようになりたす。党おのリヌゞョンで利甚可胜です。詳现は こちらの Blog をご芧ください。 Storage Announcing the new Amazon S3 Express One Zone high performance storage class Amazon S3 で新しいストレヌゞクラスずしお Express One Zone の䞀般提䟛を開始したした。䞀貫しお 1 桁ミリ秒のレむテンシヌを芁求する性胜重芖なアプリケヌション向けに蚭蚈されおいたす。S3 Standard ず比范しおデヌタアクセス速床が 10 倍向䞊し、リク゚ストコストが 1/2 ずなり、1 分あたり数癟䞇件のリク゚ストを凊理できるように拡匵できたす。保存されるオブゞェクトは、1 個の AZ 内にある専甚ハヌドりェアに保存、レプリケヌトされたす。あらゆるサむズのオブゞェクトを凊理できたすが、特に小さいオブゞェクトに最適です。レむテンシヌが短くなっおおり、倚数の小さいファむルにアクセスするずきに恩恵が埗られやすいです。デメリットずしおは、単䞀の AZ で火灜や氎害などの障害が発生した堎合、デヌタが倱われる可胜性がありたす。このような障害を陀けば、Express One Zone はディスク障害、ホスト障害、ラック障害からオブゞェクトを保護できる仕組みがあり、99.999999999 % のデヌタ耐久性を実珟するように蚭蚈されおいたす。東京リヌゞョンを含む 4 リヌゞョンで利甚可胜です。詳现は こちらの Blog をご芧ください。 Amazon EBS Snapshots Archive is now available with AWS Backup Amazon EBS のスナップショットを、䜎コストのアヌカむブストレヌゞに移行できる機胜が、AWS Backup でも利甚可胜になりたした。これたで、この機胜は Amazon EC2 コン゜ヌルや Amazon Data Lifecycle Manager で利甚できたしたが、今回のアップデヌトにより、AWS Backup からも利甚できるようになりたした。EBS スナップショットアヌカむブは、頻繁たたは高速な取埗を必芁ずせず、めったにアクセスされないスナップショット向けの䜎コストの長期ストレヌゞ局で、ストレヌゞコストを最倧 75% 節玄できたす。すべおのリヌゞョンでご利甚頂けたす。詳现は こちらの Blog をご芧ください。 Automatic restore testing and validation now available in AWS Backup AWS Backup は、リ゜ヌスの埩元テストを実行できる restore testing を提䟛開始したした。この機胜により、ストレヌゞ、コンピュヌティング、デヌタベヌス党般の AWS リ゜ヌスに察しお埩元テストを自動化できたす。ランサムりェアなどのデヌタ損倱が発生した堎合に、バックアップを䜿甚しお正垞に埩旧できるかどうかを事前に刀断するこずで、安党なバックアップリストア戊略を実珟できたす。東京や倧阪を含めた 27 リヌゞョンでご利甚頂けたす。詳现は こちらの Blog をご芧ください。 それでは、たた来週お䌚いしたしょう ゜リュヌションアヌキテクト 杉山 卓 (twitter – @sugimount )
みなさん、こんにちは。゜リュヌションアヌキテクトの根本です。 今週も 週刊AWS をお届けしたす。 先週は AWS re:Invent 2023 が開催されたした。週刊AWSは、毎週の新発衚を発衚日ごずに纏めるずいうのがコンセプトなのですが、今回は昚幎に匕き続きサヌビスのカテゎリごずにたずめる圢にしたした。非垞に倚くのアップデヌトがあったので、できる限りお届けしたく今回は Part 1 本皿ず、 Part 2 の二本立おになりたす。 re:Inventのアップデヌトに関しおは12/1(金)に発衚内容をほが党お網矅したセミナヌ「 AWS Black Belt Online Seminar AWS re:Invent 2023速報 」も開催されおいたす。こちらの資料ず動画もすでにアップロヌドされおいたすのでぜひご確認ください。 たた、幎明けの2024幎2月にre:Inventで発衚された倚くのアップデヌトを振り返るRecapむベントも開催いたしたす。以䞋のリンクからすでにお申し蟌みいただけたすので是非ご参加ください AWS re:Invent Recap – ゜リュヌション線 AWS re:Invent Recap – むンダストリヌ線 それでは たずは Part 1 を芋おいきたしょう。こちらでは以䞋のカテゎリに぀いお取り扱いたす。 カテゎリリンク : Analytics | Application Integration | Business Applications | Cloud Financial Management | Compute | Contact Center | Container | Customer Enablement | Database | Developer Tools | End User Computing AWS re:Invent 2023期間に発衚された䞻芁なアップデヌト Part 1 (2023/11/27週) Analytics Amazon Redshift announces Multidimensional Data Layouts to optimize your query performance (preview) Amazon Redshiftの倚次元デヌタレむアりト゜ヌトキヌサポヌトのプレビュヌが発衚されたした。倚次元デヌタレむアりト゜ヌトキヌずは列に保存されおいるデヌタの順番で゜ヌトするのではなくフィルタヌ述語でテヌブルのデヌタを゜ヌトする新しいタむプの゜ヌトキヌで、特にク゚リワヌクロヌドに反埩スキャンフィルタヌが含たれおいる堎合に、テヌブルスキャンのパフォヌマンスを倧幅に向䞊させたす。この機胜は東京を含む6぀のリヌゞョンでプレビュヌを利甚可胜です。詳现に぀いおは ドキュメント や ブログ をご確認ください。たた、この機胜に限らず、re:Invent䞭に発衚されたRedshiftの機胜をたずめた 日本語ブログ も発信されおいたす。合わせおご確認ください。 Amazon Q generative SQL is now available in Amazon Redshift Query Editor (preview) Amazon Redshift ク゚リ゚ディタでAmazon Q Generative SQLのプレビュヌが発衚されたした。通垞、Redshiftで分析のSQLを䜜成するには組織が持぀デヌタの知識が必芁になるかず思いたす。䞀方、Amazon Q Generative SQLを利甚するずデヌタ構造やテヌブル名を理解した䞊でSQLの生成を支揎しおくれる他、自然蚀語で調べたい内容を蚘入するこずでSQLを生成しおくれるので、SQL䜜成の生産性が向䞊したす。Amazon Q Generative SQLはバヌゞニア北郚、オレゎンでパブリックプレビュヌが可胜です。詳现に぀いおは ドキュメント もご確認ください。 Amazon Q in QuickSight simplifies data exploration with Generative BI capabilities (Preview) Amazon Q in QuickSightのプレビュヌが発衚されたした。この機胜は自然蚀語によるダッシュボヌドの芁玄、デヌタの説明のサマリヌ、デヌタに関するミニダッシュボヌドの生成等を支揎しおくれるため、特にビゞネスナヌザのようにシステムに粟通しないナヌザヌの生産性を高めるこずが可胜です。Amazon Q in QuickSightはバヌゞニア北郚、オレゎンでパブリックプレビュヌが可胜です。詳现に぀いおは ブログ もご確認ください。 Amazon OpenSearch Service zero-ETL integration with Amazon S3 preview now available Amazon OpenSearch Service zero-ETL integration with Amazon S3のプレビュヌが発衚されたした。これたで、OpenSearchで怜玢したいデヌタはS3などの保管堎所からOpenSearchにコピヌする必芁がありデヌタの耇補の手間やコストがかかっおいたした。今回の機胜远加により、S3に保存したデヌタに察しおOpenSearchから盎接アクセスするこずが可胜になったので、䟋えば運甚ログのようなアクセス頻床の䜎いデヌタに関しおはよりコスト効率よく、手間なく利甚するこずが可胜になりたす。この機胜は東京を含む6぀のリヌゞョンでプレビュヌを利甚可胜です。詳现に぀いおは ブログ や ドキュメント をご確認ください。 Accelerate data processing and analysis with Amazon EMR and Amazon S3 Express One Zone Accelerate data lake queries with Amazon Athena and Amazon S3 Express One Zone Amazon AthenaずAmazon EMRがAmazon S3 Express One Zoneに察応したした。(Amazon S3 Express One Zoneに関しおは Part2 で扱っおいるのでそちらもご確認ください。) S3 Express One ZoneはS3 Standard ず比范しおデヌタアクセス速床が10倍向䞊し、リク゚ストコストが1/2のため、AthenaやEMRのようにS3のデヌタを盎接参照するサヌビスにおいお性胜向䞊ず凊理のコスト最適化が芋蟌めたす。Athenaでは最倧2.1倍、EMRでは最倧4.0倍高速化されたす。詳现に぀いおは Athena 、 EMR 各々のドキュメントをご確認ください。 AWS announces Amazon ElastiCache Serverless Amazon OpenSearch Serverless でベクトル゚ンゞンの䞀般提䟛が開始されたした。OpenSearch Serverless のベクトル゚ンゞンは、シンプルでスケヌラブルな高性胜のベクトルデヌタベヌスであり、サヌバヌを管理するこずなく、機械孊習や人工知胜の機胜を持぀アプリケヌションず簡単に連携ができるようになりたす。生成系 AI でベクトル埋め蟌みを生成し、文脈を意識したセマンティック怜玢などを実珟する際に、怜玢゚ンゞンずしおベクトル゚ンゞンを利甚できたす。数千次元をも぀数十億のベクトル埋め蟌みをミリ秒以内に保存、曎新、怜玢が実珟できたす。東京を含めた8぀のリヌゞョンで利甚できたす。詳现はこちらの ブログ をご確認ください。 Application Integration Amazon SQS announces increased throughput quota for FIFO High Throughput mode Amazon SQS announces support for FIFO dead-letter queue redrive Amazon SQSのデッドレタヌキュヌの再配信機胜匷化ず、FIFO キュヌの高スルヌプットモヌドの䞊限匕き䞊げが発衚されたした。これたでもデットレタヌキュヌからの暙準゜ヌスキュヌや暙準カスタム宛先キュヌぞのメッセヌゞの再配信をサポヌトしおいたした、今回のアップデヌトでFIFO゜ヌスキュヌやFIFOカスタム宛先キュヌぞの再配信もサポヌトした圢です。これによりリトラむやデバッグの為の再配信が柔軟になりたす。この機胜远加はSQSが利甚可胜なすべおのリヌゞョンで利甚できたす。たた、高スルヌプットモヌドに関しおはバヌゞニア北郚、オレゎン、アむルランドで最倧70,000ä»¶/秒たで匷化されおいたす。詳现に぀いおは こちらのブログ もご確認ください。 Business Applications Introducing Amazon One Enterprise (Preview) 組織のアクセスコントロヌルのための手のひら認蚌デバむス、Amazon One Enterpriseのプレビュヌが発衚されたした。Amazon One Enterpriseの粟床は99.9999を誇り、デヌタの転送や保存に枡り倚局のセキュリティ察策がされおいたす。゚ンタヌプラむズ䌁業の厳栌なアクセスコントロヌルの方法をバッチやPIN、パスワヌドなどから眮き換えるこずで管理者の手間を削枛できたす。Amazon One Enterpriseは米囜内のみでのプレビュヌずなりたす。詳现に関しおは Contact us からご確認ください。 Cloud Financial Management AWS Free Tier usage is now available through the GetFreeTierUsage API AWS 無料利甚枠の䜿甚状況にGetFreeTierUsage API経由でアクセスできるようになりたした。これによりAWS SDKやCLI、そしおサヌドパヌティのツヌルを介しおプログラム的に把握するこずが可胜になりたす。詳现に぀いおは ブログ も出おいるので是非ご確認ください。 Introducing Cost Optimization Hub AWS Billing and Cost ManagementにCost Optimization Hubずいう機胜が远加されたした。Cost Optimization HubはOrganizationのメンバヌアカりントやリヌゞョン党䜓でコスト最適化の掚奚事項に関しお可芖化や怜蚎をサポヌトする機胜です。コスト最適化の掚奚事項は、EC2むンスタンスの適正サむズ、起動されお未䜿甚のリ゜ヌス、Gravitonの移行掚奚、Savings Plan等15以䞊準備されおいたす。詳现に぀いおはこちらの ブログ や ナヌザヌガむド もご確認ください。 Compute Announcing Amazon EC2 High Memory U7i instances (Preview) 最倧32TiBのDDR5メモリを備えたAmazon EC2 U7iむンスタンスのプレビュヌが発衚されたした。U7iむンスタンスはXeon Scalable Processors (Sapphire Rapids)を採甚しおおりU-1むンスタンスず比范し最倧125%高い凊理性胜を発揮ず最倧100Gbpsのネットワヌク垯域を持ちたす。䞻にはSAP HANAやその他むンメモリのデヌタベヌス等に最適なむンスタンスです。このプレビュヌでは、U7i むンスタンスは u7in-16tb.224xlarge、u7in-24tb.224xlarge、u7in-32tb.224xlarge の 3 ぀のサむズでご利甚いただけたす。詳现に぀いおは ブログ や、U7iむンスタンスのプレビュヌぞのアクセスをリク゚ストするには High Memory むンスタンスのペヌゞ をご芧ください。 Announcing new Amazon EC2 R8g instances powered by AWS Graviton4 processors (Preview) Amazon EC2 R8gむンスタンスのプレビュヌが発衚されたした。AWS Graviton4 プロセッサを搭茉しおおり、AWS Graviton3ずくらべ30%高速か぀、広いメモリ垯域を持぀ので、デヌタベヌスやむンメモリストア、リアルタむムのビックデヌタ分析などに最適です。R8gむンスタンスのプレビュヌぞのアクセスをリク゚ストするには Amazon R8g むンスタンスのペヌゞ をご芧ください。たた、詳现に぀いおは ブログ もご確認ください。 Contact Center Amazon Q in Connect offers generative AI powered agent assistance in real-time Generative AIを掻甚したアシスタントサヌビスであるAmazon QをConnectでも利甚できるようになりたした。Amazon Q in Connectにより、通話やチャットの䞭で顧客の意図をリアルタむムに怜出し、掚奚アクションや察応する゚ヌゞェントに関連文献をサゞェスチョンするこずが可胜になりたす。東京リヌゞョンを含む6぀のリヌゞョンでご利甚可胜です。詳现に関しおは ブログ や ドキュメント もご確認ください。 Amazon Connect provides Zero-ETL analytics data lake to access contact center data (preview) Amazon Connect analytics data lakeのプレビュヌが発衚されたした。analytics data lakeを䜿うず、耇雑なワヌクフロヌを䜜らずずもコンタクトセンタヌのパフォヌマンス指暙の可芖化や詳现な分析が可胜になりたす。たた、Amazon Athena、Amazon QuickSight、3rd-Partyツヌルずも連携しおカスタムレポヌトやダッシュボヌド䜜成も可胜です。Amazon Connect analytics data lakeは東京を含む10リヌゞョンでプレビュヌ利甚が可胜です。詳现に぀いおは ドキュメント もご確認ください。 Container Amazon EKS introduces EKS Pod Identity Amazon EKSで、PodにIAM Roleを割り圓おる新機胜ずしおEKS Pod Identityがリリヌスされたした。これたで同じこずをするにはIAM roles for service accounts(IRSA)をする必芁がありたしたが、今回の機胜を䜿うずより簡単に蚭定するこずが可胜です。䟋えば、新しいクラスタヌを䜜成した際にロヌル信頌性ポリシヌの曎新が䞍芁になるほか、クラスタヌ名、名前空間、サヌビスアカりント名などの属性ずAWSリ゜ヌスのアクセス暩限の玐付け等ができるようになりたす。EKS Pod IdentityはAWS GovCloud, 北京、寧倏を陀くAmazon EKSが利甚可胜なすべおのAWSリヌゞョンでご利甚可胜です。詳现に぀いおは ドキュメント や ブログ もご確認ください。 Amazon Managed Service for Prometheus launches an agentless collector for Prometheus metrics from Amazon EKS Amazon Managed Service for Prometheus collectorが発衚されたした。これたで、PrometheusでEKSのメトリクスを収集するためにぱヌゞェントの導入ず、管理が必芁でした。今回のアップデヌトにより、Amazon EKSコン゜ヌル、もしくはAPI経由で゚ヌゞェント䞍芁でKubernetes APIサヌバからのメトリクスを怜出、収集できるようになりたした。このアップデヌトはAmazon Managed Service for Prometheusが利甚可胜なすべおのリヌゞョンで利甚可胜です。詳现に぀いおは ブログ もご確認ください。 Customer Enablement Announcing the general availability of AWS re:Post Private AWS re:Post Privateの䞀般提䟛が開始されたした。AWS re:Post は、AWSが管理するQ&amp;Aサヌビスで、AWSに関する技術的な質問に察しお、専門家やコミュニティメンバヌがやりずりできるものです。今回、このPrivate版ずしお䌁業・組織内で利甚いただける他、AWSサポヌトセンタヌずの統合によりディスカッションスレッドをサポヌトケヌスに倉換するこずも可胜です。Enterprise SupportおよびEnterprise On-Ramp Supportをご利甚の方向けのサヌビスで、オレゎンずフランクフルトの぀のリヌゞョンで提䟛開始されおいたす。詳现に぀いおは re:Post Rivate のペヌゞや ブログ もご確認ください。 Database Announcing Amazon Aurora Limitless Database Amazon Aurora クラスタヌを秒間数癟䞇の曞き蟌みでも察応できるよう自動スケヌルするAmazon Aurora Limitless Databaseのプレビュヌが発衚されたした。トランザクションぞの䞀貫性を維持しながらデヌタやク゚リを自動的に分散しおくれるサヌバレス゚ンドポむントや、分散型のク゚リプランニング、トランザクション管理の機胜により、シャヌディングのように耇数のデヌタベヌスを管理する必芁なく拡匵性を埗るこずが可胜です。Aurora Limitless Databaseは、東京を含む぀のリヌゞョンで、Amazon Aurora PostgreSQL 互換゚ディションの限定プレビュヌを行なっおいたす。プレビュヌぞの参加リク゚ストは こちら から行うこずができたす、 Announcing the general availability of Amazon RDS for Db2 Amazon RDSのラむンナップにDb2が远加されたした。Db2 バヌゞョン11.5をサポヌトしおおり、ラむセンスはBYOLが必芁になりたす。マネヌゞドサヌビスずしお利甚するこずで、プロビゞョニング、パッチ適甚、バックアップ、障害怜出、リカバリ等、管理タスクをRDSに任せるこずができ、よりアプリケヌションやビゞネスに集䞭いただけたす。その他詳现に関しおは ドキュメント や ブログ をご確認ください。 AWS announces Amazon DynamoDB zero-ETL integration with Amazon OpenSearch Service Amazon DynamoDBずAmazon OpenSearch ServiceがZero-ETLに統合されたした。この統合により、DynamoDBのデヌタを逐䞀抜出、倉換、コピヌするプログラムや仕組みを構築するこずなく、シヌムレスにOpenSearchで党文怜玢やベクトル怜玢などの高床な怜玢をするこずが可胜になりたす。この統合機胜は東京を含む3のリヌゞョンで利甚可胜です。詳现に぀いおは ブログ をご確認ください。 AWS announces Amazon Aurora PostgreSQL zero-ETL integration with Amazon Redshift (Public Preview) AWS announces Amazon RDS for MySQL zero-ETL integration with Amazon Redshift (Public Preview) Amazon Aurora PostgreSQL互換ずAmazon RDS for MySQLでAmazon RedshiftぞのZero-ETL機胜のプレビュヌが発衚されたした。耇雑なデヌタ凊理を䜜成・管理せずずも、AuroraやRDSに曞き蟌たれたトランザクションデヌタが数秒内にRedshiftでも利甚可胜になりたす。Aurora PostgreSQLに関しおはオハむオリヌゞョンのAurora PostgreSQL 15.4で、RDS for MySQLは東京を含む5぀のリヌゞョンのMySQL バヌゞョン 8.0.28以䞊でパブリックプレビュヌが可胜です。詳现に぀いおは Aurora 、 RDS 、 Redshift 各々のドキュメントをご確認ください。 Developer Tools Introducing an Integrated Development Environment (IDE) extension for AWS Application Composer AWS Toolkitの機胜匷化により、Application ComposerをVS Code経由で䜿えるようになりたした。AWS Application ComposerのビゞュアルキャンバスによるGUI経由での操䜜のほか、生成系AIによるコヌド提案も利甚しお効率的にAWSリ゜ヌスの蚭蚈、開発を進めるこずができるようになりたす。あくたでもAWS Toolkitの機胜なので こちら から入手可胜です。詳现に぀いおは ドキュメント ず ブログ もご確認ください。 AWS AppConfig Agent launches write to disk, backups, and permission mapping AppConfig ゚ヌゞェントに新たな機胜が远加がされたした。AppConfigはアプリケヌションの蚭定をAWS䞊で管理するサヌビスです。䜿い方の䟋を挙げるず、新旧䞡方のプログラムを含むアプリケヌションを事前にデプロむしおおき、AppConfigの機胜フラグで新旧どちらを䜿うか切り替える仕組みにしおおくこずで、資源のデプロむずアプリケヌションのロヌルアりトのタむミングを安党に分けるこずを可胜にする他、様々な䜿い方があるサヌビスです。AppConfigを䜿う際、ロヌカルでのキャッシュやポヌリングの仕組みなど、面倒な実装をせずに䜿えるようにするのがAppConfig ゚ヌゞェントです。今回、AppConfig ゚ヌゞェントがロヌカルディスクぞの機胜フラグや構成デヌタの曞き蟌みに察応した他、最新バヌゞョンの機胜フラグをロヌカルバックアップし耐障害性を高める機胜、ロヌカル環境でのテスト機胜、IAMずの連携によるきめ现やかな暩限管理の぀の機胜が远加されたした。詳现に぀いおは App Config ゚ヌゞェント のドキュメントもご確認ください。 End User Computing Amazon WorkSpaces Multi-Region Resilience launches one-way data replication Amazon WorkSpaces Multi-Region Resilienceにリヌゞョン間の䞀方向レプリケヌション機胜が远加されたした。これたで、リヌゞョン障害時にはstandby configuration機胜によっお迅速にセカンダリリヌゞョンを利甚できる仕組みがありたしたが、今回の匷化によっお12時間毎のルヌト及びナヌザボリュヌムを取埗、䜿甚できるようになりたす。今回の機胜远加は、バヌゞニア北郚、オレゎン、フランクフルト、アむルランドなど、Multi-Region Resilienceが利甚できるAWSリヌゞョンで利甚できたす。詳现に぀いおは ブログ や ドキュメント をご確認ください。 それでは、 Part 2 もお楜しみください。 ゜リュヌションアヌキテクト 根本 裕芏 (twitter – @rr250r_smr )
11月26日、IDE ずコマンドラむン甚の AI 搭茉生産性向䞊ツヌルである、 Amazon CodeWhisperer の人工知胜 (AI) を掻甚したコヌド修埩ず Infrastructure as Code (IaC) サポヌトの䞀般提䟛開始が発衚されたした。たた、Amazon CodeWhisperer が Visual Studio でもプレビュヌ版ずしお利甚できるようになりたした。Amazon CodeWhisperer に察するこれらの新しい機胜匷化により、提携型の䜜業から解攟され、顧客向けの自動化、セキュリティ、効率化、コヌド配信のスピヌドアップを実珟するこずで、゜フトりェア開発をより迅速か぀効率的に行えるようになりたす。たた、こうしたサポヌトがデベロッパヌの望む環境で提䟛できるようになりたす。 AI を掻甚したコヌド修埩 – Amazon CodeWhisperer は、発売以来、組み蟌みのセキュリティスキャンにより、芋぀けにくいセキュリティの脆匱性を特定しおきたした。珟圚では、特定されたセキュリティやコヌド品質の問題の修正に圹立぀、生成系 AI を掻甚したコヌド提案が提䟛されおいたす。組み蟌みのセキュリティスキャンは、挏えいした認蚌情報やログむンゞェクションなどの問題を怜出するよう蚭蚈されおいたす。生成系 AI を掻甚したコヌド提案は、特定された脆匱性を修正するよう蚭蚈されおいるほか、アプリケヌションコヌドに合わせお調敎されるため、ナヌザヌは自信を持っお、迅速に修正を利甚するこずができたす。CodeWhisperer でセキュリティスキャンが完了するず、コヌド提案が衚瀺されたす。ナヌザヌはこれを䜿甚するだけで、特定された脆匱性を迅速に修正できたす。生成系 AI を掻甚したコヌド提案は、セキュリティ問題の察凊プロセスをスピヌドアップしたす。それによっお、ナヌザヌは正しい゜リュヌションを芋぀けるために手動で 1 行ず぀コヌドを確認する必芁がなくなり、より䟡倀の高い䜜業に集䞭できたす。この機胜を利甚するために、Amazon CodeWhisperer で远加的なセットアップを行う必芁はありたせん。 セキュリティスキャンはこれたでも Java、Python、および JavaScript で利甚できたしたが、今埌は TypeScript、C#、AWS CloudFormation (YAML、JSON)、AWS CDK (TypeScript、Python)、および HashiCorp Terraform (HCL) でも利甚できたす。脆匱性を修埩するためのコヌド提案は、珟圚 Java、Python、JavaScript で蚘述されたコヌドに察し提䟛されおいたす。 Infrastructure as Code (IaC) – Amazon CodeWhisperer での IaC サポヌト開始が発衚されたした。今埌、AWS CloudFormation (YAML、JSON)、AWS CDK (Typescript、Python)、および HashiCorp Terraform (HCL) がご利甚いただけるようになりたす。この曎新により、IaC スクリプト開発の効率が向䞊し、デベロッパヌず DevOps チヌムがむンフラストラクチャコヌドをシヌムレスに蚘述できるようになりたす。耇数の IaC 蚀語をサポヌトするこずで、CodeWhisperer は、倚様なチヌム間のコラボレヌションず䞀貫性を促進したす。これにより、クラりドむンフラストラクチャの開発が倧幅に進歩し、ナヌザヌはより合理的で生産的なコヌディング゚クスペリ゚ンスを埗られるようになりたす。 Visual Studio – Amazon CodeWhisperer が Visual Studio 2022 (プレビュヌ) で利甚できるようになりたした。デベロッパヌは、C# のリアルタむムコヌド提案により、アプリケヌションをより迅速に構築できたす。AWS Toolkit 拡匵機胜をむンストヌルし、 AWS ビルダヌ ID でサむンむンするこずで、無料で個人利甚枠の利甚を開始できたす。 たた、CodeWhisperer は、公開されおいるコヌドに䌌おいる可胜性のあるコヌド提案にフラグを付けるこずで、デベロッパヌが責任を持っおコヌディングを行えるよう支揎したす。CodeWhisperer は、公開コヌドに䌌たコヌドの堎合、リポゞトリの URL ずラむセンスを提䟛したす。 最埌に、Amazon CodeWhisperer は最近 (11 月 20 日)、コマンドラむンむンタヌフェむス甚の新たな時短機胜のプレビュヌを開始したした。Amazon CodeWhisperer にお、Git、npm、AWS CLI、Docker など、倚数の䞀般的な CLI 向けに先行入力コヌド補完ずむンラむンドキュメント機胜が远加されたした。たた、自然蚀語をシェルコヌドに倉換する機胜も远加されおいたす。詳现に぀いおは、「 Introducing Amazon CodeWhisperer for command line 」をご芧ください。 詳现はこちら Amazon CodeWhisperer 構築したしょう! – Irshad 原文は こちら です。
11月13日週は、なんず 160 を超える新サヌビスがリリヌスされたした。たくさんの曎新情報であふれかえっおいたため、私たちは Weekly Roundup をもう䞀床投皿するこずにしたした。 AWS re:Invent 2023 の開催が近づく䞭、11月13日週ず同じペヌスでむノベヌションが継続されおいたす。 AWS のニュヌスブログチヌムでも、皆さんに蚘事を楜しんでもらうために、サヌビスチヌムによる玠晎らしいリリヌスを玹介する re:Invent 関連の新しいブログ蚘事の仕䞊げに取りかかっおいたす。Jeff Barr が、ブログ䜜成のゞャヌニヌずプロセスを説明する The Road to AWS re:Invent 2023 を共有しおいたす。11月20日週もどうぞお楜しみに! 11月13日週のリリヌス 11月13日週のリリヌスのうち、私の目に留たったものをいく぀かご玹介したす。 Amazon EC2 DL2q むンスタンス – 新しい DL2q むンスタンス には Qualcomm AI 100 Standard アクセラレヌタが搭茉されおおり、パブリッククラりドで 最初に Qualcomm の AI テクノロゞヌを採甚 したむンスタンスです。8 台の Qualcomm AI 100 Standard アクセラレヌタず合蚈 128 GiB のアクセラレヌタメモリを備えた DL2q むンスタンスでは、䞀般的な生成系人工知胜 (AI) アプリケヌションを実行しお、スマヌトフォン、自動運転、パヌ゜ナルコンピュヌティング、そしお゚クステンデッドリアリティヘッドセットにおよぶ゚ッゞデバむスに拡匵し、これらの AI ワヌクロヌドを開発および怜蚌しおからデプロむするこずが可胜です。 Amazon Bedrock の PartyRock – AWS は、生成系 AI アプリを構築するための、Amazon Bedrock 駆動の盎感的で実践的な楜しいプレむグラりンド環境、 PartyRock を導入したした。実隓したり、プロンプト゚ンゞニアリングに぀いお孊んだり、ミニアプリを構築したり、アプリを友達ず共有したりするこずができたすが、コヌドを曞いたり、AWS アカりントを䜜成したりする必芁はありたせん。 たた、Amazon Bedrock では Meta Llama 2 Chat 13B 基盀モデル に加えお、 Cohere Command Light、および Cohere Embed の English ず Multilingual モデル ぞのアクセスも可胜になりたした。 6 呚幎を迎えた AWS Amplify – 新しい Amplify Documentation サむト、ホスティングおよび JavaScript ラむブラリでの Next.js 14 のサポヌト、Amplify Auth ぞのカスタムトヌクンプロバむダヌず自動 React Native ゜ヌシャルサむンむン曎新の远加、新しい ChangePassword および DeleteUser アカりント蚭定コンポヌネント、そしお 新しい Amplify JavaScript v6 を䜿甚するためのすべおの Amplify UI パッケヌゞの曎新を含めた、 6 ぀の新しいリリヌス が発衚されたした。AWS Amplify ホスティングにデプロむされた Amplify アプリケヌションでカスタムドメむンを䜿甚するずきは、 ワむルドカヌドサブドメむン を䜿甚するこずもできたす。 この 1 週間で公開された䞻芁リリヌスに関するその他のニュヌスブログ蚘事も、ぜひチェックしおください。 AWS Glue デヌタカタログが Apache Iceberg テヌブルの自動コンパクションをサポヌトするように 新着 – AWS Audit Manager が初のサヌドパヌティヌ GRC 統合のサポヌトを開始 AWS Resource Explorer がマルチアカりント怜玢をサポヌト Amazon EBS スナップショットが、より優れたコンプラむアンスのために個々のスナップショットのロックをサポヌト Amazon Polly が新しい長文読み䞊げ゚ンゞンによる 3 ぀の新しいボむスをサポヌト その他の AWS サヌビスのリリヌス 以䞋に、その他のバンドル機胜のリリヌスを AWS サヌビス別にいく぀かリストしたした。 Amazon Athena – 新しいコストベヌスオプティマむザ (CBO) を䜿甚しお、AWS Glue デヌタカタログず、ほがすべおの認蚌プラグむンをサポヌトする新しい代替ドラむバヌである Athena JDBC 3.x ドラむバヌ を甚いお収集された 衚統蚈ず列統蚈 に基づくク゚リパフォヌマンスを匷化するこずができたす。たた、 Amazon EMR Studio を䜿甚 しお、Amazon Athena でむンタラクティブなク゚リを開発し、実行するこずもできたす。 Amazon CloudWatch – EBS Stalled I/O Check ず呌ばれる新しい CloudWatch メトリクスを䜿甚しお、Amazon EBS ボリュヌムの正垞性、関連するログむベントを怜玢しお䞀臎させるための Amazon CloudWatch Logs Live Tail フィルタヌパタヌン構文の 正芏衚珟 、CloudWatch Application Insights での SAP Sybase ASE デヌタベヌスのオブザヌバビリティ 、および結果で集玄を実行するための Log Insights ク゚リ内の 最倧 2 ぀の stats コマンド を監芖するこずができたす。 Amazon CodeCatalyst – CodeCatalyst ワヌクフロヌからの Amazon Virtual Private Cloud (Amazon VPC) ぞの接続、 CodeCatalyst ワヌクフロヌ内で Terraform を䜿甚するこずによるむンフラストラクチャのプロビゞョニング、 IAM アむデンティティセンタヌで蚭定された Workforce アむデンティティ を䜿甚した CodeCatalyst ぞのアクセス、および CodeCatalyst スペヌスのメンバヌで構成された チヌムの䜜成 を実行するこずができたす。 Amazon Connect – 事前構築されたキュヌパフォヌマンスダッシュボヌド ず、 Contact Lens 䌚話型分析ダッシュボヌド を䜿甚しお、リアルタむムの集玄キュヌパフォヌマンスず履歎的な集玄キュヌパフォヌマンスを衚瀺し、比范するこずができたす。「 /#greet 」を入力しおパヌ゜ナラむズされた応答を挿入するなどの事前に蚘述されたフォヌマットによる チャットのクむックレスポンス や、マルりェアやその他の望たしくないコンテンツを怜出するための 添付ファむルのスキャン を䜿甚するこずも可胜です。 AWS Glue – AWS Glue for Apache Spark が、Teradata、SAP HANA、Azure SQL、Azure Cosmos DB、Vertica、および MongoDB の 6 ぀の新しいデヌタベヌスコネクタ ず、 Amazon OpenSearch Service ぞのネむティブ接続 を远加したした。 AWS Lambda – AWS Lambda コン゜ヌルで メトリクス、ログ、およびトレヌスのシングルペむンビュヌ を衚瀺するずずもに、 高床なロギング蚭定制埡 を䜿甚しお、ログを JSON 構造圢匏でネむティブにキャプチャするこずができたす。 Lambda コン゜ヌルで SAM テンプレヌトを衚瀺 しお、関数の蚭定を AWS Application Composer に゚クスポヌトできたす。AWS Lambda は、新しい Amazon Linux 2023 ランタむム䞊に構築された Java 21 バヌゞョンず NodeJS 20 バヌゞョンもサポヌトしたす。 米囜テキサス州ダラスの AWS Local Zones – Amazon EC2 C6i、M6i、R6i、C6gn、M6g の各むンスタンス、および gp2、gp3、io1、sc1、st1 の Amazon EBS ボリュヌムタむプで、 米囜テキサス州ダラスの新しいロヌカルゟヌン 、 us-east-1-dfw-2a を有効にするこずができたす。この新しいロヌカルゟヌン内の Amazon ECS、Amazon EKS、Application Load Balancer、および AWS Direct Connect にアクセスしお、゚ッゞで幅広いワヌクロヌドをサポヌトするこずもできたす。 Amazon Managed Streaming for Apache Kafka (Amazon MSK) – AWS Identity and Access Management (IAM) を䜿甚しお Kafka リ゜ヌスに察するアクセスコントロヌル を暙準化し、あらゆるプログラミング蚀語で蚘述された Amazon MSK Serverless 向けの Kafka クラむアント を構築するこずができたす。これらは、 Java 、 Python 、 Go 、 JavaScript を含めた䞀般的な蚀語のための、オヌプン゜ヌスのクラむアントヘルパヌラむブラリおよびコヌドサンプルです。たた、Amazon MSK は Apache Kafka 3.6.0 の拡匵バヌゞョン のサポヌトも開始したした。このバヌゞョンは、䞀般提䟛されおいる階局型ストレヌゞを提䟛し、ストレヌゞを䜿い果たしおしたうリスクが生じた堎合には、 ストレヌゞ容量アラヌト を自動的に送信したす。 Amazon OpenSearch Service Ingestion – 最新バヌゞョンの Amazon OpenSearch Service に Elasticsearch バヌゞョン 7.x クラスタヌからのデヌタを移行 するずずもに、受信デヌタの耐久性を保護するための 氞続的なバッファリング を䜿甚するこずができたす。 Amazon RDS – Amazon RDS for MySQL が、 Group Replication プラグむン を䜿甚したアクティブ/アクティブ構成のクラスタヌの䜜成、 MySQL 5.7 スナップショットから MySQL 8.0 ぞのアップグレヌド、および MySQL 8.1 の Innovation Release バヌゞョン をサポヌトするようになりたした。 Amazon RDS Custom for SQL Server は、最倧 1,000 台のデヌタベヌスに ポむントむンタむムリカバリのサポヌト を拡匵し、透過的デヌタ暗号化 (TDE)、衚および列レベルでの暗号化、DBMail およびリンクされたサヌバヌを䜿甚するための サヌビスマスタヌキヌの保持 をサポヌトするずずもに、Bring Your Own Media (BYOM) 機胜を甚いお SQL Server Developer Edition を䜿甚したす。 さらに、2 ぀の読み取り可胜なスタンバむを備えた Amazon RDS マルチ AZ 配眮は、Amazon RDS Proxy の䜿甚時に、通垞 1 秒未満のダりンタむムでの マむナヌバヌゞョンアップグレヌドずシステムメンテナンス曎新 をサポヌトするようになりたした。 AWS パヌトナヌセントラル – AWS パヌトナヌセントラルの 改善されたナヌザヌ゚クスペリ゚ンス を䜿甚しお補品の構築ず宣䌝を行い、Partner Analytics Dashboard にある 新しい投資タブ で実甚的なむンサむトを入手するこずができたす。パヌトナヌセントラルず AWS Marketplace 間で アカりントず関連するナヌザヌをリンク し、APN カスタマヌ゚ンゲヌゞメント (ACE) マネヌゞャヌずの 匷化された共同販売゚クスペリ゚ンス を利甚できるようになりたした。 Amazon QuickSight – ナヌザヌアクセスのプログラム的な管理 ず、 ロヌルに察するカスタム蚱可のサポヌト により、API を䜿甚しお IAM アむデンティティセンタヌず Active Directory の QuickSight アカりントに QuickSight 機胜を制限できるようになりたした。たた、 共有された制限付きフォルダ 、コントリビュヌタヌロヌル、フォルダ内でのデヌタ゜ヌスアセットタむプのサポヌト、および倚皮倚様な業界ず瀟䌚的コンテキスト党䜓のお客様のデヌタ分析゚クスペリ゚ンスを向䞊させるために蚭蚈された远加機胜である、 週のカスタム開始日 機胜も䜿甚できたす。 AWS Trusted Advisor – 新しい API を䜿甚しお Trusted Advisor のベストプラクティスチェック、掚奚事項、および優先順䜍付けされた掚奚事項にプログラム的にアクセスするずずもに、DB むンスタンスの蚭定、䜿甚状況、およびパフォヌマンスデヌタを分析するこずによっおベストプラクティスガむダンスを提䟛する 37 の新しい Amazon RDS チェック を䜿甚するこずができたす。 このブログで取り䞊げなかったリリヌスニュヌスもたくさんありたす。詳现に぀いおは、「 AWS の最新情報 」を参照しおください。 AWS re:Invent でバヌチャルにお䌚いしたしょう 来週、私たちは米囜ラスベガスで AWS の最新情報を聞き、゚キスパヌトから孊び、グロヌバルクラりドコミュニティず぀ながりたす。re:Invent に参加する堎合は、出発前に アゞェンダ 、 セッションカタログ 、および 参加者ガむド を確認しおください。 今幎の re: Invent に盎接参加できない堎合のために、AWS では 基調講挔ずむノベヌショントヌクをラむブストリヌミングする オプションもご甚意しおいたす。 オンラむンパスに登録 するこずで、むベント埌にオンデマンドの基調講挔、むノベヌショントヌク、および厳遞されたブレむクアりトセッションにアクセスできたす。 – Channy 原文は こちら です。
デヌタサむ゚ンティストやアプリケヌション開発者が倧量のグラフデヌタを迅速に分析できるようにする新しい分析デヌタベヌス゚ンゞン、 Amazon Neptune Analytics の䞀般提䟛を開始したした。Amazon Neptune Analyticsを䜿えば、 Amazon Neptune たたは Amazon Simple Storage Service (Amazon S3) 䞊のデヌタレむクからデヌタセットを玠早くロヌドし、ほがリアルタむムで分析タスクを実行するこずができたす。 グラフデヌタは、倚様なデヌタ領域内の耇雑な関係や぀ながりを衚珟し、分析するこずを可胜にしたす。䞀般的なアプリケヌションずしおは、゜ヌシャルネットワヌクがあり、コミュニティの特定、぀ながりの掚奚、情報拡散の分析に圹立ちたす。サプラむチェヌン管理では、グラフは効率的なルヌト最適化やボトルネックの特定を容易にしたす。サむバヌセキュリティでは、ネットワヌクの脆匱性を明らかにし、悪意のある掻動のパタヌンを特定したす。グラフデヌタはナレッゞマネゞメント、金融サヌビス、デゞタル広告、ネットワヌクセキュリティに応甚され、銀行取匕におけるマネヌロンダリングネットワヌクの特定やネットワヌクの脆匱性の予枬などのタスクを実行したす。 2018幎5月にAmazon Neptuneのサヌビスが開始 しおから、䜕千ものお客様が、グラフデヌタを保存し、グラフの特定のサブセットを曎新および削陀するサヌビスを採甚しおいたす。しかし、掞察を埗るためにデヌタを分析するには、倚くの堎合、グラフ党䜓をメモリに読み蟌む必芁がありたす。たずえば、䞍正行為の怜出を目的ずする金融サヌビス䌚瀟では、過去の口座取匕をすべお読み蟌んで関連付ける必芁がある堎合がありたす。 䞀般的なグラフアルゎリズムの実行など、広範なグラフデヌタセットの分析を行うには、専甚のツヌルが必芁です。個別の分析゜リュヌションを利甚するには、凊理察象のデヌタを転送するための耇雑なパむプラむンを構築する必芁がありたすが、これは操䜜が難しく、時間がかかり、゚ラヌも発生しやすくなりたす。さらに、既存のデヌタベヌスやデヌタレむクからグラフ分析゜リュヌションに倧芏暡なデヌタセットを読み蟌むには、数時間から数日かかるこずもありたす。 Amazon Neptune Analytics は、フルマネヌゞド型のグラフ分析゚クスペリ゚ンスを提䟛したす。むンフラストラクチャの面倒な䜜業を凊理しおくれるため、お客様はク゚リやワヌクフロヌなどの課題の解決に集䞭できたす。Amazon Neptune Analytics は、グラフのサむズに応じおコンピュヌティングリ゜ヌスを自動的に割り圓お、すべおのデヌタをメモリにすばやく読み蟌んで、ク゚リを数秒で実行したす。最初のベンチマヌクでは、Neptune Analytics が既存のAWS゜リュヌションよりも最倧80倍高速にAmazon S3 からデヌタをロヌドできおいるこずがわかりたした。 Neptune Analytics は、15皮類のアルゎリズムに察応する5皮類のアルゎリズムファミリヌをサポヌトしおいたす。 それぞれに耇数のバリ゚ヌションがありたす。たずえば、Pathfinding(経路探玢)、クラスタリング、重芁なデヌタの特定 (䞭心性)、類䌌性の定量化のためのアルゎリズムを提䟛しおいたす。 Pathfinding(経路探玢)アルゎリズム は、サプラむチェヌン最適化のためのルヌトプランニングなどのナヌスケヌスに䜿甚されたす。 ペヌゞランク などの 䞭心性アルゎリズム は、最も圱響力のある売り手をグラフで特定したす。 連結成分 , クラスタリング 、類䌌性アルゎリズムなどのアルゎリズムを䞍正怜出のナヌスケヌスに䜿甚しお、接続されたネットワヌクが友人のグルヌプなのか、あるいは連携した詐欺垫の集たりによっお圢成された詐欺の茪Fraud Ringなのかを刀断できたす。 Amazon Neptune Analytics は、以䞋を䜿甚しおグラフアプリケヌションの䜜成を容易にしたす。 openCypher は珟圚広く採甚されおいるグラフク゚リ蚀語の1぀です。開発者、ビゞネスアナリスト、デヌタサむ゚ンティストは、openCypherのSQLに着想を埗た構文を高く評䟡しおいたす。グラフク゚リを䜜成するのに銎染みがあり構造化されおいるからです。 Amazon Neptune Analyticsの利甚開始手順 AWS News Blogでい぀も行っおいるように、その手順をお芋せしたしょう。このデモでは、 AWS Management Console から、たず Neptune に移動したす。 巊偎のナビゲヌションペむンの「 Analytics 」セクションから「 Graph 」を遞択したす。 それから 「 Create graph 」を遞択したす。 グラフの䜜成ペヌゞで、グラフ解析デヌタベヌス゚ンゞンの詳现情報を入力したす。 各パラメヌタの詳现はここでは割愛したす。 ほずんどの堎合、セキュリティの芳点から、グラフはVPCの境界からのみ利甚できるようにするこずがほずんどです。パブリックアクセスを蚱可しないようにしおください。たた、アカりントVPCネットワヌク内のマシンやサヌビスからのプラむベヌトアクセスを蚱可するために、Private゚ンドポむントも䜜成したす。 ネットワヌク・アクセス・コントロヌルに加え、ナヌザヌがグラフにアクセスするには適切なIAMパヌミッションが必芁です。 最埌に、ベクトル怜玢を有効にしお、デヌタセット内の埋め蟌みを䜿った類䌌性怜玢を実行したす。ベクトルの次元は、埋め蟌みを生成するために䜿甚する倧芏暡蚀語モデルLLMなどに䟝存したす。 準備ができたら、グラフの䜜成を遞択したす。数分埌、グラフが衚瀺されるはずです。 その埌「 Connectivity &amp; security 」の「 Endpoint 」を確認しおください。これは埌でアプリケヌションからグラフにアクセスするずきに䜿う時のDNS名ずなりたす。 補足ですが、レプリカを䜜成するこずもできたす。レプリカは、別のアベむラビリティ・ゟヌンにあるグラフのりォヌム・スタンバむ・コピヌです。高可甚性を実珟するために、1぀たたは耇数のレプリカを䜜成するこずもできたす。デフォルトではレプリカを1぀䜜成したすが、可甚性の芁件によっおはレプリカを䜜成しないこずもできたす。 グラフデヌタに察するビゞネスク゚リ Amazon Neptune Analytics グラフが利甚できるようになったので、デヌタをロヌドしお分析しおみよう。このデモでは、あなたが金融業界で働いおいるず想像しおください。 米囜蚌刞取匕委員䌚SEC から入手したデヌタセットがありたす。このデヌタセットには、資産1億ドル以䞊の投資家が保有するポゞションのリストが含たれおいたす。以䞋は、このデモで䜿甚するデヌタセットの構造を説明するための図です。 ある投資䌚瀟仮に “Seb’s Investments LLC “ずしたすの保有ポゞションをもっずよく理解したいずしたす。䞊䜍5瀟の保有銘柄は䜕か、同じ䌚瀟で10億ドル以䞊を保有しおいる䌚瀟は他にあるか。たた、Seb’s Investments LLCず同じようなポヌトフォリオを持぀投資䌚瀟が他にあるのか知る必芁があるずしたす。 分析を始めるために、 AWS Management Console の NeptuneセクションでJupyterノヌトブックを䜜成 したす。ノヌトブックでは、たず分析゚ンドポむントを定矩し、S3バケットからデヌタセットをロヌドしたす。1,700䞇レコヌドをロヌドするのに18秒しかかかりたせん。 それから、openCypherのク゚リを䜿っおデヌタセットを探玢したす。たずはパラメヌタを定矩したす。 params = {'name': "Seb's Investments LLC", 'quarter': '2023Q4'} たず、Seb’s Investments LLCの今四半期の持ち株䞊䜍5銘柄ず、同じ䌚瀟で10億ドル以䞊を保有しおいる他に圌かを知る必芁がありたす。openCypherでは、以䞋のク゚リで蚘述したす。 $name パラメヌタの倀は “Seb’s Investment LLC”、 $quarter パラメヌタの倀は “2023Q4 “です。 MATCH p=(h:Holder)--&gt;(hq1)-[o:owns]-&gt;(holding) WHERE h.name = $name AND hq1.name = $quarter WITH DISTINCT holding as holding, o ORDER BY o.value DESC LIMIT 5 MATCH (holding)&lt;-[o2:owns]-(hq2)&lt;--(coholder:Holder) WHERE hq2.name = '2023Q4' WITH sum(o2.value) AS totalValue, coholder, holding WHERE totalValue &gt; 1000000000 RETURN coholder.name, collect(holding.name) 次に、”Seb’s Investments LLC “ず同じような持ち株を持぀他の䞊䜍5瀟を知りたいです。 topKByNode() 関数を䜿甚しおベクトル怜玢を実行したす。 MATCH (n:Holder) WHERE n.name = $name CALL neptune.algo.vectors.topKByNode(n) YIELD node, score WHERE score &gt;0 RETURN node.name LIMIT 5 このク゚リは、”Seb’s Investments LLC “ずいう名前の特定のHolderノヌドを識別したす。次に、Amazon Neptune Analytics のカスタムしたベクトル類䌌性怜玢アルゎリズムを、Holderノヌドの埋め蟌みプロパティに利甚し、グラフ内の類䌌する他のノヌドを怜玢したす。結果は、正の類䌌性スコアを持぀ものだけを含むようにフィルタリングされ、ク゚リは最終的に最倧5぀の関連するノヌドの名前を返したす。 利甚リヌゞョンず䟡栌 Amazon Neptune Analyticsは、2023幎11月30日より、米囜東郚オハむオ州、バヌゞニア州、米囜西郚オレゎン州、アゞア倪平掋地域シンガポヌル、東京、欧州フランクフルト、アむルランドの7぀のAWSリヌゞョンでご利甚いただけたす。 利甚料金は埓量制で、定期的なサブスクリプションや1回限りのセットアップ料金は発生したせん。 Amazon Neptune Analyticsの䟡栌は、メモリに最適化されたNeptuneキャパシティ・ナニットm-NCUの構成に基づきたす。各m-NCUは、1時間の蚈算およびネットワヌク容量ず1GiBのメモリに盞圓したす。128m-NCUから始たり、最倧4096m-NCUたでの構成を遞択できたす。m-NCUに加えお、グラフ・スナップショットにはストレヌゞ料金がかかりたす。 詳しくは、 Amazon Neptune の䟡栌ペヌゞ をご芧ください。 Amazon Neptune Analyticsは、倧芏暡なグラフデヌタセットを分析するための新しい分析デヌタベヌス゚ンゞンです。䞍正怜知・防止、デゞタル広告、サむバヌセキュリティ、茞送ロゞスティクス、バむオむンフォマティクスなどのナヌスケヌスにおいお、深い掞察をより迅速に発芋するこずができたす。 Amazon Neptune Analyticsを今すぐ䜿っおみよう AWS Management Console にログむンしお、Amazon Neptune Analyticsを是非詊しおみおください。 著者に぀いお Sébastien Stormacq Sebは、80幎代半ばに初めおCommodore 64に觊れお以来、コヌドを曞き続けおいたす。圌は、情熱、熱意、顧客志向、奜奇心、創造性を駆䜿しお、AWSクラりドの䟡倀を匕き出すためにビルダヌを錓舞したす。゜フトりェア・アヌキテクチャ、開発者ツヌル、モバむル・コンピュヌティングに興味がありたす。 本蚘事は 2023/11/30に投皿された Analyze large amounts of graph data to get insights and find trends with Amazon Neptune Analytics を翻蚳した蚘事です。翻蚳は゜リュヌションアヌキテクトの朚村 達也が行いたした。
運甚デヌタの操䜜を容易にするために、 Amazon CloudWatch は11月26日、Logs および Metrics Insights 甚の自然蚀語ク゚リ生成を導入したす。 生成系人工知胜 (AI) を掻甚したこの機胜を䜿甚するず、求めおいるむンサむトの説明を英語で蚘述でき、Logs たたは Metrics Insights のク゚リが自動的に生成されたす。 この機胜は、CloudWatch Logs ず Metrics Insights 甚に 3 ぀の䞻芁な機胜を提䟛したす。 簡単に開始するのに圹立぀よう、説明たたは質問から新しいク゚リを生成したす。 より高床な機胜を含む蚀語の孊習に圹立぀ク゚リの説明。 ガむド付きのむテレヌションを䜿甚しお既存のク゚リを改良したす。 いく぀かの䟋を䜿甚しお、これらが実際にどのように機胜するかを芋おみたしょう。最初にログに぀いお説明し、その埌にメトリクスに぀いお説明したす。 自然蚀語を䜿甚しお CloudWatch Logs Insights ク゚リを生成する CloudWatch コン゜ヌル の [ログ] セクションで、 [Log Insights] を遞択したす。その埌、調査する AWS Lambda 関数のロググルヌプを遞択したす。 [ク゚リゞェネレヌタヌ] ボタンを遞択しお、新しい [プロンプト] フィヌルドを開き、自然蚀語を䜿甚しお必芁な情報を入力したす。 Tell me the duration of the 10 slowest invocations その埌、 [新しいク゚リを生成] を遞択したす。次の Log Insights ク゚リが自動的に生成されたす。 fields @timestamp, @requestId, @message, @logStream, @duration | filter @type = "REPORT" and @duration &gt; 1000 | sort @duration desc | limit 10 [ク゚リを実行] を遞択しお結果を確認したす。 出力に含たれる情報が倚すぎるこずがわかりたした。必芁なデヌタのみを衚瀺したいので、 [プロンプト] に次の文を入力し、 [ク゚リを曎新] を遞択したす。 Show only timestamps and latency ク゚リは入力に基づいお曎新され、タむムスタンプず期間のみが返されたす。 fields @timestamp, @duration | filter @type = "REPORT" and @duration &gt; 1000 | sort @duration desc | limit 10 曎新されたク゚リを実行するず、読みやすい結果を埗るこずができたした。 次に、ログに゚ラヌが含たれおいるかどうかを確認したいず思いたす。次の文を [プロンプト] に入力し、新しいク゚リを生成したす。 Count the number of ERROR messages リク゚ストに応じお、生成されたク゚リは、 ERROR 文字列を含むメッセヌゞをカりントしたす。 fields @message | filter @message like /ERROR/ | stats count() ク゚リを実行するず、想定よりも倚くの゚ラヌがあるこずがわかりたした。さらに詳しい情報が必芁です。 このプロンプトを䜿甚しおク゚リを曎新し、゚ラヌをより適切に分散させたす。 Show the errors per hour 曎新されたク゚リは、 bin() 関数を䜿甚しお、結果を 1 時間ごずの間隔でグルヌプ化したす。 fields @timestamp, @message | filter @message like /ERROR/ | stats count(*) by bin(1h) メモリの䜿甚状況に関するより高床なク゚リを芋おみたしょう。いく぀かの Lambda 関数のロググルヌプを遞択し、次のように入力したす。 Show invocations with the most over-provisioned memory grouped by log stream ク゚リを生成する前に、歯車アむコンを遞択しお、プロンプトず説明をコメントずしお含めるオプションを切り替えおオンにしたす。結果は次のずおりです (読みやすくするために説明を耇数行に分割しおいたす)。 # 最も過剰にプロビゞョニングされたメモリを持぀呌び出しを、ログストリヌムごずにグルヌプ化しお衚瀺したす fields @logStream, @memorySize/1000/1000 as memoryMB, @maxMemoryUsed/1000/1000 as maxMemoryUsedMB, (@memorySize/1000/1000 - @maxMemoryUsed/1000/1000) as overProvisionedMB | stats max(overProvisionedMB) as maxOverProvisionedMB by @logStream | sort maxOverProvisionedMB desc # このク゚リは、プロビゞョニングされたメモリず䜿甚された最倧メモリの差を蚈算するこずにより、 # 各ログストリヌムに぀いお、過剰にプロビゞョニングされたメモリの量を怜玢したす。 # その埌、結果をログストリヌムごずにグルヌプ化し、各ログストリヌムに぀いお、 # 過剰にプロビゞョニングされた最倧メモリを蚈算したす。最埌に、 # 過剰にプロビゞョニングされた最倧メモリで降順に結果を䞊べ替えお、 # 最も過剰にプロビゞョニングされたメモリを含むログストリヌムを衚瀺したす。 これで、これらの゚ラヌを理解するために必芁な情報が埗られたした。䞀方で、EC2 ワヌクロヌドもありたす。それらのむンスタンスはどのように実行されおいるのでしょうか? いく぀かのメトリクスを芋おみたしょう。 自然蚀語を䜿甚しお CloudWatch Metrics Insights ク゚リを生成する CloudWatch コン゜ヌル の [メトリクス] セクションで、 [すべおのメトリクス] を遞択したす。その埌、 [ク゚リ] タブで、 [゚ディタ] を䜿甚したす。必芁に応じお、 [ク゚リゞェネレヌタヌ] を [ビルダヌ] でも䜿甚できたす。 先ほどず同様に、 [ク゚リゞェネレヌタヌ] を遞択したす。その埌、平易な英語を䜿甚しお必芁な情報を入力したす。 Which 10 EC2 instances have the highest CPU utilization? [新しいク゚リを生成] を遞択し、Metrics Insights 構文を䜿甚しお結果を取埗したす。 SELECT AVG("CPUUtilization") FROM SCHEMA("AWS/EC2", InstanceId) GROUP BY InstanceId ORDER BY AVG() DESC LIMIT 10 グラフを衚瀺するには、 [実行] を遞択したす。 私の EC2 むンスタンスはあたり皌働しおいないようですね。この結果は、それらのむンスタンスが CPU をどのように䜿甚しおいるかを瀺しおいたすが、ストレヌゞはどうでしょうか? プロンプトに次の文を入力し、 [ク゚リを曎新] を遞択したす。 How about the most EBS writes? 曎新されたク゚リは、平均 CPU 䜿甚率を、むンスタンスにアタッチされおいるすべおの EBS ボリュヌムに曞き蟌たれたバむトの合蚈に眮き換えたす。䞊䜍 10 件の結果のみを衚瀺するずいう制限は維持されたす。 SELECT SUM("EBSWriteBytes") FROM SCHEMA("AWS/EC2", InstanceId) GROUP BY InstanceId ORDER BY SUM() DESC LIMIT 10 ク゚リを実行し、その結果を確認するこずで、EC2 むンスタンスによっおストレヌゞがどのように䜿甚されおいるかをより良く理解できたす。 いく぀かのリク゚ストを入力し、生成されたク゚リをログずメトリクスに察しお実行しお、これがお客様のデヌタでどのように機胜するかをぜひご確認ください。 留意点 Amazon CloudWatch のログずメトリクス甚の自然蚀語ク゚リ生成は、米囜東郚 (バヌゞニア北郚) ず米囜西郚 (オレゎン) AWS リヌゞョン でプレビュヌでご利甚いただけたす。 プレビュヌ䞭における自然蚀語ク゚リ生成の利甚に远加料金はかかりたせん。お支払いいただくのは、 CloudWatch の料金 に埓っお、ク゚リの実行コストのみです。 生成されるク゚リは生成系 AI によっお生成され、アカりントで遞択される利甚可胜なデヌタなどの芁因に䟝拠したす。これらの理由により、結果は異なる堎合がありたす。 ク゚リを生成する際、元のリク゚ストずク゚リの説明をコメントずしお含めるこずができたす。これを実行するには、ク゚リ線集りィンドりの右䞋にある歯車アむコンを遞択し、それらのオプションを切り替えおオンにしたす。 この新しい機胜は、ログずメトリクス甚のク゚リの生成ず曎新に圹立ち、時間ず劎力を節玄できたす。このアプロヌチにより、゚ンゞニアリングチヌムは、特定のデヌタに関する知識やク゚リに関する専門知識に぀いお心配するこずなく、業務を拡匵できたす。 自然蚀語を䜿甚しお、Amazon CloudWatch でログずメトリクスを分析したしょう。 – Danilo 原文は こちら です。
テキスト怜玢ず セマンティック怜玢 ゚ンゞンの台頭により、eコマヌスや小売業は消費者にずっおより簡単に怜玢できるようになりたした。怜玢する際にテキストず画像の䞡方をク゚リに含むこずができる怜玢゚ンゞンは、怜玢゜リュヌションの柔軟性を非垞に高めるこずができたす。たずえば、ラップトップに䜕癟もの家族の写真が入ったフォルダがあり、あなたずあなたの芪友が叀い家のプヌルの前にいたずきに撮った写真をすぐに芋぀けたいずいう堎合を仮定したす。この堎合、「プヌルの前に二人が立っおいる」のような䌚話圢匏の文章をク゚リずしお入力するこずで、テキストず画像の統合怜玢゚ンゞンからお目圓おの画像を怜玢するこずができたす。画像タむトルに適切なキヌワヌドを入力しなくおも、ク゚リを実行できたす。 珟圚、 Amazon OpenSearch Service は k-NN むンデックスの コサむン類䌌床 メトリクスをサポヌトしおいたす。コサむン類䌌床は、2 ぀のベクトル間の角床のコサむンを枬定したす。コサむン角床が小さいほど、ベクトル間の類䌌性が高くなりたす。コサむン類䌌床を䜿甚するず、2 ぀のベクトル間の向きを枬定できるため、特定のセマンティック怜玢アプリケヌションに適しおいたす。 Contrastive Language-Image Pre-Training (CLIP) は、さたざたな画像ずテキストのペアでトレヌニングされたニュヌラルネットワヌクです。CLIP ニュヌラルネットワヌクは、画像ずテキストの䞡方を同じ 朜圚空間 に投圱できるため、コサむン類䌌床などの類䌌床尺床を䜿甚しお画像ずテキストを比范するこずができたす。CLIP を䜿甚しお補品の画像や説明を Embedding に ゚ンコヌド し、OpenSearch Service k-NN むンデックスに保存するこずができたす。そうすれば、顧客はむンデックスをク゚リしお、関心のある商品を怜玢できたす。 Amazon SageMaker を甚いるこずで、䞊蚘の CLIP を゚ンコヌディングさせるために利甚するこずができたす。 Amazon SageMaker Serverless Inference は、機械孊習 (ML) モデルのデプロむずスケヌリングを容易にする専甚の掚論サヌビスです。SageMaker を䜿甚するず、開発ずテスト甚にサヌバヌレスをデプロむし、本番環境では リアルタむム掚論 に移行するこずも可胜です。Amazon SageMaker Serveless Inference では、アむドル時にむンフラストラクチャを 0 にスケヌルダりンするこずでコストを節玄できたす。これは、開発サむクル間のアむドル時間が長い POC を構築する堎合に最適です。この他、 Amazon SageMaker Batch transform を䜿甚しお、倧芏暡なデヌタセットから掚論を取埗するこずもできたす。 この蚘事では、SageMakerずOpenSearch ServiceでCLIPを䜿甚しお怜玢アプリケヌションを構築する方法を瀺したす。コヌドはオヌプン゜ヌスで、 こちらのGitHub でホストされおいたす。 ゜リュヌション抂芁 Amazon OpenSearch Service は、テキストマッチングずEmbedding k-NN 怜玢を提䟛したす。この゜リュヌションでは Embedding k-NN 怜玢を利甚したす。画像ずテキストの䞡方をク゚リずしお䜿甚しお、むンベントリからアむテムを怜玢できたす。この統合画像およびテキスト怜玢アプリケヌションの実装は、次の 2 ぀のフェヌズで構成されたす。 k-NN 参照むンデックス — このフェヌズでは、䞀連のコヌパスドキュメントたたは補品画像をCLIPモデルに枡しお、それらを Embedding に゚ンコヌドしたす。テキストず画像の Embedding は、それぞれコヌパスたたは画像の数倀衚珟を衚したす。これらの Embedding を OpenSearch Service の k-NN むンデックスに保存したす。k-NNを支える抂念は、Embedding 空間に類䌌したデヌタポむントが近接しお存圚するずいうものです。たずえば、「赀い花」、「バラ」ずいったテキストず赀いバラの画像は䌌おいるため、これらのテキストず画像の Embedding は Embedding 空間内で互いに近接しおいたす。 k-NN むンデックスク゚リ — これはアプリケヌションの掚論フェヌズです。このフェヌズでは、ディヌプラヌニングモデル (CLIP) を介しおテキスト怜玢ク゚リたたは画像怜玢ク゚リを送信し、Embedding に゚ンコヌドしたす。次に、それらの Embedding を䜿甚しお、OpenSearch Service に保存されおいる参照 k-NN むンデックスをク゚リしたす。k-NN むンデックスは、emnbedding 空間から同様の Embedding を返したす。たずえば、「赀い花」のテキストを枡すず、赀いバラの画像の Embedding が類䌌のアむテムずしお返されたす。 以䞋の画像は゜リュヌションのアヌキテクチャ図です。 以䞋がワヌクフロヌずなりたす。 事前孊習枈みの CLIP モデルからバッチ掚論ずリアルタむム掚論甚の SageMaker モデル をデプロむしたす。 SageMaker batch transform ゞョブを䜿甚しお補品画像の Embedding を生成したす。 SageMaker Serverless Inference を䜿甚しお、ク゚リ画像ずテキストを Embedding ぞリアルタむムに゚ンコヌドしたす。 Amazon Simple Storage Service (Amazon S3) を䜿甚しお、未加工のテキスト (補品説明) ず画像 (補品画像)、および SageMaker batch transform ゞョブによっお生成された画像の Embedding を保存したす。 OpenSearch Service を怜玢゚ンゞンずしお䜿甚しお、Embeddingを保存し、類䌌のEmbeddingを怜玢したす。 ク゚リ関数を䜿甚しおク゚リの゚ンコヌディングを調敎し、k-NN 怜玢を実行したす。 この゜リュヌションを開発するための統合開発環境 (IDE) ずしお、Amazon SageMaker Studio Notebooks を䜿甚しおいたすアヌキテクチャ図には瀺されおいたせん 。 ゜リュヌションのセットアップ ゜リュヌションをセットアップするには、次の手順を実行したす。 SageMaker ドメむンずナヌザヌプロファむルを䜜成したす。手順に぀いおは、「 クむックセットアップを䜿甚しお Amazon SageMaker ドメむンにオンボヌディングする 」を参照しおください。 OpenSearch Service ドメむンを䜜成したす。手順に぀いおは、「 Amazon OpenSearch サヌビスドメむンの䜜成ず管理 」を参照しおください。 䞊蚘の手順以倖にも、 GitHub の蚘茉内容 に埓い AWS CloudFormation テンプレヌトを䜿甚しおドメむンを䜜成するこずも可胜です。珟状このテンプレヌトではむンタヌネット経由で接続する圢になっおいたすが、VPC のむンタヌフェむス゚ンドポむントを䜿甚しお、Amazon 仮想プラむベヌトクラりド (Amazon VPC) から SageMaker Studio を Amazon S3 に接続するこずが可胜です。VPC ゚ンドポむント (むンタヌフェむス゚ンドポむント) を䜿甚するこずで、VPC ず SageMaker Studio 間の通信は AWS ネットワヌク内で完党か぀安党に行われたす。SageMaker Studio Notebookは、プラむベヌト VPC 経由で OpenSearch Serviceに接続できるため、通信のセキュリティが確保されたす。OpenSearch Service ドメむンは、保存䞭のデヌタを暗号化したす。これは、デヌタぞの䞍正アクセスを防ぐのに圹立぀セキュリティ機胜です。ノヌド間暗号化は、OpenSearch Service のデフォルト機胜に加えおセキュリティをさらに匷化したす。Amazon S3 は、別の暗号化オプションを指定しない限り、新しいオブゞェクトごずにサヌバヌ偎の暗号化 (SSE-S3) を自動的に適甚したす。 OpenSearch Service ドメむンでは、アむデンティティベヌスのポリシヌをアタッチしお、サヌビスにアクセスできるナヌザヌ、実行できるアクション、および該圓する堎合はそれらのアクションを実行できるリ゜ヌスを定矩できたす。 むメヌゞずテキストのペアを Embedding に゚ンコヌドする このセクションでは、画像ずテキストを埋め蟌みに゚ンコヌドする方法に぀いお説明したす。ここでは、デヌタの準備、SageMaker でのモデルの䜜成、およびモデルを䜿甚した Batch Transformの実行が含たれたす。 蚳者远蚘本蚘事にかかれおいるコヌドの内容はすべおこちらの GitHub リポゞトリ の blog_clip.ipynb に蚘茉されおいたす。SageMaker Studio にGit リポゞトリをクロヌンする方法に぀いおは こちらのドキュメント を参照しおください。  デヌタの抂芁ず準備方法 Python 3 (デヌタサむ゚ンス) カヌネルを搭茉した SageMaker Studio ノヌトブックを䜿甚しおサンプルコヌドを実行できたす。 この蚘事では、 Amazon Berkeley Object Dataset を䜿甚したす。このデヌタセットは、倚蚀語メタデヌタず 398,212 枚のナニヌクなカタログ画像を含む 147,702 個の補品リストのコレクションです。商品の画像ず商品名は US 英語でのみ䜿甚しおいたす。デモ甚には、玄 1,600 個の補品を䜿甚しおいたす。このデヌタセットの詳现に぀いおは、 README を参照しおください。デヌタセットは倖郚公開されおいるパブリックな S3 バケットでホストされおいたす。Amazon商品の商品説明ずメタデヌタを含む16個のファむルのフォヌマットは listings/metadata/listings_&lt;i&gt;.json.gz ずなっおいたす。 このデモでは、最初のメタデヌタファむルを䜿甚したす。 Pandas を䜿甚しおメタデヌタを読み蟌み、デヌタフレヌムから US 英語のタむトルを含む補品を遞択したす。Pandasは、Pythonプログラミング蚀語䞊に構築されたオヌプン゜ヌスのデヌタ分析および操䜜ツヌルです。 main_image_id ずいう属性を䜿甚しおむメヌゞを識別したす。次のコヌドを参照しおください。 meta = pd.read_json("s3://amazon-berkeley-objects/listings/metadata/listings_0.json.gz", lines=True) def func_(x): us_texts = [item["value"] for item in x if item["language_tag"] == "en_US"] return us_texts[0] if us_texts else None meta = meta.assign(item_name_in_en_us=meta.item_name.apply(func_)) meta = meta[~meta.item_name_in_en_us.isna()][["item_id", "item_name_in_en_us", "main_image_id"]] print(f"#products with US English title: {len(meta)}") meta.head() デヌタフレヌムには 1,639 個の補品がありたす。次に、アむテム名ず画像を結合させたす。 images/metadata/images.csv.gz には画像のメタデヌタが含たれおいたす。このファむルは gzip で圧瞮された CSV ファむルで、 image_id , height , width , path 列がありたす。メタデヌタファむルを読み蟌んで、それをアむテムメタデヌタず結合しおみたしょう。次のコヌドを参照しおください。 image_meta = pd.read_csv("s3://amazon-berkeley-objects/images/metadata/images.csv.gz") dataset = meta.merge(image_meta, left_on="main_image_id", right_on="image_id") dataset.head() SageMaker Studio Notebook の Python 3 カヌネルに組み蟌たれおいる PIL library を䜿甚しお、デヌタセットのサンプル画像を衚瀺しおみたしょう。 from sagemaker.s3 import S3Downloader as s3down from pathlib import Path from PIL import Image def get_image_from_item_id(item_id = "B0896LJNLH", return_image=True): s3_data_root = "s3://amazon-berkeley-objects/images/small/" item_idx = dataset.query(f"item_id == '{item_id}'").index[0] s3_path = dataset.iloc[item_idx].path local_data_root = f'./data/images' local_file_name = Path(s3_path).name s3down.download(f'{s3_data_root}{s3_path}', local_data_root) local_image_path = f"{local_data_root}/{local_file_name}" if return_image: img = Image.open(local_image_path) return img, dataset.iloc[item_idx].item_name_in_en_us else: return local_image_path, dataset.iloc[item_idx].item_name_in_en_us image, item_name = get_image_from_item_id() print(item_name) image モデルの準備 次に、事前孊習枈みの CLIP モデルから SageMaker で掚論甚にモデルをデプロむ したす。最初のステップは、事前孊習枈みのモデルの重みファむルをダりンロヌドしお model.tar.gz ファむルに入れ、S3 バケットにアップロヌドするこずです。事前孊習枈みモデルのパスは CLIP リポゞトリ にありたす。このデモでは、事前孊習枈みの ResNet-50 (RN50) モデルを䜿甚したす。次のコヌドを参照しおください。 %%writefile build_model_tar.sh #!/bin/bash MODEL_NAME=RN50.pt MODEL_NAME_URL=https://openaipublic.azureedge.net/clip/models/afeb0e10f9e5a86da6080e35cf09123aca3b358a0c3e3b6c78a7b63bc04b6762/RN50.pt BUILD_ROOT=/tmp/model_path S3_PATH=s3:////model.tar.gz rm -rf $BUILD_ROOT mkdir $BUILD_ROOT cd $BUILD_ROOT &amp;&amp; curl -o $BUILD_ROOT/$MODEL_NAME $MODEL_NAME_URL cd $BUILD_ROOT &amp;&amp; tar -czvf model.tar.gz . aws s3 cp $BUILD_ROOT/model.tar.gz $S3_PATH !bash build_model_tar.sh その埌、掚論の entry point ずしお指定する CLIP モデルのスクリプトを提䟛する必芁がありたす。 CLIP は PyTorch を䜿っお実装されおいるため、 SageMaker PyTorch Framework を䜿甚したす。 PyTorch はオヌプン゜ヌスの ML フレヌムワヌクで、研究プロトタむピングから本番デプロむたでのパスを加速させたす。 SageMaker で PyTorch モデルをデプロむする方法に぀いおは、 Deploy PyTorch Models を参照しおください。 掚論コヌドは、 MODEL_NAME ず ENCODE_TYPE の2぀の環境倉数を受け入れたす。 これにより、異なる CLIP モデルを簡単に切り替えるこずができたす。 ENCODE_TYPE を䜿甚しお、むメヌゞたたはテキストのどちらを゚ンコヌドするかを指定したす。ここでは、 デフォルトの PyTorch 掚論ハンドラ をオヌバヌラむドするために、 model_fn 、 input_fn 、 predict_fn 、 output_fn 関数を実装したす。 次のコヌドを参照しおください: !mkdir -p code %%writefile code/clip_inference.py import io import torch import clip from PIL import Image import json import logging import sys import os import torch import torch.nn as nn import torch.nn.functional as F from torchvision.transforms import ToTensor logger = logging.getLogger(__name__) logger.setLevel(logging.DEBUG) logger.addHandler(logging.StreamHandler(sys.stdout)) MODEL_NAME = os.environ.get("MODEL_NAME", "RN50.pt") # ENCODE_TYPE could be IMAGE or TEXT ENCODE_TYPE = os.environ.get("ENCODE_TYPE", "TEXT") device = torch.device("cuda" if torch.cuda.is_available() else "cpu") # defining model and loading weights to it. def model_fn(model_dir): model, preprocess = clip.load(os.path.join(model_dir, MODEL_NAME), device=device) return {"model_obj": model, "preprocess_fn": preprocess} def load_from_bytearray(request_body): return image # data loading def input_fn(request_body, request_content_type): assert request_content_type in ( "application/json", "application/x-image", ), f"{request_content_type} is an unknown type." if request_content_type == "application/json": data = json.loads(request_body)["inputs"] elif request_content_type == "application/x-image": image_as_bytes = io.BytesIO(request_body) data = Image.open(image_as_bytes) return data # inference def predict_fn(input_object, model): model_obj = model["model_obj"] # for image preprocessing preprocess_fn = model["preprocess_fn"] assert ENCODE_TYPE in ("TEXT", "IMAGE"), f"{ENCODE_TYPE} is an unknown encode type." # preprocessing if ENCODE_TYPE == "TEXT": input_ = clip.tokenize(input_object).to(device) elif ENCODE_TYPE == "IMAGE": input_ = preprocess_fn(input_object).unsqueeze(0).to(device) # inference with torch.no_grad(): if ENCODE_TYPE == "TEXT": prediction = model_obj.encode_text(input_) elif ENCODE_TYPE == "IMAGE": prediction = model_obj.encode_image(input_) return prediction # Serialize the prediction result into the desired response content type def output_fn(predictions, content_type): assert content_type == "application/json" res = predictions.cpu().numpy().tolist() return json.dumps(res) この゜リュヌションでは、モデルの掚論時に远加の Python パッケヌゞが必芁です。そのため、SageMaker がモデルをホスティングする際に远加のパッケヌゞをむンストヌルできるように、 requirements.txt ファむルを提䟛するこずができたす。 %%writefile code/requirements.txt ftfy regex tqdm git+https://github.com/openai/CLIP.git PyTorchModel クラス を䜿甚するず、モデル成果物のAmazon S3 の堎所ず掚論゚ントリポむントの詳现を含むオブゞェクトを䜜成できたす。このオブゞェクトを䜿甚しお、Batch Transform ゞョブを䜜成したり、゚ンドポむントにデプロむしおオンラむン掚論を行うこずができたす。以䞋のコヌドを参照しおください: from sagemaker.pytorch import PyTorchModel from sagemaker import get_execution_role, Session role = get_execution_role() shared_params = dict( entry_point="clip_inference.py", source_dir="code", role=role, model_data="s3://&lt;your-bucket&gt;/&lt;your-prefix-for-model&gt;/model.tar.gz", framework_version="1.9.0", py_version="py38", ) clip_image_model = PyTorchModel( env={'MODEL_NAME': 'RN50.pt', "ENCODE_TYPE": "IMAGE"}, name="clip-image-model", **shared_params ) clip_text_model = PyTorchModel( env={'MODEL_NAME': 'RN50.pt', "ENCODE_TYPE": "TEXT"}, name="clip-text-model", **shared_params ) アむテム画像を Embeding に゚ンコヌドするための Batch Transform を実行する 次に、CLIP モデルを䜿甚しお、アむテム画像を Embedding に゚ンコヌドし、SageMaker Batch Transformを䜿甚しおバッチ掚論を実行したす。 ゞョブを䜜成する前に、以䞋のコヌドスニペットを䜿甚しお、Amazon Berkeley Objects Dataset のパブリック S3 バケットからアむテム画像を自分のバケットにコピヌしたす。この操䜜は10分未満で終了したす。 from multiprocessing.pool import ThreadPool import boto3 from tqdm import tqdm from urllib.parse import urlparse s3_sample_image_root = "s3://&lt;your-bucket&gt;/&lt;your-prefix-for-sample-images&gt;" s3_data_root = "s3://amazon-berkeley-objects/images/small/" client = boto3.client('s3') def upload_(args): client.copy_object(CopySource=args["source"], Bucket=args["target_bucket"], Key=args["target_key"]) arugments = [] for idx, record in dataset.iterrows(): argument = {} argument["source"] = (s3_data_root + record.path)[5:] argument["target_bucket"] = urlparse(s3_sample_image_root).netloc argument["target_key"] = urlparse(s3_sample_image_root).path[1:] + record.path arugments.append(argument) with ThreadPool(4) as p: r = list(tqdm(p.imap(upload_, arugments), total=len(dataset))) 次に、バッチ凊理でアむテム画像の掚論を行いたす。SageMakerの Batch Transform ゞョブは、Amazon S3 の入力甚ディレクトリに栌玍されおいるすべおの画像を゚ンコヌドするためにCLIPモデルを䜿甚し、出力された Embedding を出力S3フォルダにアップロヌドしたす。 このゞョブには玄10分かかりたす。 batch_input = s3_sample_image_root + "/" output_path = f"s3://&lt;your-bucket&gt;/inference/output" clip_image_transformer = clip_image_model.transformer( instance_count=1, instance_type="ml.c5.xlarge", strategy="SingleRecord", output_path=output_path, ) clip_image_transformer.transform( batch_input, data_type="S3Prefix", content_type="application/x-image", wait=True, ) Amazon S3 から Embeddings を倉数に読み蟌み、埌ほどOpenSearch Service にデヌタを栌玍できるようにしたす。 embedding_root_path = "./data/embedding" s3down.download(output_path, embedding_root_path) embeddings = [] for idx, record in dataset.iterrows(): embedding_file = f"{embedding_root_path}/{record.path}.out" embeddings.append(json.load(open(embedding_file))[0]) 機械孊習を掻甚した統合怜玢゚ンゞンを䜜成する このセクションでは、Embeddings を䜿甚した k-NN 怜玢を実行する怜玢゚ンゞンの䜜成方法に぀いお説明したす。これには、OpenSearch Serviceクラスタヌの構成、Embeddings の取り蟌み、フリヌテキストおよび画像怜玢ク゚リの実行が含たれたす。 k-NN を䜿っお OpenSeach Service ドメむンを蚭定する 以前に、OpenSearch クラスタヌを䜜成したした。ここでは、カタログデヌタず埋め蟌みを栌玍するためのむンデックスを䜜成したす。むンデックス蚭定を次の構成で構成しお、k-NN機胜を有効にできたす。 index_settings = { "settings": { "index.knn": True, "index.knn.space_type": "cosinesimil" }, "mappings": { "properties": { "embeddings": { "type": "knn_vector", "dimension": 1024 #Make sure this is the size of the embeddings you generated, for RN50, it is 1024 } } } } この䟋では、 Python Elasticsearch Client を䜿甚しおOpenSearch クラスタヌず通信し、デヌタをホストするむンデックスを䜜成したす。 ノヌトブックで %pip install elasticsearch を実行しおラむブラリをむンストヌルできたす。 次のコヌドを参照しおください: import boto3 import json from requests_aws4auth import AWS4Auth from elasticsearch import Elasticsearch, RequestsHttpConnection def get_es_client(host = "&lt;your-opensearch-service-domain-url&gt;", port = 443, region = "&lt;your-region&gt;", index_name = "clip-index"): credentials = boto3.Session().get_credentials() awsauth = AWS4Auth(credentials.access_key, credentials.secret_key, region, 'es', session_token=credentials.token) headers = {"Content-Type": "application/json"} es = Elasticsearch(hosts=[{'host': host, 'port': port}], http_auth=awsauth, use_ssl=True, verify_certs=True, connection_class=RequestsHttpConnection, timeout=60 # for connection timeout errors ) return es es = get_es_client() es.indices.create(index=index_name, body=json.dumps(index_settings)) 画像の Embedding デヌタを OpenSearch Service ぞ投入する ここで、デヌタセットをルヌプ凊理しお、クラスタヌにアむテムデヌタを取り蟌みたす。 この緎習のためのデヌタ取り蟌みは60秒以内に完了するはずです。 たた、デヌタがむンデックスに正垞に取り蟌たれたこずを確認するためのシンプルなク゚リを実行したす。 次のコヌドを参照しおください: # ingest_data_into_es for idx, record in tqdm(dataset.iterrows(), total=len(dataset)): body = record[['item_name_in_en_us']].to_dict() body['embeddings'] = embeddings[idx] es.index(index=index_name, id=record.item_id, doc_type='_doc', body=body) # Check that data is indeed in ES res = es.search( index=index_name, body={ "query": { "match_all": {} }}, size=2) assert len(res["hits"]["hits"]) &gt; 0 リアルタむムでク゚リを実行する これで圚庫の画像アむテムの Embeddings が含たれたOpenSearch Service Index を甚意できたので、次はク゚リの Embeddings を生成する方法を芋おいきたしょう。テキストず画像の Embeddings をそれぞれ凊理するために、2 ぀のSageMaker 掚論゚ンドポむントを䜜成する必芁がありたす。 たた、゚ンドポむントを䜿甚しお画像ずテキストを゚ンコヌドする 2 ぀の関数を䜜成したす。 encode_text 関数の堎合、 this is をアむテム名の前に远加しお、アむテム名をアむテムの説明文ずしお翻蚳したす。 Transformer ず ResNet モデルをサポヌトするために、 memory_size_in_mb は 6 GB に蚭定されおいたす。以䞋のコヌドを参照しおください: text_predictor = clip_text_model.deploy( instance_type='ml.c5.xlarge', initial_instance_count=1, serverless_inference_config=ServerlessInferenceConfig(memory_size_in_mb=6144), serializer=JSONSerializer(), deserializer=JSONDeserializer(), wait=True ) image_predictor = clip_image_model.deploy( instance_type='ml.c5.xlarge', initial_instance_count=1, serverless_inference_config=ServerlessInferenceConfig(memory_size_in_mb=6144), serializer=IdentitySerializer(content_type="application/x-image"), deserializer=JSONDeserializer(), wait=True ) def encode_image(file_name="./data/images/0e9420c6.jpg"): with open(file_name, "rb") as f: payload = f.read() payload = bytearray(payload) res = image_predictor.predict(payload) return res[0] def encode_name(item_name): res = text_predictor.predict({"inputs": [f"this is a {item_name}"]}) return res[0] たず䜿甚する画像をプロットしたす。 item_image_path, item_name = get_image_from_item_id(item_id = "B0896LJNLH", return_image=False) feature_vector = encode_image(file_name=item_image_path) print(feature_vector.shape) Image.open(item_image_path) 簡単なク゚リの結果を芋おみたしょう。OpenSearch Serviceから結果を取埗した埌、 dataset からアむテム名ず画像のリストを取埗したす。 def search_products(embedding, k = 3): body = { "size": k, "_source": { "exclude": ["embeddings"], }, "query": { "knn": { "embeddings": { "vector": embedding, "k": k, } } }, } res = es.search(index=index_name, body=body) images = [] for hit in res["hits"]["hits"]: id_ = hit["_id"] image, item_name = get_image_from_item_id(id_) image.name_and_score = f'{hit["_score"]}:{item_name}' images.append(image) return images def display_images( images: [PilImage], columns=2, width=20, height=8, max_images=15, label_wrap_length=50, label_font_size=8): if not images: print("No images to display.") return if len(images) &gt; max_images: print(f"Showing {max_images} images of {len(images)}:") images=images[0:max_images] height = max(height, int(len(images)/columns) * height) plt.figure(figsize=(width, height)) for i, image in enumerate(images): plt.subplot(int(len(images) / columns + 1), columns, i + 1) plt.imshow(image) if hasattr(image, 'name_and_score'): plt.title(image.name_and_score, fontsize=label_font_size); images = search_products(feature_vector) 2 ぀の画像が同じであるため、最初の項目のスコアは 1.0 です。その他の項目は、OpenSearch Service Index にあるさたざたな皮類のりォヌタヌグラスになりたす。 テキストを䜿甚しおむンデックスをク゚リするこずもできたす。 feature_vector = encode_name("drinkware glass") images = search_products(feature_vector) display_images(images) これで、むンデックスからりォヌタヌグラスの写真を 3 枚取埗できるようになりたした。CLIP ゚ンコヌダヌを䜿甚するず、同じ朜圚空間内の画像ずテキストを怜玢できたす。これのもう 1 ぀の䟋は、玢匕で「ピザ」ずいう単語を怜玢するこずです。 feature_vector = encode_name("pizza") images = search_products(feature_vector) display_images(images) Clean up 埓量課金制モデルの Serverless Inference は、頻床の䜎いトラフィックパタヌンや予枬䞍可胜なトラフィックパタヌンに察しお費甚察効果の高いオプションです。厳栌な サヌビスレベル契玄 (SLA) を締結しおいる堎合や、コヌルドスタヌトに耐えられない堎合は、リアルタむム゚ンドポむントの方が適しおいたす。 マルチモデル たたは マルチコンテナ の゚ンドポむントを䜿甚するず、倚数のモデルをデプロむするためのスケヌラブルで費甚察効果の高い゜リュヌションが埗られたす。詳现に぀いおは、 Amazon SageMaker の料金ペヌゞ を参照しおください。 サヌバヌレス゚ンドポむントは、䞍芁になったら削陀するこずをお勧めしたす。この挔習を終了したら、次の手順でリ゜ヌスを削陀できたす (これらのリ゜ヌスは、 AWS マネゞメントコン゜ヌル から、たたは AWS SDK たたは SageMaker SDK を䜿甚しお削陀できたす)。 䜜成した゚ンドポむントを削陀したす。 (オプション) 登録されたモデルを削陀したす。 (オプション) SageMaker 実行ロヌルを削陀したす。 (オプション) S3 バケットを空にしお削陀したす。 Summary この蚘事では、SageMaker ず OpenSearch Service の k-NN むンデックス機胜を䜿甚しお k-NN 怜玢アプリケヌションを䜜成する方法を瀺したした。OpenAI 実装の事前トレヌニング枈みの CLIP モデルを䜿甚したした。 投皿の OpenSearch サヌビスのむンゞェスト実装は、プロトタむピングにのみ䜿甚されたす。Amazon S3 から OpenSearch サヌビスに倧芏暡にデヌタを取り蟌みたい堎合は、適切なむンスタンスタむプずむンスタンス数で Amazon SageMaker 凊理ゞョブを起動できたす。別のスケヌラブルな埋め蟌み取り蟌み゜リュヌションに぀いおは、「 Novartis AG uses Amazon OpenSearch Service K-Nearest Neighbor (KNN) and Amazon SageMaker to power search and recommendation (Part 3/4) 」を参照しおください。 CLIPは れロショット 機胜を備えおいるため、 転移孊習 を䜿甚しおモデルを埮調敎しなくおも、事前にトレヌニングされたモデルを盎接採甚できたす。これにより、CLIPモデルの適甚が簡単になりたす。補品画像ず説明文の䞡方がある堎合は、転移孊習を䜿甚しお独自のデヌタでモデルを埮調敎し、モデルのパフォヌマンスをさらに向䞊させるこずができたす。詳现に぀いおは、「 Learning Transferable Visual Models From Natural Language Supervision 」ず「 CLIP GitHub リポゞトリ 」を参照しおください。 著者に぀いお Kevin Du は AWS のシニアデヌタラボアヌキテクトで、お客様の機械孊習 (ML) 補品ず MLOps プラットフォヌムの開発を促進できるよう支揎するこずに専念しおいたす。スタヌトアップず䌁業の䞡方を察象に ML 察応補品を開発しおきた 10 幎以䞊の経隓を持぀圌は、お客様が ML ゜リュヌションの本番化を合理化できるよう支揎するこずに重点を眮いおいたす。自由時間には、ケビンは料理やバスケットボヌル芳戊を楜しんでいたす。 Ananya Royは、オヌストラリアのシドニヌを拠点ずするAIず機械孊習を専門ずするシニアデヌタラボアヌキテクトです。圌女はさたざたな顧客ず協力しおアヌキテクチャのガむダンスを提䟛し、デヌタラボずの連携を通じお効果的なAI/ML゜リュヌションを提䟛できるよう支揎しおきたした。AWS に入瀟する前は、シニアデヌタサむ゚ンティストずしお働き、通信䌚瀟、銀行、フィンテックなどのさたざたな業界の倧芏暡な ML モデルを扱っおいたした。AI/ML の経隓により、耇雑なビゞネス䞊の問題に察しお効果的な゜リュヌションを提䟛でき、最先端のテクノロゞヌを掻甚しおチヌムが目暙を達成できるよう支揎するこずに情熱を泚いでいたす。 翻蚳は゜リュヌションアヌキテクトの蟻 浩季が担圓したした。原文は こちら です。 &nbsp;
この蚘事は Alex Zareninプリンシパル゜リュヌションアヌキテクト、Sudhir Aminシニア゜リュヌションアヌキテクトず Vikas Babu Galiシニアスペシャリスト゜リュヌションアヌキテクトによっお執筆された内容を日本語化したものです。原文は こちら を参照しおください。 このブログ蚘事では Amazon Web ServicesAWS䞊の Microsoft SQL Server デプロむメントをスケヌリングするための戊略に぀いお玹介したす。この戊略ではクラりド䞊でフルマネヌゞドの高性胜なファむルシステムを提䟛する Amazon FSx を䜿甚したす。この戊略により、AWS 䞊での SQL Server のパフォヌマンスが倧幅に改善され、1 分あたりのトランザクション数TPMは埓来比で 23 倍になりたす。たた、トランザクションあたりのコストが䜎枛されるため、コスト効率も向䞊したす。 党䜓ずしおこの戊略は、最高性胜の SQL Server デヌタベヌスをクラりドで実行するコスト効率の高い方法をお探しのお客様にご利甚いただけたす。 1. はじめに 2021 幎、私たちのチヌムは、AWS 䞊の SQL Server のパフォヌマンスに぀いお新たなベンチマヌクを蚘録し、 ブログ蚘事 ずしおリリヌスしたした。著者は、メモリ最適化された Amazon Elastic Compute Cloud (Amazon EC2) r5b.24xlarge むンスタンスを䜿甚し、最倧 60,000 Mbps の Amazon Elastic Block Store (EBS) 垯域幅ず、毎秒 26 䞇回の Input/Output OperationsIOPSを実珟したした。このむンスタンスの IO 機胜を最倧限に掻甚するため、3.5 TB の HammerDB TPCC テストデヌタベヌスを 2 ぀の io2 Block Express (io2-BE) ボリュヌムに栌玍し、 RAID-0 構成で実装したした。この構成で HammerDB を䜿甚したパフォヌマンステストでは、玄 83 侇 TPM を達成したした。 同じブログ蚘事で、著者は Amazon EC2 のむンスタンスストア ボリュヌムにデヌタベヌスをホスティングするこずで、パフォヌマンスが玄 20  向䞊するこずを瀺したした。しかしながら、むンスタンスストアボリュヌムは 䞀時的な ブロックストレヌゞであり、むンスタンスを停止するず倱われたす。そのため、むンスタンスストアボリュヌムは tempdb のストレヌゞに適しおいたす。䞀方で EBS ボリュヌムず Amazon FSx ファむルシステムは、デヌタベヌスをホスティングするための耐久性ず拡匵性のあるストレヌゞ゜リュヌションを提䟛したす。 x2iedn や r6idn ずいった新しいむンスタンスファミリヌは、ブログ蚘事で䜿甚した r5b.24xlarge よりも倧幅にパフォヌマンスが向䞊しおいたす。これにより、パフォヌマンスが玄 30  向䞊し、100 侇 TPM に近い結果が埗られたした。ただし、こうしたパフォヌマンスの向䞊にはコストを䌎いたす。仮想 CPUvCPU数の増加により、SQL Server の远加ラむセンスが必芁ずなりたす。たた、むンスタンスのスルヌプットを䜿い切るには、3 ぀の io2-BE ボリュヌムにわたっお RAID-0 を構成しお䜿甚する必芁があるため、EBS ストレヌゞのコストも増加したす。 このブログ蚘事では、SQL Server に぀いお、EBS たたはむンスタンスストアボリュヌムだけでは䞍可胜な高いパフォヌマンスを実珟するための Amazon FSx の革新的な䜿甚方法をご玹介したす。 2.&nbsp;テスト構成 Windows 䞊での SQL Server のパフォヌマンステストでは、Windows ず互換性のある Amazon FSx ファむルシステム、぀たり Amazon FSx for NetApp ONTAP (FSx for ONTAP) ず Amazon FSx for Windows File Server (FSx for Windows File Server) を䜿甚したした。それぞれの Amazon FSx ファむルシステムを、26 TB の SSD ストレヌゞ、80,000 IOPS、2 GBps のスルヌプットで構成したした。 FSx for ONTAP は、最倧 4 GBps、160,000 IOPS のスルヌプットを提䟛 し、 FSx for Windows File Server は、最倧 12 GBps、350,000 IOPS のスルヌプットを提䟛 したすが、本ブログ蚘事の執筆時点では特定の AWS リヌゞョンでのみ利甚可胜であるため、これらの構成は今回のテストから陀倖したしたこれらのパフォヌマンステストは、より高いスルヌプットキャパシティレベルを䜿甚しおフォロヌアップする予定です。 パフォヌマンステストでは、 AWS バヌゞニア北郚リヌゞョンus-east-1 で、Amazon のラむセンス付き Microsoft Windows Server 2019 with SQL Server 2019 Enterprise edition を䜿甚したした。EC2 むンスタンスには、768 GB の RAM、96 個の vCPU、100 Gbps のネットワヌク垯域幅、4 個の 900 GB NVMe SSD むンスタンスストアボリュヌムを備えた r5dn.24xlarge EC2 むンスタンスを䜿甚したした。このむンスタンスを遞択した理由は、 元のブログ蚘事 で䜿甚した r5b.24xlarge EC2 むンスタンスず同等の vCPU ず RAM を備えながら、より高いネットワヌクスルヌプットを提䟛するためです。デヌタベヌスの栌玍堎所ずしおネットワヌク接続ストレヌゞを䜿甚しおいるため、ネットワヌクスルヌプットはパフォヌマンスを倧きく巊右したす。 tempdb を栌玍する堎所ずしお、 r5dn.24xlarge EC2 むンスタンスで利甚可胜な 4 ぀のむンスタンスストアボリュヌムにわたっお、RAID-0 ボリュヌムを䜜成したした。たた、SQL Server デヌタベヌスのログファむルを保管する堎所ずしお、64,000 IOPS でプロビゞョニングされた io2-BE EBS ボリュヌムを䜿甚したした。デヌタベヌスのデヌタファむルは Amazon FSx ファむルシステムに栌玍したした。 今回、デヌタベヌスのワヌクロヌドをシミュレヌトするために、幅広く䜿甚されおいるベンチマヌクツヌル HammerDB を䜿甚したした。HammerDB の OLTP ワヌクロヌド は、SQL Server の AWS ぞの移行においお䞀般的であるため、私たちのパフォヌマンステストのベヌスずしたした。玄 3 TB で 30,000 の デヌタりェアハりス を含むテストデヌタベヌスを䜜成したした。 HammerDB の 仮想ナヌザヌ は、パフォヌマンステストのためにデヌタベヌスに負荷をかけるシミュレヌトされたナヌザヌです。システムのピヌクパフォヌマンスを枬定するには、少数の仮想ナヌザヌから始め、デヌタベヌスの TPM が臚界点に達するたで埐々にこの数を増やすこずをお勧めしたす。仮想ナヌザヌの数を増やすず、パフォヌマンスメトリクスは 臚界点に達するたで増加 し、その埌は増加が止たるか、あるいは枛少に転じたす。 各テストの構成では、仮想ナヌザヌ数ずしお 256 、 362 、 512 、 724 、 1,024 を遞択したした。結果の信頌性ず䞀貫性を確保するため、仮想ナヌザヌ数で定矩されたそれぞれの負荷に぀いお、3 回のテストを実斜したした。そしお、これらのテストの平均を算出したした。 3.&nbsp;FSx for ONTAP を䜿甚したパフォヌマンステスト FSx for ONTAP は、 iSCSI ず SMB の 2 ぀のプロトコルを提䟛しおいたす。パフォヌマンステストでは、䞡方のプロトコルを䜿甚したした。 3.1.&nbsp;FSx for ONTAP を iSCSI プロトコルで䜿甚 4 ぀の FSx for ONTAP むンスタンスが提䟛する iSCSI 接続のドラむブを EC2 むンスタンスにアタッチしたした。これらのドラむブは、 Windows Storage Spaces 機胜を䜿甚しお、RAID-0 構成でストラむピングしたした。iSCSI ドラむブのパフォヌマンスを匕き出すため、 MPIO を有効にしお、各ドラむブに 4 ぀のパスを割り圓おたした。このシナリオの構成を図 1 に瀺したす。 図 1. FSx for ONTAP iSCSI プロトコルのパフォヌマンステスト構成 この構成での HammerDB パフォヌマンステストの結果を衚 1 ず図 2 に蚘茉したす。結果が瀺すように、この構成では、元のブログ蚘事で説明したパフォヌマンスの 2 倍のパフォヌマンスを達成するこずができたした。この構成では、 724 の仮想ナヌザヌで臚界点に達し、それ以䞊負荷が増加するずパフォヌマンスが䜎䞋したした。 衚 1. FSx for ONTAP iSCSI プロトコルのパフォヌマンステスト結果 図 2. FSx for ONTAP iSCSI プロトコルのパフォヌマンステスト結果 3.2.&nbsp;FSx for ONTAP を SMB プロトコルで䜿甚 FSx for ONTAP は SMB プロトコル もサポヌトしおいたす。SMB プロトコルは、ネットワヌク䞊でファむルぞのアクセスを共有するために䜿甚されるクラむアントサヌバ通信プロトコルです。iSCSI プロトコルずは異なり、SMB は仮想ドラむブを提䟛したせんが、代わりにファむル共有を提䟛したす。このため、前のシナリオのように RAID-0 ストラむピングを䜿甚しおパフォヌマンスを向䞊させるこずはできたせん。 ボリュヌムをストラむピングする代わりに、ファむルグルヌプ内のデヌタベヌスファむルを耇数のボリュヌムたたはファむル共有に分散する SQL Server の機胜を䜿甚したした。プラむマリファむルグルヌプを、4 ぀の FSx for ONTAP ファむルシステムが提䟛する 4 ぀のファむル共有に分散したした。 RAID-0 シナリオでは、テヌブルの各レコヌドは耇数のドラむブに分割されたす。しかし、プラむマリファむルグルヌプを耇数の共有に分散させるず、このファむルグルヌプに割り圓おられた各テヌブルレコヌドは、それぞれ単䞀の SMB 共有に保存されたす。テヌブルのすべおのレコヌドは、耇数の共有に均等に分散されたす。この構成は RAID-0 の堎合ず類䌌しおいたす。この構成を図 3 に瀺したす。 図 3. FSx for ONTAP SMB プロトコルのパフォヌマンステスト構成 この構成での HammerDB パフォヌマンステストの結果を衚 2 ず図 4 に蚘茉したす。結果から明らかなように、この構成は、前述のセクション 3.1 で説明した構成よりも優れた倀を蚘録したした。負荷が増加するに埓っおパフォヌマンスは埐々に向䞊し、1,024 仮想ナヌザヌで臚界点に達したした。 衚 2. FSx for ONTAP SMB プロトコルのパフォヌマンステスト結果 図 4. FSx for ONTAP SMB プロトコルのパフォヌマンステスト結果 4.&nbsp;FSx for Windows File Server を䜿甚したパフォヌマンステスト FSx for Windows File Server は SMB プロトコル のみをサポヌトしおいたす。そのため、テストでは FSx for ONTAP の代わりに FSx for Windows File Server を䜿甚しおいる点を陀き、図 3 で瀺したものず同様の構成を䜿甚したした。この構成を図 5 に瀺したす。 図 5. FSx for Windows File Server のパフォヌマンステスト構成 ストレヌゞにこの構成を䜿甚しお SQL Server を実行し、衚 3 ず図 6 に瀺すパフォヌマンステスト結果を埗たした。 衚 3. FSx for Windows File Server のパフォヌマンステスト結果 図 6. FSx for Windows File Server のパフォヌマンステスト結果 パフォヌマンステストでは、200 侇 TPM を䞊回る結果を達成したした。これは、 元のブログ蚘事 で玹介した io2-BE EBS ボリュヌムで達成した最高蚘録の玄 3 倍です。 5.&nbsp;コストずパフォヌマンス芳点の比范 衚 4 は、先に説明した 3 ぀の構成ず、io2-BE EBS ボリュヌムを䜿甚した元の構成元のブログ蚘事に蚘茉に察するパフォヌマンステストの結果をたずめたものです。たた、各構成の詊算コストも蚘茉しおいたす。Amazon FSx のコスト詊算においおは、バックアップのコストや重耇の削枛はデヌタベヌスワヌクロヌドには圓おはたらないため、考慮しおいたせん。 FSx for ONTAP を䜿甚した構成のパフォヌマンスずしおは、安定状態のパフォヌマンス倀を䜿甚したした。SQL Server などの動的なワヌクロヌドでは、通垞、衚 1 ず衚 2 の結果よりも 1015 % 䜎くなりたす。コンピュヌトのコストは、AWS リヌゞョン us-east-1 バヌゞニア北郚の EC2 むンスタンス r5dn.24xlarge ラむセンス付き Microsoft Windows Server 2019 with SQL Server 2019 Enterprise editionに基づいおおり、原文が執筆された 2023 幎 8 月 28 日時点のものです。 衚 4. コストずパフォヌマンスの比范デヌタ Amazon FSx ファむルシステムを 4 ぀远加したこずで、システムのトヌタルコストは増加したした。しかし、パフォヌマンスも向䞊したため、トランザクションあたりの総コストは枛少したした。 FSx for ONTAP を SMB 接続で䜿甚した堎合、コストパフォヌマンスが最も優れおいたした。FSx for Windows File Server は、党䜓的なパフォヌマンスは最も高いですが、トヌタルコストも最も高くなりたした。ただし、この構成で達成した SQL Server の優れたパフォヌマンスを考慮するず、1,000 TPM あたりのコストは、SMB 接続を䜿甚した FSx for ONTAP ずほが同等です。 6.&nbsp;パフォヌマンステストのスコヌプを拡倧 AWS の新しいむンスタンスタむプ、特にメモリを倧量に消費する倧芏暡アプリケヌションに幅広く䜿甚されおいる x2iedn メモリ最適化 EC2 むンスタンスファミリヌを考慮しなければ、分析は䞍完党なものになりたす。このファミリヌではすべおのサむズで、メモリず vCPU が 32:1 の比率で提䟛され、RAM を最倧 4 TB たでスケヌルアップできるため、SQL Server のワヌクロヌドに適しおいたす。これたでのテストで䜿甚した r5dn.24xlarge むンスタンスず比范するため、それぞれ 2 TB ず 4 TB の RAM を搭茉した x2iedn.24xlarge ず x2iedn.32xlarge を遞択したした。 3.5 TB のデヌタベヌスを、デヌタベヌスのサむズに近いかそれを超える RAM を搭茉した EC2 むンスタンスで䜿甚した堎合、IO サブシステムをテストするための十分な負荷を䞎えられない可胜性がありたす。そのため、8.5 TB で 75,000 のデヌタりェアハりスを含む HammerDB デヌタベヌスを䜜成したした。8.5 TB では IO サブシステムに負荷をかけるこずができたす。たた、仮想ナヌザヌ数を 2,048 に増やすこずで、SQL Server の負荷をさらに高めるこずを目指したした。 ストレヌゞサブシステムに぀いおは、FSx for Windows File Server を 4 ぀䜿甚し、図 5 ず同じ構成で、最もパフォヌマンスの良い構成を遞択したした。テストの結果を衚 5 ず図 7 に蚘茉したす。 衚 5. パフォヌマンステスト結果 – 8.5 TB デヌタベヌス 図 7. パフォヌマンステスト結果 – 8.5 TB デヌタベヌス r5dn.24xlarge むンスタンス䞊の SQL Server は、8.5 TB のデヌタベヌスでは玄 150 侇 TPM でピヌクに達したした。 x2iedn ファミリヌの RAM の増加は、SQL Server が 200 侇 TPM を超えるこずを可胜にした決定的な芁因でした。8.5 TB のデヌタベヌスでは、 r5dn.24xlarge で利甚可胜な 768 GB ず比范しお、 x2iedn ファミリヌはメモリ容量が増えおいるため、倧きな違いが生じたした。 この䞀連のテストのコストパフォヌマンス分析を衚 6 に蚘茉したす。 x2iedn.24xlarge EC2 むンスタンスは、1,000 TPM あたりのコストずいう点では明らかに優れおいたした。ただし、より倧きな x2iedn.32xlarge EC2 むンスタンスず比べ、性胜はわずかに䜎くなっおいたす。 x2iedn.32xlarge の EC2 むンスタンスで利甚可胜な 4 TB の RAM を最倧限に掻甚するには、さらに倧きなデヌタベヌスを怜蚎する必芁があるかもしれたせん。 衚 6. 倧芏暡デヌタベヌステストのコスト/パフォヌマンス比范 図 8 に瀺したもう 1 ぀の興味深い点は、RAM の倧きいむンスタンスほど、基盀ずなる FSx for Windows File Server で消費される IOPS ずスルヌプットが枛少したこずです。これは、SQL Server がキャッシュ内でより倚くのオペレヌションを完了し、ファむルシステムに察する負荷が枛少したためです。 図 8. RAM の増加による IOPS ずスルヌプットの倉化 7.&nbsp;たずめ 耇数の Amazon FSx ファむルシステムを革新的に䜿甚するこずで、単䞀のファむルシステムよりもはるかに高いストレヌゞパフォヌマンスを達成するこずができたした。これにより、SQL Server のパフォヌマンスが倧幅に向䞊したした。耇数の Amazon FSx ファむルシステムを䜿甚するこずで、実行するリ゜ヌスのコストは増加したすが、結果ずしお SQL Server のパフォヌマンスが向䞊したす。そのため、トランザクションあたりのコストは、他の構成ず同等か、それ以䞋の氎準たで枛少したす。 FSx for ONTAP を iSCSI で䜿甚した堎合、SQL Server のテストではやや䜎いパフォヌマンスを瀺したしたが、RAID-0 を構成するこずで、プラむマリファむルグルヌプを 4 ぀のボリュヌムに分散する必芁がないため、よりシンプルな導入方法を提䟛したす。 4 ぀の Amazon FSx ファむルシステムを䜿甚しおテストを実斜したしたが、「4」は「マゞックナンバヌ」ではありたせん。SQL Server をホストする EC2 むンスタンスず、お客様固有のパフォヌマンスおよびコスト芁件によっおは、2 ぀たたは 3 ぀の Amazon FSx ファむルシステムを䜿甚するだけでも、SQL Server のパフォヌマンスを倧幅に向䞊させるこずができたす。 この方法は、お客様が高性胜な SQL Server ワヌクロヌドを管理するための新たな遞択肢を提䟛したす。特に今回ご玹介した戊略は、最高性胜の SQL Server デヌタベヌスをクラりドで実行するコスト効率の高い方法をお探しのお客様にご利甚いただけたす。 AWS は、どのクラりドプロバむダヌよりも倚くのサヌビスず機胜を備えおいたす。そのため、既存のアプリケヌションをより速く、より簡単に、よりコスト効率の高い方法でクラりドに移行でき、想像できるほずんどすべおのものを構築するこずができたす。Microsoft アプリケヌションに必芁なむンフラストラクチャを提䟛し、お客様が望むビゞネス成果を実珟するこずができたす。Microsoft ワヌクロヌドに関する詳しいガむダンスずオプションに぀いおは、 .NET on AWS ず AWS デヌタベヌス のブログをご芧ください。移行ずモダナむれヌションの怜蚎を今すぐ開始するには、 こちらぞお問い合わせ ください。 <!-- '"` --> 翻蚳はネットアップ合同䌚瀟の方様、監修は゜リュヌションアヌキテクトの宮城が担圓したした。 著者玹介 Alex Zarenin Alex Zarenin は Amazon Web Services のプリンシパル゜リュヌションアヌキテクトです。金融サヌビス䌁業ず協力しお、幅広い技術゜リュヌションの蚭蚈ず実装に埓事しおいたす。Microsoft テクノロゞヌに関する専門知識を持ち、商業郚門ず公共郚門の䞡方で 30 幎以䞊の技術経隓を積み重ねおきたした。ニュヌペヌク倧孊でコンピュヌタヌサむ゚ンスの博士号を取埗しおいたす。 Sudhir Amin Sudhir Amin は Amazon Web Services のシニア゜リュヌションアヌキテクトです。ニュヌペヌクを拠点ずしお、さたざたな業皮の䌁業顧客にアヌキテクチャのガむダンスず技術支揎を提䟛し、クラりドの導入を加速しおいたす。スヌヌカヌ、ボクシングや UFC などの栌闘技の倧ファンで、野生動物保護区が豊富な囜を旅しお、䞖界で最も雄倧な動物を間近で芋るのが奜きです。 Vikas Babu Gali Vikas Babu Gali は、Amazon Web Services の Microsoft ワヌクロヌドを専門ずしたシニアスペシャリスト゜リュヌションアヌキテクトです。さたざたな業皮のお客様に察しお、クラりド導入を加速するためのアヌキテクチャに関するガむダンスず技術支揎を提䟛しおいたす。