(前編はこちら) こんにちは。荒井です。 前回の記事では、Amazon S3 Tables 上に Apache Iceberg テーブルを作成し、Athena からクエリできるところ並びに Glue データカタログには登録されていないところまで確認しました。 この記事では、AWS Glue ETLジョブから Amazon S3 Tables 上の Apache Iceberg テーブルにアクセスしてみるところまでやってみようと思います。 やってみよう 1. IAMロール作成 2. Apache Iceberg クライアントカタログ JAR の最新バージョンの Amazon S3 テーブルカタロ…

寒暖差で久しぶりにガッツリ体調を崩した荒井です。薬を飲んでも体調戻るのが明らかに遅くなっててダブルの意味で辛くなっています。 今回はタイトルにもある通り、Amazon S3 Tables + Apache Iceberg (+ Athena)について調査する機会がありましたので記事にします。 Amazon S3 Tables とは そもそも Apache Iceberg とは チュートリアルをやってみる 1. テーブルバケットの有効化 2. テーブルの名前空間とテーブルを作成する 3. Athena でクエリしてみる Glue データカタログから確認してみる Amazon S3 Tables …

こんにちは、近藤（りょう）です！ AWS Security Hub で 「AWS 基礎セキュリティのベストプラクティス v1.0.0（AWS Foundational Security Best Practices v1.0.0、以降 FSBP」 を有効化し、運用している AWS アカウントにおいて、Security Hub の 「EC2.2」 を検知していて 是正対象となっていたデフォルトのセキュリティグループが、AWS Step Functions から一時的に実行される ECS タスクによって使用されているケースがありました。 常時起動しているリソースであればネットワークインターフェース…

本記事では、クラウド監査にあたり注目すべきポイントについて、いくつかのテーマに分けてまとめます。 クラウド監査の「対話」に意識を向けるきっかけとなれば幸いです。

アプリケーションサービス本部の鎌田 (義) です。 CDK + TypeScript で開発する際、テストツールには Jest が標準で使われるのですが、 Jest でのテスト時に ESModule に関連するエラーと遭遇し、解決に苦労したことがあったので共有します。 何があったか 対応方法 1. 対象の外部モジュールをトランスパイル対象にする Lambda へのデプロイではどうなるのか 2. CDK アプリケーション全体を ESModule 化する ESModule としてデプロイできるようにする おわりに 何があったか Lambda にデプロイしているコード内で middy というライブラ…

マネージドサービス部 佐竹です。本ブログでは AWS WAF の COUNT モードのログを調査のためにクエリする際、`UNNEST(r.nonterminatingmatchingrules)` しながら `httprequest` の host も合わせて取得したいという要望に応えるために DDL と SQL クエリを作成しましたので、本文にてご紹介しました。

マルチアカウント環境で User Notificaitons を利用して Amazon GuardDuty の検出結果「高」のみを視認性を高めた内容でメールへ通知する方法について記載します

はじめに 実現したいこと デフォルト設定でインデックスを作成し、動作確認 辞書・類義語を設定し動作確認 辞書と類義語を設定 動作確認 おわりに はじめに こんにちは。 アプリケーションサービス本部の合田です。 OpenSearch で検索精度を向上させたい時、辞書や類義語の設定をする必要がありました。 今回はその設定方法について記載したいと思います。 以降の内容は Amazon OpenSearch Service Version 2.17 で動作確認しています。 実現したいこと 前提として、以下のテキストドキュメントを登録します。 自転車で登坂する その後、以下のキーワードで検索したときにヒ…

垣見です。 AWS Systems Manager のOrganizations環境での統合コンソール機能を有効化する方法のご紹介です。 環境の既存設定のせいでいくつか躓いた点もあったので、エラー文を見ながら有効化時の仕様も確認しつつ解説します。 はじめに 当ブログの対象読者 概要と注意点 ノードのインサイトを確認するための手順 前提 1-1.組織の管理アカウントでAWS Systems Managerの委任アカウント設定をする 管理アカウントにログイン > Systems Managerコンソール > 使用開始 左ペインの「設定」（自動遷移します） > 「使用開始」> 委任先アカウントIDを…

サーバーワークスの村上です。 このブログではAmazon Q in QuickSightについてご紹介させていただきます。 AWSの生成AIスタック全体像 今回利用するデータ 機能紹介 自然言語によるビジュアル作成・編集 エグゼクティブサマリーの自動生成 QA機能によるインサイトの獲得 データストーリーで次のアクションにつなげる データから分析アプローチの提案や推奨アクションを生成するScenarios 使用できる言語について 料金とサポートされている機能について まとめ AWSの生成AIスタック全体像 AWSの生成AIスタックは主に3つの層に分かれています。 最下層：大規模言語モデル (LL…

この記事では、Amazon EC2のAuto Scaling機能とAmazon S3を用いて、比較的安価に可用性の高いウェブページをデプロイする方法を紹介します。 今回は以下のような環境を作ってみます。 今回の構成 前提知識 なぜAuto Scalingを使うのか？ やり方 VPC作成 S3バケット作成 IAMロール作成 AMI作成用のインスタンス（ゴールデンイメージ）を起動 内部作業 Apacheの導入 Cronieの導入 crontabの編集 AMIの取得 ALB作成 ALB用のセキュリティグループ ALB本体 起動テンプレート・Auto Scalingグループ作成 セキュリティグループ …

こんにちは！アプリケーションサービス部ディベロップメントサービス 1 課の三宅です！ 研修の一環で模擬案件に取り組みました。 その中で多くの学びがあったので、特に印象的だった失敗談とそこから得た知見を共有します。 AWS 環境での EFS のマウントに失敗し、「お客様のプロジェクトが消えた!?」と焦った話を共有します。 テストや手順書を正しく書くことの重要性がよくわかった出来事です！ 模擬案件の内容 研修課題は「オンプレミスで運用されているホームページを AWS 環境に移行する」というものでした。 ストレージには EFS を利用し、複数の EC2 インスタンスから同じファイルを参照できる構成に…

社内エンジニア向けに開催したCDKなんでも相談会「Office Hour」の半期報告！相談内容や成果、今後の課題についてまとめました。 #awscdk

プライベートサブネットでNew Relicの外形監視（Synthetics Monitor）をおこなうというケースで Dockerアプリケーションを使用したプライベートサブネット向けの通信制御のハマりポイントを解説してみました。

こんにちは。 アプリケーションサービス部、DevOps担当の兼安です。 本記事はこちらの記事の続きです。 blog.serverworks.co.jp 今回はAmazon Cognito ユーザープールとアプリのデータベース（以下、それぞれCognito、DBと記述）を同期する方法を説明します。 本記事のターゲット 今回の題材 Amazon Cognito ユーザープールとアプリケーションのデータベースの同期 サンプルコード ユーザー情報を二重管理するもう一つの理由 次回の内容 本記事のターゲット Webアプリケーションの開発経験があり、今後、Webアプリケーションをスケーラブルにしたい方を対…

こんにちは！！流川です。 今回は、AWS Configの監査ログ配信用S3バケットでオブジェクトロックを有効化した際にはまった点について、ブログにまとめます。 オブジェクトロックとは オブジェクトロックの機能 リテンションモード リーガルホールド はまったポイント AWS仕様の確認 対応方法 おわりに オブジェクトロックとは Amazon S3のオブジェクトロックは、保存したデータ（オブジェクト）を一定期間または無期限に変更や削除から保護するための機能です。 この機能は、以下のような場面で活用されます。 規制要件への対応 法令や規制に基づいてデータを一定期間保管する必要がある場合、オブジェクト…

こんにちは。AS部DS3課の池上です。 Amazon RDSとAmazon Auroraの費用を比較するために AWS Pricing Calculator を使用しましたが、その際に設定の解釈を誤り、想定と異なる結果になった部分があったので共有します。 なお、以後Amazon RDSはRDS、Amazon AuroraはAurora、AWS Pricing CalculatorはPricing Calculatorと記載します。 つまずいたポイント なぜこのような結果になったのか？ RDSとAuroraとの違い Auroraのノードとインスタンスの関係 簡易的な価格比較 インスタンスが1つの…

HTTPS 通信のみ許可しているALB経由で、EC2上のWordPressにアクセスしたら、表示崩れした話。

こんにちは。AWS CLI が好きな福島です。 はじめに プライベート環境の EC2 には、SSM の Session Manager(以降、Session Manager) を使うことで踏み台サーバーなしで接続できますが、RDS への接続には通常、踏み台サーバーが必要になります。 多くの場合、踏み台には EC2 を利用しますが、先日 ECS on Fargate を踏み台として RDS に接続する検証を行いました。 この方法については既に多くの方がブログで紹介されていますが、備忘録として私もまとめておきます。 はじめに 参考 イメージ図 ポイント 踏み台にECS on Fargate を使う…

New RelicのNetwork Performance Monitoring（NPM）を使用したICMP監視の実践手順を解説。Docker環境でのセットアップから設定ファイルの作成方法まで、詳細に紹介します。