はじめに 今日は、Amazon Athena クエリのパフォーマンスを向上させる方法についてご紹介します！ Athena とは、Amazon S3 に保存されているデータを中心に、SQL を使ってさまざまなデータソースにクエリを実行できるサービスです。 クエリのパフォーマンスを向上させる方法はいくつかありますが、その中でも効果が大きいのが「スキャンするデータ量を減らす」ことです。 Athena の料金はスキャンしたデータ量に応じて発生するため、パフォーマンスを向上だけではなくコストも最適化できます。 Athena がスキャンする必要があるデータ量を減らすための方法として、パーティションとバケッ…

この記事では、Databricksで利用されるUnity Catalogにおけるデータの階層構造と、その各コンポーネントの役割を解説します。本記事の最終的な目標は、公式チュートリアルに取り組む際に、Unity Catalog独自の用語でつまずかないように基礎知識を身につけられるレベルです。 Unity Catalogのコンポーネントと階層 カタログ (Catalog) データ資産をカタログ単位で分ける場合の主な分け方の例 スキーマ (Schema) / データベース (Database) 主な用途 第3階層のオブジェクト群 テーブル (Table) ビュー (View) ボリューム (Volu…

従来、データ基盤は「データレイク」と「データウェアハウス」を組み合わせるのが一般的でした。 しかしこの構成は、システムの複雑さや運用コストの増大といった課題を抱えていました。 データレイクハウス（以下、レイクハウス）は、これらの課題を解決するために登場した新しいアーキテクチャです。 本記事では、その概要と、実現の鍵となる「Delta Lake」について紹介します。 レイクハウスとは レイクハウスの特徴 Delta Lakeとは まとめ 参考 レイクハウスとは レイクハウスとは、一言でいえば「データレイク」と「データウェアハウス」を統合させた、新しいデータ基盤のアーキテクチャです。 まず、レイク…

はじめに データレイクとは データレイクのメリットについて とりあえず放り込める 一元管理し易い 分析や機械学習に利用するためのデータを揃えやすい データレイクのデメリットについて 何が入っているかわからなくなる（データの沼化） データの品質と整合性が取りにくい 管理と人材のコストがかかる データレイクの課題をDatabricksで解決する レイクハウスとは データレイクとDatabricksを活用する事例を考えてみた 膨大なIoT家電データの活用 データレイクでのデータ収集 Databricks（Delta Lake）によるレイクハウス構築と分析 データの信頼性確保: データ品質の向上と構造…

Amazon Bedrock Client for Mac とは AWSがGitHubで公開・提供している "Amazon Bedrock Client for Mac" というMac用のクライアントアプリケーションです。 https://github.com/aws-samples/amazon-bedrock-client-for-mac Mac専用とはなりますが、Amazon Bedrockの生成AIを利用するためのクライアントアプリケーションであり、Mac上で簡単に生成AIを試すことができます。 通常Bedrockが提供する各種生成AIモデルを試す際には、マネジメントコンソールにあるプ…

こんにちは😸 カスタマーサクセス部の山本です。 概要 Slack 側の設定 (アプリの作成) メモしておくものまとめ EventBridge の 「接続」作成 メモしておくものまとめ インスタンスタイプごとの料金をメモ Step Functions Step Functions の全体構成 1. DescribeInstances ステップ 2. Map ステップ PostInstanceInfoToSlack ステップ (ItemProcessor内) JSONata 式解説 '*Running Hours:*\n' & $string($ceil(($toMillis($now()) - …

こんにちは😸 カスタマーサクセス部の山本です。 AWS Price List Query API を使用して EC2 のオンデマンドインスタンスの料金を取得する AWS CLI 事前準備：filters.json を用意 filters.json の説明 1. リージョンコード 2. オペレーティングシステム 3. テナンシー 4. インスタンスタイプ 5. 事前インストールソフトウェア 6. マーケットオプション 7. キャパシティステータス フィルターに関する補足 試してみる jq コマンドを用いて、ほしい情報のみ抽出した json にする。 jqコマンド詳細 実行結果 Lambda (P…

はじめに Well-Architected フレームワーク ってなに？ メトリクスを活用した運用評価について 概要 ベストプラクティスの内容 まとめ はじめに こんにちは。サメ映画をこよなく愛する梅木です。 先日、社内勉強会にて AWS Well-Architected フレームワークの「オペレーションエクセレンス」について発表する機会がありました。 その準備のため、あらためてフレームワークのドキュメント(付録: 質問とベストプラクティス)を読み返したところ、思わず「あるある！」と頷いてしまうようなアンチパターンの例を見つけたので、共有したいと思います。 Well-Architected フレ…

目次 はじめに カスタムエージェント設定方法 カスタムエージェント構成要素 実行 まとめ はじめに こんにちは、佐々木です。 2025年7月31日にAmazon Q Developer CLI announces custom agentsが提供開始されました。 このAmazon Q Developer CLI カスタムエージェント（以下、カスタムエージェント）を使って、試しにReactコードレビューエージェントを作成してみたいと思います。 Amazon Q Developer CLI カスタムエージェントとは 特定のユースケースやワークフローに合わせて設定できるカスタマイズ可能な AI アシ…

Amazon EBS のプロビジョンドレートによるマネージドな初期化で、スナップショットリストア時のI/O遅延を解消し、パフォーマンスを最適化出来るようになりました。

こんにちは、やまぐちです。 概要 料金について 匿名アクセス利用時の注意点 匿名アクセスを試す アプリケーションの作成 データソースの設定 チャットから質問してみる Web サイトへの組み込みについて まとめ 概要 今回は、Amazon Q Business の匿名アクセスを試してみます。 Amazon Q Business の利用方法には、Identity Center による認証と、匿名アクセスの2つのパターンがあります。 企業内等の閉じた環境で利用する場合は、Identity Center で認証してユーザ管理を実施するケースが多いと考えます。 一方で、Web ページ内にチャット機能を埋…

不要となった古いDBスナップショットをまとめて削除するアクションを Cloud Automator に追加しました。 見落としがちなリソースの消し忘れが高額請求を生むことも AWSで長期にわたりシステムを運用していると、開発や検証のために一時的に取得したDBスナップショットが削除されずに残り続け、気づかぬうちにストレージのコストが増加しているケースも珍しくありません。 実際、削除し忘れていた古いDBスナップショットが原因で、意図せず100万円を超えるストレージコストが発生していた事例もあります。 AWSコストの削減というと、EC2インスタンスの起動・停止やRI/SPの購入に注目が集まりがちです…

こんにちは、やまぐちです。 概要 手軽にフィードバック数を確認したい場合 ログの分析までやってみる ログ出力の設定 ログの確認 CloudWatch Logs Insights で分析する まとめ 概要 Amazon Q Business では、チャットで得た回答に対してフィードバックできます。 回答が役に立った場合は「good」、満足のいく回答ではなかった場合には「bad」を押せます。 SNS のグッドボタンやバッドボタンみたいなイメージです。 また、バッドボタンを押された場合は理由も合わせて送信が可能です。 フィードバックをもとに、Amazon Q Business の設定をカスタマイズし…

こんにちは。エンタープライズクラウド部 松田です。 今回は、Databricks公式チュートリアルを通して行った結果、得られた知識や、 やや理解しにくかった概念も含めて、できる限りわかりやすくお伝えできればと思います。 前提 チュートリアルの構成 チュートリアルを行うことで得られる知識 やや理解しにくかった概念 言語マジックコマンド 権限の考え方 1. 所有者 (Owner) 2. プリンシパル (Principal) 3. 権限 注意点 カタログとワークスペースの概念 1. ワークスペース 2. カタログ まとめ 前提 Databricks初心者向けの内容となります こちらの公式チュートリア…

垣見です。 コンテナやDockerを知らないけれどAmazon ECRやAmazon ECSを学びたい人向けに、「概念や関係性を理解する」ための図解ブログを書きました。 世間にたくさんあるECSハンズオン前後に読むと理解が深まると思います。 このブログで分かるようになること 結論 コンテナとは？ もしコンテナが無かったら コンテナの良さ コンテナの運用 コンテナの技術 Dockerとは？ ①【開発者側】アプリのコンテナ化 ②【開発者側】コンテナイメージのプッシュ ③【利用者側】コンテナイメージのプル ④【利用者側】コンテナの起動 ここまでのまとめ Gitリポジトリとの違い Amazon ECR…

こんにちは😸 カスタマーサクセス部の山本です。 Application Load Balancer (ALB) のパブリック IP アドレスに https 接続できるような状態において、潜む危険があったりします。 その部分を解説してみようと思います。 ALB のパブリック IP アドレスに https 接続できるような状態 パブリック IP アドレスからのリクエストを許容することにより生じる危険 取りうる対策 不正なリクエストが来ているかを調査する方法 テーブル作成 クエリ まとめ ALB のパブリック IP アドレスに https 接続できるような状態 パブリックな Application …

こんにちは。 アプリケーションサービス部、DevOps担当の兼安です。 お盆が近づき、実家の草刈りに追われる毎日を過ごしています。 今年は空調服を着て作業していますが、それでも凄まじく体力を消耗します。 みなさまも外での作業をされる場合はお気をつけてください。 さて、今回はGitHubのDependabotについてお話しします。 本記事のターゲット GitHub Dependabotとは 検証用のサンプルコード Dependabotが作成するPR PRのグループ化 dependabot.ymlによるグループ化の制御 dependabot.ymlを設定した時に気になった点 まとめ 余談 本記事の…

こんにちは、やまぐちです。 概要 やってみる Application 側の設定 ブラウザ側の設定 使ってみる サーバーワークスの HP を要約させる ページを移動して、質問してみる まとめ 概要 今回は、Amazon Q Business のブラウザ拡張機能（Browser extensions）を使ってみます。 この拡張機能を使えば、ブラウザで閲覧中のウェブページの要約や質問が可能です。 この拡張機能を利用できるブラウザは、2025年7月時点では以下3つとなっています。 Google Chrome Microsoft Edge Mozilla Firefox Amazon Q Busines…

はじめに Amazon EC2 を起動する Amazon EC2 のパブリック IP アドレスを GitLab に設定する 変更を GitLab に適用する root ユーザーの初期パスワードを取得する GitLab にアクセスする さいごに はじめに こんにちは！サーバーワークス所附です。 今回は、検証用に GitLab Community Edition を Amazon EC2 に構築したので、その手順についてまとめました。 Amazon EC2 を起動する GitLab のコミュニティ AMI を利用して、Amazon EC2 を起動します。 これにより、自身で GitLab の設定を…

Databricks では DBU (Databricks Unit) という独自の単位で課金されます。この記事では、Databricks on AWS の料金体系について整理し、実際に利用する際の考慮事項をまとめてみました。 前提 まずは Databricks のアーキテクチャを理解する DBU (Databricks Unit) とは DBU の単価はコンピュートタイプによって決まる DBU の消費量はコンピュートのスペックによって決まる サーバーレスを使うか否か 料金計算の例 ケース1 : 小規模開発チームで汎用コンピュートを利用してノートブックを実行 ケース2 : 小規模開発チームでサ…