サーバーワークス の技術ブログ
全5641件
CR課の喜多です。今回は前回の続きで、S3に保存したIoTデータをAmazon QuickSightを使って参照してみました。 はじめに システム構成 構築 Amazon Data Firehoseの作成 IoTメッセージルールの追加 AWS Glue Data Catalogの作成 Amazon QuickSightダッシュボードの作成 おわりに はじめに 前回、AWS IoT Coreの紹介の際、S3にParquet形式などでデータレイクとして保存、Amazon Athenaを利用してAmazon Quicksightにてデータ分析を行う、というユースケースを紹介させていただきました。 前…
さとうです。 EC2にOfficeをインストールして使いたいケースで、AWSのSPLAの利用制限によりOffice付きのAMIからのデプロイを検討される方が多いのではないかと思います。 このEC2のバックアップ運用には大きな制約があるので、まとめておきたいと思います。 blog.serverworks.co.jp 結論 Office付きAMIの仕組み デプロイの前提条件 ライセンス管理の仕組み 問題になるポイント 解決策 ①: アプリ領域専用のEBSを作成し、OS領域のEBSをステートレスにする ②: Sysprepしてゴールデンイメージを作成する (補足): 終了保護について まとめ 結論 …
こんにちは。アプリケーションサービス本部ディベロップメントサービス2課の濱田です。 アイスコーヒーの美味しい時期になりましたね🧊 さて、本記事では DynamoDB の設計時に浮上する、パーティションキーについての疑問 を検討します。 「パーティションキーには連番は避け、ランダムな値（UUID等）を設定するべきか？」という疑問に対する回答を整理してお伝えします。 どなたかのお役に立てば幸いです！ 結論：連番自体に問題はない パーティションキーの仕組みを理解する 「パーティションキー」という名前にご注意 実際の仕組み：ハッシュ関数による分散 連番を避けるべき（とされる）理由を検証 1. ホットパ…
はじめに 今日は、Amazon Athena クエリのパフォーマンスを向上させる方法についてご紹介します！ Athena とは、Amazon S3 に保存されているデータを中心に、SQL を使ってさまざまなデータソースにクエリを実行できるサービスです。 クエリのパフォーマンスを向上させる方法はいくつかありますが、その中でも効果が大きいのが「スキャンするデータ量を減らす」ことです。 Athena の料金はスキャンしたデータ量に応じて発生するため、パフォーマンスを向上だけではなくコストも最適化できます。 Athena がスキャンする必要があるデータ量を減らすための方法として、パーティションとバケッ…
この記事では、Databricksで利用されるUnity Catalogにおけるデータの階層構造と、その各コンポーネントの役割を解説します。本記事の最終的な目標は、公式チュートリアルに取り組む際に、Unity Catalog独自の用語でつまずかないように基礎知識を身につけられるレベルです。 Unity Catalogのコンポーネントと階層 カタログ (Catalog) データ資産をカタログ単位で分ける場合の主な分け方の例 スキーマ (Schema) / データベース (Database) 主な用途 第3階層のオブジェクト群 テーブル (Table) ビュー (View) ボリューム (Volu…
従来、データ基盤は「データレイク」と「データウェアハウス」を組み合わせるのが一般的でした。 しかしこの構成は、システムの複雑さや運用コストの増大といった課題を抱えていました。 データレイクハウス（以下、レイクハウス）は、これらの課題を解決するために登場した新しいアーキテクチャです。 本記事では、その概要と、実現の鍵となる「Delta Lake」について紹介します。 レイクハウスとは レイクハウスの特徴 Delta Lakeとは まとめ 参考 レイクハウスとは レイクハウスとは、一言でいえば「データレイク」と「データウェアハウス」を統合させた、新しいデータ基盤のアーキテクチャです。 まず、レイク…
はじめに データレイクとは データレイクのメリットについて とりあえず放り込める 一元管理し易い 分析や機械学習に利用するためのデータを揃えやすい データレイクのデメリットについて 何が入っているかわからなくなる（データの沼化） データの品質と整合性が取りにくい 管理と人材のコストがかかる データレイクの課題をDatabricksで解決する レイクハウスとは データレイクとDatabricksを活用する事例を考えてみた 膨大なIoT家電データの活用 データレイクでのデータ収集 Databricks（Delta Lake）によるレイクハウス構築と分析 データの信頼性確保: データ品質の向上と構造…
Amazon Bedrock Client for Mac とは AWSがGitHubで公開・提供している "Amazon Bedrock Client for Mac" というMac用のクライアントアプリケーションです。 https://github.com/aws-samples/amazon-bedrock-client-for-mac Mac専用とはなりますが、Amazon Bedrockの生成AIを利用するためのクライアントアプリケーションであり、Mac上で簡単に生成AIを試すことができます。 通常Bedrockが提供する各種生成AIモデルを試す際には、マネジメントコンソールにあるプ…
こんにちは😸 カスタマーサクセス部の山本です。 概要 Slack 側の設定 (アプリの作成) メモしておくものまとめ EventBridge の 「接続」作成 メモしておくものまとめ インスタンスタイプごとの料金をメモ Step Functions Step Functions の全体構成 1. DescribeInstances ステップ 2. Map ステップ PostInstanceInfoToSlack ステップ (ItemProcessor内) JSONata 式解説 '*Running Hours:*\n' & $string($ceil(($toMillis($now()) - …
こんにちは😸 カスタマーサクセス部の山本です。 AWS Price List Query API を使用して EC2 のオンデマンドインスタンスの料金を取得する AWS CLI 事前準備：filters.json を用意 filters.json の説明 1. リージョンコード 2. オペレーティングシステム 3. テナンシー 4. インスタンスタイプ 5. 事前インストールソフトウェア 6. マーケットオプション 7. キャパシティステータス フィルターに関する補足 試してみる jq コマンドを用いて、ほしい情報のみ抽出した json にする。 jqコマンド詳細 実行結果 Lambda (P…
はじめに Well-Architected フレームワーク ってなに？ メトリクスを活用した運用評価について 概要 ベストプラクティスの内容 まとめ はじめに こんにちは。サメ映画をこよなく愛する梅木です。 先日、社内勉強会にて AWS Well-Architected フレームワークの「オペレーションエクセレンス」について発表する機会がありました。 その準備のため、あらためてフレームワークのドキュメント(付録: 質問とベストプラクティス)を読み返したところ、思わず「あるある！」と頷いてしまうようなアンチパターンの例を見つけたので、共有したいと思います。 Well-Architected フレ…
目次 はじめに カスタムエージェント設定方法 カスタムエージェント構成要素 実行 まとめ はじめに こんにちは、佐々木です。 2025年7月31日にAmazon Q Developer CLI announces custom agentsが提供開始されました。 このAmazon Q Developer CLI カスタムエージェント（以下、カスタムエージェント）を使って、試しにReactコードレビューエージェントを作成してみたいと思います。 Amazon Q Developer CLI カスタムエージェントとは 特定のユースケースやワークフローに合わせて設定できるカスタマイズ可能な AI アシ…
Amazon EBS のプロビジョンドレートによるマネージドな初期化で、スナップショットリストア時のI/O遅延を解消し、パフォーマンスを最適化出来るようになりました。
こんにちは、やまぐちです。 概要 料金について 匿名アクセス利用時の注意点 匿名アクセスを試す アプリケーションの作成 データソースの設定 チャットから質問してみる Web サイトへの組み込みについて まとめ 概要 今回は、Amazon Q Business の匿名アクセスを試してみます。 Amazon Q Business の利用方法には、Identity Center による認証と、匿名アクセスの2つのパターンがあります。 企業内等の閉じた環境で利用する場合は、Identity Center で認証してユーザ管理を実施するケースが多いと考えます。 一方で、Web ページ内にチャット機能を埋…
不要となった古いDBスナップショットをまとめて削除するアクションを Cloud Automator に追加しました。 見落としがちなリソースの消し忘れが高額請求を生むことも AWSで長期にわたりシステムを運用していると、開発や検証のために一時的に取得したDBスナップショットが削除されずに残り続け、気づかぬうちにストレージのコストが増加しているケースも珍しくありません。 実際、削除し忘れていた古いDBスナップショットが原因で、意図せず100万円を超えるストレージコストが発生していた事例もあります。 AWSコストの削減というと、EC2インスタンスの起動・停止やRI/SPの購入に注目が集まりがちです…
こんにちは、やまぐちです。 概要 手軽にフィードバック数を確認したい場合 ログの分析までやってみる ログ出力の設定 ログの確認 CloudWatch Logs Insights で分析する まとめ 概要 Amazon Q Business では、チャットで得た回答に対してフィードバックできます。 回答が役に立った場合は「good」、満足のいく回答ではなかった場合には「bad」を押せます。 SNS のグッドボタンやバッドボタンみたいなイメージです。 また、バッドボタンを押された場合は理由も合わせて送信が可能です。 フィードバックをもとに、Amazon Q Business の設定をカスタマイズし…
こんにちは。エンタープライズクラウド部 松田です。 今回は、Databricks公式チュートリアルを通して行った結果、得られた知識や、 やや理解しにくかった概念も含めて、できる限りわかりやすくお伝えできればと思います。 前提 チュートリアルの構成 チュートリアルを行うことで得られる知識 やや理解しにくかった概念 言語マジックコマンド 権限の考え方 1. 所有者 (Owner) 2. プリンシパル (Principal) 3. 権限 注意点 カタログとワークスペースの概念 1. ワークスペース 2. カタログ まとめ 前提 Databricks初心者向けの内容となります こちらの公式チュートリア…
垣見です。 コンテナやDockerを知らないけれどAmazon ECRやAmazon ECSを学びたい人向けに、「概念や関係性を理解する」ための図解ブログを書きました。 世間にたくさんあるECSハンズオン前後に読むと理解が深まると思います。 このブログで分かるようになること 結論 コンテナとは？ もしコンテナが無かったら コンテナの良さ コンテナの運用 コンテナの技術 Dockerとは？ ①【開発者側】アプリのコンテナ化 ②【開発者側】コンテナイメージのプッシュ ③【利用者側】コンテナイメージのプル ④【利用者側】コンテナの起動 ここまでのまとめ Gitリポジトリとの違い Amazon ECR…
こんにちは😸 カスタマーサクセス部の山本です。 Application Load Balancer (ALB) のパブリック IP アドレスに https 接続できるような状態において、潜む危険があったりします。 その部分を解説してみようと思います。 ALB のパブリック IP アドレスに https 接続できるような状態 パブリック IP アドレスからのリクエストを許容することにより生じる危険 取りうる対策 不正なリクエストが来ているかを調査する方法 テーブル作成 クエリ まとめ ALB のパブリック IP アドレスに https 接続できるような状態 パブリックな Application …