1. はじめに 突然ですが、Apache KafkaとApache Flinkについて理解を深めたいと思い、AWS(Amazon Web Services)でこれらのマネージドサービスが提供されているため、使ってみようと思います。 詳細は後述しますが、Apache Kafkaに連携されたデータをApache Flinkで読み取り、連携先に送るというシナリオで実施してみます。 ※本記事に記載のサービス名や画面キャプチャ等は2026/3/8時点のものであり、今後変更される可能性がある点はご留意ください。また、

DevOpsグループCREチームのy.s.です。 2026年2月26日にFindy様主催の 技術選定を突き詰める Online Conference に参加してきました。 技術選定という行為そのものを深掘りするカンファレンスで、登壇者それぞれが「選ぶ」という行為の難しさと向き合い方を語っていたのが印象的でした。 本記事ではRoom Aの7セッションに絞ってレポートします。 技術選定の不確実性に向き合うためのアーキテクト思考 米久保 剛 (@tyonekubo) / スライド 技術選定が難しい理由 要件とは

閉域網／GSS G-Netにおける署名付きURL・DataSync・DMSの利用可否まとめ 2026年3月25日　株式会社NTTデータ 第三公共事業本部 小沼真実 この記事は、インターネット／閉域網／GSS G-Net（※） というネットワーク条件において、ある程度大きいサイズのファイル・データを、異なるクラウド環境の間で定期的に連携したいという要件があった場合を想定しています。 以下の3つの方式において、Amazon Web Services（AWS）のマネージドサービスとして、代表的な3つのサービスを

本記事は 2026 年 3 月 18 日 に公開された「 How Vanguard transformed analytics with Amazon Redshift multi-warehouse architecture 」を翻訳したものです。 この記事は、Vanguard の Financial Advisor Services 部門の Alex Rabinovich、Anindya Dasgupta、Vijesh Chandran と AWS の共同執筆によるゲスト投稿です。 Vanguard

本記事は 2026 年 3 月 18 日 に公開された「 Scale fine-grained permissions across warehouses with Amazon Redshift and AWS IAM Identity Center 」を翻訳したものです。 Amazon Redshift は、フルマネージドでペタバイト規模のクラウドデータウェアハウスで、分析ワークロードを容易にスケールできます。複数のビジネスユニットにまたがって分析機能を拡張する際、各ウェアハウスのきめ細かなアクセス許

こんにちは。 今回はAmazon MSK（Managed Streaming for Apache Kafka）上のデータを、S3 Sink Connectorによって Amazon S3 へ出力するパターンを解説します。 MSKはクラスター内のトピックにデータを保管しますが、そのデータをS3へバックアップすることができます。 前提条件 本記事で触れている内容は、以下の構成を前提としています。 ブローカータイプ：標準ブローカー（kafka.m5.large など） クラスタタイプ：プロビジョンドクラスタ

Amazon MSKクラスターのKafkaに関する構成は「クラスター構成」として管理されます。   クラスター構成の設定変更には2段階の適用が必要となるため、その手順を理解しておくことが重要です。 前提条件 本記事で触れている内容は、以下の構成を前提としています。 ブローカータイプ：標準ブローカー（kafka.m5.large など） クラスタタイプ：プロビジョンドクラスタ メタデータ管理：Apache Zookeeper モード あくまで参考資料となります。環境によって最適解は変わる

Amazon MSKをCloudFormationで管理する場合、スタック更新時の制約や依存関係を把握しておくことが重要です。特にMSKリソース（`AWS::MSK::Cluster`など）は、複数のプロパティを一度に変更できない場合があります。 本書では、CloudFormationを使ったMSK運用で遭遇しやすいケースとエラーについて触れます。 前提条件 本記事で触れている内容は、以下の構成を前提としています。 ブローカータイプ：標準ブローカー（kafka.m5.large など） クラスタタイプ：プ

こんにちは。 今回は、Amazon MSKにおけるスケールアップとスケールアウトについてフォーカスします。   Amazon MSK はフルマネージド Kafka であり、クラスターを停止せずに スケールアップ（ブローカー性能の向上）やスケールアウト（ブローカー台数の増加）を行える点が魅力です。   この記事では、MSK のスケールアップ／スケールアウトの基礎や注意点の一部をまとめています。 前提条件 本記事で触れている内容は、以下の構成を前提としています。 ブローカータイプ

こんにちは。 AWSでマネージドなKafkaを扱うとき、Amazon MSK（Managed Streaming for Apache Kafka）は選択肢の一つです。 この記事では、構築・運用の中で気づいた押さえておきたいポイントの一部を紹介します。 前提条件 本記事で触れている内容は、以下の構成を前提としています。 ブローカータイプ：標準ブローカー（kafka.m5.large など） クラスタタイプ：プロビジョンドクラスタ メタデータ管理：Apache Zookeeper モード Serverles

AWSのサーバーレスなベクトルデータベース3種（Aurora Serverless v2 + pgvector、OpenSearch Serverless、S3 Vectors）で、10万件のデータ投入と検索処理時間を比較検証しました。ベクトルデータベースを使用する際の第一歩として、少量のベクトルデータにおいてどれを選ぶべきか、実測データとアーキテクチャの観点から考察します。

本ブログは 【寄稿】AI民主化に向けた丸紅の取組 （丸紅株式会社）の続編です。 みなさん、こんにちは。総合商社を担当しているソリューションアーキテクトの林です。 前回のブログでは、 丸紅株式会社 デジタル・イノベーション部が内製で開発した社内生成 AI プラットフォーム「Marubeni Chatbot」の誕生から、7,500 人以上への展開、そして業務時間 25〜65% 削減という成果をご紹介しました。 あれから約1年半。丸紅グループの生成AI活用は、さらに大きく進化しています。前回のブログに引き続き、

こんにちは。ワンキャリアでデータエンジニアリングチームに所属している塚田（github：@carbscountry）です。 本記事では、AWS 上の RDS（PostgreSQL）の更新差分を GCP の Datastream で取得し、BigQuery へリアルタイム連携した取り組みについて紹介します。

本ブログは、キヤノン株式会社イメージング事業本部様と Amazon Web Services Japan が共同で執筆しました。 こんにちは、AWS ソリューションアーキテクトの木村です。 2025 年 6 月から 12 月にかけて、キヤノン株式会社のイメージング事業本部様と共に生成 AI ハッカソンを実施しましたので、その取り組みと成果についてご紹介します。 1. 取り組みの背景 キヤノン株式会社様は、イメージング技術を核とした幅広い事業を展開するグローバル企業です。デジタルトランスフォーメーションの加

本ブログは 2026 年 2 月 26 日に公開された AWS Blog “ Inside AWS Security Agent: A multi-agent architecture for automated penetration testing ” を翻訳したものです。 AI エージェントには従来、学習した情報を保持できない、短期間を超えて自律的に動作できない、常に人間による監視が必要である、という 3 つの根本的な制約がありました。AWS はフロンティアエージェントによってこれらの制約に対処して