G-gen の杉村です。2025年1月のイチオシ Google Cloud（旧称 GCP）アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに 2つの新しい Google Cloud 認定資格が一般公開（GA）に Vertex AI RAG Engine が一般公開（GA） Vertex AI Search for retail が 〜 for commerce に改名 Cloud Run からコンテナイメージの暗黙的な読み取り権限が終了 Cloud Run

はじめに こんにちは。クラウドエース第三開発部の工藤です。 今回は Datastream を使って Cloud SQL for PostgreSQL の Change data capture（以下、CDC）データを Cloud Storage と BigQuery に格納する方法を紹介します。 CDC とは ソースとなるデータベースに加えられた変更をリアルタイムで記録し、追跡する手法です。 DB で発生した変更情報（INSERT、UPDATE、DELETE など）を追跡できます。 データベース複製や E

はじめに こんにちは。クラウドエース第三開発部の工藤です。 今回は Datastream を使って Cloud SQL for PostgreSQL の Change data capture（以下、CDC）データを Cloud Storage と BigQuery に格納する方法を紹介します。 CDC とは ソースとなるデータベースに加えられた変更をリアルタイムで記録し、追跡する手法です。 DB で発生した変更情報（INSERT、UPDATE、DELETE など）を追跡できます。 データベース複製や E

はじめに ニフティでWEBサービスの開発・運用を担当している渡邊です。 2024年9月に@nifty天気予報のフルリニューアルを行いました。 このプロジェクトでは従来のインフラ構成を刷新し、サーバレスアーキテクチャを採用しました。 従来のWEB三層構造からサーバレス構成への移行によるコストの比較と、効果について紹介していきます。 旧環境の構成と問題点 構成 WEBサーバ、アプリケーションサーバ、DBサーバからなるWEB三層構造のアーキテクチャを、EC2とRDSを使って構築していました。 問題点 この構成に

はじめまして、介護/障害福祉事業者向け経営支援サービス「カイポケ」エンジニアの杉浦です。 過去数回に渡り障害児支援領域のリプレースについて説明してきました。 今回は障害児支援領域のリプレースで実施した、旧システムから新システムへのドメインモデルの変更に伴うデータ移行について紹介いたします。 リプレースで行ったこと リプレースでは新たなドメインモデルを設計・構築することを行いました。それに伴い、データモデルも新たなドメインモデルに合わせて変更を行いました。そのため、旧システムのデータを新システムに移行する必

みなさん、こんにちは。ソリューションアーキテクトの根本です。 今週も 週刊AWS をお届けします。 過去にもご紹介した AWS re:Invent Recap – インダストリー編 がいよいよ今週開催です。 お見逃しないよう是非ご活用ください！ それでは、先週の主なアップデートについて振り返っていきましょう。 2025年1月20日週の主要なアップデート 1/20(月) アップデートはありませんでした 1/21(火) Amazon EventBridge announces direct delivery

はじめに DMSを使ってMySQLの移行をする際に気をつけたいこと7選！ その1. DMSのログを出力するには決まった名前のIAMロールが必要である その2. CDCを有効にするにはソースDBでバイナリログを出す必要がある その3. GENERATEDカラムは移行対象から除外せよ その4. LOB型のカラムがある場合はターゲットDBでNOT NULL制約を一時解除せよ その5. 完全LOBモードの設定が必要か確認せよ その6. AUTO_INCREMENTは手動で移行する必要がある その7. 移行後の検証

表題の通り調査する機会があったため、記録として残しておきます。 監査要件や運用管理を検討する際の一助となれば幸いです。 本記事の情報は、2024年12月9日時点の調査結果に基づいています。 今回の調査で知りたかったのは大まかに以下の 3 つです。 Amazon RDS で利用可能な監査ログの種類 各データベースエンジン（SQL Server、PostgreSQL、MySQL、MariaDB、Aurora）ごとの違い AWS サービス（CloudWatch Logs など）へのログ出力が可能か 調査対象 今

G-gen の杉村です。BigQuery Data Transfer Service で Cloud SQL にホストされた PostgreSQL のデータを転送する検証を行いましたので、共有します。 はじめに BigQuery Data Transfer Service とは 当記事について 環境のセットアップ Cloud SQL インスタンスの起動 テーブルとデータの準備 転送の作成 検証 初回転送 レコードの追加（差分転送） レコードの更新 レコードの削除 挙動のまとめ はじめに BigQuery

はじめに こんにちは、エンジニアの奥田です。 私は新しいものが大好きです。新しいものは既存の問題を解決してくれたり、新しい視点を与えてくれたりするからですね。 新しい技術や商品、アプリ……どれも最高です！「早く知って遊びたい！」という気持ちがあります。 ただ、知らないことには遊べないので、私は情報収集に力を入れています。 この記事では、その一例として、私が普段どのように情報を集めているのか、ご紹介しようと思います。 日々の情報収集について ソフトウェアエンジニアは、フロントエンド、バックエンド、インフラ、

SCSKの畑です。5回目の投稿です。 第一回 の続きです。今回は、前回説明した排他制御の仕組みをアプリケーションからどのように使用しているかが主な内容となります・・が、それだけだと書くことがほぼなくなってしまうので、使用するための前提条件などを補足しながらにしようと思います。 アーキテクチャ概要、及び排他制御に使用したサービス / コンポーネント 今回はほぼ AppSync & アプリケーションの話ですが、排他制御の仕組みを使用するにあたりメンテナンス対象である Redshift についても補足が

ども！年末年始の検証結果を順次ブログ化している龍ちゃんです。思いついたらすぐ検証という流れで、いろんなことを検証していたので10本ぐらいはブログのネタに困らなさそうですね。反動が今から恐ろしいです。 今回の内容は、以下の二つになります。 ローカル開発環境をDevContainerで作成する（nest.js + postgres） nest.jsからPrismaを使用してpostgresに接続する 今回のゴールとしては、nest.js内でORMとしてPrismaを使用してpostgresへ接続して動作確認と

こんにちは、クラウドエースの三原と申します。 今回は Server Sent Events に関して紹介させていただければと思います。 Server Sent Eventsとは Server-Sent Events は簡潔に言うとサーバーからクライアントへ一方通行且つリアルタイムにイベントデータを配信する技術です。 アプリケーションのリアルタイム性を求められた際の選択肢の一つとして挙げられます。 (他に要求を満たす技術として WebSocket、ポーリング等があります。) 例として株価の監視やチャットツー

こんにちは、クラウドエースの三原と申します。 今回は Server Sent Events に関して紹介させていただければと思います。 Server Sent Eventsとは Server-Sent Events は簡潔に言うとサーバーからクライアントへ一方通行且つリアルタイムにイベントデータを配信する技術です。 アプリケーションのリアルタイム性を求められた際の選択肢の一つとして挙げられます。 (他に要求を満たす技術として WebSocket、ポーリング等があります。) 例として株価の監視やチャットツー

はじめに こんにちは、 @rs_tukki です。 この記事は、 ラクス Advent Calendar 2024 の25日目の記事です。 今回は、開発中に見つけた重いクエリを改善するための記録と、改善のために使用した見慣れない構文の紹介をしようと思います。 はじめに 開発中の出来事 パフォーマンスチューニング UNNESTとは？ チューニング結果 まとめ 開発中の出来事 ある日、私はWebアプリに新しい API を追加するための実装をしていました。 既存のテーブルからデータを取得するための新しいクエリを