クラウドエース の技術ブログ

複雑なイベント駆動型アーキテクチャに役立つ Eventarc Advanced を紹介

こんにちは。クラウドエース第一開発部の竹内です。 本記事では2024年10月30日にプレビュー版がリリースされた Eventarc Advanced について紹介します。 Eventarc Advanced を使用すると、さまざまなサービス、アプリ、システム間でメッセージを受信、フィルタリング、変換、ルーティング、配信できます。 はじめに: Eventarc とは Eventarc はソースからターゲットへイベントを非同

駆け出しエンジニアのための新規領域の学習方法と実装の流れ

はじめに こんにちは、クラウドエース第一開発部所属の上原です。 本記事では、駆け出しデータエンジニアである私が、会社からの課題である データ分析基盤構築課題 (以下、基盤構築課題) に取り組む中で感じたり実践したりした おすすめの学習方法と、実際の課題への取り組みについて紹介していきます。 この記事の目的は、新規領域全般に触れる際のおすすめの

Google Cloud の DMS を使って Oracle Database から Cloud SQL にデータ移行する

はじめに こんにちは、クラウドエース第一開発部に所属している荒木です。 最近の動向として、コスト削減やベンダーロックインの回避を理由に、Oracle データベースからオープンソースのデータベースへ移行するケースが増えています。また、オンプレミス環境で稼働しているデータベースをクラウド環境のマネージドサービスへ移行して、スケーラビリティ、高可用

Dataplex の Managed connectivity pipelines が一般提供(GA)になりました

はじめに こんにちは、クラウドエース株式会社 第一事業部の梅木です。 今回紹介するのは、2024年9月30日に GA となった Dataplex の「Managed connectivity pipelines」についてです。 Managed connectivity pipelines により、サードパーティソースのデータベースから Dataplex Catalog へメタデータをインポートする Workflows のパイプライン テンプレートが提供されました。 サードパーティソー

Google Cloud コンソールから直接マテリアライズドビューのレプリカを作成する

Google Cloud コンソールから直接マテリアライズドビューのレプリカを作成する はじめに こんにちは、クラウドエース第一開発部の谷です。 本記事では、2024年9月30日にリリースされた、「Google Cloud コンソールから直接マテリアライズドビューのレプリカを作成する方法」についてご紹介します。 また、同時にマテリアライズドビューのレプリカを作成するまでを検証しま

Google Cloud Storage の階層型名前空間(フォルダ)が一般提供されました

こんにちは、クラウドエース株式会社 第一開発部の阿部です。 これまでは SRE 部に所属していましたが、当社の組織改編により所属部署が変わりました。今後ともよろしくお願いします。 さて、本記事では 2024 年 10 月 15 日に一般提供された Google Cloud Storage の階層型名前空間(フォルダ)について紹介します。 概要 Google Cloud Storage (以降、GCS) とは、 Google Cloud のオブジェク

Professional Cloud Security Engineer 試験 完全攻略ガイド2025

2024 年 11 月 更新 こんにちは、クラウドエース所属、Partner Top Engineer で\textcolor{red}{赤髪}がトレードマークの Shanks です。 2年前に Professional Cloud Security Engineer を取得した際の学習ポイントをまとめた記事として本記事は公開されました。 ありがたいことに社内外から数多くの参考情報としてご紹介いただき人気(?)記事となりました。 2024/11 に再受験をして無事に更新す

BigQuery Transfer Service を用いたデータ連携 〜 リージョン × 暗号化方式における可否 〜

こんにちは、クラウドエース第四開発部に所属している笠原です。 今回は BigQuery (以下、 BQ) のデータ連携について、案件で直面した課題に対し、調査の結果得た示唆を記載したいと思います。 リージョン間をまたぐデータセットの同期を取ろうとした時に、送信元と受信元のデータセットのリージョンと暗号化方式において、BigQuery Data Transfer Service (以下、BQ Transfer) が

Dataplex の データリネージ機能を BigQuery で試してみた

こんにちは、クラウドエース第三開発部の丸山です。 本記事では、Google Cloud で提供されている Dataplex の機能の一部である 「データリネージ」機能をご紹介します。 データリネージとは データリネージ (Data Lineage) とは、システム内のデータの移動を追跡するプロセスのことを指します。 データの送信元、データの送信先、データに適用される変換など、データのライフ

Google Compute Engine の OS Login 機能でユーザー管理を効率的に!

はじめに こんにちは。クラウドエース株式会社の第三開発部に所属している小林真理子です。 元々オンプレミス環境サーバの設計・構築などの業務に携わってきましたが、クラウドエースに入社して、初めて Google Cloud に触れました。 そこでオンプレミス環境と Google Cloud とで感じたギャップなどを紹介できたら良いと思っています。 早速ですが皆さんはオンプレミス環

BigQuery の取り込み時間パーティショニングのテーブルを日本時間でフィルタクエリする方法まとめ

こんにちは。 クラウドエース株式会社 第一開発部の髙木です。 私が入社してから半年が経ちました。オンボーディングで様々な Google Cloud のサービスに触り、苦労しながら知識を吸収してきました。 オンボーディング課題をこなしていく中で、仕様に悩まされた機能の 1 つである BigQuery のパーティショニングについて執筆します。 はじめに BigQuery のパーティションは

Playwright でファイルアップロードできないときの回避方法

はじめに こんにちは、クラウドエース 第 2 開発部の坂本です。 最近、Playwright で E2E テストを書いていて、ファイルアップロードのテストで少し詰まりました。 具体的には、react-dropzone を使用してファイルアップロードを実装している場合に、Playwright の 公式ドキュメント に記載されている filechooser イベントを使った方法で、タイムアウトが発生しました。 そこで、本

リモート関数と Translation API で翻訳を試す。with 用語集

はじめに こんにちは。クラウドエース 第三開発部所属の金です。 前回 Cloud Translation API と Cloud Functions を利用して Cloud Storage にファイルが格納されたら自動検知して翻訳する機能を試してみました。 Cloud Translation APIとCloud Functionsを利用して自動翻訳を試してみた 本記事で紹介する内容は、リモート関数を使用して BigQuery 上簡単に翻訳する機能を試してみます。 リモート

【チートシート】Terraform で Google Cloud の IP アドレスを使いこなす

はじめに クラウドエース株式会社 第二開発部の坂本です。 Terraform で Google Cloud のリソースを作成する際に、IP アドレスが必要になることがあります。 例えば、Compute Engine インスタンスに固定のグローバル IP アドレスを割り当てたり、ロードバランサのフロントエンドにグローバル IP アドレスを設定したりする場合などです。 その際に、毎回 IP アドレスのリソースを Ha

Introduction to Google Kubernetes Engine

はじめに こんにちは、クラウドエースの SRE チームに所属している「申」です。 この記事は2部構成となっており、今回は Google Kubernetes Engine を始める前に知っておくべきことを紹介します。 Google Kubernetes Engine の具体的な使用方法については、Google Kubernetes Engine basicsで紹介いたします。 Kubernetes Google Kubernetes Engine を始める前にまず、Kubernetes について説明します。 コンテ