こんにちは。クラウドエース第一開発部の竹内です。 本記事では2024年10月30日にプレビュー版がリリースされた Eventarc Advanced について紹介します。 Eventarc Advanced を使用すると、さまざまなサービス、アプリ、システム間でメッセージを受信、フィルタリング、変換、ルーティング、配信できます。 はじめに: Eventarc とは Eventarc はソースからターゲットへイベントを非同期にルーティングする、スケーラブルなフルマネージドサービスで、イベント駆動型アーキテクチャの構築に役立ちます。 https://cloud.google.com/e

はじめに こんにちは、クラウドエース第一開発部所属の上原です。 本記事では、駆け出しデータエンジニアである私が、会社からの課題である データ分析基盤構築課題 (以下、基盤構築課題) に取り組む中で感じたり実践したりした おすすめの学習方法と、実際の課題への取り組みについて紹介していきます。 この記事の目的は、新規領域全般に触れる際のおすすめの学習方法を共有することです。 ただし、記事の全体として、筆者にとっての新規領域であるデータエンジニアリング (基盤構築課題) をベースとした内容になっています。 ! 紹介する内容はあくまで筆者個人が考えたり実践したものになりますので、 紹介される

はじめに こんにちは、クラウドエース第一開発部に所属している荒木です。 最近の動向として、コスト削減やベンダーロックインの回避を理由に、Oracle データベースからオープンソースのデータベースへ移行するケースが増えています。また、オンプレミス環境で稼働しているデータベースをクラウド環境のマネージドサービスへ移行して、スケーラビリティ、高可用性、障害復旧、管理工数削減などのメリットを享受しようとする流れも活発化しています。 今回は、Database Migration Service（以下 DMS）を使用して、Oracle データベースを Google Cloud 環境へ移行する方法

はじめに こんにちは、クラウドエース株式会社 第一事業部の梅木です。 今回紹介するのは、2024年9月30日に GA となった Dataplex の「Managed connectivity pipelines」についてです。 Managed connectivity pipelines により、サードパーティソースのデータベースから Dataplex Catalog へメタデータをインポートする Workflows のパイプライン テンプレートが提供されました。 サードパーティソースの場合、従来は、メタデータをインポートする処理をユーザー自身で一から構築する必要がありましたが、この

Google Cloud コンソールから直接マテリアライズドビューのレプリカを作成する はじめに こんにちは、クラウドエース第一開発部の谷です。 本記事では、2024年9月30日にリリースされた、「Google Cloud コンソールから直接マテリアライズドビューのレプリカを作成する方法」についてご紹介します。 また、同時にマテリアライズドビューのレプリカを作成するまでを検証します。 検証では以前から可能だった SQL を使用する方法と、今回のリリースで可能になったコンソールからの方法の両方を実施して比較します。 BigQuery 2024年9月30日リリースノート 注意事

こんにちは、クラウドエース株式会社 第一開発部の阿部です。 これまでは SRE 部に所属していましたが、当社の組織改編により所属部署が変わりました。今後ともよろしくお願いします。 さて、本記事では 2024 年 10 月 15 日に一般提供された Google Cloud Storage の階層型名前空間(フォルダ)について紹介します。 概要 Google Cloud Storage (以降、GCS) とは、 Google Cloud のオブジェクトストレージサービスです。 GCS は、非構造化データのオブジェクト(例えば画像データや動画データのファイル)の保存や、データベースのバッ

2024 年 11 月 更新 こんにちは、クラウドエース所属、Partner Top Engineer で\textcolor{red}{赤髪}がトレードマークの Shanks です。 2年前に Professional Cloud Security Engineer を取得した際の学習ポイントをまとめた記事として本記事は公開されました。 ありがたいことに社内外から数多くの参考情報としてご紹介いただき人気（？）記事となりました。 2024/11 に再受験をして無事に更新することができましたので、「Professional Cloud Security Engineer 完全攻略ガイド

こんにちは、クラウドエース第四開発部に所属している笠原です。 今回は BigQuery (以下、 BQ) のデータ連携について、案件で直面した課題に対し、調査の結果得た示唆を記載したいと思います。 リージョン間をまたぐデータセットの同期を取ろうとした時に、送信元と受信元のデータセットのリージョンと暗号化方式において、BigQuery Data Transfer Service (以下、BQ Transfer) が使用できるケースとそうでないケースがあり、その整理の内容を本記事で解説したいと思います。 はじめに プロジェクトで実装しようとした要件は、以下の図の内容です。 顧客の業務

こんにちは、クラウドエース第三開発部の丸山です。 本記事では、Google Cloud で提供されている Dataplex の機能の一部である 「データリネージ」機能をご紹介します。 データリネージとは データリネージ (Data Lineage) とは、システム内のデータの移動を追跡するプロセスのことを指します。 データの送信元、データの送信先、データに適用される変換など、データのライフサイクル全体を可視化することで、データの信頼性向上やエラー分析を支援します。 「リネージ」は、日本語では「血統」「家柄」を意味し、Google Cloud に留まらない一般的な用語として知られていま

はじめに こんにちは。クラウドエース株式会社の第三開発部に所属している小林真理子です。 元々オンプレミス環境サーバの設計・構築などの業務に携わってきましたが、クラウドエースに入社して、初めて Google Cloud に触れました。 そこでオンプレミス環境と Google Cloud とで感じたギャップなどを紹介できたら良いと思っています。 早速ですが皆さんはオンプレミス環境のサーバにログインする際、ユーザーをどのように管理していますか？ サーバごとにユーザーを作る、ID 管理システムを使う、もしくは Windows 環境なら Active Directory を利用しているかもしれ

こんにちは。 クラウドエース株式会社 第一開発部の髙木です。 私が入社してから半年が経ちました。オンボーディングで様々な Google Cloud のサービスに触り、苦労しながら知識を吸収してきました。 オンボーディング課題をこなしていく中で、仕様に悩まされた機能の 1 つである BigQuery のパーティショニングについて執筆します。 はじめに BigQuery のパーティションは、特定の順序データに基づいてテーブルを（内部的に）分割する機能です。現在、パーティションとして指定できる順序データは日時か整数のみです。 この分割により、フィルタクエリを実行したときのスキャンするデータ

はじめに こんにちは、クラウドエース 第 2 開発部の坂本です。 最近、Playwright で E2E テストを書いていて、ファイルアップロードのテストで少し詰まりました。 具体的には、react-dropzone を使用してファイルアップロードを実装している場合に、Playwright の 公式ドキュメント に記載されている filechooser イベントを使った方法で、タイムアウトが発生しました。 そこで、本記事ではこの問題の回避方法をご紹介します。 ! react-dropzone と Playwright を組み合わせたファイルアップロードのテストにおいて、 filech

はじめに こんにちは。クラウドエース 第三開発部所属の金です。 前回 Cloud Translation API と Cloud Functions を利用して Cloud Storage にファイルが格納されたら自動検知して翻訳する機能を試してみました。 Cloud Translation APIとCloud Functionsを利用して自動翻訳を試してみた 本記事で紹介する内容は、リモート関数を使用して BigQuery 上簡単に翻訳する機能を試してみます。 リモート関数とは？ リモート関数は、BigQuery 内で定義された関数ですが、その処理の実行は BigQuery 外

はじめに クラウドエース株式会社 第二開発部の坂本です。 Terraform で Google Cloud のリソースを作成する際に、IP アドレスが必要になることがあります。 例えば、Compute Engine インスタンスに固定のグローバル IP アドレスを割り当てたり、ロードバランサのフロントエンドにグローバル IP アドレスを設定したりする場合などです。 その際に、毎回 IP アドレスのリソースを Hashicorp のドキュメントを見て調べているのですが、 ドキュメントが少しわかりづらいと感じたため備忘録としてまとめました。 現状、 Terraform の hashico

はじめに こんにちは、クラウドエースの SRE チームに所属している「申」です。 この記事は2部構成となっており、今回は Google Kubernetes Engine を始める前に知っておくべきことを紹介します。 Google Kubernetes Engine の具体的な使用方法については、Google Kubernetes Engine basicsで紹介いたします。 Kubernetes Google Kubernetes Engine を始める前にまず、Kubernetes について説明します。 コンテナとは？ 初期には、物理サーバーで複数のアプリケーションを実行

はじめに こんにちは。クラウドエース データソリューション部所属の橘です。 データソリューション部では、Google Cloud が提供しているデータ領域のプロダクトについて、新規リリースをキャッチアップするための調査報告会を毎週実施しています。 新規リリースの中でも、特に重要と考えるリリースを記事としてまとめ、本ページのように公開しています。 今回紹介するのは、2024年7月8日にGAとなった「Dataplex Catalog」についてです。 また、今まで存在していた「Dataplex's Data Catalog」との違いや考慮点についても簡単に触れさせて頂きます。 Datapl

はじめに こんにちは、\textcolor{red}{赤髪}がトレードマークの Shanks です。 皆さんは Google Cloud のフルマネージド NAT サービスである Cloud NAT をご存知でしょうか。 本日はその中でも新たに GA（一般提供）された「ハイブリッド NAT」についてご紹介します。 https://cloud.google.com/nat/docs/release-notes#September_30_2024 ! 記事執筆段階で日本語ドキュメントはプレビュー表記ですがご安心ください。 Cloud NAT 概要 Cloud NAT とは

はじめに 2024年度にクラウドエース株式会社に新卒入社しました、第二開発部の三浦と申します。 クラウドの時代において、多くの企業や個人がその利便性とスケーラビリティを活用しています。Google Cloud は、その中でも特に人気のあるプラットフォームの一つです。 しかし、初めてクラウドサービスを利用する際には、コストが気になることもあるでしょう。そのため、Google Cloud はお試し用に無料枠を提供しています。 また、使ったことのない初心者の方は、この無料枠を活用して Google Cloud の基本的な機能を試してみることができます。 本記事では、Google Cloud

はじめに こんにちは、クラウドエースの第二開発部に所属している村松です。 入社したての新人エンジニアですが、Google Cloud を使って日々開発に勤しんでいます。 さて、2024年の8月に、Cloud Run の NVIDIA L4 GPU のプレビュー版サポート が公開されました。 https://cloud.google.com/run/docs/configuring/services/gpu?hl=ja Cloud Run が GPU に対応することで、Google の Gemma や Meta の Llama などのオープンモデルを使用したカスタムチャットボットや生成

はじめに こんにちは、クラウドエース 第二開発部 2024 年卒新卒の坂本です。 Google Cloud には多種多様なストレージサービスがありますが、その中でも特に代表的なものが Cloud Storage です。 しかし、Cloud Storage を初めて学ぶ方にとって、公式ドキュメントだけでは少し難しく感じることもあるかもしれません。 そこで本記事では、Cloud Storage の特徴、料金体系、使用方法について、初学者の方にもわかりやすいように解説していきます。 各セクションには該当の公式ドキュメントも添付してあるので、詳細について知りたい方は、そちらをご参照ください。