これは Luup Advent Calendar 2023 の 10 日目の記事です。 こんにちは。Data Engineeringチームの河野(@matako1124) です！ 去年の今頃にデータカタログにNotionを選択した理由という記事を書いたのですが、それを今年さらに進化させたよというお話をしたいと思います。 結論から言うと、Notionでの管理からdbt docsに切り替えを行い、Cloud RunでHostingするようにしました。 注意 執筆に当たり細心の注意を払っておりますが、不十分な説

この記事は、 Merpay Advent Calendar 2023 の9日目の記事です。 こんにちは。今年の春に新卒でメルペイに入社し、Credit Platform Team でバックエンドエンジニアをしている @champon です。Credit Platform Team では主に ML（いわゆるAI与信） を用いた与信枠の算出を行っていますが、その中でも自分はワークフローエンジンである Airflow を用いたデータパイプラインの開発・運用を行っています。 今回は、業務中に Airflow のバ

はじめに こんにちは、クラウドエース Data/ML ディビジョン所属の谷口です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、 特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページのように記事として公開し

こんにちは、Luup SREチームのにわです。 これは Luup Advent Calendar 2023 の 7 日目の記事です。 最初に GCEのインスタンスグループにおけるインスタンスの自動再作成をするスクリプトをCloud Functionsに実装し、一時期運用していました。こちらについて、注意点や工夫したことについて記載します。 役立つものは以下のとおりです。 気を付けること InstanceGroupManagersClient と InstanceGroupsClient の2つがある。これ

はじめに こんにちは、クラウドエース データ ML ディビジョン所属のヒッキーです。　クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週 Google Cloud (旧 Google Cloud Platform、以下「GCP」) の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています

当記事では、BigQuery に統合された Vertex AI Feature Store というベクトルストアと、テキストの意味をベクトル化できる Vertex AI Text-Embeddings API を使った活用事例をご紹介します。 当記事は Google Cloud Champion Innovators Advent Calendar 2023 の7日目の記事です。 Vertex AI Feature Store とは Vertex AI Text-Embeddings API とは 活用例

この記事はTimee Advent Calendar 2023シリーズ 2の5日目の記事です。 はじめに DREグループの石井です。 今回はDREグループの管理するデータ基盤に関するインフラのterraformのテスト環境の話をしようと思います。 導入前の課題感 我々のチームではデータ基盤として複数の GCP Projectを管理していますが、その全てをterraformで管理しています。 この時点でGithubActionsによる自動テスト(validate, plan) 及び 自動デプロイは導入されて

G-gen の杉村です。当記事では Google Cloud（旧称 GCP）をベースに、クラウド料金の見積もり方法・試算方法を徹底解説します。 はじめに 3つの性質 1. 従量課金 2. 月次請求 3. 変動する 試算方法 料金ページ 料金試算ツール リセールパートナーを頼る 割引 コミットメント制度 請求代行（リセールパートナー） 見積もり手順の例 手計算 Calculator はじめに 当記事では Google Cloud （旧称 GCP）をベースに、クラウド料金の見積もり方法（試算方法）を徹底解説し

概要 Dialogflow CX の事前構築済みコンポーネントに新しいユースケースが追加されました 実際にインポートしてみた 類似機能（ビルド済みエージェント）の紹介 1. はじめに こんにちは、クラウドエース データ ML ディビジョン所属の泉澤です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週 Go

はじめに GCPにはリソース階層というものがあります。 私がしょっぱなで躓いたところです。 前提として階層の関係性と役割を理解していないと、GCPまわりのドキュメントが何も理解できませんでした…。 「最低限この理解があれば先の勉強に進むことができた」レベル感でリソース階層についてまとめてみました。 階層構造の全貌 階層構造を図で表すとこのようになります。 大きい枠組みとして組織ノードがあり、配下にはフォルダがあります。 フォルダではフォルダ自体をまとめることも可能です。 フォルダの配下にはプロジェクトがあ

はじめに 当記事について おまけ画像 コンピューティング Compute Engine コンテナ Artifact Registry Cloud Build Cloud Deploy Google Kubernetes Engine（GKE） データ分析 BigQuery Looker Dataproc Dataflow Pub/Sub データベース Bigtable Spanner Cloud SQL Firestore Memorystore サーバーレス App Engine Cloud Run f

はじめに GCPのIAMは、AWSのIAMとはまた別の概念を持っています。 そろそろこんがらがってきたので、GCPのIAMについて思考整理のためにまとめてみました。 IAMについて Cloud IAMとは アクセスの①主体②アクション ③対象リソースを指定することができます。 ⓵ 主体：ユーザ・グループ・アプリ ⓶アクション：特定の権限・操作 ⓷対象リソース：Google Cloudサービス 例えば、Compute閲覧権限ユーザをA君がもらうとすると、以下のようになります。 ⓵主体：A君のユーザ ⓶アクシ

G-gen の堂原です。本記事では Google Cloud (旧称 GCP) のセキュリティサービスである VPC Service Controls において、IP アドレスを許可したにも関わらずアクセスが弾かれるケースにおける見落としがちな原因について紹介します。 はじめに 事象 : IP アドレスを許可したはずがアクセス失敗 原因 : IPv6 アドレスでアクセスしていた 確認方法 解消方法 はじめに VPC Service Controls は Google Cloud が提供しているセキュリティ

はじめに こんにちは、クラウドエース SRE ディビジョン所属の古田です。 この記事では、Oracle の無料のエディションである Oracle Database XE を Google Cloud の Compute Engine 上で構築する手順をご紹介します。 Oracle Database XE とは？ Oracle Database Express Edition（XE）は、Oracle が提供する無料のエントリーレベルのデータベースエディションです。 Oracle Database XE の主

前回記事は、パブリッククラウド環境をCatoクラウドへ接続する方法として、vSocketとCross Connectを比較してみました。   vSocket × Cross Connect 徹底比較 パブリッククラウドをCatoクラウドへ接続する方法「vSocket」と「Cross Connect」を性能面・コスト面等から比較します。 blog.usize-tech.com 2023.11.29   続いて、本記事では実際にAWSをCross ConnectでCatoクラウドに接続する