Google Cloud の提供する Cloud Spanner (以下 Spanner) はスケーラブルなクラウドの database で、最近では graph database の機能が追加されたりなど、開発も盛んに行われています。 Google Cloud の database 製品では vector search の機能を持つものも多く、Big Query や Cloud SQL などその特性に合わせて選択することができます。Spanner に機能追加されたのもしばらく前だったと記憶していますが、

はじめに こんにちは。クラウドエース 第三開発部所属の金です。 前回 Cloud Translation API と Cloud Functions を利用して Cloud Storage にファイルが格納されたら自動検知して翻訳する機能を試してみました。 Cloud Translation APIとCloud Functionsを利用して自動翻訳を試してみた 本記事で紹介する内容は、リモート関数を使用して BigQuery 上簡単に翻訳する機能を試してみます。 リモート関数とは？ リモート関数は、Big

はじめに こんにちは。クラウドエース 第三開発部所属の金です。 前回 Cloud Translation API と Cloud Functions を利用して Cloud Storage にファイルが格納されたら自動検知して翻訳する機能を試してみました。 Cloud Translation APIとCloud Functionsを利用して自動翻訳を試してみた 本記事で紹介する内容は、リモート関数を使用して BigQuery 上簡単に翻訳する機能を試してみます。 リモート関数とは？ リモート関数は、Big

目次 1. はじめに 2. ログデータの収集 GCP インフラ構成の説明 各サービスの設定 ディレクトリ構成 共通リソースの作成 個別プロジェクトリソースの作成 3. ログデータの可視化 4. まとめ 1. はじめに こんにちは。Insight Edge で Developer をしている熊田です。 普段システム開発を進める上で、システムの利用者数や頻繁に利用されている機能を調べたいと思うことはありませんか？ 特にPoC検証やシステム運用フェーズにおいては、そのようなニーズが多くあるのではないでしょうか。

こんにちは。バンダイナムコネクサス 上田です。 前回に引き続き、広告出稿のKPI最大化のためのデータ基盤開発について紹介します。 対象読者はデータ基盤新規開発プロジェクト立ち上げに将来携わるエンジニア、PM、ビジネスサイドのメンバー全員を想定し、これから広告関連のデータを触る予定のエンジニアやPMはもちろん、広告関連のデータに関わりのない方、非エンジニアの方にとっても有益な情報となることを願います。 記事に書いてあること 前回までの記事 前回の第2章では 「1. 出稿している広告のデータを毎日収集し、利用

こんにちは。バンダイナムコネクサス 上田です。 前回に引き続き、広告出稿のKPI最大化のためのデータ基盤開発について紹介します。 対象読者はデータ基盤新規開発に将来携わるエンジニアを想定し、これから広告関連のデータを触る予定の方、Airflowで開発予定の方々にとって有益な情報となることを願います。 記事に書いてあること 前回までの記事 第3章ではAirflowコードをできる限り型化して広告データパイプラインを開発したことを紹介しました。 今回の記事 今回は、第3章で触れた「Airflowコードを型化した

G-gen の山崎です。2024年10月に Preview 公開され、2025年4月に一般公開（GA）された、BigQuery の Pipe syntax （パイプ構文）の概要と使い方を紹介します。 概要 はじめに パイプ構文とは 従来 SQL の課題 データ処理の順番と記述の順番が一致していない サブクエリによるコードのネスト化 冗長な構文 パイプ構文のメリット 柔軟性の向上 可読性の向上 デバッグ効率の向上 従来の SQL とパイプ構文の比較 サンプルデータ データの取得要件 従来の SQL の場合

はじめに こんにちは。クラウドエース データソリューション部所属の橘です。 データソリューション部では、Google Cloud が提供しているデータ領域のプロダクトについて、新規リリースをキャッチアップするための調査報告会を毎週実施しています。 新規リリースの中でも、特に重要と考えるリリースを記事としてまとめ、本ページのように公開しています。 今回紹介するのは、2024年7月8日にGAとなった「Dataplex Catalog」についてです。 また、今まで存在していた「Dataplex's Data C

はじめに こんにちは。クラウドエース データソリューション部所属の橘です。 データソリューション部では、Google Cloud が提供しているデータ領域のプロダクトについて、新規リリースをキャッチアップするための調査報告会を毎週実施しています。 新規リリースの中でも、特に重要と考えるリリースを記事としてまとめ、本ページのように公開しています。 今回紹介するのは、2024年7月8日にGAとなった「Dataplex Catalog」についてです。 また、今まで存在していた「Dataplex's Data C

はじめに 2024年度にクラウドエース株式会社に新卒入社しました、第二開発部の三浦と申します。 クラウドの時代において、多くの企業や個人がその利便性とスケーラビリティを活用しています。Google Cloud は、その中でも特に人気のあるプラットフォームの一つです。 しかし、初めてクラウドサービスを利用する際には、コストが気になることもあるでしょう。そのため、Google Cloud はお試し用に無料枠を提供しています。 また、使ったことのない初心者の方は、この無料枠を活用して Google Cloud

はじめに 2024年度にクラウドエース株式会社に新卒入社しました、第二開発部の三浦と申します。 クラウドの時代において、多くの企業や個人がその利便性とスケーラビリティを活用しています。Google Cloud は、その中でも特に人気のあるプラットフォームの一つです。 しかし、初めてクラウドサービスを利用する際には、コストが気になることもあるでしょう。そのため、Google Cloud はお試し用に無料枠を提供しています。 また、使ったことのない初心者の方は、この無料枠を活用して Google Cloud

みなさんこんにちは。タイミーのデータエンジニアリング部 データサイエンスグループ所属の菊地と小関です。 2024年9月27日（金）、28日（土）に開催された PyCon JP 2024 に参加してきました。今回はPyCon JP 2024の雰囲気と、特に興味深かった&勉強になったトークセッションをいくつかピックアップしてお届けしようと思います！ PyCon JPとは PyConJPは1年に1度開催されていて、今年はTOC有明コンベンションホールにて9月27日（金）、28日（土）の2日間にわたって開

TL;DR AWS の ECSコンテナのログをBigQueryに転送する タスク定義に FireLens のサイドカーコンテナを設定 Workload Identity 連携を使用して、GCPの認証情報をイメージ内に含めないように工夫 はじめに 初めまして。株式会社ジーニーの GENIEE CHAT開発チームのマネージャーを担当しています。 GENIEE CHATでは各サービスのログをBigQueryに保存しており、調査や分析を行う用途として使用しております。 今回は、n番煎じですが ECSのコンテナログ

2024年10月7日から10日（現地時間）にかけて、dbt Coalesce 2024がラスベガスで開催されています。 私たち株式会社タイミーからは、4名が現地参加しました （※）。 今回は、カンファレンスの最初のKeynoteについてご紹介したいと思います。 このKeynoteでは、dbtのビジョンや今後の新機能リリースに関する熱いトピックが多く取り上げられ、非常に刺激的な内容となりました。 以下がアジェンダです。 イントロ 新機能の紹介 dbt Copilot Visual Editing Exper

はじめに こんにちは、クラウドエースに所属している篠田です。 本記事では、2024年9月12日にパブリックプレビューとなったLooker Studio Pro の新機能 Conversational Analytics (会話分析) についてご紹介します。 Conversational Analytics (会話分析) とは Conversational Analytics は、Gemini in Looker (機能群の総称) のひとつの機能で、生成 AI (Google Cloud の Gemini)