はじめに こんにちは、クラウドエース株式会社 第一開発部所属の工藤です。 本記事では、Dataform のアサーションについてまとめました。 この内容を詳しく書いている記事はあまりない印象なので、これから Dataform を使ってみようと考えている方はぜひご覧ください。 Dataform とは Dataform は、BigQuery Studio に含まれるプロダクトであり、BigQuery に格納しているデータの加工処理やアサーション等のワークフローを作成できます。また、ワークフローの作成だけでなく、

はじめに こんにちは、クラウドエース 第三開発部の松本です。 普段はデータ基盤や機械学習システムを構築したり、Google Cloud 認定トレーナーとしてトレーニングを提供しています。 この度、Google Cloud 認定 Professional Data Engineer 試験の完全攻略ガイドとして、試験対策の重要なポイントを、複数の記事にわたりご紹介していくことにいたしました！ 今回は、その第一弾として、試験概要とデータエンジニアリングの基礎知識について解説します。 また、今後も以下の内容に関す

G-gen の佐々木です。当記事では BigQuery 上で機械学習モデルを作成、評価、実行するための機能である BigQuery ML について解説します。 概要 BigQuery とは BigQuery ML とは BigQuery ML の使用方法 ユーザーインターフェース BigQuery Editions クエリのドライラン BigQuery ML でサポートされるモデル 内部モデル 外部モデル インポートされたモデル リモートモデル ユーザーが Vertex AI でデプロイしたモデル Goo

G-gen の出口です。本記事では、Eventarc と Workflows を利用して イベントドリブンに Cloud Run jobs を実行する方法をご紹介します。 概要 Cloud Run functions と Cloud Run jobs 検証の概要 Eventarc Workflows Cloud Storage の準備 Cloud Storage バケットの作成 Cloud Strage サービスエージェントへの権限付与 BigQuery テーブルの作成 Cloud Run jobs の作

G-gen の杉村です。2024年12月のイチオシ Google Cloud（旧称 GCP）アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに Google フォームで新しい権限「Responder（回答者）」が利用可能に Vertex AI Search で gemini-1.5-flash-002-high-fidelity（Preview） Google Deepmind、大規模世界モデル Genie 2 を発表 Parameter Manager

G-gen の堂原です。当記事では、 Google スプレッドシート （Google Sheets）の機能である コネクテッドシート で、 データの抽出 機能を使う際、行数制限が 10万行までしか選べない 場合の対処法を紹介します。 コネクテッドシートとは 概要 データの抽出 事象 解決方法 コネクテッドシートとは 概要 コネクテッドシート （Connected Sheets）は、 Google スプレッドシート の機能です。コネクテッドシートを用いると、Google Cloud（旧称 GCP）のデータ分

今回の記事ではデータエンジニアリングの領域において、チームで取り組んでいるLLM活用のアプローチにつ ...

こんにちは、クラウドエース株式会社 第一開発部の阿部です。 本日は 2024 年 11 月 6 日にリリースされた Pub/Sub Cloud Storage import Topic について紹介します。 こちらは Jagu'e'r Advent Calendar 2024 の 10 日目の記事としても書きました。(開いていたためそうしました。) 概要 今回リリースされた機能の前に、Pub/Sub の概要について説明します。 Pub/Sub とは Pub/Sub は、Google Cloud のメッセー

本記事は 【Advent Calendar 2024】 25日目の記事です。 🌟🎄 24日目② ▶▶&nbspMerry Christmas!! 🎅🎁 はじめに 想定している読者 Explore Assistant とは 基本機能 環境構成 実際に検証してみてわかったこと 最後に はじめに クラウド事業推進部の小野内です。今年のアドベントカレンダーの最終日を担当させていただきます。 普段は、Google Cloud のデータ分析基盤の開発・運用をメインで担当しています。Cloud Composer・Big

はじめに こんにちは！Recruit Data Blog 担当の安藤、玉野です。 今年は、データ推進室で初めてアドベントカレンダーを開催しまし

こんにちは。Mercari Corporate Products Teamのエンジニアの @yuki.watanabe です。 この記事は、 Mercari Advent Calendar 2024 の21日目の記事です。 はじめに 現在、内製の会計仕訳システムの開発に携わっています。このシステムには様々なバッチ処理が実装されているのですが、BigQueryへクエリしデータを抽出するためのバッチで誤検出の問題がありました。本記事ではこの問題に対して検討した複数のソリューションと結果的にどの方法を採用したの

こんにちは。Corporate Engineeringチーム所属の @mottake3 と申します。本記事は RevComm Advent Calendar 2024 の 24 日目の記事です。 はじめに ツールの説明 実装手順 slack appのインストールとtokenの取得 tokenをSecret Managerに登録 アプリケーションコードの説明 Cloud Runへのデプロイ Event Subscriptionsの設定 Slack Channelへインテグレーションの追加 終わりに 参考 は

はじめに デジタルテクノロジー戦略本部とは 2022年10月、事業部門ごとに点在していたITとデジタルマーケティングの担当部署を1つに統合する形で『デジタルテクノロジー戦略本部（以下、デジ戦）』が誕生しました。 それまではドメインごとにサービスの開発・運用・マーケティングを行うという縦割りの構造で事業を展開していましたが、それだけでは予測不能と言われるこれからの時代に対応することは困難です。そこで、データやシステム、人材などアセットの最適化を図り、より大きなスケールでイノベーションを推し進めていく組織が作

はじめに デジタルテクノロジー戦略本部とは 2022年10月、事業部門ごとに点在していたITとデジタルマーケティングの担当部署を1つに統合する形で『デジタルテクノロジー戦略本部（以下、デジ戦）』が誕生しました。 それまではドメインごとにサービスの開発・運用・マーケティングを行うという縦割りの構造で事業を展開していましたが、それだけでは予測不能と言われるこれからの時代に対応することは困難です。そこで、データやシステム、人材などアセットの最適化を図り、より大きなスケールでイノベーションを推し進めていく組織が作

本記事は、データ推進室 Advent Calendar 2024 24日目の記事です はじめに こんにちは。HR領域でアナリティクスエンジニアのテックリードをして