ファインディでデータエンジニアとして働いている ひらき（ hiracky16 ）です。 今回はデータ基盤チームで「エンドユーザーのためのデータ品質向上への取り組みと展望」という題目で合同勉強会を開催したので、そのレポートをお届けします。 データエンジニアは自社内の課題解決に集中するあまり、一般的なアプローチを学ぶ機会が不足しやすい傾向にあります。 私たちのチームでは特に「データ品質」について、場当たり的な対応が多く、十分な知見を持ち合わせていませんでした。 合同勉強会は、他社での実践的な取り組みや異なる視

はじめに こんにちは、データサイエンス部データサイエンス2ブロックの Nishiyama です。我々のチームでは、AIやデータサイエンスを活用したプロダクトの開発ために、研究開発に取り組んでいます。我々のチームの具体的な業務については、以下の記事を参考にしてください。 techblog.zozo.com 本記事では、レビューパトロールの業務時間を67.7％削減したガイドライン違反検出ツールの開発について述べます。社内で特定の部署が抱える課題を解決し、業務効率を上げるツールを開発する方の一助になると幸いです

はじめに こんにちは。クラウドエース第三開発部の工藤です。 今回は Datastream を使って Cloud SQL for PostgreSQL の Change data capture（以下、CDC）データを Cloud Storage と BigQuery に格納する方法を紹介します。 CDC とは ソースとなるデータベースに加えられた変更をリアルタイムで記録し、追跡する手法です。 DB で発生した変更情報（INSERT、UPDATE、DELETE など）を追跡できます。 データベース複製や E

はじめに こんにちは。クラウドエース第三開発部の工藤です。 今回は Datastream を使って Cloud SQL for PostgreSQL の Change data capture（以下、CDC）データを Cloud Storage と BigQuery に格納する方法を紹介します。 CDC とは ソースとなるデータベースに加えられた変更をリアルタイムで記録し、追跡する手法です。 DB で発生した変更情報（INSERT、UPDATE、DELETE など）を追跡できます。 データベース複製や E

こんにちは、株式会社ZOZOで25卒の内定者アルバイトをしている村井です。この記事では業務で取り組んでいる、BigQueryで使うSQLのリンターの作成方法について紹介します。 目次 目次 課題と解決策 課題 解決策 BigQueryのアンチパターン認識ツール ミニマムな使い方 日本語がSQL内に含まれている際の問題 アンチパターンを定義する リンターとしてBigQueryのアンチパターン認識ツールを使用する際に生じる課題と解決策 構成 APIサーバ化 Chrome拡張 動作例 まとめ 課題と解決策 課題

こんにちは。SCSKの磯野です。 Google Workspaceの監査ログは、保持期間が6か月程度のものがほとんどです。 例）SAML のログイベント データ：6か月 データの保持期間とタイムラグ - Google Workspace 管理者 ヘ&#125

こんにちは、テクノロジー本部の木村です。障害報告のデータによる障害傾向分析やレポーティングの取り組みについてご紹介します。 障害管理の改善を目指す方々に参考になれば幸いです。 障害報告の入力項目 集計項目とツール 障害発生率（当月の開発系起因の障害件数/当月のリリース件数） 検出時間・対応時間・復旧時間の月平均推移 想定損害金額 傾向分析 まとめ 障害管理の運用事例についての記事は以下をご覧ください。 www.lifull.blog LIFULLでは様々なサービスを開発していますが、主要サービスで発生した

はじめに こんにちは、クラウドエース 第三開発部の松本です。 普段はデータ基盤や機械学習システムを構築したり、Google Cloud 認定トレーナーとしてトレーニングを提供しています。 今回は、Professional Data Engineer 完全攻略ガイドのデータ取り込み編として、データエンジニアリング基礎編に続き、データ取り込みプロダクトを中心に試験対策の内容をご紹介します！ 尚、前回のデータエンジニアリング基礎編をまだ見ていない方は、以下をぜひご覧ください。 https://zenn.dev/

はじめに こんにちは、クラウドエース 第三開発部の松本です。 普段はデータ基盤や機械学習システムを構築したり、Google Cloud 認定トレーナーとしてトレーニングを提供しています。 今回は、Professional Data Engineer 完全攻略ガイドのデータ取り込み編として、データエンジニアリング基礎編に続き、データ取り込みプロダクトを中心に試験対策の内容をご紹介します！ 尚、前回のデータエンジニアリング基礎編をまだ見ていない方は、以下をぜひご覧ください。 https://zenn.dev/

G-gen の堂原です。当記事では、 Google ドライブ をデータソースとする Vertex AI Search が提供するウィジェットを、 Cloud Run で構築したウェブサイトに埋め込む手順を紹介します。 はじめに 当記事について 留意点 前提知識 権限設計 Vertex AI Search の設定 事前準備 ドメインの許可設定 OAuth 同意画面作成 OAuth 2.0 クライアント ID 作成 Cloud Run サービス作成 処理の流れ ソースコード ディレクトリ構造 Cloud Ru

G-gen の杉村です。BigQuery Data Transfer Service で Cloud SQL にホストされた PostgreSQL のデータを転送する検証を行いましたので、共有します。 はじめに BigQuery Data Transfer Service とは 当記事について 環境のセットアップ Cloud SQL インスタンスの起動 テーブルとデータの準備 転送の作成 検証 初回転送 レコードの追加（差分転送） レコードの更新 レコードの削除 挙動のまとめ はじめに BigQuery

はじめに こんにちは、クラウドエース株式会社 第一開発部所属の工藤です。 本記事では、Dataform のアサーションについてまとめました。 この内容を詳しく書いている記事はあまりない印象なので、これから Dataform を使ってみようと考えている方はぜひご覧ください。 Dataform とは Dataform は、BigQuery Studio に含まれるプロダクトであり、BigQuery に格納しているデータの加工処理やアサーション等のワークフローを作成できます。また、ワークフローの作成だけでなく、

はじめに こんにちは、クラウドエース株式会社 第一開発部所属の工藤です。 本記事では、Dataform のアサーションについてまとめました。 この内容を詳しく書いている記事はあまりない印象なので、これから Dataform を使ってみようと考えている方はぜひご覧ください。 Dataform とは Dataform は、BigQuery Studio に含まれるプロダクトであり、BigQuery に格納しているデータの加工処理やアサーション等のワークフローを作成できます。また、ワークフローの作成だけでなく、

はじめに こんにちは、クラウドエース 第三開発部の松本です。 普段はデータ基盤や機械学習システムを構築したり、Google Cloud 認定トレーナーとしてトレーニングを提供しています。 この度、Google Cloud 認定 Professional Data Engineer 試験の完全攻略ガイドとして、試験対策の重要なポイントを、複数の記事にわたりご紹介していくことにいたしました！ 今回は、その第一弾として、試験概要とデータエンジニアリングの基礎知識について解説します。 また、今後も以下の内容に関す

はじめに こんにちは、クラウドエース 第三開発部の松本です。 普段はデータ基盤や機械学習システムを構築したり、Google Cloud 認定トレーナーとしてトレーニングを提供しています。 この度、Google Cloud 認定 Professional Data Engineer 試験の完全攻略ガイドとして、試験対策の重要なポイントを、複数の記事にわたりご紹介していくことにいたしました！ 今回は、その第一弾として、試験概要とデータエンジニアリングの基礎知識について解説します。 また、今後も以下の内容に関す