現代のビジネスにおいて、AI（人工知能）や機械学習の活用は、単なる効率化の手段を超え、企業の競争優位性を決定づける核心的な戦略となりました。しかし、多くの企業がAIの実装を急ぐ中で、かつてないほど巨大な壁に直面しています。それが、複雑化したデータの「統治」と「品質」、すなわち統合データガバナンスの欠如です。 これまでのデータ管理は、システムの安定稼働を優先するIT部門による「守り」と、機動力を求める事業部門による「攻め」の二極化が進み、その溝がデータのサイロ化やブラックボックス化を招いてきました。しかし、

はじめに こんにちは。開発本部 開発1部 デリッシュリサーチチームの 江﨑 です。 本記事では、これまでHive Metastore上のDeltaテーブルで管理していたデリッシュリサーチ用データ（約40テーブル）をUnity Catalogへ移行したプロジェクトの全体像を、インフラ整備からAthena連携・Databricks Managed MCP活用まで紹介します。 はじめに 背景：なぜ Unity Catalog に移行したか 課題 1：テーブルスキーマが「コードを読まないと分からない」 課題 2：

はじめに こんにちは、クラウドエース株式会社 第二開発部の田中です。 プログラムコードを単なる「文字列」として一致検索するのではなく、その「処理内容（意味）」で検索したり比較したりできたら便利だと思いませんか？ 社内のコードベースが増えるほど、「あの処理、どこにあったっけ？」と意味で検索したくなる場面は多いと思います。 今回は、Google Cloud の BigQuery で提供されている AI.EMBED（エンベディング生成）を使って、異なるプログラミング言語間や、コードと日本語（自然言語）の「意味的

G-gen のminです。BigQuery の データマスキング 機能を解説します。データマスキングを使うと、機密情報をマスキングして特定できない形でクエリ結果に表示させることができ、分析を阻害せずにデータを保護することができます。 データマスキングとは 概要 列レベルのアクセス制御との違い 仕組み 権限とロール マスキングルールの種類 定義済みルール カスタムマスキングルーチン ルールの優先順位 設定手順 分類とポリシータグの作成 データポリシーの作成 テーブル列へのタグ付け データポリシーの列への直接

はじめに GOODROIDでUnityエンジニアをしています、及川です。 普段は基盤領域や全体設計な ...

G-gen の杉村です。2026年2月に発表された、Google Cloud や Google Workspace のイチオシアップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに Google Cloud のアップデート BigQuery でパラメータ化クエリがコンソールから実行できるように Spanner で SQL からリモート関数を実行できるように（Preview） Google Cloud remote MCP Server が Resource M

こんにちは、データ戦略部 データプロダクト課の鈴木です。 最近LLMやチャットボットなどが流行りに流行っていますが、実際に業務で活用しようとするとコスト問題や情報漏洩リスクなど、様々な要因でハードルが高いと感じる方も多いのではないでしょうか。 本記事ではGoogleのAIモデル Gemini ProとLooker Studioを利用することで、情報漏洩リスクが低いチャットボットを、初期コストゼロで、さらに1時間で簡単に作成する方法をご紹介します。 1. 今回作成するチャットボットの概念図 今回作成するチャ

概要 こんにちは、バンダイナムコネクサスの小林です。 今回は過去のブログでも取り上げた、ゲームタイトル横断分析ダッシュボードのアーキテクチャを見直したプロジェクトについてご紹介します。 2021年にローンチされたこの横断分析ダッシュボードは社内でも非常に好評で、利用者の拡大とともに出てくる様々な要望を取り込み、機能追加を行いながら運用を続けていました。 一方で、このダッシュボードを支えるデータパイプラインを運用するメンバーはごく少数であったため、限られたリソースは機能追加などのリクエスト対応に割かれること

金融IT本部 入社1年目の河岸歩希です。 会社の同期と個人開発に取り組んでいます。 その過程で「LINEのような個別チャット機能」を実装するにあたり、AWSのサーバーレス構成（Lambda ＋ DynamoDB）の採用を検討することになりました。 今回は実際に調査と設計を行う中で得られた気づきについて共有させていただきます。 はじめに 想定読者 本記事の目的 チャット機能の要件 DynamoDBの設計を理解する 基本的な仕組み プライマリキーとパーティション ホットパーティションに注意する データアクセス

こんにちは。バンダイナムコネクサス 上田です。 前回に引き続き、広告出稿のKPI最大化のためのデータ基盤開発について紹介します。 対象読者はデータ基盤新規開発に将来携わるエンジニアを想定し、これから広告関連のデータを触る予定の方、Airflowで開発予定の方々にとって有益な情報となることを願います。 記事に書いてあること 前回までの記事 第3章ではAirflowコードをできる限り型化して広告データパイプラインを開発したことを紹介しました。 今回の記事 今回は、第3章で触れた「Airflowコードを型化した

こんにちは。バンダイナムコネクサス 上田です。 前回に引き続き、広告出稿のKPI最大化のためのデータ基盤開発について紹介します。 対象読者はデータ基盤新規開発プロジェクト立ち上げに将来携わるエンジニア、PM、ビジネスサイドのメンバー全員を想定し、これから広告関連のデータを触る予定のエンジニアやPMはもちろん、広告関連のデータに関わりのない方、非エンジニアの方にとっても有益な情報となることを願います。 記事に書いてあること 前回までの記事 前回の第2章では 「1. 出稿している広告のデータを毎日収集し、利用

こんにちは。バンダイナムコネクサス 上田です。 前回に引き続き、広告出稿のKPI最大化のためのデータ基盤開発について紹介します。 第1章のプロジェクト発足ではプロジェクト発足に至った背景やプロジェクト運営上の工夫についてご紹介しました。 第2章の今回は出稿している広告のデータを毎日収集し、利用しやすく整えるために行なったデータパイプライン開発を紹介していきます。 対象読者はデータ基盤新規開発プロジェクト立ち上げに将来携わるエンジニア、PM、ビジネスサイドのメンバー全員を想定し、これから広告関連のデータを触

はじめに 2025年5月、dbt Labs から新しい実行エンジン dbt Fusion のpublic beta がリリースされました。現在はGA（General Availability）に向けた動きも進んでいます。 dbt Fusion による実行速度の向上やSQLの理解力強化については、すでに多くの場で紹介されていますが、個人的にはデータ分析基盤の拡張において避けて通れない「ELTパイプラインの変更」への寄与に着目しています。 そこで本記事では、dbt Fusion が提供する変更関連の機能に絞り

はじめに こんにちは。Turing MLOpsチームの海老澤です。 自動運転AIを作るためには大規模なデータセットが必要です。 Turingでは「データセントリックAI」の考え方のもと、膨大なセンサーデータを活用し、大容量、高品質かつ多様性のある学習データセットの構築に取り組んでいます。 この大規模なデータセットで学習されたE2E自動運転は都内でも30分ほど走行できるレベルに到達しています。 https://zenn.dev/turing_motors/articles/bc6436727234ad しか

データ戦略部 データプロダクト課 データインフラストラテジーセクションに所属しているデータエンジニアの藤井です。 データインフラストラテジーセクションはネクサスの必需品である「データ」という必需品の基盤を支えるセクションです。 今回は、データインフラストラテジーセクションがグループ会社向けに構築しているデータ基盤について紹介したいと思います。 アーキテクチャ アーキテクチャは以下のようになっています。よくあるデータ基盤構成になっているかと思いますが、今回はグループ企業、規模の大きい会社ならではのことを記述