「Google BigQuery」に関連する技術ブログ - TECH PLAY

TECH PLAY

Google BigQuery」に関連する技術ブログ

1211 件中 1 - 15 件目
こんにちは、クラウドエース株式会社第四開発部の渡辺です。 Dataform で incremental テーブルを運用していると、「特定の日付範囲だけ再計算したい」という場面が出てきます。 本記事では、updatePartitionFilter に 開始日・終了日のような複数の動的条件 を載せる方法を紹介します。 概要 incremental テーブルの更新対象パーティションは、updatePartitionFilter で絞り込めます。 期間を実行時に変えたい場合は dataform.projectCo
こんにちは、LIFULL HOME'Sのネイティブアプリケーション開発チームでエンジニアリングマネージャーをしている佐々木です。 前々回の記事 ではチームの業務知識をAIに構造化して渡すことで調査工数を削減した話を、 前回の記事 ではその技術設計(コンテキストレイヤ5層)について書きました。今回は マーケター9人で構成されるデジタルマーケティング(以下、デジマ)チーム に、AI業務基盤を導入したお話をしていきたいと思います。 課題:属人化60%、ツール散在、新人が自走できない デジマチーム(9人)は以下の
1. はじめに こんにちは!エニグモのセキュリティチームです。 エニグモの中核事業の「 BUYMA 」は、世界中のパーソナルショッパーから商品を購入できる、会員数1,200万人超のCtoCのECプラットフォームです。 大規模かつグローバルなトラフィックを守るため、セキュリティの重要性は日々高まっています。 今回は、そんな当社におけるセキュリティチームの現在の取り組みや組織体制、そして今後注力していく技術的な課題についてご紹介します。 セキュリティエンジニアとしてエニグモで働く魅力や、リアルな業務の裏側が少
G-gen の佐々木です。当記事では、Google Cloud の Sensitive Data Protection (旧称 Cloud Data Loss Prevention)による機密データの匿名化(de-identification)について解説します。 概要 Sensitive Data Protection とは 匿名化(de-identification)とは 匿名化と個人情報保護法 匿名化の基本 匿名化の概要 infoType infoType 変換とレコード変換 対象データの種類 処理
こんにちは、デジタルマーケティング事業に携わっている神崎です。 本記事では、Google Cloud の BigQuery の UI 上で作成したデータエージェントを、Gemini Enterprise App に追加する方法について、解説します。 BigQuery のデータエージェントについては、以下の記事を参照してください。 tech.nri-net.com 今回紹介する内容は、東京ビッグサイトで開催される Google 社主催のイベント「Google Cloud Next Tokyo 26」で、20
はじめに こんにちは、データシステム部MA推薦ブロックの佐藤( @rayuron )です。私たちは、主にZOZOTOWNのメール配信のパーソナライズなど、マーケティングオートメーションに関するレコメンドシステムを開発・運用しています。 以前、テックブログで工数やAI活用による工数削減を計測する仕組みを、タスク管理ツールの GitHub Projects で構築する方法をご紹介しました。 前回の記事 が計測の仕組みの作り方を扱ったのに対し、本記事では仕組みを1年間運用して得られた結果とその考察、そして今後の
G-gen の福井です。自然言語でデータを分析できる BigQuery Conversational Analytics について、回答精度を高める手段を徹底解説します。 はじめに 当記事の概要 BigQuery Conversational Analytics とは データエージェントと回答精度 回答精度向上の考え方 回答精度を決めるレイヤー構造 Google が推奨する積み上げの順序 土台となるデータとナレッジソース スキーマ設計とデータ整形 ナレッジソースの絞り込み 構造化コンテキストの整備 テーブ
こんにちは!DevRelの重田( @Shige0096 )です。 メドレーでは夏企画として『MEDLEY Summer Tech Blog Relay』と題して、ブログリレーを開催します! 7/13(月)〜8/21(金)まで毎日異なるメンバーが技術やエンジニアリング、個人開発など幅広いテーマでテックブログを公開していきます! 本記事にて毎日ブログを追記更新していくので、ぜひお楽しみください✨ ※土日祝を除く 👇よろしければ昨年の記事もぜひチェックしてみてください! MEDLEY Summer Tech B
はじめに こんにちは。タイミーで Platform Engineer をしている小河原( @kgwryk28 )です。 現在、タイミーのシステムで利用しているメインのデータベース(Aurora MySQL)のバージョンアップを進めています。 前回の記事 では、アップグレードに伴う SQL の互換性や性能の検証について共有しました。 この記事では、そのアップグレードと並行して取り組んでいる Aurora MySQL の GTID モード有効化 を行うにあたって直面した課題と、それぞれをどう解決したかを紹介し
はじめに こんにちは。データシステム部・MA推薦ブロックの住安( @kosuke_sumiyasu )です。 私たちのチームは、ZOZOTOWNのメール・LINE・プッシュ通知といったマーケティングオートメーション(MA)の推薦システムを開発・運用しています。目指しているのは、ユーザーひとりひとりに最適な配信を届けることです。 ZOZOTOWNで本番運用されている推薦モデルは、価格・ブランド・カテゴリ・カラーといった テーブル特徴量 のみを学習に用いていました。そのため、商品画像が持つ視覚情報(シルエット
はじめに こんにちは。クラウドエース株式会社 第一開発部の猪野です。 データ活用が当たり前になった昨今、Google Cloud が提供するエンタープライズ向け BI プラットフォーム「Looker(ルッカー)」はご存知でしょうか? 「Looker って名前は聞くけど、なんだか難しそう……」 そんな Looker 初学者の方 に向けたチュートリアルです。 データポータルとの決定的な違いは「LookML」による一元管理 機能が似ている「データポータル (旧 Looker Studio)」は直感的にグラフを作
G-gen の杉村です。2026年6月に発表された、Google Cloud や Google Workspace のイチオシアップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに Google Cloud のアップデート BigQuery Editions の最小課金時間が1秒になる fluid scaling が一般公開(GA) Cloud Interconnect のシングルリージョン構成で 99.99% SLA BigQuery の生成 AI 関数で上
G-gen の本間です。BigQuery の自動化機能であるスケジュールドクエリ(Scheduled queries)を解説します。 概要 スケジュールドクエリとは ユースケース 料金 主な機能と特徴 スケジュール設定 クエリ結果の書き込み 書き込み方式の概要 DML を使用した書き込み 宛先テーブルを指定した書き込み ランタイムパラメータの利用 権限と IAM ロール クエリの実行主体 スケジュール作成者に必要な権限 クエリ実行主体に必要な権限 注意点と制限事項 毎正時(00分)指定における重複実行のリ