「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全675件中 286 - 300件目
BigQueryを用いた主成分分析
2023/11/07
ブックマーク
はじめに こんにちは、クラウドエース Data/ML ディビジョン所属の谷口です。 今回は、BigQuery を使った主成分分析のやり方を紹介したいと思います。 この記事では、Google の BigQuery を使用して主成分分析を行う方法を詳しく解説します。 BigQuery を使ったデータ分析に興味がある方、またはその方法を探している方向けに、 この記事を通じてその概念と実装方法を理解でき
推しLLMは “PaLM”です 😤
2023/11/07
ブックマーク
まず、超重要事項の告知があります。いますぐ登録すべきイベントです。なんと、 今月行われる Google Cloud Next Tokyo ’23に、弊社unerryから2名の精鋭が登壇します。 11/15(水) 3:40 PM – 4:00 PM スタートアップにおける生成 AI 本番活用事例 (unerry, Beatrust) 弊社の誇るデータサイエンティストで、かつBigQuery限界オタクである岡安が、BigQueryを使った分析自動化の事例を紹介しま
LangChainでBigQueryデータを使ったグラウンディングを実装してみた
2023/11/07
ブックマーク
G-gen 又吉です。当記事では、Google Cloud の LLM (Vertex AI PaLM API) と LangChain を組み合わせて、自然言語から BigQuery 上の統計データを取得する方法を紹介します。 はじめに 準備 実行環境 使用するデータ 実装 ライブラリのインストール 関数の定義 概要 解説 実行 はじめに LangChain とは、大規模言語モデル (LLM) アプリケーションを効率よく実装するためのフレームワークです。
2023年10月のイチオシGoogle Cloudアップデート
2023/11/06
ブックマーク
G-gen の杉村です。2023年10月のイチオシ Google Cloud アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに Looker Studio と BigQuery のさらなる統合 (Private Preview) Cloud SQL で異エディション間でバックアップ→リストアが可能に Looker Studio Pro がユーザ単位で利用可能に BigQuery のリージョン間テーブルコピーが Private Preview 一部
Looker Studioのデータソースで BigQueryのカスタムクエリを使用する場合の注意点
2023/10/31
ブックマーク
本記事は 【デジマWeek 2023】 7日目の記事です。 📈 6日目 ▶▶ 本記事 📚 坂本です。 早いもので前回の投稿からはや1年となりました。 本記事ではLooker StudioのデータソースとしてBigQueryのカスタムクエリを使用する場合の注意点について解説します。 Looker StudioやBigQueryの詳細については割愛しますので、必要に応じて以下のリンクかこちらの書籍をご参照ください。 BigQue
BigQuery Studio は何者なのか
2023/10/30
ブックマーク
はじめに こんにちは、クラウドエース データ ML ディビジョン所属の工藤です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調
BigQueryでGROUP BY CUBE等を使ってみる
2023/10/30
ブックマーク
G-gen の杉村です。BigQuery の特殊な GROUP BY 構文である GROUP BY GROUPING SETS GROUP BY CUBE GROUP BY ROLLUP について解説します。 はじめに GROUP BY GROUPING SETS GROUP BY CUBE GROUP BY ROLLUP はじめに BigQuery で以下の特殊な GROUP BY 構文が、2023年10月9日に Preview 公開、2024年2月26日に一般公開（GA）されました。 GROUP BY GROUPING SETS GROUP BY CUBE GROUP BY ROLLUP (以前からあったが groupable items sets を指定できる
おい、誰も騒いでないから騒ぐけどExternal Network AccessっていうSnowflakeから外部へアクセスできる機能、データサイロ完全にぶっ壊せるぞ。
2023/10/25
ブックマーク
NHK関連の話ではないです こんにちは harry( @gappy50 )です〜。 これまでクラシルでデータエンジニアをしておりましたが、最近クラシルリワードという別プロダクトでデータエンジニアをしております。 クラシルリワードのデータ基盤は以下に詳細がありますので、ご興味あればどうぞ！ tech.dely.jp 本記事のタイトルは私がTwitter改めXにポストした投稿から抜粋しました（恥
【書き起こし】BigQueryのコンピューティングリソース管理の取り組み – Go Kojima【Merpay & Mercoin Tech Fest 2023】
2023/10/23
ブックマーク
Merpay & Mercoin Tech Fest 2023 は、事業との関わりから技術への興味を深め、プロダクトやサービスを支えるエンジニアリングを知ることができるお祭りで、2023年8月22日（火）からの3日間、開催しました。セッションでは、事業を支える組織・技術・課題などへの試行錯誤やアプローチを紹介していきました。 この記事は、「 BigQueryのコンピューティングリソース管理の取
【書き起こし】BigQueryのデータ監視の社内サービスを作った話 – Hirobumi Takahashi【Merpay & Mercoin Tech Fest 2023】
2023/10/23
ブックマーク
Merpay & Mercoin Tech Fest 2023 は、事業との関わりから技術への興味を深め、プロダクトやサービスを支えるエンジニアリングを知ることができるお祭りで、2023年8月22日（火）からの3日間、開催しました。セッションでは、事業を支える組織・技術・課題などへの試行錯誤やアプローチを紹介していきました。 この記事は、「 BigQueryのデータ監視の社内サービスを作った話
【書き起こし】発生可能な取引の属性データを用いた素早い不正検知 – Liu / Li【Merpay & Mercoin Tech Fest 2023】
2023/10/23
ブックマーク
Merpay & Mercoin Tech Fest 2023 は、事業との関わりから技術への興味を深め、プロダクトやサービスを支えるエンジニアリングを知ることができるお祭りで、2023年8月22日（火）からの3日間、開催しました。セッションでは、事業を支える組織・技術・課題などへの試行錯誤やアプローチを紹介していきました。 この記事は、「 発生可能な取引の属性データを用いた素早い不
【書き起こし】GoによるSQLクエリテストの取り組み – Yuki Mukasa【Merpay & Mercoin Tech Fest 2023】
2023/10/23
ブックマーク
Merpay & Mercoin Tech Fest 2023 は、事業との関わりから技術への興味を深め、プロダクトやサービスを支えるエンジニアリングを知ることができるお祭りで、2023年8月22日（火）からの3日間、開催しました。セッションでは、事業を支える組織・技術・課題などへの試行錯誤やアプローチを紹介していきました。 この記事は、「 GoによるSQLクエリテストの取り組み 」の書き起
BigQuery DataFrames のご紹介
2023/10/23
ブックマーク
はじめに こんにちは、クラウドエース データ ML ディビジョン所属の工藤です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調
タイミーデータ基盤のモデリング設計について
2023/10/23
ブックマーク
はじめに こんにちはokodoonです タイミーのデータ基盤に対してデータ モデリング を始めてしばらく経ったので、現状の全体構成を紹介したいと思います 全体構成 弊社のBigQueryは以下の4層にレイヤリングされています それぞれの役割は以下のような切り分けになっています レイヤー名 役割 データレイク層 複数ソースシステムのデータを未加工の状態でBigQueryにロードす
BigQueryのARRAYとSTRUCTを理解して使いこなす
2023/10/23
ブックマーク
G-gen の杉村です。BigQuery は通常の RDBMS と異なり分析用データベースであることから、非正規化したテーブルを扱うことが多くなります。そのための独特のデータ型として、ARRAY (配列) と STRUCT (構造体) があります。これらについて解説します。 概要 ARRAY (配列) ARRAY とは サンプルテーブル SELECT SELECT 〜 WHERE SELECT 〜 CROSS JOIN SELECT (SELECT ~ UNNEST) CREATE TABLE / INSERT 制限 STRUCT (構