「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全675件中 391 - 405件目
kintoneとBigQueryをリアルタイム連携してみた
2023/05/16
ブックマーク
こんにちは。ML・データ部 データ基盤ブロックの塩崎です。最近はつちのこフェスタが4年ぶりに開催されたというニュース 1 でアフターコロナの訪れを感じています。 さて、データ基盤のためのデータ転送パイプライン構築といいますと、多くの方はMySQLなどのデータベースからのデータ連携を思い浮かべるかと思います。実際にシステムの保有する多くのデータはデ
BigQueryのDynamic Data Maskingの機能が更新されました
2023/05/16
ブックマーク
はじめに こんにちは！クラウドエース データML ディビジョン所属の住吉と申します。 データML ディビジョンとはクラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門としております。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリー
Google Cloud サービスカット学習コンテンツ集
2023/05/15
ブックマーク
Google Cloud（旧称 GCP）の 学習に役立つオンラインコンテンツ を、サービスカットや分野別でまとめました。Google Cloud 初学者の方の基本的な学習のほか、資格取得にもお役立てください。 はじめに Google Cloud 全般 課金・コスト削減 アーキテクチャ・ベストプラクティス セキュリティ・統制 (非ネットワーク) セキュリティ (ネットワーク) コンピューティング ネットワーク
Google Cloudの組織(Organization)を徹底解説
2023/05/15
ブックマーク
G-gen の杉村です。Google Cloud (旧称 GCP) には組織 (Organization) という概念があります。ガバナンスとセキュリティのために重要なこの機能を解説します。 組織の基本 組織 (Organization) とは リソースの階層構造 組織リソース 組織 ID（顧客 ID） フォルダ・プロジェクト 組織のメリット・ユースケース 組織を使う理由 複数プロジェクト管理 利用可能なサービス・機能 組織を使
Looker Studio→BigQuery→Google SheetsにおけるPermission deniedの対処方法
2023/05/12
ブックマーク
G-gen の堂原です。本記事では、Looker Studio において、Google Sheets をソースとする BigQuery 外部テーブルに接続しようとすると発生する Permission denied エラーの対処法を紹介します。 はじめに 事象 : 外部テーブルへの接続でエラー 対処法 サマリ 各リソースの関係性 データの認証情報 手順 はじめに Google Cloud (旧称 GCP) が提供する BI ツールである Looker Studio では、データソー
【第1回】ブロックチェーンとは
2023/05/10
ブックマーク
はじめに みなさんは、「ブロックチェーン」という言葉を聞いたことがあるでしょうか？ ブロックチェーンとは、ビットコインやイーサリアムなどの「暗号資産」と呼ばれるデジタルな通貨や資産を実現するために使われている技術です。 暗号資産は、銀行の預金や企業発行の電子マネーなどとは異なり、暗号技術を用いて誰でも自由に通貨を発行できる点に特徴があ
Dataformを徹底解説
2023/05/09
ブックマーク
G-gen 又吉です。Google Cloud (旧称 GCP) のデータ変換パイプラインツールである Dataform を解説します。 概要 Dataform とは 特徴とメリット 料金 Dataform のコンポーネント コンポーネント構成 リポジトリ リポジトリとは ファイル構成 開発ワークスペース 開発ワークスペースとは 開発ワークスペースの初期化 開発手法 リリース設定 (release configuration) アクセス制御 Dataform のアク
Google Cloudで理解するサーバーレス・アーキテクチャ
2023/05/09
ブックマーク
当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 サーバーレス構成ではクラウドサービスのポテンシャルを最大限引き出すことができます。モダンなアプリケーションの設計にはサーバーレスへの理解が必須であり、あらためて整理することにしました。 G-gen の佐々木です。当記事ではクラウドサービスにお
リアルタイムマーケティングシステムにおける行動ログの活用方法とログ収集機能を移行した話
2023/05/09
ブックマーク
こんにちは、MA部MA開発1ブロックの齋藤（ @kyoppii13 ）です。 ZOZOTOWNではユーザ行動に基づくキャンペーン配信を実施しています。この配信はリアルタイムマーケティングシステム（以降、RTM）と呼ばれるシステムによって実現しており、RTMでは配信トリガーや配信タイミングの最適化等にユーザの行動ログを利用しています。 この行動ログは、ユーザがZOZOTOWNのページへア
Google Cloud Digital Native Leader’s Meetup に参加しました
2023/04/21
ブックマーク
Google Cloud Digital Native Leader’s Meetup に参加しましたチーフデータサイエンティストの Mario です！ 2023年3月24日（金）、Google Cloud Japan 様より Digital Native Leader’s Meetup にご招待頂き、参加してきましたのでレポートします。とてもありがたいことに Lightning Talk のスピーカーとして登壇させて頂きましたので、その内容についても触れていきます。 日本のデータ活用のリーダー
Google Cloud データ分析系プロダクトの最新アップデート（2023年3月、BigQuery 編）
2023/04/19
ブックマーク
G-gen の神谷です。本記事では、Google Cloud のデータ分析系プロダクトのアップデートを取り上げ、変更点やその背景を考察し、プロダクトや機能についての理解を深めます。 新料金体系 BigQuery Editions BigQuery ML における推論での Vision API 等の呼び出し機能強化 リリース概要 当リリースのポイント CREATE TABLE AS SELECT 文による S3→BQ 移送時のデータフィルタリング機能がプレビ
BigQuery で WITH RECURSIVE 句が GA になりました！
2023/04/18
ブックマーク
はじめに こんにちは、クラウドエース データ ML ディビジョン所属の池上です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンになります。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリー
『Beacon Bank x ChatGPT で叶えるパーソナルコンシェルジュ』を作ってみた
2023/04/17
ブックマーク
チーフデータサイエンティストの Mario です！ 皆さん、ChatGPT、使ってますか？毎日何かと話題に事欠きませんね。私も日々 ChatGPT を使い倒しています。この記事も ChatGPT のサポートを得ながら書いています。unerry 社員も個人的に ChatGPT の活用する人が増え、度々 Slack が盛り上がっています。 ビッグデータと掛け合わせての活用方法は無限にあり、積極的に取り入れて行
Datastream for BigQuery でプライベートなCloudSQLをニア・リアルタイムに分析する
2023/04/17
ブックマーク
こんにちは！エンジニアのオリバーです。最近、個人で翻訳するときに ChatGPT に英訳、和訳させてみることが多くなってきたこの頃です。 久々に少し長めの技術記事を書かせていただきました。最近のトレンドである（と思っている）多様なデータを素早く安全に Google Cloud Platform (GCP) 上で活用するための記事になっています。記事後半には Terraform のサンプルと一緒に構
troccoを使って、SalesforceのデータをBigQueryに連携してみた
2023/04/14
ブックマーク
クラウドエースData/MLディビジョン所属のODRです。 今回は、データ分析基盤構築・運用の支援 SaaS である trocco を使用して、SalesforceのデータをBigQueryに連携してみたので、手順と感想を記事にまとめてみました。 troccoを使用することで、簡単かつ迅速にSalesforceの複数のオブジェクトをBigQueryに連携することができたので、データ分析基盤構築をどのように進めたらよいかわ