「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全675件中 136 - 150件目
Google Cloud VMware Engine（GCVE）を徹底解説！
2024/07/04
ブックマーク
G-gen の杉村です。VMware 資産を Google Cloud へリフトするにあたり重要な選択肢となる、Google Cloud VMware Engine（GCVE）を解説します。 概要 Google Cloud VMware Engine（GCVE）とは VMware ライセンス メリット 基本的な構成 ノード数と PoC 他社の類似サービス 料金 GCVE ノード サードパーティライセンス 非機能要件 セキュリティ 責任共有モデル データの暗号化 ネットワーク 可用性 拡張
Google Cloud 組織、フォルダ、プロジェクトでの IAM ロール変更を検知して Slack に通知する
2024/07/02
ブックマーク
はじめに こんにちは！クラウドエースの SRE 部に所属している小田です。 IAM（Identity and Access Management）は、Google Cloud リソースへのアクセスを制御する上で非常に重要な役割を持っていますが、IAM ロールの追加や削除により、意図せずセキュリティ上の脆弱性を生み出したり、システムの誤動作を招く可能性があるため監視が必要です。 本記事では、Google Cloud 組織、フォ
Dataform での Gemini によるコード生成機能を試してみました
2024/07/01
ブックマーク
はじめに こんにちは、クラウドエース データソリューション部の田中です。 クラウドエース データソリューション部 について クラウドエースの IT エンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのが データソリューション部 です。 弊社では、新たに仲間に
2024年6月のイチオシGoogle Cloudアップデート
2024/07/01
ブックマーク
G-gen の杉村です。2024年6月のイチオシ Google Cloud アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに BigQuery の Slot Recommender が Preview => GA Cloud SQLでメンテナンスの最大5週間前に通知を受け取れるように Gemini in Colab Enterprise が Preview 公開 Vertex AI Studio が Google アカウントなしで試用できるように Google Cloud で Oracle が
FindyにおけるDataformの活用とその効果
2024/07/01
ブックマーク
こんにちは。 2024/05よりファインディ株式会社にデータエンジニアとして入社した田頭( tagasyksk )です。本記事では、データ変換サービスであるDataformについてその活用方法や導入後の効果についてご紹介します。 弊社では、現在次のような構成でデータ基盤を構成しており、BigQuery内でのデータ変換にDataformを利用しています。 この構成を踏まえてご覧いただければ幸いで
Cloud SQL for MySQLの不安定なインポートと戦う: 性能と安定性を求めて
2024/07/01
ブックマーク
データ推進室のsaka1です。 しばらく前に異動し、データ分析用の社内Webアプリケーションの開発・保守に携わっています。
BigQueryとLookerStudioのニッチな落とし穴についてまとめてみた
2024/06/27
ブックマーク
こんにちは、タイミーでデータアナリストをしている yuzuka です。 主にプロダクトの分析に携わっています。 ビジネス職からデータアナリストに転向して約1年経った私が、1年前の自分に教えてあげたい、BigQueryや LookerStudioに関する落とし穴を、いくつか挙げてみようと思います。 はじめに 弊社では、分析環境として BigQueryを採用しています。LookerStudioを使って、 BigQuery
生成AIを使ってLookerダッシュボードを説明させてみた（Looker Dashboard Summarization）
2024/06/27
ブックマーク
G-gen の奥田梨紗です。オープンソースの Looker 拡張機能である Looker Dashboard Summarization を使い、Looker のダッシュボードを生成 AI が自然言語で説明する機能を実装しました。本記事ではその機能の紹介や、実装手順について紹介します。 はじめに 前提知識 Looker とは Looker 拡張機能と拡張フレームワークとは Gemini とは Looker Dashboard Summarization できること 料金 1. グラフの説
Google Cloud における認証・認可の仕組みがこれを見ればおおよそわかる
2024/06/21
ブックマーク
はじめに こんにちは、最近運動不足が気になり chocoZAP に通い始めた SRE 部門の 潘 (Han) です。今回は、Google Cloud で使われている様々な認証・認可の仕組みと推奨方法をまとめました。 概要 Google Cloud では基本の IAM をはじめとしてプリンシパル (ユーザーやサービスアカウントのこと) を認証・認可する仕組みがいくつか存在しています。 アプリケーションから Google Cloud
【Gemini-1.5-Pro】マルチモーダルLLMを使って動画検索してみた
2024/06/21
ブックマーク
こんにちは、クラウドエース SRE ディビジョン所属の茜です。 今回は、マルチモーダル LLM として注目されている Gemini-1.5-Pro を使用して、自然言語での動画検索が可能な簡易的なアプリケーションを作成します。 マルチモーダル LLM とは マルチモーダル LLM (Large Language Model) は、テキストだけでなく、画像、音声、動画などの複数のモダリティのデータを理解し、処理する
2024 年 6 月第 3 週の Google Cloud の主なリリースに関するニュース
2024/06/18
ブックマーク
6 月 10 日 〜 6 月 14 日の期間にアナウンスされた Google Cloud の主なリリースに関してご紹介します。 ! 該当日の全ての情報を掲載しているものではございません。すべてのリリースノートを確認されたい方は、当該ページからご確認ください。 Virtual Private Cloud （VPC） Private Service Connect Port Mapping（Preview） 単一の Private Service Connect エンドポイントを介すことにより、コン
モデルモニタリングに使用する関数を試してみる
2024/06/12
ブックマーク
はじめに こんにちは、クラウドエース データソリューション部のジンです。 クラウドエースの IT エンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのが データソリューション部 です。 今回は2024年4月4日にリリースされた、BigQuery ML の モデル モニタリング関数
dbt snapshotの内部クエリを理解して正確に挙動を把握しよう！
2024/06/11
ブックマーク
はじめに dbt snapshotとは（ざっくり） 今回の例 全体の流れ snapshot内部処理の詳細 delete処理：宛先テーブルに存在するレコードがソーステーブルでdeleteされていた場合 update処理：宛先テーブルと比較してソーステーブルのレコードがupdateされていた場合 insert処理：宛先テーブルに無いレコードがソーステーブル側に新規で作成されていた場合 check戦略の場合 check戦略の詳
Google Cloud 監査ログ取得・活用ガイド
2024/06/10
ブックマーク
こんにちは、SRE ディビジョン所属の松島です。 本記事では Google Cloud の主要機能の監査ログについて取得方法及び活用方法をまとめて紹介したいと思います。 監査ログとは？ 監査ログは誰がいつどこで何をしたかを記録するものです。 セキュリティインシデントの発生時など、不審な行動を追う際の重要な情報源となります。 また、PCI DSS など、セキュリティコンプラ
セキュアなデータ共有を簡便に実現：データクリーンルームで分析ルールの適用が可能になりました
2024/06/07
ブックマーク
はじめに こんにちは、クラウドエース データソリューション部の森です。 データソリューション部では、Google Cloud が提供しているデータ領域のプロダクトについて、新規リリースをキャッチアップするための調査報告会を毎週開催しています。 新規リリースの中でも、特に重要と考えるリリースを記事としてまとめ、本ページのように公開しています。 クラウドエー