「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全675件中 91 - 105件目
2024年8月のイチオシGoogle Cloudアップデート
2024/09/02
ブックマーク
G-gen の杉村です。2024年8月のイチオシ Google Cloud アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに Google Cloud Next Tokyo '24 で新発表 Python SDK で API コールなしで Gemini のトークン数カウント（Preview） Gemini on Vertex AI で、1リクエストで複数回答候補の生成が可能に SCC の Cloud Infrastructure Entitlement Management（CIEM）機能が
Google Cloud認定 Professional Cloud Architect資格合格レポート
2024/08/29
ブックマーク
はじめに
初学者でもできる Google Compute Engine での VM インスタンス作成と nginx のセットアップ
2024/08/28
ブックマーク
はじめに こんにちは、SRE 部の家野です。 今回は、Google Compute Engine（以下、GCE）の VM インスタンスの作成方法から、nginx を利用したウェブサーバーの構築までの手順を紹介します。 記事の目的と概要 私自身が新卒で Google Cloud について聞いたことはあっても、実際には何なのかよく分からなかった経験があります。 そのため、これから Google Cloud を利用する方々に新卒視
【GCP】BigQueryの料金節約術~オンデマンドクエリの上限値を設定する~
2024/08/28
ブックマーク
こんにちは。SCSKの山口です。 今回はBigQuery利用の料金を抑える一つの方法として、 「オンデマンドクエリの上限値設定」 をやってみます。 プロジェクト/クエリごとの上限値を設定し利用料金の増加を抑えるほか、意図しない大規模クエリによる利用料金の急増を抑える効果もあります。ぜひご覧ください。 BigQueryの料金体系 ここについては詳細に説明されている 公式
AutoMLOpsを使って機械学習CI/CDパイプラインを組んでみた
2024/08/27
ブックマーク
はじめに こんにちは、AI チームの長澤です。 この記事では Google によって開発・提供されている AutoMLOps を使って、充実した CI/CD パイプラインを手軽に構築してみようと思います。 今回は公式によって提供されているチュートリアルの流れに沿って、どのような GCP サービスが展開・構築されるのかを実際に手を動かして試してみます。 AutoMLOps AutoMLOps は Google によって
社内A/Bテスト標準化に向けたA/Bテスト管理基盤プロトタイプの開発
2024/08/27
ブックマーク
エンジニアの小林と申します。 LIFULL HOME'S の横断領域の開発を担当しています。 私たちの開発しているLIFULL HOME'Sでは、A/Bテストの実施によって市場学習（≒PDCA）の回数を増やし、より良いプロダクトを作り上げることを目的として、日々多くのA/Bテストが実施されています。 しかしながら、いくつかの問題があります。 今回はLIFULL HOME'SにおけるA/Bテストの成熟度と課
Google Cloud で提供されている『移行評価』で Amazon Redshift から BigQuery への移行をサポート
2024/08/27
ブックマーク
はじめに こんにちは、クラウドエース データソリューション部の源です。 クラウドエース データソリューション部 について クラウドエースのITエンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのが データソリューション部 です。 弊社では、新たに仲間に加わ
【GCP】BigQuery のデータマスキング
2024/08/27
ブックマーク
こんにちは。SCSKの山口です。 今回は、BigQuery で機密データを扱う際に欠かせない「データマスキング」について書きます。 実装する中で、権限周りでかなり悩んだ部分もあったので記載しておきます。お役に立てると嬉しいです。 BigQuery のデータマスキング 概要 データ マスキングの概要 | BigQuery | Google Cloud BigQuery での列レベルのデータ マスキングと、そのメリ
【GCP】BigQuery のアクセス制御まとめ その②
2024/08/22
ブックマーク
こんにちは。SCSKの山口です。 本ブログは BigQuery のアクセス制御まとめ その① の続編です。 今回は、BigQueryの「列と行のアクセス制御」について書きます。 BigQuery のアクセス制御 概要については下記ブログをご参照ください。 【GCP】BigQuery のアクセス制御まとめ その① BigQuery の様々なレベルでのアクセス制御についてまとめます。今回のブログ（その①）では、リソ
【GCP】BigQuery のアクセス制御まとめ その①
2024/08/22
ブックマーク
こんにちは。SCSKの山口です。 今回は、BigQuery の、様々なレベルでのアクセス制御についてまとめます。 BigQuery のアクセス制御 BigQuery の IAM ロールと権限 | Google Cloud 事前定義ロールとカスタムロールを含む、BigQuery 向け Identity and Access Management（IAM）によるアクセス制御のロールと権限について説明します。 cloud.google.com BigQuery では、下記のレベルでのアクセス制御が
BigQuery の継続的クエリ（Continuous queries）を解説
2024/08/21
ブックマーク
G-gen の杉村です。BigQuery の 継続的クエリ （Continuous queries）機能を使うと、事前定義した SQL ステートメントが継続的に実行され、リアルタイムなデータ変換やリバース ETL が容易に実現できます。当記事では継続的クエリの使い方を紹介します。 概要 継続的クエリとは ユースケース 実行可能な SQL ステートメント 料金 BigQuery Editions 制約 利用方法 シンプルな例 APPENDS 関
Analytics Hub による Pub/Sub Topic の共有
2024/08/20
ブックマーク
はじめに こんにちは、クラウドエース データソリューション部に所属するデンです。 クラウドエース データソリューション部 について クラウドエースの IT エンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのが データソリューション部 です。 弊社では、新た
ログスコープで柔軟に Cloud Logging を参照可能になりました
2024/08/20
ブックマーク
こんにちは、クラウドエース株式会社 SRE 部の阿部です。 こちらの記事では、2024 年 8 月 13 日にリリースされた新機能である「ログスコープ」について紹介します。 概要 Cloud Logging とは Cloud Logging は、 Google Cloud Observability (旧称: Stackdriver または Operations Suite) の一部であり、Google Cloud のリソースやアプリケーションのログを収集、表示するためのサービスです。 Google Cloud
日本CTO協会の合同新卒研修に参加しました
2024/08/20
ブックマーク
はじめに こんにちは、株式会社 エブリー の24新卒の蜜澤、きょー、新谷です。 今回は、2024年5月から7月にかけて開催された日本CTO協会主催の合同新卒研修に参加した際の内容と学びについてご紹介します。 合同新卒研修とは 本研修は、日本CTO協会が主催する新卒エンジニア向けの合同研修です。新卒エンジニアが業界全体・企業横断で育てられる試みとして、今年から
BigQuery の Short query optimized mode（短いクエリの最適化モード）を解説
2024/08/19
ブックマーク
G-gen の杉村です。当記事では、BigQuery の Short query optimized mode（短いクエリの最適化モード）について解説します。 概要 Short query optimized mode とは 利用方法 仕様 検証 確認する内容 手順 測定方法 結果と考察 データサイズごとの最適化適用有無 TAT と BigQuery 内部処理時間 概要 Short query optimized mode とは BigQuery の Short query optimized mode （短いクエリの最適化モード）とは、処理