「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全673件中 106 - 120件目
【GCP】Cloud FunctionsのCloud StorageトリガーでDataFusionパイプラインを起動
2024/08/09
ブックマーク
こんにちは。SCSKの山口です。 今回は、Cloud Functions とData Fusionを組み合わせて、下記のパイプラインを構築してみたいと思います。 Cloud Functions のEventarc トリガーでGCSバケットへのファイル配置・更新を検知する Cloud Functions からDataFusionパイプラインを起動し、データ加工とBigQuery へのデータ格納を行う 特定のバケットにファイルが置かれた際に、それを検知してData Fusion
Cloud Storageの課金仕様に関する3つの変更（2024年9月から）
2024/08/09
ブックマーク
G-gen の杉村です。2024年9月から2025年2月にかけて、Cloud Storage に関係する課金額が変動する可能性があるため、その詳細と対応策について紹介します。 概要 Cloud Storage の soft delete 機能の無料期間終了 解説 対策 Compute Engine から Cloud Storage へのリージョン間データ転送の課金開始 解説 対策 BigQuery から Cloud Storage への一部リクエストの課金開始 解説 対応策 概要 2024年9月から
[NEXT'24 Tokyo] Google Cloud 認定資格の誤解を打ち破る
2024/08/08
ブックマーク
はじめに 【Google Cloud NEXT'24 Tokyo】 こんにちは、Google Cloud 認定トレーナーで\textcolor{red}{赤髪}がトレードマークの Shanks です。 皆さまは 2024/08/01〜2024/08/02 にパシフィコ横浜で開催された Google Cloud Next Tokyo ’24 へ参加されましたでしょうか？ 筆者は Authorized Training Partner（以下、ATP）として、Google Cloud 公式ブース「ラーニング＆認定資格」に立ちお手伝いをしてまいりまし
【GCP】BigQueryでウィンドウ関数（分析関数）を使ってデータ分析してみる
2024/08/07
ブックマーク
こんにちは。SCSKの山口です。 今回は、BigQueryで ウィンドウ関数（分析関数） を使ってデータを集約してみたいと思います。 テーブル全体ではなく、 特定の実行範囲（パーティション）での処理 が実行できる便利な機能です。ぜひご覧ください。 ウィンドウ関数とは（イメージ） ウィンドウ関数とは、一言で言うと「行のグループ単位で計算を行い、 行ごとに一
【速報】Google Cloud Next Tokyo '24 基調講演まとめ：生成AIの現在と未来、そして各社の挑戦
2024/08/07
ブックマーク
生成AIを使う上での課題・解決策 生成AIは大きな可能性を秘めていますが、その活用にはいくつかの課題が存在します。
Spanner エディションによる Spanner 料金モデル変更について紹介
2024/08/06
ブックマーク
こんにちは、クラウドエース株式会社 SRE 部の阿部です。 この記事では Google Cloud Next Tokyo '24 で発表された Spanner エディションにおける料金モデル変更について紹介します。 Spanner の変更点概要 (Google Cloud Next Tokyo'24 発表から抜粋) 2024 年 8 月 2 日の基調講演で、Spanner の新機能について発表がありました。 発表内容は以下の通りです。 Spanner Graph (参考:公式ブログ) ベクト
【GCP】Cloud Data Fusion で Wrangler を柔軟に使い倒す
2024/08/06
ブックマーク
本記事は 夏休みクラウド自由研究 8/6付の記事です 。 こんにちは。SCSKの山口です。 最近、Google CloudのData Fusionでパイプラインを構築する機会が多くあり、その中でも「Wrangler」のプライグインを多く使用したので、その際に便利だった機能をご紹介します。 ※本ブログではData Fusionパイプラインの基本的な構築方法については言及していませんので、構築方法等について
Google Cloud Next Tokyo '24 速報レポート（キーノート・2日目）
2024/08/05
ブックマーク
G-gen の杉村です。当記事では、Google Cloud Next Tokyo '24 のキーノート（2日目）に関する速報レポートをお届けします。 他の Google Cloud Next Tokyo '24 関連記事は Google Cloud Next Tokyo '24 の記事一覧 からご覧いただけます。 概要 Google Cloud Next Tokyo '24 キーノート（基調講演）とは Vertex AI Agent Builder Google Vids、Imagen 3、Veo データエージェント 最近公開された新機能 データエージェント
Google Cloud Next Tokyo '24 速報レポート（競争環境の変化に適応！Google Cloud で実現する LION 流需要予測と生成 AI 活用）
2024/08/02
ブックマーク
G-gen の奥田です。本記事は Google Cloud Next Tokyo '24の1日目に行われた AI と機械学習のセッション「 競争環境の変化に適応！Google Cloud で実現する LION 流需要予測と生成 AI 活用 」に関する速報レポートをお届けします。 他の Google Cloud Next Tokyo '24 関連記事は Google Cloud Next Tokyo '24 の記事一覧 からご覧いただけます。 概要 なぜ需要予測を行うのか 需要予測のアーキテクチャ 生
AWS とマルチクラウド: 既存の機能と継続的な機能強化
2024/08/02
ブックマーク
AWS の大規模なお客様にそれぞれの課題や懸念事項について話すとき、会話のトピックがマルチクラウドに変わることがよくあります。意図的であれ偶然であれ、これらのお客様は複数のクラウドプロバイダーからのサービスの利用を選択することがあります。時には、今もオンプレミスでホストされているアプリケーションやサービスと併せて利用することもあります。
BigQuery × Apache Iceberg で実現するデータレイクハウス構築
2024/08/02
ブックマーク
はじめに こんにちは、クラウドエース データソリューション部の松本です。 普段はデータ基盤や機械学習システムの構築を行なっており、Google Cloud 認定トレーナーとしてトレーニング提供もしています。 クラウドエース データソリューション部 について クラウドエースのITエンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築か
Google Cloud Next Tokyo '24 速報レポート（プロジェクト間での分析を可能にした高セキュリティな企業データ分析基盤の構築と生成 AI の活用）
2024/08/02
ブックマーク
G-gen の堂原です。当記事では、Google Cloud Next Tokyo '24 セッション「 プロジェクト間での分析を可能にした高セキュリティな企業データ分析基盤の構築と生成 AI の活用 」に関する速報レポートをお届けします。 他の Google Cloud Next Tokyo '24 関連記事は Google Cloud Next Tokyo '24 の記事一覧 からご覧いただけます。 概要 事業紹介 初期の課題とアプローチ 企業データ分析基盤 生成 A
2024 年 7 月第 5 週の Google Cloud の主なリリースに関するニュース
2024/08/02
ブックマーク
クラウドエースの山本です。 7 月 29 日 〜 7 月 31 日の期間にアナウンスされた Google Cloud の主なリリースに関してご紹介します。 ! 該当日の全ての情報を掲載しているものではございません。すべてのリリースノートを確認されたい方は、当該ページからご確認ください。 Google Kubernetes Engine （GKE） Backup for GKE で確約利用割引が提供されるようになりました ( 公式ドキュメ
【VALTES QUALITY Dayセッションレポート】品質とスピードを両立し、ビジネスをドライブさせる！GO株式会社のQA組織とは
2024/08/01
ブックマーク
2024年5月29日、「VALTES QUALITY DAY」が開催された。以下、GOとバルテス社員による対談セッションの様子を紹介する。 本セッションは「品質とスピードを両立し、ビジネスをドライブさせる！ GO株式会社のQA組織とは」がテーマ。ゲストにGO株式会社 澤田雄一氏、同社 丸靖和氏を迎え、バルテス 貝本康次が司会進行を務めながらGO社のQA組織が取り組む「効率化のためのプ
BigQueryのContinuous Queriesがプレビューになりました
2024/08/01
ブックマーク
はじめに こんにちは。クラウドエース データソリューション部所属の橘です。 データソリューション部では、Google Cloud が提供しているデータ領域のプロダクトについて、新規リリースをキャッチアップするための調査報告会を毎週実施しています。 新規リリースの中でも、特に重要と考えるリリースを記事としてまとめ、本ページのように公開しています。 今回紹介