「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全673件中 16 - 30件目
レバレジーズの機械学習エンジニアの1年を振り返る
2024/12/10
ブックマーク
この記事を読んで分かること レバレジーズの機械学習エンジニアの今年1年の活動について分かります！ レバレジーズの生成AIを活用した取り組み状況について分かります！ この記事を読んで分かること はじめに 今年やったこと 生成AIへのリソース全振り 最初にぶつかった壁：そもそも社内で生成AIを使える状態にする CAIL(社内AIチャットツール)の開発 CAILの社内認知 社
Google Cloud で機械学習モデルを使うときの方針
2024/12/09
ブックマーク
はじめに こんにちは、クラウドエース株式会社の技術本部に所属している池上有希乃です。 Google Cloud では様々な機械学習プロダクトが利用可能ですが、選択肢が多いので「どういった方針で、どのプロダクトを利用すればいいか」と迷ってしまうときがあります。そこで、この記事では Google Cloud で機械学習モデルを使う際のガイドをしていこうと思います。 ! 本記事は
Gemini in BigQuery でできること
2024/12/09
ブックマーク
はじめに こんにちは、クラウドエース株式会社 第一開発部所属の工藤です。 本記事では、執筆時点（2024年12月6日）において Gemini in BigQuery で何ができるのかをまとめました。Gemini が Duet AI（旧名）の頃（2023年10月あたり）に以下の記事を書いたのですが、当時よりもできることがかなり増えていました。 https://zenn.dev/cloud_ace/articles/204b163370b938 ちなみに上記記事のタイト
E2E Testを用いたマイクロサービスアーキテクチャでのUser Journey SLOの継続的最新化
2024/12/06
ブックマーク
こんにちは。メルカリのSite Reliability Engineer (SRE)の @yakenji です。 この記事は、 Mercari Advent Calendar 2024 の2日目の記事です。 私たちメルカリのSREは、コアプロダクトであるフリマアプリ「メルカリ」の信頼性を維持・向上させるために、プロダクトのAvailability（可用性）とLatency（性能）を測定しています。また、それらに対してService Level Objective（SLO）を設定した上で、SLOを
クエリ一つでGeminiマルチモーダルテキスト生成
2024/12/06
ブックマーク
本記事は株式会社ココナラ Advent Calendar 2024 8日目の記事です。 はじめに こんにちは。 株式会社ココナラ データテクノロジー室所属のエンジニア、 Unseo と申します。 趣味はミーアキャット観察です。 みなさん、Gemini [1]のマルチモーダル機能、使ってますか？ すごい可能性を秘めているのですが、導入ってちょっと大変ですよね。API 叩いたり、環境構築したり…。 そこ
Cloud Run functionsからVPC Service Controls境界内へのアクセスを許可する方法
2024/12/06
ブックマーク
G-gen の堂原です。本記事では Google Cloud（旧称 GCP）の Cloud Run functions （旧 Cloud Functions）から、 VPC Service Controls 境界の中のリソースへアクセスさせる方法について紹介します。 はじめに 本記事の趣旨 VPC Service Controls Cloud Run functions ポイント アクセスの成否 VPC 経由でのリクエストが必要な理由 VPC のアクセス可能なサービス はじめに 本記事の趣旨 本記事では、Cloud Run funct
dbt と BigQuery監査ログで実現する Asset Centric な Job 管理方法
2024/12/06
ブックマーク
はじめに データパイプラインにおいて、「ETL」という言葉を耳にする機会は多いと思います。 Extract（データの抽出）、
キャリア事業データ基盤における権限管理の運用改善
2024/12/05
ブックマーク
この記事は株式会社エス・エム・エス Advent Calendar 2024の4日目の記事です。 エス・エム・エス BPR推進部 データ基盤チームの橘と申します。 私は「ナース専科 転職」等のキャリア事業を中心に、社内のデータ活用の推進、データ基盤の開発運用を担当する、データエンジニアの役割を担っています。 はじめに キャリア事業のデータ基盤は、Google Cloud 上に、BigQuery を中心
Looker Studioのデータソースで BigQueryを使用する場合のテーブル設計のポイント
2024/12/05
ブックマーク
本記事は 【Advent Calendar 2024】 5日目の記事です。 🌟🎄 4日目 ▶▶ 本記事 ▶▶ 6日目 🎅🎁 坂本です。 昨年に続いてAdvent Calendarに執筆させていただきます。 ※本記事は下記の2023-12-22に投稿した記事の続編になるため、ご覧になっていない方はまずこちらを参照していただけると幸いです。 Looker StudioのデータソースにBigQueryのテーブルを使用する - NRIネットコムBlog はじ
DuckDB を使ったデータ品質保証の実践
2024/12/05
ブックマーク
この記事は Timee Advent Calendar 2024 シリーズ 1 の5日目の記事です。 はじめに こんにちは。タイミーの DRE チームの chanyou です。2024年の3月に DRE チームにジョインして、社内のデータ基盤を作って運用しています。 DuckDB を使ってデータ基盤で扱うデータの品質を保証し始めたので、その内容をご紹介します。 データ品質と完全性 タイミーのデータ基盤で重視しているデータ
GitHub監査ログをWorkload Identity認証でBigQueryにエクスポートしてみた
2024/12/04
ブックマーク
G-gen の三浦です。当記事では Workload Identity の仕組みを使うことで、サービスアカウントキーを使わずに GitHub Enterprise の監査ログを BigQuery にエクスポートする仕組みを構築したのでご紹介します。 GitHub Enterprise とは 概要 監査ログ Google Cloud への監査ログエクスポート アーキテクチャ 構成図 ディレクトリ構成 環境構築 Workload Identity とサービスアカウントの作成 BigQuery デ
Gemini for Google Cloud 101
2024/12/03
ブックマーク
はじめに こんにちは、クラウドエース第一開発部に所属しているドーリです。 今回は、Gemini for Google Cloud の基礎について、Gemini を初めて使う方向けの内容をお届けします。Gemini の基礎、使い方等について詳しく知りたい方、是非最後までお読みください！ Google Cloud とは Google Cloud は、Google が提供するクラウドコンピューティングサービスの総称です。 これには、イン
2024年11月のイチオシGoogle Cloudアップデート
2024/12/02
ブックマーク
G-gen の杉村です。2024年11月のイチオシ Google Cloud アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに Eventarc Advanced が登場（Preview） Vertex AI Search で streaming answer メソッド（GA with Allowlist） Dataplex で automatic discovery of Cloud Storage data が Preview データ分類ラベルが Gmail にも対応 Google Cloud 認定試験に新試験が誕生 Applicatio
Software Design 2024年11月号 連載「レガシーシステム攻略のプロセス」第7回 検索機能リプレイスの裏側
2024/11/29
ブックマーク
はじめに 技術評論社様より発刊されている Software Design の2024年5月号より「レガシーシステム攻略のプロセス」と題した全8回の連載が始まりました。 ZOZOTOWNのリプレイスにあたり、検索機能に特化したマイクロサービスが構築されました。複雑に絡み合った既存機能からリプレイスすべき部分を見極め、どのように作業が進められたのでしょうか。その過程と成果を紹介
Google Cloud の SLA について表でまとめてみた(2024 年 11 月版)
2024/11/25
ブックマーク
はじめに こんにちは。 クラウドエースの中野(大)と申します。 今回は以前執筆した記事 Google CloudのSLAについて表でまとめてみたの 2024 年 11 月時点での更新版となります。 この記事の位置付け 昨年、同様の記事をリリースした際に社内でも評判が良かったため、社外の Google Cloud エンジニアや Google Cloud を利用したいと考えている方々にも一定の需要があると考え、今年