はじめに こんにちは、クラウドエース株式会社 第一開発部所属の工藤です。 本記事では、執筆時点（2024年12月6日）において Gemini in BigQuery で何ができるのかをまとめました。Gemini が Duet AI（旧名）の頃（2023年10月あたり）に以下の記事を書いたのですが、当時よりもできることがかなり増えていました。 https://zenn.dev/cloud_ace/articles/204b163370b938 ちなみに上記記事のタイトルですが、今後は Duet AI（現 G

こんにちは。メルカリのSite Reliability Engineer (SRE)の @yakenji です。 この記事は、 Mercari Advent Calendar 2024 の2日目の記事です。 私たちメルカリのSREは、コアプロダクトであるフリマアプリ「メルカリ」の信頼性を維持・向上させるために、プロダクトのAvailability（可用性）とLatency（性能）を測定しています。また、それらに対してService Level Objective（SLO）を設定した上で、SLOを満たしてい

本記事は株式会社ココナラ Advent Calendar 2024 8日目の記事です。 はじめに こんにちは。 株式会社ココナラ データテクノロジー室所属のエンジニア、 Unseo と申します。 趣味はミーアキャット観察です。 みなさん、Gemini [1]のマルチモーダル機能、使ってますか？ すごい可能性を秘めているのですが、導入ってちょっと大変ですよね。API 叩いたり、環境構築したり…。 そこで今回は、BigQuery ML（BQML）[2]と オブジェクトテーブル[3]を組み合わせて、たった一つの

G-gen の堂原です。本記事では Google Cloud（旧称 GCP）の Cloud Run functions （旧 Cloud Functions）から、 VPC Service Controls 境界の中のリソースへアクセスさせる方法について紹介します。 はじめに 本記事の趣旨 VPC Service Controls Cloud Run functions ポイント アクセスの成否 VPC 経由でのリクエストが必要な理由 VPC のアクセス可能なサービス はじめに 本記事の趣旨 本記事では、

はじめに データパイプラインにおいて、「ETL」という言葉を耳にする機会は多いと思います。 Extract（データの抽出）、

この記事は株式会社エス・エム・エス Advent Calendar 2024の4日目の記事です。 エス・エム・エス BPR推進部 データ基盤チームの橘と申します。 私は「ナース専科 転職」等のキャリア事業を中心に、社内のデータ活用の推進、データ基盤の開発運用を担当する、データエンジニアの役割を担っています。 はじめに キャリア事業のデータ基盤は、Google Cloud 上に、BigQuery を中心に構築しています。 近年、データ活用の需要はますます拡大し、事業部門がTableauやQuickSight

本記事は 【Advent Calendar 2024】 5日目の記事です。 🌟🎄 4日目 ▶▶ 本記事 ▶▶ 6日目 🎅🎁 坂本です。 昨年に続いてAdvent Calendarに執筆させていただきます。 ※本記事は下記の2023-12-22に投稿した記事の続編になるため、ご覧になっていない方はまずこちらを参照していただけると幸いです。 Looker StudioのデータソースにBigQueryのテーブルを使用する - NRIネットコムBlog はじめに 集計していないテーブルを使用する場合 集計済のテー

この記事は Timee Advent Calendar 2024 シリーズ 1 の5日目の記事です。 はじめに こんにちは。タイミーの DRE チームの chanyou です。2024年の3月に DRE チームにジョインして、社内のデータ基盤を作って運用しています。 DuckDB を使ってデータ基盤で扱うデータの品質を保証し始めたので、その内容をご紹介します。 データ品質と完全性 タイミーのデータ基盤で重視しているデータ品質 タイミーでは、DMBOK を参考に以下のデータ品質を重視して設計や日々の運用を行

G-gen の三浦です。当記事では Workload Identity の仕組みを使うことで、サービスアカウントキーを使わずに GitHub Enterprise の監査ログを BigQuery にエクスポートする仕組みを構築したのでご紹介します。 GitHub Enterprise とは 概要 監査ログ Google Cloud への監査ログエクスポート アーキテクチャ 構成図 ディレクトリ構成 環境構築 Workload Identity とサービスアカウントの作成 BigQuery データセットの作

はじめに こんにちは、クラウドエース第一開発部に所属しているドーリです。 今回は、Gemini for Google Cloud の基礎について、Gemini を初めて使う方向けの内容をお届けします。Gemini の基礎、使い方等について詳しく知りたい方、是非最後までお読みください！ Google Cloud とは Google Cloud は、Google が提供するクラウドコンピューティングサービスの総称です。 これには、インフラ管理、データベース、機械学習、アプリケーション開発など、多岐にわたるサー

G-gen の杉村です。2024年11月のイチオシ Google Cloud アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに Eventarc Advanced が登場（Preview） Vertex AI Search で streaming answer メソッド（GA with Allowlist） Dataplex で automatic discovery of Cloud Storage data が Preview データ分類ラベルが G

はじめに 技術評論社様より発刊されている Software Design の2024年5月号より「レガシーシステム攻略のプロセス」と題した全8回の連載が始まりました。 ZOZOTOWNのリプレイスにあたり、検索機能に特化したマイクロサービスが構築されました。複雑に絡み合った既存機能からリプレイスすべき部分を見極め、どのように作業が進められたのでしょうか。その過程と成果を紹介します。 目次 はじめに 目次 はじめに Elasticsearchへのリプレイス 初期の検索機能 Elasticsearchへのリプ

概要 こんにちは、バンダイナムコネクサスの小林です。今回は過去のブログでも取り上げた、ゲームタイトル横断分析ダッシュボードのアーキテクチャを見直したプロジェクトについてご紹介します。 2021年にローンチされたこの横断分析ダッシュボードは社内でも非常に好評で、利用者の拡大とともに出てくる様々な要望を取り込み、機能追加を行いながら運用を続けていました。 一方で、このダッシュボードを支えるデータパイプラインを運用するメンバーはごく少数であったため、限られたリソースは機能追加などのリクエスト対応に割かれることが

はじめに こんにちは。 クラウドエースの中野(大)と申します。 今回は以前執筆した記事 Google CloudのSLAについて表でまとめてみたの 2024 年 11 月時点での更新版となります。 この記事の位置付け 昨年、同様の記事をリリースした際に社内でも評判が良かったため、社外の Google Cloud エンジニアや Google Cloud を利用したいと考えている方々にも一定の需要があると考え、今年も執筆しました。 確認方法 昨年と同様、Google Cloud の公式サイトの Google

はじめに こんにちは、SRE部プラットフォームSREブロックの石田です。普段はZOZOTOWNのSREを担当しています。 Amazon Aurora MySQL（以降、Aurora MySQL）のv2系の標準サポートが2024年10月31日に終了しました。私たちのチームではZOZOTOWNのID基盤で使用するAurora MySQLをv2系からv3系へアップグレードしました。ユーザ影響を抑えたアップグレードの実現のため、Amazon Aurora Blue/Green Deployments（以降、Blu