TL;DR AWS の ECSコンテナのログをBigQueryに転送する タスク定義に FireLens のサイドカーコンテナを設定 Workload Identity 連携を使用して、GCPの認証情報をイメージ内に含めないように工夫 はじめに 初めまして。株式会社ジーニーの GENIEE CHAT開発チームのマネージャーを担当しています。 GENIEE CHATでは各サービスのログをBigQueryに保存しており、調査や分析を行う用途として使用しております。 今回は、n番煎じですが ECSのコンテナログ

2024年10月7日から10日（現地時間）にかけて、dbt Coalesce 2024がラスベガスで開催されています。 私たち株式会社タイミーからは、4名が現地参加しました （※）。 今回は、カンファレンスの最初のKeynoteについてご紹介したいと思います。 このKeynoteでは、dbtのビジョンや今後の新機能リリースに関する熱いトピックが多く取り上げられ、非常に刺激的な内容となりました。 以下がアジェンダです。 イントロ 新機能の紹介 dbt Copilot Visual Editing Exper

はじめに こんにちは、クラウドエースに所属している篠田です。 本記事では、2024年9月12日にパブリックプレビューとなったLooker Studio Pro の新機能 Conversational Analytics (会話分析) についてご紹介します。 Conversational Analytics (会話分析) とは Conversational Analytics は、Gemini in Looker (機能群の総称) のひとつの機能で、生成 AI (Google Cloud の Gemini)

こんにちは、 エニグモ 嘉松です。 BUYMA のプロモーションや マーケティング を担当している事業部に所属しており、その中のデータ活用推進室という部署で会社のデータ活用の推進や マーケティング ・オートメーションツール（MAツール）を活用した販促支援、 CRM などを担当しています。 さて、SELECT文で得た結果のデータを（そのまま、直接）テーブルに挿入する INSERT SELECT や、SELECT文で得た結果からテーブルを作成して更にデータまで挿入する CREATE TABLE AS は何かと

こんにちは、クラウドエース CTO 室所属の茜です。 今回は、Vertex AI を活用した AI エージェント開発で得た知見を共有します。 この開発で直面した課題とその解決策を紹介することで、皆さんの AI エージェント開発の一助となれば幸いです。 はじめに 本記事では、社内 PoC として取り組んだ「ニュース記事から企業のリスク分析を行う AI エージェント」の開発プロセスについて解説します。 説明すること AI エージェントの概要 開発過程で直面した技術的課題とその解決策 精度向上のためのアプローチ

G-gen の杉村です。2024年9月のイチオシ Google Cloud アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに Cloud Run の Deterministic URL が Preview → GA BigQuery の VECTOR_SEARCH() と vector index が Preview → GA AppSheet で管理者コンソールが利用可能に（Preview） VPC SC のルールで Googleグループが利用可能に（

はじめに クラウドエースの SRE 部に所属している安田です。 この記事では Google Cloud が提供するフルマネージドの機械学習プラットフォームである Vertex AI についてご紹介します。 私は、以前から AI に興味があり、機械学習や AI 機能に触れてみたいと思っていましたが、専門的な知識や技術が必要でハードルが高くチャレンジできずにいました。そこで、学習済みモデルを手軽に利用できるマネージドサービスの Vertex AI に注目し、使い方を学んでみることにしました。 本記事では、私が

こんにちは。クラウドエース株式会社で Google Cloud 認定トレーナーをしている廣瀬 隆博です。皆さんは新しい事にチャレンジしていますか？私は昔から得意ではなかったスラッシュ メタルというヘヴィメタルのサブジャンルに再チャレンジしましたが、やはり得意ではありませんでした。とはいえ、それを再認識できたことはチャレンジしたおかげだなと感じています。 Google Cloud の資格にも私が得意ではないものがあり、それは機械学習の知識が問われる Professional Machine Learning

はじめに こんにちは。クラウドエース バックエンド エンジニアリング部の中井です。 この記事では、Google Cloud が提供している Document AI を使って Google Drive に保存されたファイルを解析し、その結果を Google SpreadSheet に出力する方法について解説します。 クラウドエースの別の記事ではBigQueryでDocumentAIを利用する方法も紹介しているのでぜひ一読してみてください。 https://zenn.dev/cloud_ace/article

G-genの杉村です。Google Cloud（旧称 GCP）のリソースインベントリサービスである Cloud Asset Inventory を解説します。 Cloud Asset Inventory とは 料金 用語 アセット アセットタイプ アセット関係 フィード エクスポート 代表的なユースケース アセット履歴の確認 プリンシパルの検索 リソースの IAM 許可ポリシーの検索 アセット変更の通知 Asset Insight Cloud Asset Inventory とは Cloud Asset

Gemini at Work の開催目的

はじめに こんにちは。データシステム部/推薦基盤ブロックの佐藤 ( @rayuron ) です。私たちはZOZOTOWNのパーソナライズを実現する推薦システムを開発・運用しています。推薦システムごとにKPIを策定していますが、データの欠損やリリース時の不具合によってKPIが意図しない値を取ることがあるため定常的に確認する必要があり、これをKPIのモニタリングと呼んでいます。 先日、 推薦システムの実績をLookerでモニタリングする というテックブログで推薦システムのKPIをモニタリングする方法を紹介しま

こんにちは。SCSKの山口翔平です。 最近、大谷翔平選手の活躍が凄まじいので便乗してフルネームで名乗ってみました。 2024年9月20日。大谷翔平選手が前人未到の 【50－50】 を達成した裏で、私、山口翔平がひっそり GCP認定資格【11冠】 を達成しました。 2022年9月にGoogle Cloud の部署に新人として配属され、ちょうど二年後の2024年9月に 認定資格11冠（全冠） を達成しました。せっかくなので全冠までの2年間の軌跡をブログに残そうと思います。 試験の概要は 公式ドキュメント や

こんにちは。SCSKの磯野です。 BigQueryでTBレベルの大きなデータを扱うとき、意図しない高額課金のリスクを抑えたいと思ったことはありませんか？ 今回は、大きなテーブルを扱う上で、コスト削減につながるTipsをいくつかご紹介します。 BigQueryの課金体系 BigQuery の料金は主に次の 2 つの要素で構成されています。 コンピューティングの料金  は、SQL クエリ、ユーザー定義関数、 スクリプト、特定のデータ操作言語（DML）とデータ定義 言語（DDL）ステートメントがありま

こんにちは。SCSKの磯野です。 BigQueryのパーティションフィルタについて、気になったことをいくつか調べてみました。 パーティションフィルタとは パーティションフィルタを有効にすると、パーティション列を適切に指定したWHERE句が存在しないときに、エラーとすることができます。これにより、必ずパーティションが効くクエリしか実行できなくなるため、フルスキャンによる高額課金を防止することができます。 パーティション分割テーブルの管理  |  BigQuery  |  Google Cloud cloud