はじめに こんにちは、クラウドエース データソリューション部の田中です。 クラウドエース データソリューション部 について クラウドエースの IT エンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのが データソリューション部 です。 弊社では、新たに仲間に加わってくださる方を募集しています。もし、ご興味があれば エントリー をお待ちしております！ データソリューション部では、Google Cloud が提供して

G-gen の杉村です。2024年6月のイチオシ Google Cloud アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに BigQuery の Slot Recommender が Preview => GA Cloud SQLでメンテナンスの最大5週間前に通知を受け取れるように Gemini in Colab Enterprise が Preview 公開 Vertex AI Studio が Google アカウントなしで試用できるように

こんにちは。 2024/05よりファインディ株式会社にデータエンジニアとして入社した田頭( tagasyksk )です。本記事では、データ変換サービスであるDataformについてその活用方法や導入後の効果についてご紹介します。 弊社では、現在次のような構成でデータ基盤を構成しており、BigQuery内でのデータ変換にDataformを利用しています。 この構成を踏まえてご覧いただければ幸いです。それでは見ていきましょう！ Dataformについて 導入の背景 データ基盤に必要な機能が揃っており、簡単に運

データ推進室のsaka1です。 しばらく前に異動し、データ分析用の社内Webアプリケーションの開発・保守に携わっています。

こんにちは、タイミーでデータアナリストをしている yuzuka です。 主にプロダクトの分析に携わっています。 ビジネス職からデータアナリストに転向して約1年経った私が、1年前の自分に教えてあげたい、BigQueryや LookerStudioに関する落とし穴を、いくつか挙げてみようと思います。 はじめに 弊社では、分析環境として BigQueryを採用しています。LookerStudioを使って、 BigQueryのデータを参照してダッシュボードを作ることもよくあります。 BigQueryの SQLを使

G-gen の奥田梨紗です。オープンソースの Looker 拡張機能である Looker Dashboard Summarization を使い、Looker のダッシュボードを生成 AI が自然言語で説明する機能を実装しました。本記事ではその機能の紹介や、実装手順について紹介します。 はじめに 前提知識 Looker とは Looker 拡張機能と拡張フレームワークとは Gemini とは Looker Dashboard Summarization できること 料金 1. グラフの説明 2. 数値の特

データ戦略部 データプロダクト課 データインフラストラテジーセクションに所属しているデータエンジニアの藤井です。 データインフラストラテジーセクションはネクサスの必需品である「データ」という必需品の基盤を支えるセクションです。 今回は、データインフラストラテジーセクションがグループ会社向けに構築しているデータ基盤について紹介したいと思います。 アーキテクチャ アーキテクチャは以下のようになっています。よくあるデータ基盤構成になっているかと思いますが、今回はグループ企業、規模の大きい会社ならではのことを記述

はじめに こんにちは、最近運動不足が気になり chocoZAP に通い始めた SRE 部門の 潘 (Han) です。今回は、Google Cloud で使われている様々な認証・認可の仕組みと推奨方法をまとめました。 概要 Google Cloud では基本の IAM をはじめとしてプリンシパル (ユーザーやサービスアカウントのこと) を認証・認可する仕組みがいくつか存在しています。 アプリケーションから Google Cloud 上のリソースにアクセスするためのクレデンシャルを取得する手段もいくつか存在し

こんにちは、クラウドエース SRE ディビジョン所属の茜です。 今回は、マルチモーダル LLM として注目されている Gemini-1.5-Pro を使用して、自然言語での動画検索が可能な簡易的なアプリケーションを作成します。 マルチモーダル LLM とは マルチモーダル LLM (Large Language Model) は、テキストだけでなく、画像、音声、動画などの複数のモダリティのデータを理解し、処理することができる大規模言語モデルです。 従来の LLM がテキストのみを扱うのに対し、マルチモーダ

6 月 10 日 〜 6 月 14 日の期間にアナウンスされた Google Cloud の主なリリースに関してご紹介します。 ! 該当日の全ての情報を掲載しているものではございません。すべてのリリースノートを確認されたい方は、当該ページからご確認ください。 Virtual Private Cloud　（VPC） Private Service Connect Port Mapping（Preview） 単一の Private Service Connect エンドポイントを介すことにより、コンシューマー

はじめに こんにちは、クラウドエース データソリューション部のジンです。 クラウドエースの IT エンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのが データソリューション部 です。 今回は2024年4月4日にリリースされた、BigQuery ML の モデル モニタリング関数 について紹介します。 これらの関数を使用すると、BigQuery ML でトレーニング データとサービング データのデータスキューやデ

はじめに dbt snapshotとは（ざっくり） 今回の例 全体の流れ snapshot内部処理の詳細 delete処理：宛先テーブルに存在するレコードがソーステーブルでdeleteされていた場合 update処理：宛先テーブルと比較してソーステーブルのレコードがupdateされていた場合 insert処理：宛先テーブルに無いレコードがソーステーブル側に新規で作成されていた場合 check戦略の場合 check戦略の詳細 まとめ We’re Hired はじめに こんにちは☀️okodooooonです

こんにちは、SRE ディビジョン所属の松島です。 本記事では Google Cloud の主要機能の監査ログについて取得方法及び活用方法をまとめて紹介したいと思います。 監査ログとは？ 監査ログは誰がいつどこで何をしたかを記録するものです。 セキュリティインシデントの発生時など、不審な行動を追う際の重要な情報源となります。 また、PCI DSS など、セキュリティコンプライアンスで収集や活用が規定されている場合もあります。 Cloud Audit Logs Cloud Audit Logs は 監査ログを

はじめに こんにちは、クラウドエース データソリューション部の森です。 データソリューション部では、Google Cloud が提供しているデータ領域のプロダクトについて、新規リリースをキャッチアップするための調査報告会を毎週開催しています。 新規リリースの中でも、特に重要と考えるリリースを記事としてまとめ、本ページのように公開しています。 クラウドエース データソリューション部 について クラウドエースの IT エンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデー

G-gen の奥田梨紗です。当記事では、オンプレミスや他のクラウドサービス上にあるデータベースを Google Cloud の Cloud SQL に移行するメリットや、移行方法を紹介します。 はじめに Google Cloud のデータベース オンプレミスからクラウドへの移行 メリット メリット1. TCO の削減 メリット2. Google Cloud エコシステムとの連携強化 メリット3. 生成 AI によるデータベース運用の自動化 移行方法 1. Database Migration Servic