この記事は 株式会社エス・エム・エス Advent Calendar 2023 の6日目の記事です。 エス・エム・エス BPR推進部 カスタマーデータチームの橘と申します。 私は「ナース人材バンク」等のキャリア事業を中心に、社内のデータ活用の推進、データ基盤の開発運用を担当する、データエンジニアの役割を担っています。 今回は私の組織におけるデータエンジニアの役割を簡単にご紹介し、データ活用の推進のために進めている活動の1例として、データカタログの整備についてご紹介します！ データエンジニアとは そもそもデ

はじめに GCPにはさまざまなストレージサービスやデータベースサービスがあります。 GCP試験の勉強中、頭がごちゃごちゃになったポイントでした。（私の場合） 今回は6つのストレージサービスについて簡単にまとめていこうと思います。 Google Cloud Storage（GCS） 特徴 オブジェクトストレージサービス 容量無制限 低価格 ◦Amazon S3と同じ感じ いろいろ ストレージクラス GCSには以下の4つのストレージクラスがあります。 種類 　説明 例 費用目安 Standard 　アクセス頻

G-gen の杉村です。当記事では Google Cloud（旧称 GCP）をベースに、クラウド料金の見積もり方法・試算方法を徹底解説します。 はじめに 3つの性質 1. 従量課金 2. 月次請求 3. 変動する 試算方法 料金ページ 料金試算ツール リセールパートナーを頼る 割引 コミットメント制度 請求代行（リセールパートナー） 見積もり手順の例 手計算 Calculator はじめに 当記事では Google Cloud （旧称 GCP）をベースに、クラウド料金の見積もり方法（試算方法）を徹底解説し

概要 これは Luup Advent Calendar 2023 の 4 日目の記事です。 BigQuery のクエリコスト削減のために、Google Analytics のテーブルをクラスタ化テーブルにしたという内容です。 背景 こんにちは、データエンジニアリングチームの辻尾です。 データエンジニアリングチームは社員 2 名、業務委託 1 名の体制で回しており、私は業務委託として携わっています。 Luup では Data Warehouse に BigQuery を採用しており、オンデマンド料金体系で利

G-gen の杉村です。2023年11月のイチオシ Google Cloud アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに Duet AI が Cloud Logging のログを要約・説明 (GA) 復数の Duet AI 関連アップデート BigQuery で異なるユーザ間でもキャッシュが効くように BigQuery で過去〜現在のストレージ使用量を取得可能に (Preview) BigQuery で TEXT_ANALYZE 関数が登場 (Pr

G-gen の堂原です。本記事では Google Cloud (旧称 GCP) のセキュリティサービスである VPC Service Controls において、IP アドレスを許可したにも関わらずアクセスが弾かれるケースにおける見落としがちな原因について紹介します。 はじめに 事象 : IP アドレスを許可したはずがアクセス失敗 原因 : IPv6 アドレスでアクセスしていた 確認方法 解消方法 はじめに VPC Service Controls は Google Cloud が提供しているセキュリティ

はじめに こんにちは、クラウドエース データMLディビジョン所属の伊藤です。 今回は Apache Beam の RunInference という機能を使って、Google Cloud の Dataflow で大規模言語モデルを使ったストリーミング処理（リアルタイム処理）を行う方法を紹介したいと思います。 LLM とは 大規模言語モデル（Large Language Model、LLM）とは、GPT-3 や PaLM2 などのように、大量のテキストデータを使って学習された自然言語処理モデルのことを指します

はじめに こんにちは、クラウドエースのシステム開発部 SRE ディビジョンの渡辺です。Google Cloud Next Tokyo '23 で目の当たりにした生成 AI の可能性に心躍り、その興奮は今も続いています。 今回は、Google Cloud Next Tokyo '23 で参加したセッションの中から、Vertex AI Extensions についてその概要とセッションの要点に焦点を当てて紹介します。 ! 記事執筆時点（2023年11月） 本記事では、Vertex AI Extensions

みなさん、こんにちは。ソリューションアーキテクトの杉山です。 今週も 週刊AWS をお届けします。 AWS re:Invent が今日から 12 月 1 日 までラスベガスで開催されています。現地に行けない方でも、キーノートとイノベーショントークのライブ配信を視聴頂けます。 こちら からご登録ください。また、ご登録頂くとオンデマンドでいくつかの動画が視聴できるようになります。リアルタイムの視聴が難しい場合もぜひご利用ください。 それでは、先週の主なアップデートについて振り返っていきましょう。 2023年1

Amazon QuickSight は、クラウドネイティブなサーバーレスビジネスインテリジェンス (BI) サービスです。ビジュアライゼーションの構築、アドホックな分析の実行、異常検知、予測、自然言語クエリなどの機械学習 (ML) 機能によってインサイトを得ることが可能です。また QuickSight は高性能なインメモリエンジンである SPICE (Super-fast, Parallel, In-memory Calculation Engine)を利用して迅速に高度な計算を実行し、ビジュアルを提供し

1. はじめに こんにちは、クラウドエース データML ディビジョンの木村です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページのように記事として公開してい

はじめに こんにちは、クラウドエース データ ML ディビジョン所属の仲佐です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています

G-gen の杉村です。2023/11/15から2023/11/16までの二日間、東京ビッグサイトにて4年ぶりの現地開催となる Google Cloud Next Tokyo '23 が開催されました。当記事ではその発表内容についてレポートします。 開催場所 展示内容 一日目 基調講演（キーノート） 二日目 基調講演（キーノート） Vertex AI におけるグラウンディング G-gen スポンサーセッション 動画の公開 開催場所 Google Cloud Next Tokyo '23 は4年ぶりの東京ビ

はじめに こんにちは、クラウドエース データML ディビジョン所属の池上有希乃です。 データML ディビジョンでは、Google Cloud が提供しているデータ領域のプロダクトについて、新規リリースをキャッチアップするための調査報告会を毎週実施しています。新規リリースの中でも、特に重要と考えるリリースを記事としてまとめ、本ページのように公開しています。 たとえば、 BigQuery のデータクリーンルームに入門しました Colab Enterprise を解説 Dataflow の費用モニタリングが一般

こんにちは、技術本部ML・データ部データ基盤ブロックの塩崎です。最近の気になる論文は、こちら 1 の動物病院での猫のストレスが音楽によって低減されるというものです。 さて、2年前にGCPの新米管理者になり色々と頑張っていますという内容のブログを公開しました。当時は対応が後手に回ってしまっていた内容でしたが、その後2年が経ったので、最近のGoogle Cloud管理者事情も紹介いたします。 この記事はGoogle Cloud Next'23 Tokyoの発表内容をブログにしたものです。イベント終了後にスライ