クラウドエース の技術ブログ
全414件
Vertex AI の textembedding-gecko モデルをファインチューニングしてみた
2023/11/22
ブックマーク
こんにちは、クラウドエース Data/ML ディビジョン所属の穂戸田です。 本記事では、2023 年 10 月 4 日に Preview となった VertexAI のtextembedding-geckoのファインチューニングの手順について解説します。なお、本記事では、ファインチューニングによるモデル性能の向上は目的としていません。 また、text embedding、ファインチューニングってなに？といったところから解説するた
Google Cloud Next Tokyo ’23 の Innovators Hive で Ask the Expert を担当しました
2023/11/21
ブックマーク
こんにちは、クラウドエースの阿部です。 今回の記事では、 2023年11月15日～16日に開催された Google Cloud Next Tokyo ’23 で対応した Ask the Expert の感想を書いていきたいと思います。 前置き (TL;DR) 参加したイベントや用語についてざっと説明します。 Google Cloud Next Tokyo ’23 について Google Cloud Next は Google Cloud のグローバルカンファレンスであり、 Google Cloud に関する最新技術
Pub/Sub の BigQuery Change Data Capture 機能について
2023/11/20
ブックマーク
1. はじめに こんにちは、クラウドエース データML ディビジョンの木村です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調査
Cloud Run と Memorystore for Redis の統合機能を試してみた
2023/11/20
ブックマーク
こんにちは、クラウドエースの佐久間です。2022 年 10 月 7 日に、Cloud Run の統合機能 (プレビュー版) を用いて Memorystore for Redis と接続できるようになりました (リリースノート)。この記事では、実際にその機能を試してみるとともに、従来の接続方法と比較して、どのようなメリットがあるのかを解説します。なお、Cloud Run や Memorystore for Redis の基本的な使い方については
AlloyDB Omni を試してみる
2023/11/20
ブックマーク
はじめに こんにちは、クラウドエース データML ディビジョン所属の後藤です。 データML ディビジョンでは、Google Cloud が提供しているデータ領域のプロダクトについて、新規リリースをキャッチアップするための調査報告会を毎週実施しています。 新規リリースの中でも、特に重要と考えるリリースを記事としてまとめ、本ページのように公開しています。 今回紹介す
BigLake メタデータ キャッシュ対応テーブルに対してのマテリアライズド ビュー作成が GA になりました
2023/11/17
ブックマーク
はじめに こんにちは、クラウドエース データ ML ディビジョン所属の仲佐です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調
Google Cloud Storage のオブジェクトのメタデータを自動収集するインベントリ レポート機能の紹介
2023/11/16
ブックマーク
はじめに こんにちは、クラウドエース データML ディビジョン所属の池上有希乃です。 データML ディビジョンでは、Google Cloud が提供しているデータ領域のプロダクトについて、新規リリースをキャッチアップするための調査報告会を毎週実施しています。新規リリースの中でも、特に重要と考えるリリースを記事としてまとめ、本ページのように公開しています。 たとえ
Microsoft Entra ID のユーザーとグループを Cloud Identity に同期して SSO する
2023/11/15
ブックマーク
こんにちは、クラウドエース SRE ディビジョンの小田です。 昨今便利な Web サービスが増えてきましたが、それぞれのサービスにログインするためのログイン情報を管理が手間がかかります。それぞれのサービスにログインするのではなく、一度だけログインすればすべてのサービスを利用できるとしたらどうでしょうか。これは Single Sign-On （以下、SSO） と呼ばれる仕組
Security Command Center で検出した脆弱性を Slack に通知してみる
2023/11/15
ブックマーク
こんにちは、クラウドエース SRE の佐藤です。 Google Cloud では、組織やフォルダー、プロジェクトレベルで脆弱性や脅威を検出をしてくれる Security Command Center というプロダクトがあります。 検出した情報は Google Cloud コンソールから確認できますが、脆弱性を検出したタイミングでメールや Slack に通知することも可能です。 今回は Security Command Center で検出した脆弱性を Sl
Cloud Spanner：ミューテーションによるバッチ書き込み方法
2023/11/15
ブックマーク
こんにちは、クラウドエース データML ディビジョン所属の源です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調査・発表し、
OpenAI の Assistants API を使って自然言語で Todo リストを操作するアプリを作ってみた
2023/11/15
ブックマーク
はじめに こんにちは、クラウドエース フロントエンド ディビジョン所属の阿部です。 2023年 11月 6日 に開催された OpenAI DevDay で新しい API である Assistants API が発表されました。 Assistants API を使うことでアプリケーションに LLM（Large Language Model）を使った自然言語処理を組み込むことが出来るようになります。 この Assistants API を使った Todo アプリを作ってみたので、この
Cloud Run ジョブのタイムアウト時間の延長
2023/11/14
ブックマーク
はじめに こんにちは！クラウドエースデータ ML ディビジョン所属のきょくです。 データ ML ディビジョンでは、Google Cloud が提供しているデータ領域のプロダクトについて、新規リリースをキャッチアップするための調査報告会を毎週実施しています。 新規リリースの中でも、特に重要と考えるリリースを記事としてまとめ、本ページのように公開しています。 今回紹介
Cloud Spanner 組み込みのオートスケーラー、Managed autoscaler が登場！
2023/11/14
ブックマーク
こんにちは、クラウドエースの SRE チームに所属している妹尾です。 今回は Cloud Spanner の運用が劇的に楽になるアップデートがあったのでご紹介します！ 概要 2023/11/14 に Cloud Spanner に組み込みのオートスケーリング機能が実装されました！[1] この機能を使うと今まで外部プログラムに依存していたオートスケール機能を Cloud Spanner の設定だけで実現することが可能になり
BigQuery の検索インデックスがさらに便利になりそうです
2023/11/13
ブックマーク
TL; DR BigQuery の検索インデックス機能を使えば、大規模なデータセットからごく少量のデータを取得する際の処理時間と課金されるバイト数がかなり削減できます この機能を一般的によく使われる演算子でも実行できるようになれば、日々の分析やログ検索におけるコスト削減に大きく貢献しそうです はじめに こんにちは、クラウドエース データML ディビジョン所属の田
Cloud Run jobsを用いてバッチ処理を実現する
2023/11/10
ブックマーク
はじめに こんにちは、クラウドエース バックエンド ディビジョン所属の許です。 今回は、Cloud Run の機能の一つである Cloud Run jobs について、使用例を交えながら解説していきます。 Cloud Run jobs とは Cloud Run には service(以下、サービス)と jobs(以下、ジョブ)の2つの機能が存在しています。どちらも既存のコンテナ イメージを用いて処理を実行できるという点においては同