クラウドエース の技術ブログ
全516件
BigQuery を Pandas のように操作する
2023/12/13
ブックマーク
はじめに こんにちは、クラウドエース Data/ML ディビジョン所属の坂田です。 BigQuery 界隈のみなさん、「BigQuery DataFrames」という Python ライブラリをご存知でしょうか。 BigQuery DataFrames は 2023 年 9 月に登場したライブラリで、BigQuery データを使ってデータ分析を行うことができる、Google 提供のライブラリです。 BigQuery DataFrames は、2 つの機能に分かれています。 Pandas ライク
Google Cloud 認定資格の新しい更新方法「ACE Renewal Lab Exam」を試してみました
2023/12/13
ブックマーク
ご挨拶 こんにちは、クラウドエース株式会社で SRE をしている谷口です。 今回は Associate Cloud Engineer 資格の認定期間を更新するための新しい試験方式 ACE Renewal Lab Exam を受験出来る機会があったので、実際に受験してみました。 今の時点では正式な合格通知は届いていないものの、無事に試験を終えられましたので、受験までの流れや従来の更新方法との違いについて紹介
DDD入門：用語解説・モデリング編
2023/12/13
ブックマーク
はじめに こんにちは、クラウドエース Backend Division 所属の秋庭です。 私は今年新卒で入社したのですが、入った案件では DDD (ドメイン駆動設計)を元に設計・実装が行われていたため DDD について学ぶ必要がありました。 この記事は、私が何も知らない状態から DDD について学び始めた一歩目のアウトプットであり、同様にこれから一歩を踏み出す方の手助けになるものと
R言語の関数を、BigQuery（SQL）の関数に置き換える
2023/12/12
ブックマーク
はじめに クラウドエースの康です。 今回は R 言語について調べながら BigQuery（SQL）の関数に置き換える理由について説明します。また、それぞれの R 言語の関数と BigQuery SQL の関数を比較し、どのように対応しているかを示します。 これにより、二つの言語間の同様の機能と処理方法が理解できます。 R 言語とは データ分析、統計計算、グラフィック作業のために設計
GKEでEnvoy、OPAなどAP以外のプロダクトもトレース計装したいですよね
2023/12/12
ブックマーク
はじめに こんにちは。クラウドエース株式会社で SRE をしている間瀬です。 この記事は OpenTelemetry Advent Calendar 2023 12日目の記事です。 https://qiita.com/advent-calendar/2023/otel マイクロサービスアーキテクチャ等の普及に伴いシステムのアーキテクチャが複雑になるにつれて、自前のアプリケーションだけで実装するのではなく、幾つかのプロダクトを組み合わせて実現するケー
Cloud Logging に集約したいログと扱い方
2023/12/08
ブックマーク
こんにちは、クラウドエース SRE ディビジョン所属の茜です。 皆さんは、日々の運用においてどのようなログを活用していますか？ 運用の現場では、システムの健全性、セキュリティ、パフォーマンスのモニタリングに不可欠な多種多様なログが生成されます。これらのログを効率的かつ効果的に管理し活用することが、システム運用の成功には欠かせません。 本記事で
Google Cloud 主催の TAP Meetupへ参加してみた！
2023/12/08
ブックマーク
こんにちは！SRE ディビジョンの小林由暁です。 今回は、先日 Google Cloud 主催の TAP Meetup へ参加したため、その時の様子をご紹介します。 会場となった Google 渋谷オフィス 35F のドロイドくん TAP Meetupとは 内容に入る前に、簡単に TAP についてご紹介します。 TAP は、Google Cloud による内製化支援の一種です。具体的には、数日間でアジャイル開発型ワークショップを実施し、
Bigtable: リクエストの優先度を構成する
2023/12/07
ブックマーク
はじめに こんにちは、クラウドエース Data/ML ディビジョン所属の谷口です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、 特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調査
Cloud Storageで管理フォルダを使ったアクセス制御
2023/12/07
ブックマーク
はじめに こんにちは、クラウドエース データ ML ディビジョン所属のヒッキーです。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週 Google Cloud (旧 Google Cloud Pla
BigQuery でカスタム マスキング ルーチンが使えるようになりました
2023/12/06
ブックマーク
こんにちは！クラウドエース株式会社 データ ML ディビジョン所属の福家です。 クラウドエースの データ ML ディビジョンは、クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門としています。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud
Vertex AI Workbench を使ってデータの傾向を統計分析で把握する
2023/12/04
ブックマーク
はじめに こんにちは、クラウドエース データ ML ディビジョン所属の中村です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 本記事では BigQuery および VertexAI Workbench（Python3.10）を使って、データセットの傾向
Dialogflow CX の事前構築済みコンポーネントの紹介
2023/12/04
ブックマーク
概要 Dialogflow CX の事前構築済みコンポーネントに新しいユースケースが追加されました 実際にインポートしてみた 類似機能（ビルド済みエージェント）の紹介 1. はじめに こんにちは、クラウドエース データ ML ディビジョン所属の泉澤です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを
便利な Terraform 関数集
2023/11/30
ブックマーク
クラウドエースの北野です。 Terraform には組込み関数や型制約の関数など多数準備されています。その中でも開発でよく使っている関数を紹介します。 概要 紹介する関数は以下の通りです。 関数名 機能概要 使い方例 種類 format 文字列結合 format("%s-%s", var.name, local.prefix) 組込み distinct 配列の重複排除 distinct(["a", "b", "a", "b"]) 組込み flatten 配列の入れ子構造の平坦化 flatten([[
中学生でもわかる Multimodal Embeddings
2023/11/30
ブックマーク
こんにちは、クラウドエースの佐久間です。2023 年 11 月 15‐16 日にかけて東京ビッグサイトで行われた ｢Google Cloud Next Tokyo '23｣ の基調講演にて、Vertex AI についての紹介がありました。Vertex AI では、アプリケーション構築に使用できる 100 種類以上の機械学習モデルが用意されています。その中の 1 つとして、｢Multimodal Embeddings｣ というモデルが講演の中で取り上げられ
Vertex AI の自然言語モデルを Cloud Spanner のテキストデータに適用してみる
2023/11/30
ブックマーク
こんにちは、クラウドエース データMLディビジョン所属の松山です。 データMLディビジョンでは、Google Cloud が提供しているデータ領域のプロダクトについて、新規リリースをキャッチアップするための調査報告会を毎週実施しています。 新規リリースの中でも、特に重要と考えるリリースを記事としてまとめ、本ページのように公開しています。 1. リリース概要 今回ご