「Google Cloud」に関連する技術ブログ
企業やコミュニティが発信する「Google Cloud」に関連する技術ブログの一覧です。
全1054件中 376 - 390件目
🦜️🔗 LangChainとRAG: Embeddingで外部データを利用する
2023/12/11
ブックマーク
この記事は CyberAgent Developers Advent Calendar 2023 1 ...
データ基盤のTerraformディレクトリ構成
2023/12/11
ブックマーク
こんにちは、今年の4月に新卒で入社したデータエンジニアの中村です。 この記事は Enigmo Advent Calendar 2023 の11日目の記事です。 入社してからは、社内のデータを利用者がより使いやすくなるように、データ基盤の整備・データ連携を進めております。 最近弊社のデータ基盤をTerraformによる管理に移行するタスクに取り組んでいるので、どのような ディレクト リ構成を採
加盟店精算のインボイス対応
2023/12/10
ブックマーク
はじめに こんにちは。メルペイでBackend Engineerをしている Ryu Yamadaです。この記事は、 Merpay Advent Calendar 2023 の10日目の記事です。 2022年4月に新卒で入社してから、メルペイの加盟店管理や加盟店精算を行うサービスの開発に携わっています。 2023年のハイライトは何と言ってもインボイス制度です。この記事を読んでいるみなさんも、経費精算などで大変な思いをしている
データカタログをNotionからdbt docsに切り替えた話
2023/12/10
ブックマーク
これは Luup Advent Calendar 2023 の 10 日目の記事です。 こんにちは。Data Engineeringチームの河野(@matako1124) です！ 去年の今頃にデータカタログにNotionを選択した理由という記事を書いたのですが、それを今年さらに進化させたよというお話をしたいと思います。 結論から言うと、Notionでの管理からdbt docsに切り替えを行い、Cloud RunでHostingするようにしました。 注意 執筆に当た
新卒エンジニアが Airflow のバグを発見してからコントリビュートするまで
2023/12/09
ブックマーク
この記事は、 Merpay Advent Calendar 2023 の9日目の記事です。 こんにちは。今年の春に新卒でメルペイに入社し、Credit Platform Team でバックエンドエンジニアをしている @champon です。Credit Platform Team では主に ML（いわゆるAI与信） を用いた与信枠の算出を行っていますが、その中でも自分はワークフローエンジンである Airflow を用いたデータパイプラインの開発・運用を行ってい
Bigtable: リクエストの優先度を構成する
2023/12/07
ブックマーク
はじめに こんにちは、クラウドエース Data/ML ディビジョン所属の谷口です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、 特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調査
GCEのインスタンスグループにおけるインスタンス自動再起動(再作成)スクリプトの実装例
2023/12/07
ブックマーク
こんにちは、Luup SREチームのにわです。 これは Luup Advent Calendar 2023 の 7 日目の記事です。 最初に GCEのインスタンスグループにおけるインスタンスの自動再作成をするスクリプトをCloud Functionsに実装し、一時期運用していました。こちらについて、注意点や工夫したことについて記載します。 役立つものは以下のとおりです。 気を付けること InstanceGroupManagersClient と Instanc
Cloud Storageで管理フォルダを使ったアクセス制御
2023/12/07
ブックマーク
はじめに こんにちは、クラウドエース データ ML ディビジョン所属のヒッキーです。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週 Google Cloud (旧 Google Cloud Pla
Vertex AI Feature StoreとVertex AI Text-Embeddingを使った活用事例
2023/12/07
ブックマーク
当記事では、BigQuery に統合された Vertex AI Feature Store というベクトルストアと、テキストの意味をベクトル化できる Vertex AI Text-Embeddings API を使った活用事例をご紹介します。 当記事は Google Cloud Champion Innovators Advent Calendar 2023 の7日目の記事です。 Vertex AI Feature Store とは Vertex AI Text-Embeddings API とは 活用例 ①レコメンド ②グラウンディング サンプルアプリ アーキテクチャ
terraformでPRごとにテスト環境を用意する
2023/12/05
ブックマーク
この記事はTimee Advent Calendar 2023シリーズ 2の5日目の記事です。 はじめに DREグループの石井です。 今回はDREグループの管理するデータ基盤に関するインフラのterraformのテスト環境の話をしようと思います。 導入前の課題感 我々のチームではデータ基盤として複数の GCP Projectを管理していますが、その全てをterraformで管理しています。 この時点でGithubActionsによる自動テス
クラウド料金の見積もり方法を解説！
2023/12/05
ブックマーク
G-gen の杉村です。当記事では Google Cloud（旧称 GCP）をベースに、クラウド料金の見積もり方法・試算方法を徹底解説します。 はじめに 3つの性質 1. 従量課金 2. 月次請求 3. 変動する 試算方法 料金ページ 料金試算ツール リセールパートナーを頼る 割引 コミットメント制度 請求代行（リセールパートナー） 見積もり手順の例 手計算 Calculator はじめに 当記事では Google Cloud
Dialogflow CX の事前構築済みコンポーネントの紹介
2023/12/04
ブックマーク
概要 Dialogflow CX の事前構築済みコンポーネントに新しいユースケースが追加されました 実際にインポートしてみた 類似機能（ビルド済みエージェント）の紹介 1. はじめに こんにちは、クラウドエース データ ML ディビジョン所属の泉澤です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを
GCPのリソース階層について
2023/12/04
ブックマーク
はじめに GCPにはリソース階層というものがあります。 私がしょっぱなで躓いたところです。 前提として階層の関係性と役割を理解していないと、GCPまわりのドキュメントが何も理解できませんでした…。 「最低限この理解があれば先の勉強に進むことができた」レベル感でリソース階層についてまとめてみました。 階層構造の全貌 階層構造を図で表すとこのようにな
Google Cloud主要サービスを50文字で解説！
2023/12/04
ブックマーク
はじめに おまけ画像 コンピューティング Computing Engine コンテナ Artifact Registry Cloud Build Cloud Deploy Google Kubernetes Engine データ分析 BigQuery Looker Dataproc Dataflow Pub/Sub データベース Cloud Bigtable Cloud Spanner Cloud SQL Firestore Memorystore サーバレス App Engine Cloud Functions Cloud Run ストレージ Cloud Storage ネットワーキング Cloud Armor Cloud CDN Cloud DNS Cloud Next Generation Firewall (Cloud NGFW) Cloud Load Balancing VP
【学習メモ】GCPのIAMについて調べてみた
2023/12/03
ブックマーク
はじめに GCPのIAMは、AWSのIAMとはまた別の概念を持っています。 そろそろこんがらがってきたので、GCPのIAMについて思考整理のためにまとめてみました。 IAMについて Cloud IAMとは アクセスの①主体②アクション ③対象リソースを指定することができます。 ⓵ 主体：ユーザ・グループ・アプリ ⓶アクション：特定の権限・操作 ⓷対象リソース：Google Cloudサービス 例えば、