「Google Cloud」に関連する技術ブログ
企業やコミュニティが発信する「Google Cloud」に関連する技術ブログの一覧です。
全1051件中 16 - 30件目
Associate Data Practitioner試験対策マニュアル
2024/11/12
ブックマーク
G-genの杉村です。Google Cloud（旧称 GCP）の認定資格である Associate Data Practitioner 資格の試験対策に有用な情報を記載します。 基本的な情報 Associate Data Practitioner とは 難易度 出題傾向 試験対策 ETL と ELT ETL と ELT の基本 オープンソースツールとフルマネージドサービス Cloud Data Fusion イベントドリブンアーキテクチャ データベースの選択 BigQuery BigQuery の基本 ELT と ETL 半構造化
グローバル展開を見据えたサービスにおける機械翻訳プラクティス [CADC2024]
2024/11/12
ブックマーク
本記事は、10月29日〜30日にかけて開催した「CyberAgent Developer Confe ...
【GCP】Cloud Pub/SubをトリガーにしたDataFusionリアルタイムパイプラインを作成する
2024/11/11
ブックマーク
GCPのCloud Data Fusionはデータパイプラインを作成、管理できるサービスです。Data FusionとCloud Pub/Subを組み合わせることで、日々発生するデータをリアルタイムにDWHへ格納することができます。 今回はデータをリアルタイムにDWHへ連携するパイプラインを、Cloud Data Fusion上に構築してみたいと思います。 作成方法と作成時のポイントを記載します。 使用するサービスの概要 Clo
Cloud Load Balancingのアクセスログとクエリのサンプル
2024/11/11
ブックマーク
G-gen の杉村です。2024年10月現在で利用可能な12種類の Cloud Load Balancing のアクセスログは、それぞれフォーマットが異なります。アクセスログをクエリするための Cloud Logging クエリと、アクセスログのサンプルを掲載します。 はじめに アクセスログのフィルタリング フィールドに入る値の違い 公式ドキュメントの記述 Cloud Logging 用クエリ アクセスログのサンプル Global exte
Cloud Tasks キューで遅延プッシュ通知を実装した話
2024/11/09
ブックマーク
こちらの記事は、LUUPのTVCM放映に合わせた一足早い「Luup Developers Advent Calendar 2024」の9日目の記事です。 はじめに こんにちは。Luup Serverチーム所属の井上です。 突然ですが問いを発します。 Q. サーバー(GCP上)からiOS/Androidアプリへ送るプッシュ通知を、ユーザーの行動から一定時間遅延させるには…？ A. Cloud Tasks キュー でscheduleDelaySeconds を指定するとキューイングを遅延
Vision-Language Modelを活用した「見た目が近い商品」レコメンド改善の取り組み
2024/11/08
ブックマーク
こんにちは、メルカリのAI/LLMチームで機械学習エンジニアをしている arr0w と sho です！ 本テックブログでは、Vision-Language Modelの一つである SigLIP [1]を、メルカリの商品データ（Image-Text Pairs）でファインチューニングし、メルカリの商品画像Embeddingの性能を大幅に改善したプロジェクトについて紹介します。 今回作成したSigLIPの性能を評価するために、 商品詳細ページの
Google Cloud Storage の階層型名前空間(フォルダ)が一般提供されました
2024/11/08
ブックマーク
こんにちは、クラウドエース株式会社 第一開発部の阿部です。 これまでは SRE 部に所属していましたが、当社の組織改編により所属部署が変わりました。今後ともよろしくお願いします。 さて、本記事では 2024 年 10 月 15 日に一般提供された Google Cloud Storage の階層型名前空間(フォルダ)について紹介します。 概要 Google Cloud Storage (以降、GCS) とは、 Google Cloud のオブジェク
Professional Cloud Security Engineer 試験 完全攻略ガイド2025
2024/11/08
ブックマーク
2024 年 11 月 更新 こんにちは、クラウドエース所属、Partner Top Engineer で\textcolor{red}{赤髪}がトレードマークの Shanks です。 2年前に Professional Cloud Security Engineer を取得した際の学習ポイントをまとめた記事として本記事は公開されました。 ありがたいことに社内外から数多くの参考情報としてご紹介いただき人気（？）記事となりました。 2024/11 に再受験をして無事に更新す
Access Context ManagerでGoogle CloudコンソールとAPIへのアクセスを制限する
2024/11/08
ブックマーク
G-gen の武井です。当記事では、Access Context Manager を使い、Google Cloud コンソール と API へのアクセスを制限する方法について解説します。 はじめに 概要 実現できること アクセスレベル アーキテクチャ 概要 アクセス制限の対象ユーザー 組織外ユーザーに対するアクセス制限 実際にやってみた (デモ) 説明 Admin コンソールでの設定 Cloud コンソールでの設定 動作確認 シリア
BigQuery Transfer Service を用いたデータ連携 〜 リージョン × 暗号化方式における可否 〜
2024/11/06
ブックマーク
こんにちは、クラウドエース第四開発部に所属している笠原です。 今回は BigQuery (以下、 BQ) のデータ連携について、案件で直面した課題に対し、調査の結果得た示唆を記載したいと思います。 リージョン間をまたぐデータセットの同期を取ろうとした時に、送信元と受信元のデータセットのリージョンと暗号化方式において、BigQuery Data Transfer Service (以下、BQ Transfer) が
FourKeys風の指標で開発生産性が4.5倍になった話
2024/11/06
ブックマーク
こんにちは、FANTECH本部の山下(@takecy)です。 エンジニアリング活動の計測や可視化、難 ...
Google CloudのIAMで最小権限の原則を実現する方法
2024/11/05
ブックマーク
G-gen の杉村です。当記事では、Google Cloud の IAM（Identity and Access Management）で最小権限の原則を実現するための手段をご紹介します。 IAM と最小権限の原則 過剰な権限を予防する IAM の仕組みを正確に理解する IAM 権限を操作できる人を限定する 一時的な特権の管理 すでに付与された権限を整理する IAM Recommender Policy Analyzer Cloud Assets Inventory IAM と最小権限の原則 IAM （Identity a
新BIツール「Superset」を導入した話
2024/11/04
ブックマーク
こんにちは。Data Engineeringチームの河野(@matako1124) です！ 今年のData Engineering業務としてデータマネジメントからデータ活用促進の仕組み化まで幅広く活動してきましたが、その中でも特に事業にインパクトの大きい変革のお話をしていこうと思います。 結論から言うと、Supersetの新規導入とRedashからの乗り換えを試みています。 注意 執筆に当たり細心の注意を払っており
GCP API Gatewayでpushサブスクリプションを認証するためのOpenAPI v2設定ガイド
2024/11/03
ブックマーク
はじめに IoTチームの高原です。 GCP上で今回やりたいことは下図です。 Pub/SubのpushサブスクリプションでAPI GatewayにメッセージをHTTPで送信します。 このときpush認証を有効にして、API GatewayでJWT認証をさせます。 API GatewayはOpenAPI v2のドキュメントで設定するため、その手順をご紹介します。 ハマりポイント 最初はAPI Gatewayのサービス間認証を読みながら設定しました。 す
Firebase Emulatorで実現するローカル検証環境の構築とLuupでの応用
2024/11/02
ブックマーク
はじめに Software Development部 サーバーチームのt-kurimuraです。こちらの記事は、LuupのCM放映に合わせた「少し早いAdvent Calendar」の2日目の記事です。 Luupのソフトウェア開発では、FirebaseをBaaSとして利用しています。そのメリットの1つとして、Firebase Emulatorの充実した機能が挙げられます。今回は、Firebase Emulatorの概要と、Luupでの具体的な活用方法についてご紹介します。 Fireb