「Google Cloud」に関連する技術ブログ
企業やコミュニティが発信する「Google Cloud」に関連する技術ブログの一覧です。
全1358件中 811 - 825件目
Cloud ComposerとSecret ManagerでAirflowをセキュアにSlack連携する
2023/06/29
ブックマーク
この記事は、 Merpay Tech Openness Month 2023 の18日目の記事です。 はじめに メルペイでBackend Engineerをしている @champon です。 普段はApache Airflow（以下、Airflowと呼ぶ）を用いた与信枠計算パイプラインの運用をしています。 この記事では、Cloud Composer（以下、Composerと呼ぶ）を用いたAirflowからSlack通知を行う実装例について紹介します。 AirflowにおけるSlack連携 メルペイの与信枠計
CircleCI で機械学習モデル開発の 7 大課題を解決する
2023/06/29
ブックマーク
Cloud Run jobsでFTPサーバからCloud Storageにファイル転送してみた
2023/06/29
ブックマーク
G-gen 又吉です。今回は Cloud Run jobs を用いて、FTP サーバから Cloud Storage にファイル転送する仕組みを作成していきます。 概要 事前準備 開発環境の準備 ディレクトリ構成 Dockerfile main.py requirements.txt 使用するリソースの作成 FTP サーバの初期設定 動作確認 Cloud Run jobs の実行 リソースの削除 本番運用に向けての考慮事項 接続方式 IP アドレス プロトコル サービスアカウント
GCPのIAMを整理し始めています(後編: Just-In-Time Accessを実現する)
2023/06/28
ブックマーク
前回のまとめ jit-accessとは terraformでjit-accessを構築する 1. jit-accessアプリケーション用のサービスアカウントを作成 2. ネットワークリソースの作成 3. cloudrunの作成 4. モジュールの適用 5. IAM Conditionの追加 まとめ 前回のまとめ みなさんこんにちは。ProductTeam SREのkterui9019です。 前回の記事では、無秩序に作られていたIAMの設定を見直し、Googleグループの作成と組織体系に沿
Terraformで「SERVICE_DISABLED」エラーが出た時の対処法
2023/06/28
ブックマーク
G-gen の藤岡です。当記事では、Google Cloud (旧称 GCP) のリソースを Terraform で作成する際に生じる "reason": "SERVICE_DISABLED" エラーへの対処として Terraform の time_sleep を紹介します。 前提知識 エラー文 原因 対処法 前提知識 Google Cloud は Google Cloud APIs と呼ばれる Web API 群から成り立っています。そのため、Google Cloud ではサービス利用時に対象の API を有効化する必要があります。
閉域網で利用するためのTerraform Enterprise構築について
2023/06/27
ブックマーク
当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 みずほリサーチ＆テクノロジーズ株式会社の浅香です。 今回は Google Cloud 上に Terraform Enterprise を実際に構築する機会を頂いたので、その構築内容/手順をご紹介させていただきます。 当ブログは G-gen × みずほRT によるコラボ記事です はじめに 構築環境 前提 air
ログバケット作成時に「リクエストしたエンティティは見つかりませんでした」
2023/06/26
ブックマーク
G-gen の杉村です。Cloud Logging のログバケットを作成する際に リクエストしたエンティティは見つかりませんでした というメッセージが出力されました。原因と対処法を紹介します。 はじめに・前提知識 事象 原因調査 調査 判明した原因 対処法 はじめに・前提知識 Cloud Logging の ログバケット はログを保管することに特化した Cloud Logging 独自のストレージです。「Cloud Stor
GCPのIAMを整理し始めています(前編: Googleグループ・IAM設計)
2023/06/23
ブックマーク
導入 なぜやるのか 起きたこと 個人からGoogleグループへ IAMの設計 まとめ 導入 みなさんこんにちは。ProductTeam SREのkterui9019です。 今回は、私たちがGoogle CloudのIAM権限を整理し始めていることについてお伝えします。 チームメンバーの入れ替わりやメンバーの入社・退職で発生する権限管理の課題に対する取り組みについて前後編に分けてお伝えします。 前編である今回は
IPアドレス制限のあるAmazon S3バケットからCloud Storageへデータを転送する
2023/06/23
ブックマーク
はじめに こんにちは、クラウドエースのデータ ML ディビジョン所属の児島です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンになります。 データML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリース
CCoE活動とGoogle Cloudセキュリティプリセット環境の提供
2023/06/22
ブックマーク
こんにちは、KINTOテクノロジーズ プラットフォームグループ CCoE（Cloud Center of Excellence）チームの多田です。 CCoEチームは、「クラウドサービスを利用したシステム開発の積極的な推進とガバナンスによる統制を通じて、モビリティプロダクトの開発を、よりアジャイルかつセキュアにする」ことをミッションに活動しています。 KINTOテクノロジーズにおけるCCoE CCoEの活動
Cloud Composer (メジャーバージョン2)を徹底解説！
2023/06/21
ブックマーク
G-gen の堂原です。マネージドな Apache Airflow 環境を提供する Cloud Composer について、Cloud Composer 2 を中心に解説します。 はじめに Airflow とは 概要 特徴 様々なサービス・ツールと連携可能 定期実行されるバッチ方式のワークフローに特化 可視性 Cloud Composer とは 概要 メリット 苦手な点 バージョン 概要 メジャーバージョン ライフサイクル アップグレード コンポーネント
Cloud Monitoring指標スコープでVPCピアリンググループ単位の割り当て消費をモニタリングする
2023/06/20
ブックマーク
当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 みずほリサーチ&テクノロジーズ株式会社の舘山と申します。 当記事では Cloud Monitoring 指標スコープ を活用して複数プロジェクトを横断してリソースの消費状況をモニタリングする事例を紹介します。 当ブログは G-gen × みずほRT によるコラボ記事です はじ
Vertex AIを活用したMLOps基盤の作成
2023/06/19
ブックマーク
みなさんどうもこんにちは、AI事業本部の「極予測TD」というプロダクトで2023年2月から2ヶ月間、 ...
Cloud Next Generation Firewall(Cloud NGFW)を徹底解説！
2023/06/19
ブックマーク
G-gen の杉村です。当記事では Google Cloud（旧称 GCP）の Virtual Private Cloud（VPC）においてアクセス制御のために利用する Cloud Next Generation Firewall （Cloud NGFW）について徹底解説します。 概要 Cloud NGFW とは 3つの料金ティアと2つの設定スコープ 料金 料金ティア 階層型ファイアウォールポリシー VPC ファイアウォールルール VPC ファイアウォールルールとは ルールの仕様 ルールテ
PythonのRDBマイグレーションツール「Alembic」をGCPのCloudRun主体の構成で運用してみる
2023/06/15
ブックマーク
こんにちは。 エンジニアの nobushi です。 今回は Python のマイグレーションツール Alembic を実際に運用してみたいと思います。 以前の ブログ で Alembic を紹介しましたが実際にどう運用するかについてまでは触れませんでした。 今回は GCP の CloudRun を主体としたシステムでの運用方法について紹介したいと思います。 CloudRun CloudRun は GCP のサーバーレスなコンテナ実行環境