G-gen の杉村です。Google Cloud（旧称 GCP）で、サービスアカウントから認証キーを作成しようとした際に サービス アカウント キーの作成が無効になっています 組織ポリシーの制約「iam.disableServiceAccountKeyCreation」が組織に適用されています。 と表示されてキーが作成できない場合の、対処法を紹介します。 事象とメッセージ 原因 対処する前に 対処方法 対処手順 IAM 権限の確認 組織、フォルダまたはプロジェクトを選択 組織のポリシー画面へ遷移 制約の編

※この記事は、Luup Developers Advent Calendar 2024の20日目の記事です。 こんにちは。IoTチームのYuxiです。 今日は Google Cloud Run Jobs を使って、反復的な定型作業をどう効率化したのかをお話しします。開発者として、「面倒な作業をいかに楽にするか」に情熱を燃やす日々ですが、今回もその一環です。 背景と課題 IoTチームでは、以下のような「やりたくないけど必要」な定型作業があります。 1. SORACOM通信量の手動集計 毎月、SORACOM

こんにちは。クラウドエース第一開発部の竹内です。 本記事では2024年10月30日にプレビュー版がリリースされた Eventarc Advanced について紹介します。 Eventarc Advanced を使用すると、さまざまなサービス、アプリ、システム間でメッセージを受信、フィルタリング、変換、ルーティング、配信できます。 はじめに: Eventarc とは Eventarc はソースからターゲットへイベントを非同期にルーティングする、スケーラブルなフルマネージドサービスで、イベント駆動型アーキテク

みなさんこんにちは！ ワンキャリアでデータエンジニアをしている中村 (GitHub: lugen4ro )です。 入社して３ヶ月が経ちましたので、振り返りを行いたいと思います！ 自己紹介

現代のクラウド中心のビジネス環境では、データが複数のクラウドやオンプレミスのシステムに分散していることが多くあります。この断片化は、お客様が機械学習 (ML) イニシアチブとして、データを統合し、分析する作業を複雑にしています。 本稿では、さまざまなクラウド環境の中でも Google Cloud Platform (GCP) BigQueryに焦点を当て、データソースを移動することなく、データを直接抽出するアプローチをご紹介します。これにより、クラウド環境間でデータ移動の際に発生する複雑さとオーバーヘッド

はじめに こんにちは、FAANS部バックエンドブロックでFAANSのバックエンドシステムの開発と運用をしている 田島 です。 2021年11月にZOZOTOWNとアパレルのブランド実店舗をつなぐOMOプラットフォーム「ZOZOMO」が始動しました。FAANSは、ZOZOMOで展開するサービスの1つで、ブランド実店舗で働くショップスタッフ専用の販売サポートツールです。FAANSは2022年8月の正式版リリース以来、これまで様々な機能をリリースしてきました。以下はその一部です。 投稿機能 ： ショップスタッフ

Google Cloud の組織ポリシー機能で、プロジェクトにタグを適用することで例外設定を行う方法を検証しました。 はじめに 当記事について 前提知識 検証 タグキーと値の作成 フォルダとプロジェクトの作成 ポリシーの適用 補足情報 条件の指定について Terraform はじめに 当記事について Google Cloud（旧称 GCP）では 組織のポリシー を使って、組織内のプロジェクトに一律でセキュリティや統制強化のための設定を適用できます。このとき、特定のプロジェクトにのみ 例外 を設けたい場合も

はじめに はじめまして。株式会社ビットキー Cross Incubator チームの酒井です。 Cross Incubator チームは開発チームを横断して SRE・Backend・Frontend の垣根なく拾いきれなかった課題を解決するために組織され、高度な雑用係(！)として日々タスクをこなしています。 その中で Azure Functions 環境を一から構築する機会があり、得られた知見を共有します。 Terraform に関連する記事が少なく構築時の情報を集めるのに苦労したので、本記事では Ter

はじめに こんにちは、クラウドエース第一開発部所属の上原です。 本記事では、駆け出しデータエンジニアである私が、会社からの課題である データ分析基盤構築課題 (以下、基盤構築課題) に取り組む中で感じたり実践したりした おすすめの学習方法と、実際の課題への取り組みについて紹介していきます。 この記事の目的は、新規領域全般に触れる際のおすすめの学習方法を共有することです。 ただし、記事の全体として、筆者にとっての新規領域であるデータエンジニアリング (基盤構築課題) をベースとした内容になっています。 !

はじめに こんにちは、クラウドエース第一開発部に所属している荒木です。 最近の動向として、コスト削減やベンダーロックインの回避を理由に、Oracle データベースからオープンソースのデータベースへ移行するケースが増えています。また、オンプレミス環境で稼働しているデータベースをクラウド環境のマネージドサービスへ移行して、スケーラビリティ、高可用性、障害復旧、管理工数削減などのメリットを享受しようとする流れも活発化しています。 今回は、Database Migration Service（以下 DMS）を使用

G-gen の杉村です。Pub/Sub の Cloud Storage インポートトピック （Cloud Storage import topic）を使うと、事前に指定した Cloud Storage バケットに Put されたテキストオブジェクトを、ノーコードで Pub/Sub トピックにパブリッシュし、簡単に Pub/Sub サブスクリプションに配信できます。 前提知識 Cloud Storage インポートトピックとは 設定値 検証の概要 環境構築 サービスエージェントへ IAM 権限の付与（パブリ

 

こんにちは、データサイエンティストの髙橋です。業務では企画/分析/ 機械学習 モデル作成/プロダクション向けの実装/効果検証を一貫して行っています。 この記事では類似画像検索システムを内製化したことで、既に社内で利用していた他社製のものと比較して精度を維持しながらコスト削減が実現できたことについて紹介します。 なお、類似画像検索システムの 機械学習 部分と システム開発 部分（ GCP を利用した処理の高速化）との2つに分けて紹介します。今回は前者の 機械学習 部分についての記事となります（後者の システ

G-gen の佐々木です。当記事では、GitHub Actions で GKE クラスタにリソースをデプロイする際に、 DNS エンドポイント を使用する方法を解説します。 DNS エンドポイントとは GitHub Actions を使用した GKE へのデプロイ 従来の方法 DNS エンドポイントを使用する方法（当記事で解説） DNS エンドポイントを使用する GKE クラスタの作成 シェル変数の設定 ネットワークリソースの作成 GKE クラスタの作成 Direct Workload Identity

Google Cloud コンソールから直接マテリアライズドビューのレプリカを作成する はじめに こんにちは、クラウドエース第一開発部の谷です。 本記事では、2024年9月30日にリリースされた、「Google Cloud コンソールから直接マテリアライズドビューのレプリカを作成する方法」についてご紹介します。 また、同時にマテリアライズドビューのレプリカを作成するまでを検証します。 検証では以前から可能だった SQL を使用する方法と、今回のリリースで可能になったコンソールからの方法の両方を実施して比較