こんにちは。Data Engineeringチームの河野(@matako1124) です！ 今年のData Engineering業務としてデータマネジメントからデータ活用促進の仕組み化まで幅広く活動してきましたが、その中でも特に事業にインパクトの大きい変革のお話をしていこうと思います。 結論から言うと、Supersetの新規導入とRedashからの乗り換えを試みています。 注意 執筆に当たり細心の注意を払っておりますが、不十分な説明や誤りがある可能性もございます。 記事内で紹介しているコードは部分的なも

はじめに IoTチームの高原です。 GCP上で今回やりたいことは下図です。 Pub/SubのpushサブスクリプションでAPI GatewayにメッセージをHTTPで送信します。 このときpush認証を有効にして、API GatewayでJWT認証をさせます。 API GatewayはOpenAPI v2のドキュメントで設定するため、その手順をご紹介します。 ハマりポイント 最初はAPI Gatewayのサービス間認証を読みながら設定しました。 するとOpenAPI v2には下記を記述するよう書かれていま

はじめに Software Development部 サーバーチームのt-kurimuraです。こちらの記事は、LuupのCM放映に合わせた「少し早いAdvent Calendar」の2日目の記事です。 Luupのソフトウェア開発では、FirebaseをBaaSとして利用しています。そのメリットの1つとして、Firebase Emulatorの充実した機能が挙げられます。今回は、Firebase Emulatorの概要と、Luupでの具体的な活用方法についてご紹介します。 Firebase Local E

こんにちは、クラウドエース第三開発部の丸山です。 本記事では、Google Cloud で提供されている Dataplex の機能の一部である 「データリネージ」機能をご紹介します。 データリネージとは データリネージ (Data Lineage) とは、システム内のデータの移動を追跡するプロセスのことを指します。 データの送信元、データの送信先、データに適用される変換など、データのライフサイクル全体を可視化することで、データの信頼性向上やエラー分析を支援します。 「リネージ」は、日本語では「血統」「家柄

はじめに こんにちは！Software Development（SwD）部の @tsuboyan / Niwa です。 Luup では、本日11月1日から同社初となるTVCMの放映が開始されました！🎉 (TVCMについてはこちら) これに合わせて、私たち SwD 部では、毎年恒例になっているアドベントカレンダーをひと足早く、11月より開始いたします！！(それはアドベントカレンダーなのか？！と言うツッコミは置いておかせてください😇) Luup のエンジニアは、増え続けるライド需要に対応しつつ、さらに安全で使

G-gen の杉村です。2024年10月のイチオシ Google Cloud アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに Gemini で Dynamic retrieval が GA BigQuery コンソールで Airflow の DAG が管理できるように Google Forms で新しい質問タイプ「Rating」が使えるように BigQuery の SQL で Pipe syntax（パイプ構文）が Preview 公開 Gemini

G-gen の佐々木です。当記事では、Google Cloud の仮想マシンサービスである Compute Engine （Google Compute Engine: GCE）に PostgreSQL サーバを構築していきます。 当記事の目的 Compute Engine インスタンスの作成 作業の概要 シェル変数の設定 VPC・サブネットの作成 VPC の作成 サブネットの作成 インスタンスの作成 ファイアウォールルールの設定 インスタンスに SSH 接続 コンソールからインスタンスに接続（GUI の

Google Workspace のプランを比較  

Google Workspace 代理店とは？ まずは Google Workspace の代理店について紹介していきます。

こんにちは、ひるたんぬです。 10月も中頃を過ぎ、（個人的には）過ごしやすい季節となってきました。もう秋…ですかね？ ところで、、なぜ「〇〇の秋」という言葉だけ数多く存在するのでしょうか？ 「〇〇の春」「〇〇の夏」「〇〇の冬」…なくはないですが、圧倒的に秋に関する用語が多いように感じます。 これについて明確な文献は見つけられなかったのですが、例えば「スポーツの秋」は1964年の東京五輪、「読書の秋」は中国の漢詩に由来するもの、「食欲の秋」は食べ物の旬の多くが秋にあるという説があるそうです。 さて、今回は技

G-gen の三浦です。当記事では、Secure Web Proxy を使って、Virtual Private Cloud （以下、VPC）上の Compute Engine VM からインターネットへ接続する際の Web アクセス制御の方法を紹介します。 Secure Web Proxy とは 検証内容の概要 構成図 検証の流れ SWP の初期構築 プロキシ専用サブネットの作成 SSL/TLS 証明書の作成 SWP のポリシーの設定 SWP インスタンスの設定 Web アクセスと Windows Upd

G-gen の杉村です。Google Cloud（旧称 GCP）の認定資格である Associate Google Workspace Administrator 資格の試験対策に有用な情報を記載します。 基本的な情報 Associate Google Workspace Administrator とは 難易度 出題傾向 試験対策 ユーザーアカウント ID 連携 アーカイブユーザーライセンス Google グループ Google グループと設定グループ 動的グループ 共同トレイ ビジネス向け Googl

はじめに こんにちは。クラウドエース株式会社の第三開発部に所属している小林真理子です。 元々オンプレミス環境サーバの設計・構築などの業務に携わってきましたが、クラウドエースに入社して、初めて Google Cloud に触れました。 そこでオンプレミス環境と Google Cloud とで感じたギャップなどを紹介できたら良いと思っています。 早速ですが皆さんはオンプレミス環境のサーバにログインする際、ユーザーをどのように管理していますか？ サーバごとにユーザーを作る、ID 管理システムを使う、もしくは W

こんにちは。 クラウドエース株式会社 第一開発部の髙木です。 私が入社してから半年が経ちました。オンボーディングで様々な Google Cloud のサービスに触り、苦労しながら知識を吸収してきました。 オンボーディング課題をこなしていく中で、仕様に悩まされた機能の 1 つである BigQuery のパーティショニングについて執筆します。 はじめに BigQuery のパーティションは、特定の順序データに基づいてテーブルを（内部的に）分割する機能です。現在、パーティションとして指定できる順序データは日時か

以前、GKE や Cloud Run で GPU を使う記事を書きました。 Cloud Run の記事では、実際には Vertex AI の Custom Jobs が良さそうということも書いています。 GPU を手軽に使うとき、他にもよいものがあるのか? をすこし見てみると、Batch もあることを思い出しました。あまり使ったことがなく、さらに GPU を使うとなると使い勝手はどうなのか? と気になったので、今回は実際に試してみたいと思います。 Batch にかかる費用 まずはいつもの重要なポイント、費