G-gen の杉村です。 Python のライブラリである pandas (パンダス) は、データ分析に用いられるツールとして有名です。 当記事では BigQuery から取得したデータを pandas で操作する方法をご紹介します。ごく基本的な内容ですが、コーディング時のメモとして、また Python による BigQuery データを扱う際の練習等にご利用ください。 基本編では簡単なテストデータを使いながら、 SQL での SELECT や 集計関数 + GROUP BY に相当する操作を確認します。

Cloud Digital Leader 試験は Google Cloud（旧称 GCP）の認定資格の中でも最も基礎的な内容を扱う試験です。試験対策や出題傾向について解説します。 基本的な情報 Cloud Digital Leader とは Cloud Digital Leader の難易度 体験記 試験対策方法 1. IT 基礎知識の習得 2. 公式の試験ガイドで試験範囲を把握する 3. Google Cloud の関連書籍を読む 4. 公式の模擬試験を受験で感覚を掴む 5. 模試試験で得たギャップを再

G-genの佐々木です。当記事では Google Cloud の Cloud Run functions （旧 Cloud Functions）について解説します。 Cloud Run functions の基本 Cloud Run functions とは 最長実行時間 リブランディング サーバーレス サポートされている言語 ユースケース 関数の種類 2種類の関数 HTTP トリガー イベントトリガー ロギング Cloud SDK の利用 Cloud SDK のユースケース Cloud SDK の認証

プロダクトマネージャーの鈴木 @kecholです。前回のアプリの紹介記事に続き、今回は「Assured」のインフラ基盤をご紹介したいと思います。 「Assured」のインフラ構成 インフラ基盤は大まかに分けて以下のような構成になっています。今回は以下について簡単にご紹介したいと思います。 IaaS: Google Cloud Platform (GCP) アプリケーション(コンテナ)基盤: Google Kubernetes Engine (GKE) インフラ構成管理: Terraform モニタリング:

こんにちは！エンジニアの内山です。 今回は「Assured」のアプリ側(フロント/バックエンド)の技術スタックについてご紹介していきたいと思います。 なお、今回は技術についての説明(ex. Scalaとは？)や、選定理由については触れません。選定理由については以下の記事で触れていたり、今後書いていくものもありますので合わせて見ていただけるとうれしいです。 新規事業における逆説的な技術選定とモノづくり - Assured Tech Blog ScalaMatsuri 2022 で登壇しました - Assur

はじめに 　はじめまして、 ラク スでインフラを担当しているftkenjです。 前回は 「DNSエラーってなに？」その原因と解決方法 を書かせていただきましたが、 今回は「自動化」、その中でもインフラエンジニアの視点に立って紹介させていただこうと思います。 はじめに 自動化とは？ インフラで自動化といえば・・・ 主な使用例 自動化ツールの簡単な紹介 おわりに 参考文献 自動化とは？ 　人間による作業を削減できるテク ノロ ジー を使ってタスクを実行すること。 ただし、一口に「自動化」といっても様々なものが

はじめまして。6月にG-genにジョインした佐々木です。 私はこれまでにAWSのEC2やGoogle CloudのCompute Engineなど、クラウドの仮想マシンサービスに触れる機会が多くありました。 今回はその仮想マシンサービスに関する、まれに起こるからこそ困ってしまう事象について書こうと思います。 当ブログではGoogle CloudのCompute Engineを題材としますが、AWSのEC2やAzureのAzure VMでも同様の事象が起こり得ます。 原因や対処法についても大きく変わることは

G-gen の大津です。今回は Google Cloud (旧称 GCP) の BigQuery Data Transfer Service を使って、東京リージョンの Amazon S3 にあるデータを BigQuery に取り込む方法をご紹介します。 はじめに BigQuery Data Transfer Service とは 料金 注意点 Storage Transfer Serviceとの違い 設定手順 AWSでの操作 S3バケットの作成 IAMユーザーの作成 Google Cloudでの操作 B

はじめに こんにちは。検索基盤部の倉澤です。 私たちは、ZOZOTOWNの検索機能の改善に取り組んでいます。ZOZOTOWNのおすすめ順検索ではランキング学習を用いた検索機能の改善に取り組んでおり、A/Bテストにて効果を測定しています。 ランキング学習やElasticsearch Learning to Rankプラグインについては過去の記事で紹介していますので、併せてご覧ください。 techblog.zozo.com techblog.zozo.com 私たちは、機械学習モデルの開発からデプロイまでの一

G-gen の杉村です。 Google Cloud (旧称 GCP) の認定資格の一つである Professional Cloud DevOps Engineer 試験の対策や出題傾向について解説します。合格の助けになれば幸いです。 Professional Cloud DevOps Engineer 基本的な情報 Professional Cloud DevOps Engineer とは Professional Cloud DevOps Engineer の難易度 試験対策方法 試験対策の流れ 「SR

こんにちは、SaaS SREチームの八代です。 私たちのチームで開発しているSPEEDAというSaaSプロダクトは、オンプレミスとGCPで構成されたハイブリッドクラウド環境上に構築されており、私たちはGoogle Anthosや、Direct Connectなどのサービスを利用し、ハイブリッドクラウド環境での運用を改善する取り組みを続けてきています。 そんな中で、2021年末ごろ、 Hybrid NEGという新しい技術が発表され、GCLBがオンプレミス環境あるいは他のパブリッククラウドに拡張することができ

はじめに こんにちは。MA部MA施策・運用改善チームの辻岡です。MA部では、ZOZOTOWNのメルマガ・アプリPUSH通知などの配信・分析等の用途で約数十TBのデータを運用しています。今回は長年MAのデータ基盤として利用してきたオンプレDWHをBigQueryに移行したおはなしをします。 この記事はこんな方におすすめ オンプレDWHからBigQuery移行を検討・実施してる方 ジョブ・スケジューラ、ETLツールの移行を検討・実施してる方 概要 オンプレDWHからBigQuery移行する前後の構成イメージを

はじめまして！５月にG-genにジョインした片岩です。 まだGoogle Cloud(旧称GCP)をあまり触ったことがない方も多いと思います。Compute EngineとCloud SQLを利用したWebアプリを動かしてみたので、今回はその手順についてご紹介します。WebアプリにはMattermostというチャットアプリを利用しました。 Compute Engine および Cloud SQL とは 構成イメージ 全体の流れ 重要なポイント 構築手順 Cloud SQL Compute Engine 動

こんにちは、G-gen の武井です。当記事では、Google Cloud（旧称 GCP）の割り当て（Quota）を上限緩和する方法をご紹介します。 割り当て（quota）とは 割り当ての引き上げリクエスト 注意点 権限（IAM ロール） プロジェクトの支払いステータス カスタマーケア契約は不要 割り当て（quota）とは Google Cloud（旧称 GCP）の VPC や Compute Engine など各種サービスでは、 使用できるリソースの割り当て量 に上限が設けられています。これらは、サービス

こんにちは、G-gen の武井です。今回は Google Cloud (旧称 GCP) の Cloud Functions ローカル実行環境 (Functions Framework) で、 Pub/Sub トリガのイベント関数を検証する方法 について紹介したいと思います。 検証イメージ Pub/Sub エミュレータのセットアップ 1. Pub/Sub エミュレータのインストール 2. gcloud コンポーネントのアップグレード 3. Pub/Sub エミュレータの起動 4. Pub/Sub エミュレー