株式会社G-gen の技術ブログ
全392件
GoogleのBIツール、LookerとLooker Studioを比較してみた
2022/06/21
ブックマーク
こんにちは、G-genの開原です。当記事では Google Cloud が提供する Looker と Looker Studio (旧称データポータル) という2つのデータ可視化サービスの特徴についてご紹介した上で、選定のポイントを解説します。 Looker とは？ Looker Studio とは？ データ分析における課題 Looker の特徴 データのアップロード不要 LookML によるデータの一元管理 豊富な業務連携 Looker Studio の特徴 無料で
pandasでBigQueryのデータを操作する方法 (基本編)
2022/06/20
ブックマーク
G-gen の杉村です。 Python のライブラリである pandas (パンダス) は、データ分析に用いられるツールとして有名です。 当記事では BigQuery から取得したデータを pandas で操作する方法をご紹介します。ごく基本的な内容ですが、コーディング時のメモとして、また Python による BigQuery データを扱う際の練習等にご利用ください。 基本編では簡単なテストデータを使いながら、 S
Cloud Digital Leader試験対策マニュアル（出題傾向・勉強方法）
2022/06/17
ブックマーク
Cloud Digital Leader 試験は Google Cloud（旧称 GCP）の認定資格の中でも最も基礎的な内容を扱う試験です。試験対策や出題傾向について解説します。 基本的な情報 Cloud Digital Leader とは Cloud Digital Leader の難易度 体験記 試験対策方法 1. IT 基礎知識の習得 2. 公式の試験ガイドで試験範囲を把握する 3. Google Cloud の関連書籍を読む 4. 公式の模擬試験を受験で感覚を掴む 5. 模試試験で
Cloud Functionsを徹底解説！
2022/06/16
ブックマーク
G-genの佐々木です。当記事では Google Cloud の Cloud Functions について解説します。 当記事はCloud Functionsの基本的な仕様に絞った基本編となっております。実際のサービス利用手順というよりは、まずはサービスの概要を掴んでいただければと思います。 Cloud Functions の基本 Cloud Functions とは サーバーレス サポートされている言語 ユースケース 関数の種類 2種類の関数 HTTPトリ
ゾーンのキャパシティ不足でCompute Engineインスタンスが起動できないときの対処法 (ZONE_RESOURCE_POOL_EXHAUSTED)
2022/06/10
ブックマーク
はじめまして。6月にG-genにジョインした佐々木です。 私はこれまでにAWSのEC2やGoogle CloudのCompute Engineなど、クラウドの仮想マシンサービスに触れる機会が多くありました。 今回はその仮想マシンサービスに関する、まれに起こるからこそ困ってしまう事象について書こうと思います。 当ブログではGoogle CloudのCompute Engineを題材としますが、AWSのEC2やAzureのAzure VMでも同様の
BigQuery Data Transfer Serviceを使ってAmazon S3のデータをBigQueryに取り込む方法
2022/06/10
ブックマーク
G-gen の大津です。今回は Google Cloud (旧称 GCP) の BigQuery Data Transfer Service を使って、東京リージョンの Amazon S3 にあるデータを BigQuery に取り込む方法をご紹介します。 はじめに BigQuery Data Transfer Service とは 料金 注意点 Storage Transfer Serviceとの違い 設定手順 AWSでの操作 S3バケットの作成 IAMユーザーの作成 Google Cloudでの操作 BigQueryデータセットとテーブルの作成 転送ジョブの
Professional Cloud DevOps Engineer試験対策マニュアル
2022/06/06
ブックマーク
G-gen の杉村です。 Google Cloud (旧称 GCP) の認定資格の一つである Professional Cloud DevOps Engineer 試験の対策や出題傾向について解説します。合格の助けになれば幸いです。 Professional Cloud DevOps Engineer 基本的な情報 Professional Cloud DevOps Engineer とは Professional Cloud DevOps Engineer の難易度 試験対策方法 試験対策の流れ 「SRE 本」について 出題範囲・出題傾向 Site Reliability Engineering（SRE）
Compute EngineとCloud SQLでWebアプリを動かしてみた
2022/06/01
ブックマーク
はじめまして！５月にG-genにジョインした片岩です。 まだGoogle Cloud(旧称GCP)をあまり触ったことがない方も多いと思います。Compute EngineとCloud SQLを利用したWebアプリを動かしてみたので、今回はその手順についてご紹介します。WebアプリにはMattermostというチャットアプリを利用しました。 Compute Engine および Cloud SQL とは 構成イメージ 全体の流れ 重要なポイント 構築手順 C
VPC や Compute Engine のリソース割り当て (Resource Quotas) の上限を変更する方法と注意点について
2022/05/31
ブックマーク
こんにちは、G-gen の武井です。Google Cloud (旧称 GCP) の VPC や Compute Engine では、さまざまな理由から 使用できるリソースの割り当て量 に上限が設けられています。 そのため、ある日を境に、 「VM インスタンスに外部 IP アドレスを割り当てられなくなった」 といった具合に、予期せぬトラブルが起こる可能性があります。 ただし、リソースの割り当て量の上限については
Cloud Functionsローカル環境(Functions Framework)でPub/Subトリガのイベント関数を検証する方法
2022/05/30
ブックマーク
こんにちは、G-gen の武井です。今回は Google Cloud (旧称 GCP) の Cloud Functions ローカル実行環境 (Functions Framework) で、 Pub/Sub トリガのイベント関数を検証する方法 について紹介したいと思います。 検証イメージ Pub/Sub エミュレータのセットアップ 1. Pub/Sub エミュレータのインストール 2. gcloud コンポーネントのアップグレード 3. Pub/Sub エミュレータの起動 4. Pub/Sub エミュレータ
BigQuery OmniでAmazon S3のデータをクエリしてみた
2022/05/25
ブックマーク
G-genの大津です。 Google Cloud (旧称 GCP) において Amazon S3 にあるデータを BigQuery に取り込む方法のひとつとして、 BigQuery Omni があります。 BigQuery Omni を使うと、 Amazon S3 を外部データソースとして、 BigQuery からクエリを実行することができます。 今回は BigQuery Omni の使い方や注意点などをまとめてみました。 BigQuery Omni とは AWS側での操作 Amazon S3にデータを用意する IAMポリ
BigQuery「承認されたビュー」と「承認されたデータセット」
2022/05/23
ブックマーク
G-gen の杉村です。 Google Cloud (旧称 GCP) の BigQuery にはアクセス制御のための仕組みが多数存在します。その中でも 承認されたビュー と 承認されたデータセット というよく似た名前の2つの機能をご紹介します。 この機能を使うと、利用者に見せるデータの範囲 (カラムやレコード) を制限したり、 BigQuery の IAM 管理運用を楽にしたりすることができます。 BigQuery へのアク
Google CloudのVPCを徹底解説！(応用編)
2022/05/16
ブックマーク
G-gen の杉村です。当記事では Google Cloud (旧称 GCP) の Virtual Private Cloud (VPC) について徹底解説します。今回は 基本編 に続く 応用編 の記事となります。 基本編へのリンク VPC 間・サブネット間の通信 同一 VPC 内のサブネット間通信 VPC 間の通信 VPC ネットワークピアリング VPC ネットワークピアリングとは 利点 制限 Cloud VPN による推移的な通信 (カスタムルート広報) 共有 VPC G
Cloud Functions の関数をローカルで検証できる Functions Framework のインストール方法
2022/05/12
ブックマーク
こんにちは、G-gen の武井です。今回は Google Cloud (旧称 GCP) で Cloud Functions の関数をローカルで検証できる Functions Framework のインストール方法について紹介したいと思います。 cloud.google.com 前提条件 1. Linux 開発環境 を有効化 2. gcloud コマンドのインストール・初期化 Functions Framework の導入 1. venv・pip3 のインストール 2. venv 仮想環境の作成 3. Functions Framework のインストール 動
Google CloudのVPCを徹底解説！(基本編)
2022/05/09
ブックマーク
G-gen の杉村です。当記事では Google Cloud (旧称 GCP) の Virtual Private Cloud (VPC) について徹底解説します。なお当記事は VPC の基本機能に絞った 基本編 であり 応用編 も続けてご確認ください。 Virtual Private Cloud (VPC) とは ネットワークとサブネット ネットワーク サブネット サブネットの IP アドレス サブネット作成モード VPC 間接続 オンプレミスや他のクラウドとの接続 ルート