クラウドエース の技術ブログ
全461件
BigQueryのDynamic Data Maskingの機能が更新されました
2023/05/16
ブックマーク
はじめに こんにちは！クラウドエース データML ディビジョン所属の住吉と申します。 データML ディビジョンとはクラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門としております。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリー
Cloud Storage FUSEでバケットをローカルファイルシステムとしてマウントする
2023/05/15
ブックマーク
こんにちは、クラウドエース データML ディビジョン所属の源です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週Google Cloudの新規リリースを調査・発表し、デー
Dataprocを利用してPySparkを触ってみた(feat.Jupyter Notebook)
2023/05/12
ブックマーク
はじめに こんにちは、クラウドエース データ/MLディビジョン所属の金です。 最近ビッグデータの重要度が高くなっているのでビッグデータ処理ができるさまざまな方法の一つのPySparkを試してみます。 今回はGoogle CloudサービスのDataprocでクラスタを起動し、そこからJupyter Notebookを起動してPySparkを試してみます。 Cloud Dataprocとは？ Dataprocは、「Apache Hadoop、Apache Sparkなどの
一般提供された Cloud Workstations の更新まとめ (2023年5月)
2023/05/10
ブックマーク
こんにちは。クラウドエースの阿部です。 この記事では以前紹介した Google Cloud の開発環境サービスである Cloud Workstations について説明します。 前回の紹介記事は下記リンクからご覧下さい。 https://zenn.dev/cloud_ace/articles/889f7b6619ba76 ! 2023年5月11日に Google I/O 2023 で Cloud Workstations が一般提供(General Availability)になったことが発表されました。 タイトルと記事内容を一部加筆修
Cloud Run に Golang のAPI サービスをデプロイしてみた
2023/04/26
ブックマーク
こんにちは、クラウドエース SRE ディビジョン の小堀内です。 最近、Google Cloud の学習の一環として、Golang で作成した API サービスを Cloud Run にデプロイしてみました。 その結果のアウトプットとして、本記事を執筆することにしました。 Cloud Run とは Cloud Run の特徴を簡単にまとめると次のものが挙げられます。 サーバーレス の コンピューティングサービス サーバー管
Dataflow Prime のバッチジョブで垂直スケールする方法
2023/04/21
ブックマーク
はじめに こんにちは、クラウドエース データML ディビジョン所属の坂田です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンになります。 データML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリース
Cloud SQL for PostgreSQLでリードレプリカのサイズをプライマリインスタンスより小さくできるようになりました
2023/04/21
ブックマーク
はじめに こんにちは、クラウドエース データML ディビジョン所属の田中です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンになります。 データML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを
BigQuery で WITH RECURSIVE 句が GA になりました！
2023/04/18
ブックマーク
はじめに こんにちは、クラウドエース データ ML ディビジョン所属の池上です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンになります。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリー
Looker のリリースノートが Google Cloud リリースノートシステムに統合されました
2023/04/17
ブックマーク
こんにちは！クラウドエースの小坂と申します。✨ データウェアハウス構築に関して、最近は特に Looker を活用した分析環境構築プロジェクトのプロジェクトマネージャーを積極的に担当しております。 さて、タイトルにもある通り、Looker のリリースノートが Google Cloud のリリースノートシステムに統合されたことをお知らせいたします！🎉 これまで Looker のリリースノ
GKE における k8s.gcr.io 廃止の影響について
2023/04/14
ブックマーク
こんにちは。クラウドエースの阿部です。 この記事では、Google Kubernetes Engine (GKE)における k8s.gcr.io 廃止の影響について調査したことをまとめています。 k8s.gcr.io 廃止と registry.k8s.io への移行について 廃止の経緯 Kubernetes v1.25以降において、kube-system等で使用される標準のコンテナイメージは k8s.gcr.io から registry.k8s.io に変更されました。(v1.22, v1.23, v1.24にもバックポートさ
troccoを使って、SalesforceのデータをBigQueryに連携してみた
2023/04/14
ブックマーク
クラウドエースData/MLディビジョン所属のODRです。 今回は、データ分析基盤構築・運用の支援 SaaS である trocco を使用して、SalesforceのデータをBigQueryに連携してみたので、手順と感想を記事にまとめてみました。 troccoを使用することで、簡単かつ迅速にSalesforceの複数のオブジェクトをBigQueryに連携することができたので、データ分析基盤構築をどのように進めたらよいかわ
Workload Identity 連携を利用して GitHub Actions を動かす
2023/04/14
ブックマーク
こんにちは、SREディビジョンの松島です。 この記事では Workload Identity 連携の機能紹介と、GitHub Actions から Google Cloud を操作するハンズオンを行います。 Workload Identity 連携とは 外部のワークロードに対して Google Cloud のサービスアカウントの権限を利用させることができる機能です。 AWSや、OpenID Connect、SAML 2.0 について Workload Identity による ID の連携が可能となっています
Cloud Spannerの「細かいアクセス制御」とは
2023/04/11
ブックマーク
はじめに こんにちは、クラウドエース データML ディビジョン所属の森です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンになります。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリースを調
Cloud Armor 事前構成 WAF ルールの適用手順
2023/04/07
ブックマーク
こんにちは、クラウドエース SRE ディビジョンの松島です。 今回は Cloud Armor の事前構成 WAF ルールの機能紹介と、実際にサービスに適用する際のルールの調整に関する記事を投稿します。 Cloud Armorとは Cloud Armor は Google Cloud が提供するマネージド WAF です。 保護ルールをセキュリティポリシーとして定義し、ロードバランサの背後のアプリケーションに紐づけることで DDoS
Cloud BuildでPATを使ったgitサブモジュールの利用方法
2023/04/07
ブックマーク
要約 クラウドエースの北野です。 Google CloudのCloud BuildでGitHubのプライベートリポジトリをサブモジュールとして使う方法を紹介します。本記事では、プライベートリポジトリの認証にGitHubのPersonal Access Token (PAT)を使います。 Google CloudでのPATの管理方法、Cloud Buildで認証情報の持たせ方と認証情報の内容は以下となります。 PATの管理方法: Secret Managerで管理 Cloud Buildでの認