こんにちは、クラウドエースのデータ ML ディビジョン所属の坂田です。 Google Cloud のデータ・AI 系サービスで、2022年11月第5週のリリースの中から、注目のリリースをピックアップしてご紹介します。 注目リリース Vertex AI AutoML 画像モデルに高精度モデルが登場 Cloud Text-to-Speech で Neural2 音声の対応言語が拡大 1. Vertex AI AutoML 画像モデルに高精度モデルが登場 2022年11月30日付の Vertex AI のリリースです。 ↓ リリース原文 https://cloud.google.c

はじめに こんにちは、クラウドエースでSREディビジョンに所属している Shanks と申します。 前回の投稿から間が空いてしまい申し訳ございません。 本日は「GCP-Goat で学ぶ Google Cloud セキュリティ Day2」としまして、以前投稿したDay1（Google Cloud でSSRFに備える記事）の第二弾となります。 もし前回の記事をまだご覧になられていないようでしたら、あわせて是非ご確認いただけますと幸いです。 ターゲットとなる読者層 Google Cloud 上で Cloud SQL を利用している Cloud SQL を使ってはいるもののどのよう

こんにちは、クラウドエースの阿部です。 こちらの記事では、2022/11/09に一般提供(GA)になった GKE Gateway controller について検証していこうと思います。 GKE Gateway controller の概要 GKE Gateway controller は、GKE における Kubernetes Gateway API の実装になります。 Kubernetes Gateway API は、 Ingress API で実現していた汎用的なAPIと様々なプラットフォーム上での実装仕様を持っていた特性を引き継ぎつつ、 Ingress API の課題を改善す

この記事では、これまでにLooker Studio（データポータル）で従来のGA（ユニバーサルアナリティクス）を利用していた方向けに、最新のGA（Google Analytics 4）のデータをLooker Studioで表示する方法について紹介します。 Looker Studioとは？データポータルとの違いは？ Looker Studioは、Googleが無料で提供しているBI（ビジネスインテリジェンス）ツールで、あらゆるデータを可視化できるツールです。 これまではデータポータル (Data Studio) という名称で、使用されてきました。 2022年10月のGoogle Cl

クラウドエースの小坂です。 データウェアハウス構築、最近は特に Looker を活用した分析環境構築プロジェクトのプロジェクトマネージャーをよくやっています。 今回はとても短い記事ですが、BigQuery で日付操作を行うにあたってとても便利な関数を教えてもらったので紹介させていただきます。 BigQuery に限らず日付の操作をするにあたって、月末日を取得する際に以下のようなクエリを書いたことがある方は多いと思います。 -- 今日の日付(CURRENT_DATE())に DATE_TRUNC() を実行して月初日を取得し、それに DATE_ADD() で1ヶ月後の日付を取得し、更に D

こんにちは、クラウドエースのシステム開発部/SREディビジョン所属の菊池と申します。 皆さん、コンテナを使っていますか？ コンテナを使うことで非常に効率よくアプリケーションの実装が可能になりました。 しかし、その一方で気になるのが、セキュリティです。 コンテナを利用する際は、DockerHub などからコンテナイメージを Pull してきて使うことが多いかと思いますが、 コンテナイメージ内には不正なプログラムや脆弱性が含まれる問題があります。 また、同じコンテナイメージを使い続けていても、日々新たな脆弱性の報告・修正がされ続けているので、 その都度対応するのでは、きりがありません。 そこ

はじめに みなさんこんにちは！クラウドエースの中嶋です。 今回は、Google Cloud のセキュリティ診断の強い味方 Security Command Center について紹介します。 Security Command Center の概要 Security Command Center(以降、SCC)は、Google Cloud 上で使用しているサービスの脆弱性や脅威となりうる設定を検知することができるサービスです。 検知された脆弱性や脅威は、Google Cloud のダッシュボードに表示したり Pub/Sub にメッセージをパブリッシュすることができます。 ただし、S

クラウドエースの小坂です。 データウェアハウス構築、最近は特に Looker を活用した分析環境構築プロジェクトのプロジェクトマネージャーをよくやっています。 今回は Looker の Forecasting(予測) 機能を使ってみたので、概要と使い方を紹介してみようと思います。 Looker の Explore の基本的な使用方法を把握している方向けの説明になりますので、 基本的な操作方法等の説明は致しませんのでご了承ください。 Forecasting(予測) 機能とは Looker の Forecasting は、Explore 上で取得したデータを元に将来の数値を予測する機能で

こんにちは。 クラウドエース SREエンジニアのアイルトンと申します。 Google Cloudのセキュリティについて勉強中なので、学んだことを定期的に記事にまとめていこうと思います。 この記事では、BigQueryに機密情報を保持する場合に、情報を安全に保護する方法についてまとめます。 BigQuery上にあるデータを秘匿化するには、以下の方法があります。 BigQuery関数を使った暗号化 Data Loss Prevention (DLP)を使用した匿名化 承認済みビューを設定する Data Catalogによる動的マスキング テーブルやデータセットへのアクセス制御に加えて、以

TL;DR Zod の導入設定をした GAS プロジェクトのテンプレートを作って公開しました。 https://github.com/cloud-ace/zenn-gas-zod-template はじめに こんにちは、クラウドエースの伊藝です。 突然ですが、皆さんは バリカタ は好きですか？ 私は豚骨ラーメン屋さんに行くと、いつも バリカタ を頼んでいます。 家でインスタント麺を作るときも、プログラムを作るときも バリカタ です。 そうです。「Validation 型 (バリデーション・カタ)」、略して バリカタ です。 型ってなに？ 型とは、プログラムで扱われるデータがど

クラウドエースでデータ ML エンジニアをやっている神谷と申します。業務では、データ基盤構築やデータ分析に取り組んでいます。本記事では、ノーコード・ローコードでデータ パイプラインを作成できる Cloud Data Fusion を使って、どのぐらいの量のストリーミング データを捌けるかの性能検証を行います。 1. はじめに Google Cloud でストリーミング データのハンドリングと言えば Cloud Dataflow が挙がってくると思いますが、Data Fusion でも同様のことができるようなので、両者の違いを検証します。あらかじめ断っておくと、現時点（2022/11/

Private Service Connect 設定時の課題解決 みなさん、こんにちは。 クラウドエースでいつだってごきげんをキャッチフレーズにSREをしている長野です。 前回、Private Service Connectの設定：課題共有で共有した課題についての解決策を記載していきたいと思います。 ※ Private Service Connectは以降、PSCと略します 課題のおさらい 前回まとめた課題は以下のとおりです。 PSCを設定するVPCは共有VPCにしないといけない？ 名前解決をhostsで対応することは可能？ ルーティングはどんな設定をする必要がある？ それ

こんにちは。クラウドエースの阿部です。 この記事では Google Cloud Next'22 で発表された Cloud Workstations について説明します。 ! 2023/05/17 追記: Cloud Workstations は 2023年5月11日に一般提供されました。下記の記事で Public Preview から追加された機能について解説しておりますので、あわせてご覧下さい。 https://zenn.dev/cloud_ace/articles/925c11d6601324 Cloud Workstations 概要 Cloud Workstationsは、

みなさんこんにちは。 クラウドエースでSRE として活動してます、戸田と申します。 みなさんはGoogle Cloudを運用する中で、コスト戦略をとれていますか？ いつかは考えないといけないけど、後回しになりがちなコスト戦略について、私たちがよく用いる考え方を紹介していこうと思います。この記事を通じてみなさんのコスト戦略を考えるハードルが下がると幸いです。 この記事で分かること コスト戦略をとることによるメリット コスト戦略で考えるべきこと コスト戦略の運用方法 この記事で解説しないこと 請求アカウントの解説 各Google Cloud サービスのパフォーマンス チューニン

クラウドエースでデータ ML エンジニアをやっている神谷と申します。業務では、データ基盤構築やデータ分析に取り組んでいます。本記事では、最近パブリックプレビューになった Dataform を使って、BigQuery のデータ パイプラインの依存関係管理をしてみます（クイックスタートをベースとした前提条件の設定、Dataform プロジェクトの開始方法、画面操作イメージ等についてはこちらの記事を参照ください。） 1. はじめに ビッグデータ基盤において、データ パイプラインやデータそのものの品質を保つことは難しいと考える人は少なくないと思います。扱うデータ量が多くなればなるほど技術的難

こんにちは。クラウドエースでバックエンドエンジニアをしている吉崎です。 2022/10/25 にIAM の拒否ポリシーが GA(General Availability)になりました。 https://cloud.google.com/iam/docs/release-notes ※2022/3/3にプレビュー版がリリースされました。 この機能は、名前の通り、プリンシパル（主体）がある権限を使うのを拒否する機能です。 本稿では、以下の内容に焦点を当てて拒否ポリシーを説明します。 拒否ポリシーと許可ポリシーの関係 継承 使用の注意点 前置き IAM(Identity and A

Private Service Connect 設定時の知見を共有したい みなさん、こんにちは。 クラウドエースでいつだってごきげんをキャッチフレーズにSREをしている、長野と申します。 今回は案件でPrivate Service Connect(以降、PSCと略)を設定することになったので、そこで調査したことを共有したいと思います。 特に今回はいざ設定をするぞ、となった時に課題として出てきた3点について、その課題意識を共有できればと思います。 今回のPSCのユースケース そもそもPSCとは、外部IP(Public IP) を持たないVMやオンプレミスのクライアントからプライベー

はじめに こんにちは、クラウドエースの中嶋です。 皆さんは、gcpdiag という OSS のツールがあるのはご存知ですか？ gcpdiag は、Google Cloud プロジェクトの設定の問題を検出してくれるツールです。 クラウド利用時に発生するセキュリティインシデントの多くは、クラウドサービスの構成・設定ミスが原因です ですが、利用しているプロダクトやプロジェクトが多いとこのような構成・設定ミスに気付くのは、かなり大変です。 人手をかけず、自動で設定の問題を検出できたらどれだけ楽か…！ というわけで、今回は gcpdiag を使用して設定の問題を検出してみたいと思います。

はじめに こんにちは、クラウドエースの松浦です。 今回は、パブリックプレビューとなった Dataform をさわってみたいと思います。 その上で、より肝になる機能についてピックアップできればと思います。 Dataform について（個人の感想） Dataform を実際にさわる前に、 Dataform って何？ という個人の感想と公式ドキュメントを案内したいと思います。 個人の感想は「SQLXという記載方式を使って、ウェブブラウザ上のUIからBigQueryでのデータ変換に関して色々管理できるサービス」となります。 さわってみた結果変わるかもしれないですが、大雑把には上記の認識で

クラウドエースでデータ ML エンジニアをやっている神谷と申します。業務では、データ基盤構築やデータ分析に取り組んでいます。本記事では、軽量なワークフローをサーバレスでサクッと作れる Workflows を使って、依存関係のあるデータ パイプラインを構築するにはどういった実装方法が望ましいか検討・検証します。 1. はじめに 本記事では、Workflows を使って依存関係のあるデータ パイプラインを構築するための実装方法について検討・検証します。Google Cloud でデータパイプラインを構築するにあたり、様々なプロダクトの組み合わせやアーキテクチャがあります。その中でもサーバ