こんにちは、最近気になるニュースはサザエの学名が数年前に初めて命名されたこと 1 な、MLデータ部データ基盤ブロックの塩崎です。BigQueryのストレージに関する新料金プランが先日発表されたので、その検証をしました。我々の環境では年間で数千万円という費用削減を達成できることが分かりましたので、BigQueryに多くのデータを蓄積している会社は是非お試しください。 ストレージ費用の悩み データ基盤を長期間運用していると、データ量の増加が問題になることがしばしばあります。特にユーザーの行動ログやスタースキー

G-gen の杉村です。これまで料金の掛かっていなかった「Cloud Logging ログバケットのログ保存料金」の課金が、2023年4月1日から開始されます。(当記事は2022年11月22日に執筆され、2023年2月27日に更新されました。) 概要と経緯 課金開始が2023年4月1日からに変更 何をすればいいのか 料金の確認 概要と経緯 Cloud Logging の ログバケット は Cloud Logging のログを保管するための独自ストレージです。 これまでログバケットの保存料金は、予告はされて

こんにちは。 クラウドエース SREエンジニアのアイルトンと申します。 Google Cloudのセキュリティについて勉強中なので、学んだことを定期的に記事にまとめていこうと思います。 この記事では、BigQueryに機密情報を保持する場合に、情報を安全に保護する方法についてまとめます。 BigQuery上にあるデータを秘匿化するには、以下の方法があります。 BigQuery関数を使った暗号化 Data Loss Prevention (DLP)を使用した匿名化 承認済みビューを設定する Data Cat

こんにちは！ LuupのData Strategy部（Data Scienceチーム所属）の大島です。ここでは、LuupのData Scienceチームと、Luupのデータ分析の醍醐味である地理空間データを使ったポート密度に関する分析をご紹介します。 LuupのData Scienceチームの紹介 Luupの事業では、電動アシスト自転車や電動キックボードを停めるポートの獲得、アプリや車両などのプロダクトの設計・開発・運用、車両の充電・再配置といったオペレーション、社会への発信・広報活動など、様々な取り組み

こんにちは！ LuupのData Strategy部（Data Scienceチーム所属）の大島です。ここでは、LuupのData Scienceチームと、Luupのデータ分析の醍醐味である地理空間データを使ったポート密度に関する分析をご紹介します。 LuupのData Scienceチームの紹介 Luupの事業では、電動アシスト自転車や電動キックボードを停めるポートの獲得、アプリや車両などのプロダクトの設計・開発・運用、車両の充電・再配置といったオペレーション、社会への発信・広報活動など、様々な取り組み

DevOpsプラットフォームの取り組みを紹介する8回目の記事です。 Qmonus Value Stream 開発チームの浅井です。 連載第8回では、Qmonus Value Streamのアーキテクチャとその技術スタックについて紹介します。 これまでの連載ではQmonus Value Streamで利用している技術要素として、 第4回 ではデータ記述言語であるCUE言語を、 第5回 ではKubernetes NativeなオープンソースフレームワークであるTektonを紹介してきました。 Qmonus V

G-gen の杉村です。 Cloud Functions で動作する Python プログラムから Google Calendar API を呼び出す方法をご紹介します。 検証内容 プログラムの内容 Google API への認証 検証の流れ Google Calendar API 有効化 サービスアカウント作成・設定 サービスアカウント作成 サービスアカウントへ IAM 権限付与 コマンドライン ソースコードの解説 ソースコード パッケージのインポート 認証情報取得 サービスオブジェクト作成 API 呼

はじめに 機械学習エンジニアの本田志温です。最近担当した類似アイテム推薦の案件で、BigQueryを使って最大内積検索（M

みなさんこんにちは。 クラウドエースでSRE として活動してます、戸田と申します。 みなさんはGoogle Cloudを運用する中で、コスト戦略をとれていますか？ いつかは考えないといけないけど、後回しになりがちなコスト戦略について、私たちがよく用いる考え方を紹介していこうと思います。この記事を通じてみなさんのコスト戦略を考えるハードルが下がると幸いです。 この記事で分かること コスト戦略をとることによるメリット コスト戦略で考えるべきこと コスト戦略の運用方法 この記事で解説しないこと 請求アカウントの

本記事は GA4 Week 3日目の記事です。 📈 2日目 ▶▶ 本記事 ▶▶ 4日目 🔍 はじめまして、GA4 Week 3日目を担当します荒川と申します。 普段はGoogle アナリティクス（GA）の導入やGAデータ活用支援などを行っております。 はじめに BigQuery にエクスポートされるデータの構造 データの構造について イベントパラメータのデータ型について 同一keyのイベントパラメータに複数のデータ型がある場合について 複数のフィールドで値が計測されるときのデータ取得方法 解決方法1 クエ

はじめに こんにちは、クラウドエースの松浦です。 今回は、パブリックプレビューとなった Dataform をさわってみたいと思います。 その上で、より肝になる機能についてピックアップできればと思います。 Dataform について（個人の感想） Dataform を実際にさわる前に、 Dataform って何？ という個人の感想と公式ドキュメントを案内したいと思います。 個人の感想は「SQLXという記載方式を使って、ウェブブラウザ上のUIからBigQueryでのデータ変換に関して色々管理できるサービス」と

G-gen の杉村です。Google Cloud の鍵管理サービスである Cloud KMS （Cloud Key Management Service）を徹底解説します。 Cloud KMS とは Cloud KMS の料金 デフォルト暗号化と CMEK デフォルトの暗号化 顧客管理の鍵（CMEK） 透過的な暗号化 Key と Key ring Key (キー、鍵) Key とは 鍵の目的 Key のバージョン 保護レベル (ストレージ) Key ring (キーリング) リソースの削除 鍵のローテーシ

こんにちは。 株式会社ココナラのシステムプラットフォーム部でインフラ・SREチームのチームマネージャーをしているよしたくと申します。 本記事では2022/02より立ち上がったインフラ・SREチームの歩みと取り組んできた施策を紹介します。 チームの立ち上がり 以前のチーム状態 弊社では概ね1~2ヶ月に1回程度で大型のプロダクトリリースが行われます。当然大型リリースとなると リリース内容に伴うサーバ等のインフラ設定修正 （必要であれば）サービスメンテナンス準備 リリース手順書の作成 リリース後のモニタリング

クラウドエースでデータ ML エンジニアをやっている神谷と申します。業務では、データ基盤構築やデータ分析に取り組んでいます。本記事では、軽量なワークフローをサーバレスでサクッと作れる Workflows を使って、依存関係のあるデータ パイプラインを構築するにはどういった実装方法が望ましいか検討・検証します。 1. はじめに 本記事では、Workflows を使って依存関係のあるデータ パイプラインを構築するための実装方法について検討・検証します。Google Cloud でデータパイプラインを構築するに

G-gen 杉村です。Google Cloud の無償 BI ツール Looker Studio の有償版である Looker Studio Pro について解説します。 概要 Looker Studio Pro とは 機能 利用開始方法 サブスクリプション 利用開始手順 注意点とトラブルシューティング Gemini in Looker（生成 AI との連携） アセット ワークスペース ワークスペースとは 自分のスペース (My workspace) チームワークスペース (Team workspace)