はじめに クラウドエース株式会社 Frontend Division でマネージャーをしているシュプレです。 クラウドエースのメンバーは毎年増えており、人数が増えるに従ってマネージャーの数も増えてきました。 それに伴って、今までマネジメント経験の無いメンバーもマネージャーになる機会が増え、体系的なマネジメントの知見を継続的に得る機会が必要になってきました。 そこで、Divisionのマネジメントを担当するメンバーに向けた、定期的なマネジメントの勉強会を企画し、運用することに決めました。 今回は体系的にマネジメントを学べる本を選定し、その本を題材にした輪読会という手段をとりました。

クラウドエースの北野です。 先週末は台風の影響で全国的に大荒れの天気でしたね。ちょうど、このとき大阪でGoogle Cloud Day ’23 Tour in Osaka が開かれていました。Google Cloud Day ’23 Tour in Osakaはオンラインとリアルのハイブリッドのイベントで私も会場に赴き参加者の方と色々議論いたしました。大荒れの天気のなかたくさんの方が来場されており、活気に湧いていました。オンラインでは感じられない、リアルの良さを再確認しました。もし、悪天候のため会場に行けなかった方や、遠方で行けなかった方もオンラインの内容はアーカイブで公開されているので

はじめに こんにちは、クラウドエースのシステム開発部/SREディビジョン所属の菊池と申します。 本記事では、インフラストラクチャのコード管理に Terraform を使用している場合に、セキュリティ上の問題を検出するためのスキャンツールとして、Trivy と Checkov を紹介します。 Trivy と Checkovは、どちらも OSS であり、コンテナイメージの脆弱性や IaC のミスコンフィギュレーションなどセキュリティに関する問題を検出するために使用されるツールです。 本記事では、IaC を用いたインフラストラクチャのセキュリティに関する課題、Trivy と Checkov

はじめに ! 2024/02 Update!! 一部情報を最新の情報へアップデートしました。 追記した情報は、各章に記載しておりますのでご確認ください。 こんにちは、クラウドエースでSREディビジョンに所属している Shanks と申します。 クラウドエースではオンプレミスと Google Cloud を連携したシステム構築を幅広く行っております。 その中でも、システム要件として「大容量通信が発生するため帯域幅を確保したい」「Google Cloud に安定した回線で接続したい」「オンプレミスと低レイテンシで通信をしたい」といったご要望を受けることがあります。 そのような場合、通常

クラウドエース北野です。 今週で5月も終わりですね。先週から Google Cloud Day'23 Tour in TOKYO - Onlineが開催されました。アーカイブ動画で、登壇内容を確認できるので、見逃した方は、お時間のあるときにご覧ください。また、今週、6月2日 (金)は大阪で Google Cloud Day '23 Tour in OSAKA - Hybridが開催されますので、参加される方はお楽しみください。 Compute Engine C3のマシンシリーズの提供 (GA) C3マシンシリーズは、基盤となるNUMAアーキテクチャ向けに最適化されたマシンシリー

はじめに こんにちは、クラウドエース データ/MLディビジョン所属の金です。 前回はDataprocを利用してJupyter notebook上、PySparkでデータ処理を試してみました。 そこで一つ残念だったのがやはりクラスタ管理が面倒なことでした。 今回はDataproc Serverlessを利用して前回面倒だったクラスタ管理などもせずにPySparkでデータ処理を試してみます。 前回の記事が気になる方は下記のURLからご覧ください。 https://zenn.dev/cloud_ace/articles/pyspark-with-dataproc Dataproc Se

こんにちは、SREディビジョンの島田です。 Datadog のCSPM をGoogle Cloud で使ってみたので紹介したいと思います。 概要 Datadog CSPM はDatadog社の提供するCloud Security Posture Management（以下CSPM）サービスです。 CSPM とはCloud Security Posture Management の略で、クラウド サービスの脆弱な設定を検出するツールやサービスの総称です。 このDatadog CSPM はDatadog のオプショナル サービスという位置づけになります。 公式ドキュメント http

はじめに こんにちは、クラウドエース データML ディビジョン所属のディエゴです。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回紹介するリリースは2023年4月11日のBatchのリリースです。 https

はじめに こんにちは。クラウドエース株式会社で SRE をしている間瀬です。 今回は先日紹介したCloud Run のマルチコンテナデプロイ機能に関連してサイドカーコンテナとして Envoy と Open Policy Agent (以下、OPA) をデプロイして認証認可を行う方法を紹介します。 また、認証については今回は Keycloak を使って Open ID Connect (以下、OIDC) による認証を行います。 Cloud Run のマルチコンテナデプロイ機能については以下の記事で紹介しています。 現在ご覧いただいている記事執筆時点においてもマルチコンテナデプロイ機能は

初めに こんにちは。クラウドエースバックエンドディビジョンの王です。 待望のCloud Workstationsがついに2023年5月11日に一般提供（General Availability）になりました。この記事では、私が実際にCloud Workstationsを使用して開発を行った経験について紹介します。 Cloud Workstationsとは Cloud Workstationsの概要については下記の記事で紹介していますので、リンク先をご参照ください。 https://zenn.dev/cloud_ace/articles/925c11d6601324 実は、私は今V

Terraform利用のお供にtfsecをおすすめしたい みなさん、こんにちは。 クラウドエースでいつだってごきげんをキャッチフレーズにSREをしている、長野と申します。 今回はtfsecを使ってみたので、その紹介をさせて頂きたいと思います。 ちなみにtfsecは、Terraformのコードをセキュリティ上の問題や一般的なベストプラクティスに基づいてスキャンする静的解析ツールです。 aquasecurity/tfsec: Security scanner for your Terraform code どんなチェックができるのか 今回はTerraformでGoogle Cloud

クラウドエースData/MLディビジョン所属のおでんです。 今回は、データ分析基盤構築・運用の支援 SaaS である trocco® のdbt連携機能を使用して、 trocco® のワークフローとdbtジョブを連携してみたので、手順と感想をまとめました。 trocco®とは trocco®は、ELT/データ転送・データマート生成・ジョブ管理・データガバナンスなどの データエンジニアリング領域をカバーした、分析基盤構築・運用の支援SaaSです。 今回は、dbt連携機能を使用して、 trocco® のワークフローとdbtジョブを連携してみます。 https://trocco.io/lp/

はじめに こんにちは、クラウドエース データ/MLディビジョン所属の金です。 私は海外旅行を行ったり、日常生活でもたまにGoogle翻訳機を使っています。 翻訳結果については大体満足しているんですが、たまに固有名詞などの翻訳は変だなと思った記憶もあります。 最近Cloud Translation APIで用語集機能があるのに気づいてどんな結果が出るかやってみたいなと思いました。 Cloud Translastionのオプションには現在「Translation API Basic、Translation API Advanced、AutoML Translation」の三つがあります。

クラウドエースData/MLディビジョン所属のODRです。 今回は、データ分析基盤構築・運用の支援 SaaS である trocco® のワークフロー機能を使用して、GUIでワークフローを作成してみたので、手順と感想をまとめました。 最後に、Google Cloud のワークフロー管理ツールとの比較も行いました。 trocco とは trocco®は、ELT/データ転送・データマート生成・ジョブ管理・データガバナンスなどの データエンジニアリング領域をカバーした、分析基盤構築・運用の支援SaaSです。 https://trocco.io/lp/index.html 今回は、ワークフロー

クラウドエース北野です。 先週、真夏日も数日あり、大変暑くなってきましたが、体調を崩されていないでしょうか。 5月第3週(5/15 ~ 5/19)のGoogle Cloudのリリースに関する注目ニュースは以下になります。 Cloud Logging Log Analiticsの以下の機能が拡張され、セキュアかつ利便性が向上されました。 クエリする時間範囲の指定が可能になりました。 CMEK化されたログバケットを対応するようになりました。 クエリする時間範囲は、 timestamp フィールドを WHERE 句に追加することで指定できます。 時間の指定が可能になると、より効果的

はじめに こんにちは、クラウドエース データML ディビジョン所属の中村です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回紹介するリリースは、BigQueryの「Non-incremental Materi

初めまして、Data/ML ディビジョンのオーディンです。 本記事では、Dataformで、BigQueryのデータをテストする方法を紹介します。 はじめに データの品質を保証するために、BigQueryのデータが想定通りかテストしたい場面は多いですが、下記のような理由で、テストが導入しにくい状況でした。 テスト用のフレームワークがないため、assert句などを使い自分でテスト用のSQLを組む必要があった 公式のエミュレータがないため、テストを行うには本物のBigQueryにクエリする必要があり、クエリの実行時間・費用を考慮すると、CIに組み込んでテストを頻繁に実行するのが現実的で

こんにちは、クラウドエース データML ディビジョン所属の源です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、 毎週Google Cloudの新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回、ご紹介するリリースは2023年6月8日付で一般提供されたVertex AIのGenerative

こんにちは。クラウドエースの阿部です。 このブログ記事では、 Container Registry の廃止予定と、 Artifact Registry への移行について紹介したいと思います。 Container Registry の廃止予定について 2023 年 5 月 15 日に、 Container Registry の廃止に関するスケジュールがリリースノートで公開されました。リリースノートはこちらを参照してください。 現在は非推奨の段階であり、2024 年 5 月 15 日までは変わらずに Container Registry を使用することが可能です。 ただし、Contain

はじめに こんにちは、クラウドエース データML ディビジョン所属の穂戸田です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回紹介するリリースは、2023年 3月 29日のBigQuery Editionsと