こんにちは、クラウドエース Data/ML ディビジョン所属の坂田です。 先日、Google I/O 2023 が開催され、Google からさまざまな新サービス・新商品について発表されました。その中で多くの注目を浴びたのは、生成 AI に関する発表です。Google I/O 2023 では、新たな大規模言語モデル（以下、LLM）である「PaLM 2」や様々なサービスに生成 AI が組み込まれることが発表されました。 この記事では、今回発表された Google Cloud の生成 AI のサービスの中から、「Generative AI Studio」の「ファインチューニング」の機能につい

はじめに こんにちは。クラウドエース株式会社で SRE をしている間瀬です。 今回は Google Forms で入力した内容に沿って Google Cloud のプロジェクト払い出し運用を自動化する際の設計ポイントについて紹介したいと思います。 プロジェクト登録の自動化について Google Cloud 上でのリソース管理単位となるプロジェクトですが、サービスや機能単位でプロジェクトを分割するケースが多いかと思います。しかし、会社組織内でクラウド利用が拡大することに伴い、プロジェクトの登録作業や権限の管理、組織リソース内でのプロジェクト作成を強制するといった運用やセキュリティ観

はじめに こんにちは、クラウドエース データML ディビジョン所属の松本です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回紹介するリリースは、BigQueryの「differential privacy」に

こんにちは、クラウドエースの阿部です。 こちらの記事では、Cloud Logging シンクの書き込み ID 仕様変更について解説しようと思います。 概要 2023年5月31日に Cloud Logging のリリースノートに掲載されました。なお、仕様変更は2023年5月22日から行われていたようですので、ある意味サイレントな仕様変更になっていたようです。 具体的には、Cloud Logging シンク作成時に自動的に作成されるサービスアカウント(書き込み ID)の形式が以下のように変更されました。 変更タイミング 書き込み ID の仕様 2023年5月22日より前 C

こんにちは、クラウドエース SRE ディビジョンの松島です。 本記事では4月にプレビューになった Cloud Deploy のカナリアリリース機能について紹介したいと思います。 Cloud Deployとは Cloud Deployは、Google Cloud が提供する継続的デリバリーのためのマネージドサービスです。 デプロイ先ターゲット（開発、本番環境など）と、それらにどのような順でデプロイしていくかをパイプラインとして定義しておくことで、任意のバージョンのアプリケーションをパイプラインで定義した順にデプロイしていくことができます。 Cloud Deploy のカナリアリリー

クラウドエース北野です。 6月に入って、関東も梅雨入して、じめじめした天気が続きますが、体調はいかがでしょうか。 6月5~9日までのGoogle Cloudの主なリリースに関して紹介します。 ! 該当の日のすべての情報ではないので、すべてのリリースノートを確認されたい方は、当該ページからご確認ください。 Compute Engine Hyperdisk Throughput の提供 (GA) Hyperdisk Throughputは柔軟な容量とスループットを提供するHyperdiskで、HadoopやKafkaなどスケールアウトの必要のあるワークロードを構築するときに活用くだ

はじめに クラウドエース株式会社 Frontend Division でマネージャーをしているシュプレです。 クラウドエースのメンバーは毎年増えており、人数が増えるに従ってマネージャーの数も増えてきました。 それに伴って、今までマネジメント経験の無いメンバーもマネージャーになる機会が増え、体系的なマネジメントの知見を継続的に得る機会が必要になってきました。 そこで、Divisionのマネジメントを担当するメンバーに向けた、定期的なマネジメントの勉強会を企画し、運用することに決めました。 今回は体系的にマネジメントを学べる本を選定し、その本を題材にした輪読会という手段をとりました。

クラウドエースの北野です。 先週末は台風の影響で全国的に大荒れの天気でしたね。ちょうど、このとき大阪でGoogle Cloud Day ’23 Tour in Osaka が開かれていました。Google Cloud Day ’23 Tour in Osakaはオンラインとリアルのハイブリッドのイベントで私も会場に赴き参加者の方と色々議論いたしました。大荒れの天気のなかたくさんの方が来場されており、活気に湧いていました。オンラインでは感じられない、リアルの良さを再確認しました。もし、悪天候のため会場に行けなかった方や、遠方で行けなかった方もオンラインの内容はアーカイブで公開されているので

はじめに こんにちは、クラウドエースのシステム開発部/SREディビジョン所属の菊池と申します。 本記事では、インフラストラクチャのコード管理に Terraform を使用している場合に、セキュリティ上の問題を検出するためのスキャンツールとして、Trivy と Checkov を紹介します。 Trivy と Checkovは、どちらも OSS であり、コンテナイメージの脆弱性や IaC のミスコンフィギュレーションなどセキュリティに関する問題を検出するために使用されるツールです。 本記事では、IaC を用いたインフラストラクチャのセキュリティに関する課題、Trivy と Checkov

はじめに ! 2024/02 Update!! 一部情報を最新の情報へアップデートしました。 追記した情報は、各章に記載しておりますのでご確認ください。 こんにちは、クラウドエースでSREディビジョンに所属している Shanks と申します。 クラウドエースではオンプレミスと Google Cloud を連携したシステム構築を幅広く行っております。 その中でも、システム要件として「大容量通信が発生するため帯域幅を確保したい」「Google Cloud に安定した回線で接続したい」「オンプレミスと低レイテンシで通信をしたい」といったご要望を受けることがあります。 そのような場合、通常

クラウドエース北野です。 今週で5月も終わりですね。先週から Google Cloud Day'23 Tour in TOKYO - Onlineが開催されました。アーカイブ動画で、登壇内容を確認できるので、見逃した方は、お時間のあるときにご覧ください。また、今週、6月2日 (金)は大阪で Google Cloud Day '23 Tour in OSAKA - Hybridが開催されますので、参加される方はお楽しみください。 Compute Engine C3のマシンシリーズの提供 (GA) C3マシンシリーズは、基盤となるNUMAアーキテクチャ向けに最適化されたマシンシリー

はじめに こんにちは、クラウドエース データ/MLディビジョン所属の金です。 前回はDataprocを利用してJupyter notebook上、PySparkでデータ処理を試してみました。 そこで一つ残念だったのがやはりクラスタ管理が面倒なことでした。 今回はDataproc Serverlessを利用して前回面倒だったクラスタ管理などもせずにPySparkでデータ処理を試してみます。 前回の記事が気になる方は下記のURLからご覧ください。 https://zenn.dev/cloud_ace/articles/pyspark-with-dataproc Dataproc Se

こんにちは、SREディビジョンの島田です。 Datadog のCSPM をGoogle Cloud で使ってみたので紹介したいと思います。 概要 Datadog CSPM はDatadog社の提供するCloud Security Posture Management（以下CSPM）サービスです。 CSPM とはCloud Security Posture Management の略で、クラウド サービスの脆弱な設定を検出するツールやサービスの総称です。 このDatadog CSPM はDatadog のオプショナル サービスという位置づけになります。 公式ドキュメント http

はじめに こんにちは、クラウドエース データML ディビジョン所属のディエゴです。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回紹介するリリースは2023年4月11日のBatchのリリースです。 https

はじめに こんにちは。クラウドエース株式会社で SRE をしている間瀬です。 今回は先日紹介したCloud Run のマルチコンテナデプロイ機能に関連してサイドカーコンテナとして Envoy と Open Policy Agent (以下、OPA) をデプロイして認証認可を行う方法を紹介します。 また、認証については今回は Keycloak を使って Open ID Connect (以下、OIDC) による認証を行います。 Cloud Run のマルチコンテナデプロイ機能については以下の記事で紹介しています。 現在ご覧いただいている記事執筆時点においてもマルチコンテナデプロイ機能は

初めに こんにちは。クラウドエースバックエンドディビジョンの王です。 待望のCloud Workstationsがついに2023年5月11日に一般提供（General Availability）になりました。この記事では、私が実際にCloud Workstationsを使用して開発を行った経験について紹介します。 Cloud Workstationsとは Cloud Workstationsの概要については下記の記事で紹介していますので、リンク先をご参照ください。 https://zenn.dev/cloud_ace/articles/925c11d6601324 実は、私は今V

Terraform利用のお供にtfsecをおすすめしたい みなさん、こんにちは。 クラウドエースでいつだってごきげんをキャッチフレーズにSREをしている、長野と申します。 今回はtfsecを使ってみたので、その紹介をさせて頂きたいと思います。 ちなみにtfsecは、Terraformのコードをセキュリティ上の問題や一般的なベストプラクティスに基づいてスキャンする静的解析ツールです。 aquasecurity/tfsec: Security scanner for your Terraform code どんなチェックができるのか 今回はTerraformでGoogle Cloud

クラウドエースData/MLディビジョン所属のおでんです。 今回は、データ分析基盤構築・運用の支援 SaaS である trocco® のdbt連携機能を使用して、 trocco® のワークフローとdbtジョブを連携してみたので、手順と感想をまとめました。 trocco®とは trocco®は、ELT/データ転送・データマート生成・ジョブ管理・データガバナンスなどの データエンジニアリング領域をカバーした、分析基盤構築・運用の支援SaaSです。 今回は、dbt連携機能を使用して、 trocco® のワークフローとdbtジョブを連携してみます。 https://trocco.io/lp/

はじめに こんにちは、クラウドエース データ/MLディビジョン所属の金です。 私は海外旅行を行ったり、日常生活でもたまにGoogle翻訳機を使っています。 翻訳結果については大体満足しているんですが、たまに固有名詞などの翻訳は変だなと思った記憶もあります。 最近Cloud Translation APIで用語集機能があるのに気づいてどんな結果が出るかやってみたいなと思いました。 Cloud Translastionのオプションには現在「Translation API Basic、Translation API Advanced、AutoML Translation」の三つがあります。

クラウドエースData/MLディビジョン所属のODRです。 今回は、データ分析基盤構築・運用の支援 SaaS である trocco® のワークフロー機能を使用して、GUIでワークフローを作成してみたので、手順と感想をまとめました。 最後に、Google Cloud のワークフロー管理ツールとの比較も行いました。 trocco とは trocco®は、ELT/データ転送・データマート生成・ジョブ管理・データガバナンスなどの データエンジニアリング領域をカバーした、分析基盤構築・運用の支援SaaSです。 https://trocco.io/lp/index.html 今回は、ワークフロー