クラウドエース の技術ブログ
全466件
2023年5月22日週のGoogle Cloudの主なリリースに関するニュース
2023/05/31
ブックマーク
クラウドエース北野です。 今週で5月も終わりですね。先週から Google Cloud Day'23 Tour in TOKYO - Onlineが開催されました。アーカイブ動画で、登壇内容を確認できるので、見逃した方は、お時間のあるときにご覧ください。また、今週、6月2日 (金)は大阪で Google Cloud Day '23 Tour in OSAKA - Hybridが開催されますので、参加される方はお楽しみください。 Compute Engine C3のマシンシリーズ
Dataproc Serverlessを利用してPySparkを触ってみた
2023/05/31
ブックマーク
はじめに こんにちは、クラウドエース データ/MLディビジョン所属の金です。 前回はDataprocを利用してJupyter notebook上、PySparkでデータ処理を試してみました。 そこで一つ残念だったのがやはりクラスタ管理が面倒なことでした。 今回はDataproc Serverlessを利用して前回面倒だったクラスタ管理などもせずにPySparkでデータ処理を試してみます。 前回の記事が気になる方は下記
Datadog CSPM 使ってみた
2023/05/30
ブックマーク
こんにちは、SREディビジョンの島田です。 Datadog のCSPM をGoogle Cloud で使ってみたので紹介したいと思います。 概要 Datadog CSPM はDatadog社の提供するCloud Security Posture Management（以下CSPM）サービスです。 CSPM とはCloud Security Posture Management の略で、クラウド サービスの脆弱な設定を検出するツールやサービスの総称です。 このDatadog CSPM はDatadog のオプショナル サービスという
batchについて試してみた
2023/05/30
ブックマーク
はじめに こんにちは、クラウドエース データML ディビジョン所属のディエゴです。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調
Cloud Run のマルチコンテナで実現する Envoy & Open Policy Agentによる認証認可
2023/05/30
ブックマーク
はじめに こんにちは。クラウドエース株式会社で SRE をしている間瀬です。 今回は先日紹介したCloud Run のマルチコンテナデプロイ機能に関連してサイドカーコンテナとして Envoy と Open Policy Agent (以下、OPA) をデプロイして認証認可を行う方法を紹介します。 また、認証については今回は Keycloak を使って Open ID Connect (以下、OIDC) による認証を行います。 Cloud Run のマルチコ
Cloud Workstationsで開発をやってみて
2023/05/29
ブックマーク
初めに こんにちは。クラウドエースバックエンドディビジョンの王です。 待望のCloud Workstationsがついに2023年5月11日に一般提供（General Availability）になりました。この記事では、私が実際にCloud Workstationsを使用して開発を行った経験について紹介します。 Cloud Workstationsとは Cloud Workstationsの概要については下記の記事で紹介していますので、リンク先をご参照ください。 htt
tfsecの基本的な使い方を説明します
2023/05/26
ブックマーク
Terraform利用のお供にtfsecをおすすめしたい みなさん、こんにちは。 クラウドエースでいつだってごきげんをキャッチフレーズにSREをしている、長野と申します。 今回はtfsecを使ってみたので、その紹介をさせて頂きたいと思います。 ちなみにtfsecは、Terraformのコードをセキュリティ上の問題や一般的なベストプラクティスに基づいてスキャンする静的解析ツールです。 aqu
trocco®のワークフローでdbtジョブを動かしてみた
2023/05/25
ブックマーク
クラウドエースData/MLディビジョン所属のおでんです。 今回は、データ分析基盤構築・運用の支援 SaaS である trocco® のdbt連携機能を使用して、 trocco® のワークフローとdbtジョブを連携してみたので、手順と感想をまとめました。 trocco®とは trocco®は、ELT/データ転送・データマート生成・ジョブ管理・データガバナンスなどの データエンジニアリング領域をカバーした、
Cloud Translation APIとCloud Functionsを利用して自動翻訳を試してみた
2023/05/23
ブックマーク
はじめに こんにちは、クラウドエース データ/MLディビジョン所属の金です。 私は海外旅行を行ったり、日常生活でもたまにGoogle翻訳機を使っています。 翻訳結果については大体満足しているんですが、たまに固有名詞などの翻訳は変だなと思った記憶もあります。 最近Cloud Translation APIで用語集機能があるのに気づいてどんな結果が出るかやってみたいなと思いました。
trocco®でお手軽ETLワークフロー管理
2023/05/22
ブックマーク
クラウドエースData/MLディビジョン所属のODRです。 今回は、データ分析基盤構築・運用の支援 SaaS である trocco® のワークフロー機能を使用して、GUIでワークフローを作成してみたので、手順と感想をまとめました。 最後に、Google Cloud のワークフロー管理ツールとの比較も行いました。 trocco とは trocco®は、ELT/データ転送・データマート生成・ジョブ管理・データガバナン
2023年5月15日週のGoogle Cloudの主なリリースに関するニュース
2023/05/22
ブックマーク
クラウドエース北野です。 先週、真夏日も数日あり、大変暑くなってきましたが、体調を崩されていないでしょうか。 5月第3週(5/15 ~ 5/19)のGoogle Cloudのリリースに関する注目ニュースは以下になります。 Cloud Logging Log Analiticsの以下の機能が拡張され、セキュアかつ利便性が向上されました。 クエリする時間範囲の指定が可能になりました。 CMEK化されたログバケットを対
BigQueryの Non-incremental Materialized viewsがプレビューになりました
2023/05/22
ブックマーク
はじめに こんにちは、クラウドエース データML ディビジョン所属の中村です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリースを調査・
Dataformで、BigQueryのデータのテストをする
2023/05/22
ブックマーク
初めまして、Data/ML ディビジョンのオーディンです。 本記事では、Dataformで、BigQueryのデータをテストする方法を紹介します。 はじめに データの品質を保証するために、BigQueryのデータが想定通りかテストしたい場面は多いですが、下記のような理由で、テストが導入しにくい状況でした。 テスト用のフレームワークがないため、assert句などを使い自分でテスト用のSQLを
Vertex AIのGenerative AIサポートの概要
2023/05/19
ブックマーク
こんにちは、クラウドエース データML ディビジョン所属の源です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、 毎週Google Cloudの新規リリースを調査・発表し、デ
Container Registry の廃止予定と Artifact Registry への移行について
2023/05/19
ブックマーク
こんにちは。クラウドエースの阿部です。 このブログ記事では、 Container Registry の廃止予定と、 Artifact Registry への移行について紹介したいと思います。 Container Registry の廃止予定について 2023 年 5 月 15 日に、 Container Registry の廃止に関するスケジュールがリリースノートで公開されました。リリースノートはこちらを参照してください。 現在は非推奨の段階であり、2024