こんにちは、SRE 部の松島です。 本記事では、最近 GKE でも利用可能になった Sidecar Containers で Kubernetes で以前から問題のあったサイドカーコンテナが原因で Job が終わらない問題に対処する方法を紹介します。 サイドカーコンテナのせいで Job が終わらない問題について Kubernetes の Job はコンテナ全てが完了状態となったタイミングで Job が完了されたとみなされます。 そのため、Job でサイドカーとしてコンテナを複数利用している場合、処理を実行

こんにちは、SRE 部の松島です。 本記事では、最近 GKE でも利用可能になった Sidecar Containers で Kubernetes で以前から問題のあったサイドカーコンテナが原因で Job が終わらない問題に対処する方法を紹介します。 サイドカーコンテナのせいで Job が終わらない問題について Kubernetes の Job はコンテナ全てが完了状態となったタイミングで Job が完了されたとみなされます。 そのため、Job でサイドカーとしてコンテナを複数利用している場合、処理を実行

特徴量設計とは？ 例えば、機械学習や人工知能を応用した顧客の解約予測、製品需要予測、商品の売上予測など、ビジネス上の重要かつ複雑な問題に取り組んでいるとしましょう。機械学習による予測分析では、よりよい機械学習のアルゴリズムや手法を選ぶことが成功の鍵であると思われがちです。ロジスティック回帰、決定木、ブースティング、ニューラルネットワークなど、適切な機械学習のモデルを選び、予測精度と解釈性のトレードオフを考慮しながらモデルをチューニングする作業も、モデル開発にとって欠かせない工程です。一方で、Garbage

はじめに こんにちは、クラウドエース データソリューション部所属の木村です。 BigQuery でテーブルスキーマの変更や新しいテーブルの追加を行うたびに、ドキュメントの更新作業にうんざりした経験はありませんか？手動での更新は時間もかかり、ミスも起きやすいです。「これが自動でできたら楽なのに」と思ったことは、私だけではないはずです。 そこで、今回の記事では、BigQuery のデータセットからテーブル定義書を自動生成する方法をご紹介します。 なお、本記事のサンプルコードは、こちらの GitHub リポジト

G-gen の杉村です。2024年4月のイチオシ Google Cloud アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに BigQuery で history-based optimizations が Preview 公開 Security Command Center で Enterprise ティアが公開 (GA) Cloud Armor の Managed Protection Plus が Cloud Armor Enterprise に改

はじめに こんにちは、クラウドエース データソリューション部の松本です。 普段は、データ基盤や MLOps を構築したり、Google Cloud 認定トレーナーとしてトレーニングを提供しております。 クラウドエース データソリューション部 について クラウドエースのITエンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのが データソリューション部 です。 弊社では、新たに仲間に加わってくださる方を募集しています

こんにちは、MA部MA開発ブロックの @gachi-muchi-engineer です。 4/9-4/11に開催された Google Cloud Next '24 へ参加してきました。去年に続きオフライン開催で、今年はアメリカ・ラスベガスで開催されました。弊社からはMA部の @gachi-muchi-engineer ・ @da-sugi ・佐久間の3名が参加しました。去年参加した際の様子は以下のテックブログで紹介しています。 techblog.zozo.com 今年はどのようにAIを利用しているのか、利

Spring BatchとDBUnitを使ったテストで起きた問題 自己紹介 こんにちは。プラットフォーム開発部/共通サービス開発グループ[^1][^2][^3][^4][^5][^6]/決済プラットフォームチームの竹花です。 今回は、Spring Batch + DBUnitを使ったテストで遭遇した問題について書きたいと思います。 環境 ライブラリ等 バージョン Java 17 MySQL 8.0.23 Spring Boot 3.1.5 Spring Boot Batch 3.1.5 JUnit 5.1

Spring BatchとDBUnitを使ったテストで起きた問題 自己紹介 こんにちは。プラットフォーム開発部/共通サービス開発グループ[^1][^2][^3][^4][^5][^6]/決済プラットフォームチームの竹花です。 今回は、Spring Batch + DBUnitを使ったテストで遭遇した問題について書きたいと思います。 環境 ライブラリ等 バージョン Java 17 MySQL 8.0.23 Spring Boot 3.1.5 Spring Boot Batch 3.1.5 JUnit 5.1

桜も終わって、春というより初夏の暑さに汗ばんでいます。クラウドエースの亀梨です。 今回は、BigQuery の気が利いた機能、UDF (ユーザー定義関数)について紹介したいと思います。 BigQuery の対応しているデータ型 BigQuery では、多種多様なデータの格納と展開に対応しています。 https://cloud.google.com/bigquery/docs/reference/standard-sql/data-types たとえば JSON データにネイティブ対応しており、直接クエリす

桜も終わって、春というより初夏の暑さに汗ばんでいます。クラウドエースの亀梨です。 今回は、BigQuery の気が利いた機能、UDF (ユーザー定義関数)について紹介したいと思います。 BigQuery の対応しているデータ型 BigQuery では、多種多様なデータの格納と展開に対応しています。 https://cloud.google.com/bigquery/docs/reference/standard-sql/data-types たとえば JSON データにネイティブ対応しており、直接クエリす

こんにちは。SCSKの山口です。 皆さん、誰しも一度は「過去に戻ってやり直したい」と思ったことがあるはずです。（唐突） 学校の花瓶を割ってしまったときや、大事なプレゼンで盛大に噛んでしまったとき、そして、 BigQuery テーブルの大事なデータを消してしまったとき。 大丈夫、 ３つ目は救えます 。 今回はそんなブログです。   BigQueryのタイムトラベル機能 BigQueryには、過去データへアクセスできる「タイムトラベル機能」という大変便利な機能が備わっています。 この機能を活用するこ

Hello. I am @p2sk from the DBRE team. In the DBRE (Database Reliability Engineering) team, our cross-functional efforts are dedicated to addressing challenges such as resolving database-related issues and developing platforms that effectively balance gove

AWS Summit は、世界中のさまざまな場所でイベントが開催されるなど、世界を揺るがし続けています。AWS Summit London（4月24日）は4月最後の開催で、5月には AWS Summit Berlin （5月15-16日）、 AWS Summit Los Angeles （5月22日）、 AWS Summit Dubai （5月29日）など9つの開催が予定されています。つながり、コラボレーション、そして AWS について学ぶために参加してください！ どのサミットに参加するかを決めるにあたり

こんにちは。SCSKの山口です。 今回は、BigQueryのドライランを実際にやってみたブログです。 業務で非常にお世話になり、便利すぎて感動したのでブログ化しちゃいました。皆さんも是非ご活用ください。   BigQueryドライラン概要 ドライランとは、クエリの検証、料金/データ見積もりを ”クエリを実際に実行することなく” 把握する事ができるモードです。 クエリを実際に実行しない（クエリスロットを使用しない）ため、課金なしで実行できるという何ともありがたい機能になっています。 公式のドキュメ