はじめに こんにちは、クラウドエース データソリューション部の坂田です。 先日、アメリカ・ラスベガスで、年に一度の大規模イベント「Google Cloud Next'24」が開催されました。 イベントの最大のテーマはやはり「生成 AI」で、生成 AI に関する様々な新しいサービスや機能が発表されました。 その中でも、今回は BigQuery データ キャンバス という BigQuery の新機能をご紹介します。 Next'24 の発表内容をさくっと知りたい方は ↓ をチェック https://cloud-ace.jp/column/detail468/ https://cloud.g

はじめに こんにちは、クラウドエース データソリューション部の坂田です。 先日、アメリカ・ラスベガスで、年に一度の大規模イベント「Google Cloud Next'24」が開催されました。 イベントの最大のテーマはやはり「生成 AI」で、生成 AI に関する様々な新しいサービスや機能が発表されました。 その中でも、今回は BigQuery データ キャンバス という BigQuery の新機能をご紹介します。 Next'24 の発表内容をさくっと知りたい方は ↓ をチェック https://cloud-ace.jp/column/detail468/ https://cloud.g

はじめに こんにちは、クラウドエース データソリューション部の松本です。 普段は、データ基盤や MLOps を構築したり、Google Cloud 認定トレーナーとしてトレーニングを提供しております。 クラウドエース データソリューション部 について クラウドエースのITエンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのが データソリューション部 です。 弊社では、新たに仲間に加わってくださる方を募集しています。もし、ご興味があれば エントリー をお待ちしております！ 今回は、Googl

はじめに こんにちは、クラウドエース データソリューション部の松本です。 普段は、データ基盤や MLOps を構築したり、Google Cloud 認定トレーナーとしてトレーニングを提供しております。 クラウドエース データソリューション部 について クラウドエースのITエンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのが データソリューション部 です。 弊社では、新たに仲間に加わってくださる方を募集しています。もし、ご興味があれば エントリー をお待ちしております！ 今回は、Googl

こんにちは、SRE 部の松島です。 本記事では、最近 GKE でも利用可能になった Sidecar Containers で Kubernetes で以前から問題のあったサイドカーコンテナが原因で Job が終わらない問題に対処する方法を紹介します。 サイドカーコンテナのせいで Job が終わらない問題について Kubernetes の Job はコンテナ全てが完了状態となったタイミングで Job が完了されたとみなされます。 そのため、Job でサイドカーとしてコンテナを複数利用している場合、処理を実行している本体のコンテナが終了してもサイドカーのコンテナが残る場合 Job が完了

こんにちは、SRE 部の松島です。 本記事では、最近 GKE でも利用可能になった Sidecar Containers で Kubernetes で以前から問題のあったサイドカーコンテナが原因で Job が終わらない問題に対処する方法を紹介します。 サイドカーコンテナのせいで Job が終わらない問題について Kubernetes の Job はコンテナ全てが完了状態となったタイミングで Job が完了されたとみなされます。 そのため、Job でサイドカーとしてコンテナを複数利用している場合、処理を実行している本体のコンテナが終了してもサイドカーのコンテナが残る場合 Job が完了

はじめに こんにちは、クラウドエース SRE 部の kazz です。 最近、ローカル LLM がホットなトピックになってます。昨今の LLM の盛り上がりを見ると、LLM 関連の技術はとりあえず触っておきたいものです。 しかし、動かすためにハイスペックな環境を求められるということで、なかなか手が出せないという方も多いのではないでしょうか？ そこで、今回は Google Compute Engine (GCE) に Ollama と Open WebUI をインストールして、クラウド環境でセルフホストの LLM を動かしてみようと思います。 対象読者 GPU でローカル LLM

はじめに こんにちは、クラウドエース SRE 部の kazz です。 最近、ローカル LLM がホットなトピックになってます。昨今の LLM の盛り上がりを見ると、LLM 関連の技術はとりあえず触っておきたいものです。 しかし、動かすためにハイスペックな環境を求められるということで、なかなか手が出せないという方も多いのではないでしょうか？ そこで、今回は Google Compute Engine (GCE) に Ollama と Open WebUI をインストールして、クラウド環境でセルフホストの LLM を動かしてみようと思います。 対象読者 GPU でローカル LLM

はじめに こんにちは、クラウドエース データソリューション部所属の木村です。 BigQuery でテーブルスキーマの変更や新しいテーブルの追加を行うたびに、ドキュメントの更新作業にうんざりした経験はありませんか？手動での更新は時間もかかり、ミスも起きやすいです。「これが自動でできたら楽なのに」と思ったことは、私だけではないはずです。 そこで、今回の記事では、BigQuery のデータセットからテーブル定義書を自動生成する方法をご紹介します。 なお、本記事のサンプルコードは、こちらの GitHub リポジトリに公開しています。 全体像 データ処理の流れです。 BigQuery の

はじめに こんにちは、クラウドエース データソリューション部所属の木村です。 BigQuery でテーブルスキーマの変更や新しいテーブルの追加を行うたびに、ドキュメントの更新作業にうんざりした経験はありませんか？手動での更新は時間もかかり、ミスも起きやすいです。「これが自動でできたら楽なのに」と思ったことは、私だけではないはずです。 そこで、今回の記事では、BigQuery のデータセットからテーブル定義書を自動生成する方法をご紹介します。 なお、本記事のサンプルコードは、こちらの GitHub リポジトリに公開しています。 全体像 データ処理の流れです。 BigQuery の

はじめに こんにちは、クラウドエース データソリューション部の松本です。 普段は、データ基盤や MLOps を構築したり、Google Cloud 認定トレーナーとしてトレーニングを提供しております。 クラウドエース データソリューション部 について クラウドエースのITエンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのが データソリューション部 です。 弊社では、新たに仲間に加わってくださる方を募集しています。もし、ご興味があれば エントリー をお待ちしております！ 今回は、LangC

はじめに こんにちは、クラウドエース データソリューション部の松本です。 普段は、データ基盤や MLOps を構築したり、Google Cloud 認定トレーナーとしてトレーニングを提供しております。 クラウドエース データソリューション部 について クラウドエースのITエンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのが データソリューション部 です。 弊社では、新たに仲間に加わってくださる方を募集しています。もし、ご興味があれば エントリー をお待ちしております！ 今回は、LangC

はじめに こんにちは、クラウドエース データソリューション部の松本です。 普段は、データ基盤や MLOps を構築したり、Google Cloud 認定トレーナーとしてトレーニングを提供しております。 クラウドエース データソリューション部 について クラウドエースのITエンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのが データソリューション部 です。 弊社では、新たに仲間に加わってくださる方を募集しています。もし、ご興味があれば エントリー をお待ちしております！ 今回は、BigQu

はじめに こんにちは、クラウドエース データソリューション部の松本です。 普段は、データ基盤や MLOps を構築したり、Google Cloud 認定トレーナーとしてトレーニングを提供しております。 クラウドエース データソリューション部 について クラウドエースのITエンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのが データソリューション部 です。 弊社では、新たに仲間に加わってくださる方を募集しています。もし、ご興味があれば エントリー をお待ちしております！ 今回は、BigQu

はじめに こんにちは、クラウドエースで SRE 部に所属している池ヶ谷と申します。 Google Cloud の認定資格の勉強をしていて、「Chronicle」という単語を聞いたことがある方が多いかと思います。 私も Associate Cloud Engineer（ACE）や Professional Cloud Architect（PCA）の勉強中に練習問題や模擬試験に出てきました。そのため、Chronicle の概要を掴むことや、操作方法の習得は Google Cloud の認定資格の取得に役立つかと思います。 しかし、他のリソースと異なり、使用するためには Google Cl

はじめに こんにちは、クラウドエースで SRE 部に所属している池ヶ谷と申します。 Google Cloud の認定資格の勉強をしていて、「Chronicle」という単語を聞いたことがある方が多いかと思います。 私も Associate Cloud Engineer（ACE）や Professional Cloud Architect（PCA）の勉強中に練習問題や模擬試験に出てきました。そのため、Chronicle の概要を掴むことや、操作方法の習得は Google Cloud の認定資格の取得に役立つかと思います。 しかし、他のリソースと異なり、使用するためには Google Cl

こんにちは、クラウドエース SRE 部所属の笠原です。 SIer・コンサルティングファームを経て 2024 年 3 月にクラウドエースへ中途入社しました。 クラウドエースでは入社時の研修の一環としてオンボーディング課題というものに取り組みます。 今回のブログでは、私がこの題材を実施するなかで「ココ詰まったな〜」というポイントと、どうやって解決したかを記載したいと思います。 はじめに 今回取り組んだ課題の概要は以下の通りです。 ※あまり書きすぎると後進の方々へのネタバレになってしまうので、少し省略して記載します。 Google Cloud 上にプロジェクトを作成し、Virtual P

こんにちは、クラウドエース SRE 部所属の笠原です。 SIer・コンサルティングファームを経て 2024 年 3 月にクラウドエースへ中途入社しました。 クラウドエースでは入社時の研修の一環としてオンボーディング課題というものに取り組みます。 今回のブログでは、私がこの題材を実施するなかで「ココ詰まったな〜」というポイントと、どうやって解決したかを記載したいと思います。 はじめに 今回取り組んだ課題の概要は以下の通りです。 ※あまり書きすぎると後進の方々へのネタバレになってしまうので、少し省略して記載します。 Google Cloud 上にプロジェクトを作成し、Virtual P

桜も終わって、春というより初夏の暑さに汗ばんでいます。クラウドエースの亀梨です。 今回は、BigQuery の気が利いた機能、UDF (ユーザー定義関数)について紹介したいと思います。 BigQuery の対応しているデータ型 BigQuery では、多種多様なデータの格納と展開に対応しています。 https://cloud.google.com/bigquery/docs/reference/standard-sql/data-types たとえば JSON データにネイティブ対応しており、直接クエリすることができます。 https://cloud.google.com/bigqu

桜も終わって、春というより初夏の暑さに汗ばんでいます。クラウドエースの亀梨です。 今回は、BigQuery の気が利いた機能、UDF (ユーザー定義関数)について紹介したいと思います。 BigQuery の対応しているデータ型 BigQuery では、多種多様なデータの格納と展開に対応しています。 https://cloud.google.com/bigquery/docs/reference/standard-sql/data-types たとえば JSON データにネイティブ対応しており、直接クエリすることができます。 https://cloud.google.com/bigqu