こんにちは。SCSKの山口です。 今回は、BigQueryのテーブルにCSVデータを取り込む際、何度も遭遇したエラーたちと、その解消方法をご紹介します。 データを取り込む方法としては、下記「bq load」コマンドでGCS→BQに取り込むことにします。 実行コマンド bq load –skip_leading_rows=1 [データセット].[テーブル] gs://[バケット/フォルダ]/[ファイル名]  コマンドのオプション等、詳細情報は下記ドキュメントをご参照ください。 bq コ

G-gen の佐々木です。当記事では、Google Cloud のサーバーレス コンテナコンピューティング サービスである Cloud Run で簡単なサービスを作成する方法を解説します。また、サービスの基本的な設定項目や、よく使用される機能や構成についても解説していきます。 Cloud Run について gcloud CLI の準備 Artifact Registry の準備 使用するコード（Python） 記事執筆時の環境について サンプルコードの構成 main.py requirements.txt

クラウドエース 北野です。 Argo CD のユーザー管理に Google アカウントまたは Google グループを使えるようにして、Google アカウントでシングルサインオンを実現する方法を紹介します。 概要 以下のようにして Cloud Identity または Google Workspace を外部 ID プロバイダとして構成して、アカウントに権限を付与してアカウント管理をします。 Identity Platform で OAuth2.0 クライアント ID の作成 argocd-cm の C

はじめに アジアクエスト クラウドインテグレーション部の呉蜀魏です。

こんにちは。SCSKの山口です。 今回は、Google Cloud認定資格の受験レポート その①です。 はじめに 先日、Google CloudのAssociateレベルの認定資格として、下記二つの認定資格が追加されました。 ・ Associate Data Practitioner ・ Associate Google Workspace Administrator 全冠維持継続中の私にとっては見逃せないニュースでしたが、 Associate Google Workspace Administrator

G-gen の杉村です。Google ドライブの 共有リンク について解説します。また、共有リンクがファイルやフォルダの移動に際してどのような影響を受けるのかについてもあわせて紹介します。 共有リンクとは 共有リンクの取得方法 共有リンクボタンからの取得 ブラウザからの取得 共有リンクのセキュリティ 移動とコピー ファイルやフォルダの移動 ファイルのコピー 共有リンクとは Google ドライブには 共有リンク 機能があります。Google ドキュメントや Google スプレッドシート、あるいは Goo

はじめに ビットキーで bitkey platform を開発している @otakakot です。 bitkey platform では Cloud SQL for PostgreSQL を活用しています。 Cloud SQL では紆余曲折事情があり複数のデータベース[1]をひとつのインスタンスで管理しています。 今回 Cloud SQL for PostgreSQL のメジャーバージョン更新の機会があり、Database Migration Service (DMS) の利用を検討しました。 システムは

G-gen の奥田です。当記事では、Amazon Web Services（AWS）、Microsoft Azure、Google Cloud（旧称 GCP）が提供するフルマネージドな AI エージェントサービスの比較 を行います。 はじめに 当記事について AI エージェントとは ツールとは マルチエージェントシステムとは RAG と併用する効果 3社比較 前提条件 機能比較 料金シュミレーション 想定シナリオ AWS Azure Google Cloud 総評 AWS Azure Google Clo

クラウドエース北野です。 以下の様な Google Kubernetes Engine のフリート機能を使って複数の Google Kubernetes Engine クラスタを Argo CD で管理する方法を紹介します。 概要 以下の方法で Argo CD で複数の Google Kubernetes Engine (以降 GKE と呼びます)クラスタを管理します。 フリートによる GKE クラスタの管理 Argo CD プラグインジェネレータ fleet-argocd-plugin によるフリート情

はじめに 2024年、バンダイナムコネクサスはエンタープライズ規模のデータ基盤開発から、AIを活用した新たな開発手法まで、私たちの取り組みをTechBlogを通じて発信してきました。 この記事では、これまでリリースした主要な記事を振り返り、当社の技術的な取り組みを紹介します。 データ基盤開発プロジェクト 広告出稿のKPI最大化のためのデータ基盤開発 ～第1章 プロジェクト発足～ 広告出稿のKPI最大化を目指したデータ基盤開発プロジェクトについて、プロジェクト開始当初の課題を踏まえて、取組やシステムの概要・

はじめに こんにちは。NALYSYS開発部の部長を務めている山下と申します。 本記事では、私たちが開発している NALYSYS （ナリシス）というプロダクトと、それを支える開発部の様子や魅力をお伝えします。 はじめに 対象読者 この記事を読むとわかること NALYSYSとは？ 日本が抱える社会問題 NALYSYS（ナリシス）とは NALYSYSのプロダクトラインナップと今後の展望 NALYSYS開発チームに迫る 技術スタック 開発手法 チーム構成・開発体制 製販一体の開発 ワークスタイル・雰囲気 キャリア

はじめに こんにちは、MA部MA開発ブロックの平井です。普段はマーケティングオートメーションシステムの運用、開発を担当しています。現在、開発ブロックではリアルタイムマーケティングシステムのリプレイスプロジェクトに取り組んでいます。リプレイスプロジェクトを進める上で、性能目標を満たすためにアプリケーションのパフォーマンスチューニングが必要でした。今回、Cloud Traceを利用してアプリケーションパフォーマンスを可視化し、パフォーマンスチューニングを行ったためその知見を共有したいと思います。 この記事の内

G-gen の min です。先日、Looker Studio を使い、Google Cloud（旧称 GCP）の BigQuery のデータ可視化を試みた際に困ったことがありました。今回は、発生した問題と解決方法を記載します。同じ課題に直面した方の参考になれば幸いです。 やりたかったこと 発生した問題 原因調査 検証 解決方法 やりたかったこと Looker Studio では、複数のデータを結合して1つのデータセットとして扱うことができます。 参考 : Looker Studio での統合の仕組み ま

本記事は 新人ブログマラソン2024 の記事です 。 皆さんこんにちは！入社して間もない新米エンジニアの佐々木です。 最近、Snowflakeの比較的新しい機能である「 コンピュートプール 」について調査する機会がありました。 そこで本記事では、コンピュートプールについて調べたことを皆さんと共有したいと思います！ 特に、公式ドキュメントに記載されている細かい内容というよりも、 コンピュートプールの概要について初学者でも分かりやすいようにお話できればと思います。 まだ触れたことのない方も、既に利用している方

はじめに こんにちは、ブランドソリューション開発本部FAANS部でAndroidアプリを担当している田中です。本記事ではバグ件数削減の施策の1つとしてFAANS Androidで実施したJetpack ComposeのUIテストの自動化についてご紹介します。 目次 はじめに 目次 背景 Firebase Test Labについて 料金について UIテストを記載する build.gradleの設定 UIテストで使用するテストファイル 1. 特定の文字列が表示されているかのテスト 2. 特定のコンポーネントが