こんにちは、SCSKの齋藤です。 本記事では、クラウド型データ連携サービスであるFivetranを活用し、BigQueryに効率的にデータを格納する方法について解説します。データエンジニアリングの知識がなくても、Fivetranを使えば、簡単にデータ連携パイプラインを構築することができます。 Fivetranとは Fivetran（ファイブトラン）は、クラウドベースのデータ連携（ETL/ELT）パイプラインサービスです。 簡単に言うと、様々なデータソースからデータを抽出し、データウェアハウスやデータレイク

こんにちは。クラウドエース株式会社で Google Cloud 認定トレーナーをしている廣瀬 隆博です。 みなさんは夏休みの宿題が「油断していたら期限ギリギリだった」ということはありませんか。 私は先日、かなり観たかったバンドの来日公演チケットが発売されるタイミングを見逃してしまい、気づいたら完売していたということがありました。 本当に悔しくて、その日はヤケ酒を飲むことになってしまいました。 今回の記事は Professional Cloud Database Engineer に関する記事であり、実は

こんにちは。SCSKの山口です。 今回は、Google Cloud認定資格の受験レポート その①です。 はじめに 先日、Google Cloudの認定資格として、下記の認定資格が追加されました。 ・ Generative AI Leader 最近立て続けに認定資格が増えていますが、ついに生成AI関連の資格が追加されました。 せっかく受験するので、今回も [受験前] ・対策内容 ・抑えておく要点 [受験後] ・合否 ・出題内容（受験前の想定とのギャップ） ・抑えておいた方が良い要点 をブログとして残そうと思

G-gen の佐々木です。当記事では Pub/Sub の Single Message Transforms（SMTs） 機能によるメッセージの変換処理について解説します。 前提知識 : Pub/Sub とは Single Message Transforms（SMTs）とは SMTs の基本 SMTs のユースケース UDF による定義 SMTs の注意事項 当記事の構成 宛先 BigQuery テーブルの作成 SMTs を設定した Pub/Sub トピックの作成 SMTs を設定した Pub/Sub

はじめに こんにちは。メルペイVPoEの @keigow です。 この記事は、 Merpay & Mercoin Tech Openness Month 2025 の初日の記事です。 これまでもメルペイ及びメルカリグループでは、社内向けChatGPTとも言える Ellie の取り組みや、LLMをプロダクトや業務効率化に活かすためのハッカソンイベント ぐげん会議 の開催、プロダクトへのLLM利用も含め、AI/LLMの活用を推進してきました。 AI/LLMの進化のスピードは想像以上に早く、毎日のように

こんにちは。SCSKの山口です。 今回はBigQuery の外部テーブル機能についてのブログです。 BigQuery の外部テーブルとは？ 概要 外部テーブル機能は、簡単に言うと、Google Cloud Storage (GCS) や Google ドライブなどの 外部データソースに保存されているデータを、BigQuery のテーブルであるかのように直接クエリできる機能 です。 実際のデータは BigQuery の管理下に置かず、外部のストレージサービス上のデータを参照します。これにより、データを Bi

こんにちは。SCSKの山口です。 BigQueryのビュー機能、皆さん使いこなせていますか？？？ BigQueryは優れた処理能力と柔軟性を持ち、大量のデータ分析を効率的に使用できるDWHサービスです。 そんな BigQuery をさらに便利にする機能の一つが 「ビュー (View)」 です。ビューは、データベースに存在する仮想的なテーブルのように振る舞いますが、 実際にはデータを物理的に保存しません 。このことによってさまざまなメリットを生み出します。 この記事では、BigQuery のビュー機能の基本

G-gen の杉村です。2025年5月のイチオシ Google Cloud（旧称 GCP）アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに Vertex AI Search が値下げ Gemini 1.5 Pro/Flash の廃止日に注意 Gemini API（Vertex AI）でグローバルエンドポイントが利用可能に Gemini API（Vertex AI）で Elasticsearch を使ったグラウンディング Cloud Composer 1（

こんにちは。SCSKの松渕です。 Google Cloud Data & AI Summit ’25 Springに参加してきたので、イベントの内容と感想を投稿します。 セッションはピックアップしてお届けいたします！ Google Cloud Data & AI Summit ’25 Springとは このイベントは、Google Cloudが主催するデータ分析と人工知能に関するイベントです。最新のGoogle CloudのデータおよびAIテクノロジーの発表、成功事

はじめに クラウドエースの梶田、小貫です。 セキュリティの観点からリソースをなるべく外部に晒すのは避けたいですよね。Google Cloud では、リソースに外部 IP アドレスを付与せずにサービス接続する「プライベート接続」という機能があります。 本記事では、その主要な方法である Private Google Access（PGA）、 Private Service Access（PSA）、 Private Service Connect（PSC）、通称「Private 3兄弟」を解説します。 TL;D

初めに 2025/4/9から4/11(現地時間)にかけて、Google Cloud Next 25がラスベガスにて開催されました！ マイナビからは、企画、データサイエンティスト、エンジニア、マーケターの4名が現地に向かい、参加してきました。 本記事では、Cloud Next 25のイベントの概要や、面白かった内容について、レポート形式でご紹介いたします。 概要編：Cloud Next 25ってどんなイベント？ Cloud Nextとは、Google Cloudによって主催される、おもにGoogle Clo

G-gen の佐々木です。当記事では Google Cloud の機械学習ワークフローオーケストレーションツールである Vertex AI Pipelines を解説します。 MLOps と ML パイプラインの必要性 Vertex AI Pipelines パイプラインの定義 2種類のインターフェース Kubeflow Pipelines SDK TensorFlow Extended SDK パイプライン コンポーネント コンポーネントの基本 Google Cloud パイプライン コンポーネント 概

みなさんこんにちは！ワンキャリアで共通基盤チームのリーダーを務めている鶴瀬 ( Github： @tsuru-kazu ）です。 この 1 年間、共通基盤チームのリーダーとして、ONE CAREER for Engineer の求人機能開発や視聴ログ基盤の構築など、複数のプロダクトを横断する大規模なプロジェクトに携わってきました。これらの経験を通じて、技術的なスキルだけでなく、プロジェクトマネジメントやチームリーダーシップなど、エンジニアとしての幅広い成長を実感しています。 本記事では、この 1 年間で経

はじめに 貢献度分析とは 今回使うデータの紹介 BigQuery で貢献度分析をする際のステップ ステップ① データの準備 ステップ② モデルの作成 ステップ③ インサイトを見てみよう まとめ はじめに ジブリの音楽を演奏できるようになることを夢見て、最近カリンバという楽器を購入した松村です。 本ブログでは、Google Cloud Next 2025 で一般公開機能として紹介された BigQuery ML の貢献度分析（※1）を試した内容をまとめます。今回は、ニューヨーク市のシェアサイクルサービス「Ci

こんにちは、ブログ運営担当の小野です。 5/21（水）19:00～20:00 当社主催の勉強会「NRIネットコム TECH & DESIGN STUDY #65」が開催されます!! 【ウェビナー概要】 今回のTECH & DESIGN STUDYでは、当社エンジニアから「コンソールで学ぶ！Cloud Runの機能とオプション」、「『Google Cloud Next 2025』で発表された、BigQueryの最新機能を使ってみよう」、「『Google Cloud Next 2025』 最新トレンドをキャッ