こんにちは、k-kzkです。私はInsight Edgeに参画して早2年が経ちました。 今回の記事では、私が初めて取り組んだETL開発プロジェクトと、そこで選択したツールであるDataformについてお話しします。 目次 1. はじめに 1.1 ETL 開発とは 1.2 Dataform の選定理由 2. Dataform を利用した ETL 開発のライフサイクル 2.1 リポジトリ作成 2.2 ワークスペースの使い方について 2.3 ディレクトリについて 2.4 テーブル構成 2.5 Dataform

G-gen の山崎です。 当記事では、Cloud Storage に格納されたテキストファイルに対して、Cloud Run functions にてVertex AI Gemini API を呼び出し、取得したテキストの要約結果を BigQuery に保存する処理を構築したので解説します。 システム構成 前提知識 環境構築 API の有効化 Cloud Storage の構築 バケットの作成 Cloud Storage サービスエージェントに権限付与 BigQuery の構築 Cloud Run func

G-genの杉村です。Google Cloud（旧称 GCP）のサービスではありませんが、Google 関連サービスである Ads Data Hub の初期セットアップについて、簡単に紹介します。 はじめに Ads Data Hub とは 2 つのモード アカウント開設の前提条件 Google アカウント Google Cloud プロジェクト 事前に必要な情報 Ads Data Hub アカウントの開設 留意点 Ads Data Hub のリージョンと Google Cloud のリージョン IAM 権

こんにちは。SCSKの磯野です。 Dataplexにはデータリネージ機能があります。BigQueryでどのように加工したときがリネージ対象なのか、調べてみました。 データリネージとは？ データリネージ とは、データがいつ、どこで、どのように取得され、今の状態にあるのかを追跡し、データの流れを可視化する機能です。データリネージは、DataPlex の機能名ではありますが、Google Cloud に限らず一般的に使われる用語です。   BigQueryでどのように加工したときにリネージされる？ 公

G-gen の奥田梨紗です。オープンソースの Looker 拡張機能である Explore Assistant を使い、自然言語によってグラフを生成できる機能を実装しました。本記事ではその機能の紹介や、実装手順について紹介します。 はじめに Looker Explore Assistant の紹介 できること 1. Assistant 機能 2. Chat 機能 料金 利用事例 実装 構成 実装の手順 環境変数ファイルの作成と編集 はじめに 当記事では、Looker 拡張機能である Looker Expl

こんにちは。SCSKの山口です。 本ブログでは、前回のブログで作成したBigQuery MLの線形回帰モデルの性能を評価してみたいと思います。 [前回ブログ]モデル作成・予測結果 【GCP】BigQuery MLを触りたいときに読むブログ 今回はBigQuery MLを使って機械学習モデルの作成、テストをやってみます。 AI/MLの知識はあまりないがとにかくBigQuery MLを触ってみたい方、BigQuery MLでモデルを作成して推論してみたい方にぜひ読んでいただきたいブログです。 blog.usi

こんにちは。SCSKの山口です。 今回はBigQuery MLを使って機械学習モデルの作成、テストをやってみます。 こんな方にオススメの記事です。 ・とにかくBigQuery MLを触ってみたい ・BigQuery MLでモデルを作成してみたい ・BigQuery MLでモデルを使って推論してみたい 筆者はこんな人です。 ・Google Cloud歴：約2年 ・BigQueryのコンソール操作には慣れている ・ SQLが少し書ける ・AI/MLの知識はあまりない 今回のブログでは、BigQuey MLを試

自己紹介 こんにちは。クラウドエースのデータソリューション部 Data2 ユニットでデータエンジニアをしている、田中といいます。 私は文学部で心理統計学を専攻して卒業したあと、2022 年の 4 月にクラウドエースにエンジニアとして新卒で入社しました。4 ヶ月ほどの新卒研修を終えたあとデータソリューション部に配属され、データエンジニアとしてのキャリアをスタートさせました。データエンジニアとしては、約 2 年ほどのキャリアになります。 今回は私のリアルなデータエンジニア（データソリューション部）の一日を記事

はじめに ファイナンスデータソリューショングループの高橋です。今回は、Snowflakeに存在するデータを定期的にGCSに

はじめに Findyでデータエンジニアとして働いている開（ hiracky16 ）です。 この記事ではGoogle Cloudの製品であるCloud DLPを中心に弊社で取り組んでいるデータマスキングについて紹介します。 弊社はFindyやFindy Freelanceなど人材に関する事業を取り扱っているため個人データがより集まりやすい環境にあります。 ファインディの組織が日々拡大しサービス拡張していく中で、利用者の安全性を担保し、データにおけるリスクを低くするためのデータ基盤づくりが求められてきました。

G-gen の杉村です。2024年8月のイチオシ Google Cloud アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに Google Cloud Next Tokyo '24 で新発表 Python SDK で API コールなしで Gemini のトークン数カウント（Preview） Gemini on Vertex AI で、1リクエストで複数回答候補の生成が可能に SCC の Cloud Infrastructure Entitlement

はじめに

はじめに こんにちは、SRE 部の家野です。 今回は、Google Compute Engine（以下、GCE）の VM インスタンスの作成方法から、nginx を利用したウェブサーバーの構築までの手順を紹介します。 記事の目的と概要 私自身が新卒で Google Cloud について聞いたことはあっても、実際には何なのかよく分からなかった経験があります。 そのため、これから Google Cloud を利用する方々に新卒視点で詳しく説明したいと思い、この記事を執筆しています。GCE の基本的な概要から、

こんにちは。SCSKの山口です。 今回はBigQuery利用の料金を抑える一つの方法として、 「オンデマンドクエリの上限値設定」 をやってみます。 プロジェクト/クエリごとの上限値を設定し利用料金の増加を抑えるほか、意図しない大規模クエリによる利用料金の急増を抑える効果もあります。ぜひご覧ください。 BigQueryの料金体系 ここについては詳細に説明されている 公式ドキュメント 等があるため、要点を抑えて簡単に説明します。 BigQueryの料金は下記二つの要素で構成されています。 コンピューティング料

はじめに こんにちは、AI チームの長澤です。 この記事では Google によって開発・提供されている AutoMLOps を使って、充実した CI/CD パイプラインを手軽に構築してみようと思います。 今回は公式によって提供されているチュートリアルの流れに沿って、どのような GCP サービスが展開・構築されるのかを実際に手を動かして試してみます。 AutoMLOps AutoMLOps は Google によって提供されている OSS で、CI/CD 機械学習パイプラインを手軽に構築できるツールになっ