はじめに こんにちは！クラウドエース データML ディビジョン所属の佐塚と申します。 データML ディビジョンとはクラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門としております。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。

はじめに こんにちは！クラウドエース データML ディビジョン所属の佐塚と申します。 データML ディビジョンとはクラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門としております。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。

本記事は 【Advent Calendar 2023】 18日目の記事①です。 🎄 17日目 ▶▶ 本記事 ▶▶ 18日目記事② ▶▶ 19日目 🎅 はじめに 課題 対応手順 IAMロール設定 Cloud SQLへのラベル付け BigQueryへの課金データのエクスポート BigQueryでクエリを作成 クエリのスケジューリング BigQueryテーブルのアクセス制限 おわりに はじめに こんにちは。Webシステムサービス事業部 右代谷です。 最近携わったGoogle Cloud案件で、GoogleClo

G-gen の杉村です。BigQuery では、Cloud KMS で管理する暗号鍵を使って、列レベルの暗号化を行うことができます。その仕組みと方法を解説します。 BigQuery における暗号化 ストレージ暗号化とは 列レベル暗号化とは 権限と読取可能性 暗号化方式 AEAD 暗号化とキーセット エンベロープ暗号化 BigQuery 以外でのエンベロープ暗号化 2つの暗号化関数 検証 作業の流れ 1. Cloud KMS 鍵を作成 2. 鍵セット (DEK) 格納用のテーブルを作成 3. 鍵セット (D

この記事は CyberAgent Developers Advent Calendar 2023 1 ...

はじめに こんにちは。 RevCommでCorporate EngineeringチームおよびFull Stackチームで活動している川添です。 社内の情報管理、うまくできているでしょうか？ルールやナレッジを共有しあっているけれども、過去に話した内容を何度も確認しあっている、過去の情報をうまく検索できない、などの問題が起きてないでしょうか？ どの会社でもこのような問題は起きているかと思いますが、RevCommでもやはり起きています。 今回は、そのような問題に対する一つのソリューションとして、 RAG (R

こんにちは、クラウドエースの阿部です。 この記事は、Google Cloud Champion Innovators Advent Calendar 2023 の15日目です。 最近の Google Cloud って Firewall っぽいサービス多いよね 私が Google Cloud に入門したのは 2017年10月頃ですが、その頃の Google Cloud における Firewall と言えるサービスは VPC ファイアウォールルールと Cloud SQL の承認済みネットワークくらいだったと思

はじめに こんにちは、クラウドエース Data/ML ディビジョン所属の坂田です。 BigQuery 界隈のみなさん、「BigQuery DataFrames」という Python ライブラリをご存知でしょうか。 BigQuery DataFrames は 2023 年 9 月に登場したライブラリで、BigQuery データを使ってデータ分析を行うことができる、Google 提供のライブラリです。 BigQuery DataFrames は、2 つの機能に分かれています。 Pandas ライクな操作・機能

はじめに こんにちは、クラウドエース Data/ML ディビジョン所属の坂田です。 BigQuery 界隈のみなさん、「BigQuery DataFrames」という Python ライブラリをご存知でしょうか。 BigQuery DataFrames は 2023 年 9 月に登場したライブラリで、BigQuery データを使ってデータ分析を行うことができる、Google 提供のライブラリです。 BigQuery DataFrames は、2 つの機能に分かれています。 Pandas ライクな操作・機能

※ Timeeのカレンダー | Advent Calendar 2023 - Qiita の12月13日分の記事です。 はじめに こんにちは okodoooooonです dbtユーザーの皆さん。dbtモデルのbuild、どうやって分割して実行してますか？ 何かしらの方針に従って分割をすることなく、毎回全件ビルドをするような運用方針だと使い勝手が悪かったりするんじゃないかなあと思います。 現在進行中のdbtのもろもろの環境をいい感じにするプロジェクトの中で、Jobの分割実行について考える機会があったので、現

開発した背景 株式会社リクルートでデータエンジニアとして働いている宮井です。普段はインフラ寄りのデータエンジニアとして社内

はじめに クラウドエースの康です。 今回は R 言語について調べながら BigQuery（SQL）の関数に置き換える理由について説明します。また、それぞれの R 言語の関数と BigQuery SQL の関数を比較し、どのように対応しているかを示します。 これにより、二つの言語間の同様の機能と処理方法が理解できます。 R 言語とは データ分析、統計計算、グラフィック作業のために設計されたプログラミング言語です。 R 言語の特徴 複雑なデータを多様なグラフで表現することができる 初心者でも直感的に扱える パ

この記事は Timee Advent Calendar 2023 シリーズ 3 の12日目の記事です。 qiita.com はじめに DREグループでデータエンジニアをやっている 西山 です。 今回は、データ転送まわりの運用自動化について書きます。 タイミーのアプリログが分析できる状態になるまでのリードタイムが長く、効果検証や意思決定に遅れが出ていた問題に対して、dbtに関連する運用を自動化することで改善しました。 タイミーでのアプリログの転送について タイミーではS3に貯まったサーバーログを定期的にデー

前編 では PyGithub の管理タスク自動化の事前準備・導入について紹介しました。後編では新規ブランチの作成、ブランチ内ファイルの更新・削除、プルリクエストの自動化についてご紹介したいと思います。 はじめに 前編記事 当記事でやること 事前準備 データを準備 Github リポジトリを作成・main ブランチにファイルを準備 新規ブランチ作成 ファイルの新規作成 ファイルの更新 ファイルの削除 プルリクエスト プログラムの実行 ソースコード 実行結果 はじめに 前編記事 当記事では、PyGithub

こんにちは、今年の4月に新卒で入社したデータエンジニアの中村です。 この記事は Enigmo Advent Calendar 2023 の11日目の記事です。 入社してからは、社内のデータを利用者がより使いやすくなるように、データ基盤の整備・データ連携を進めております。 最近弊社のデータ基盤をTerraformによる管理に移行するタスクに取り組んでいるので、どのような ディレクト リ構成を採用したか説明していこうと思います。 データ基盤をこれからTerraform化しようとしている方に有益な情報となれば幸