「SQL」に関連する技術ブログ
企業やコミュニティが発信する「SQL」に関連する技術ブログの一覧です。
全823件中 421 - 435件目
LookerStudioでDevOpsのレポーティングを自動化する
2023/05/26
ブックマーク
はじめに こんにちは。ZOZOTOWN開発本部アプリ部バックエンドの髙井です。普段は筋肉のビルドが趣味のエンジニアをやっています。私のチームではZOZOTOWNアプリのバックエンド全般の開発から運用までを行っています。 突然ですが、皆さんご存知でしょうか？ ZOZOTOWNはカスタマーサポートセンターの運営管理や従業員のマネジメント等を総合的に評価する「HDI五つ星認証
BigQueryを徹底解説！(基本編)
2023/05/26
ブックマーク
G-gen の杉村です。Google Cloud のフルマネージドな分析用データベースである BigQuery について、徹底的に解説します。当記事は 基本編 であり、当記事を読み終わったあとは 応用編 もご参照ください。 概要 BigQuery とは 利用方法 フルマネージド（サーバーレス） 他の Google Cloud サービスとの連携 他クラウドサービスとの連携 料金 料金体系の基本 ストレージ料金 ストレー
trocco®のワークフローでdbtジョブを動かしてみた
2023/05/25
ブックマーク
クラウドエースData/MLディビジョン所属のおでんです。 今回は、データ分析基盤構築・運用の支援 SaaS である trocco® のdbt連携機能を使用して、 trocco® のワークフローとdbtジョブを連携してみたので、手順と感想をまとめました。 trocco®とは trocco®は、ELT/データ転送・データマート生成・ジョブ管理・データガバナンスなどの データエンジニアリング領域をカバーした、
マネージドMariaDBサービスの設計と仕組みについて
2023/05/25
ブックマーク
概要 こんにちは。さくらインターネット株式会社 クラウド事業本部 SRE室の菅原大和(@drumato)です。 本記事では、先日｢さくらのクラウド Labプロダクト｣としてリリースされた、｢エンハンスドデータベース｣のM […]
trocco®でお手軽ETLワークフロー管理
2023/05/22
ブックマーク
クラウドエースData/MLディビジョン所属のODRです。 今回は、データ分析基盤構築・運用の支援 SaaS である trocco® のワークフロー機能を使用して、GUIでワークフローを作成してみたので、手順と感想をまとめました。 最後に、Google Cloud のワークフロー管理ツールとの比較も行いました。 trocco とは trocco®は、ELT/データ転送・データマート生成・ジョブ管理・データガバナン
BigQueryの Non-incremental Materialized viewsがプレビューになりました
2023/05/22
ブックマーク
はじめに こんにちは、クラウドエース データML ディビジョン所属の中村です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリースを調査・
Dataformで、BigQueryのデータのテストをする
2023/05/22
ブックマーク
初めまして、Data/ML ディビジョンのオーディンです。 本記事では、Dataformで、BigQueryのデータをテストする方法を紹介します。 はじめに データの品質を保証するために、BigQueryのデータが想定通りかテストしたい場面は多いですが、下記のような理由で、テストが導入しにくい状況でした。 テスト用のフレームワークがないため、assert句などを使い自分でテスト用のSQLを
SQLからGo + gRPCに移行。ミイダスのユーザー検索を高速化対応
2023/05/19
ブックマーク
こんにちは。ミイダスTech Officeです。ミイダスにおけるユーザー検索の高速化を図るため、SQLからGo + gRPCへの移行を実施し、技術的な課題を解決しながら開発を進めてきました。 今回のインタビューでは、そのプロジェクトを担当した宮本さんと中田さんに詳細について話を聞きました。 ーー開発プロジェクトの役割分担について
パーソナライズ配信におけるルールベースの最適化改善
2023/05/19
ブックマーク
はじめに こんにちは、技術本部・MA部・MA開発1ブロックでマーケティングオートメーションのシステムを開発している長澤（ @snagasawa_ ）です。この記事ではパーソナライズ配信におけるルールベースの最適化を改善した事例を紹介します。 ZOZOTOWNでは、マーケティングオートメーションによってキャンペーンやセール情報などの配信を日々行なっています。配信はその対
外部API連携とシナリオテスト基盤構築で新卒1年目がDXに向き合う
2023/05/16
ブックマーク
本記事は、22卒1年目の成長シリーズ3日目の記事です。 はじめに AI事業本部協業メディアリテールデ ...
kintoneとBigQueryをリアルタイム連携してみた
2023/05/16
ブックマーク
こんにちは。ML・データ部 データ基盤ブロックの塩崎です。最近はつちのこフェスタが4年ぶりに開催されたというニュース 1 でアフターコロナの訪れを感じています。 さて、データ基盤のためのデータ転送パイプライン構築といいますと、多くの方はMySQLなどのデータベースからのデータ連携を思い浮かべるかと思います。実際にシステムの保有する多くのデータはデ
【第1回】ブロックチェーンとは
2023/05/10
ブックマーク
はじめに みなさんは、「ブロックチェーン」という言葉を聞いたことがあるでしょうか？ ブロックチェーンとは、ビットコインやイーサリアムなどの「暗号資産」と呼ばれるデジタルな通貨や資産を実現するために使われている技術です。 暗号資産は、銀行の預金や企業発行の電子マネーなどとは異なり、暗号技術を用いて誰でも自由に通貨を発行できる点に特徴があ
Dataformを徹底解説
2023/05/09
ブックマーク
G-gen 又吉です。Google Cloud (旧称 GCP) のデータ変換パイプラインツールである Dataform を解説します。 概要 Dataform とは 特徴とメリット 料金 Dataform のコンポーネント コンポーネント構成 リポジトリ リポジトリとは ファイル構成 開発ワークスペース 開発ワークスペースとは 開発ワークスペースの初期化 開発手法 リリース設定 (release configuration) アクセス制御 Dataform のアク
検索が爆速になるデータベース設計を公開します
2023/04/28
ブックマーク
こんにちは。エンジニアの谷井です。 フォルシアでは、Spookと呼んでいる技術基盤を用いて、主に旅行業界やMRO業界に対して、膨大で複雑なデータを高速検索できるアプリケーションを提供しています。 今回はその高速検索のノウハウのうち、特にDBの扱いに関連する部分について、ベテランエンジニアへのインタビューを通してそのエッセンスをまとめてみました。 一
Cloud Run に Golang のAPI サービスをデプロイしてみた
2023/04/26
ブックマーク
こんにちは、クラウドエース SRE ディビジョン の小堀内です。 最近、Google Cloud の学習の一環として、Golang で作成した API サービスを Cloud Run にデプロイしてみました。 その結果のアウトプットとして、本記事を執筆することにしました。 Cloud Run とは Cloud Run の特徴を簡単にまとめると次のものが挙げられます。 サーバーレス の コンピューティングサービス サーバー管