​データ分析基盤グループでデータエンジニアをしている平川です。 DataVaultに関する記事の第2回目となります。(第1回の記事は こちら です) 第2回の記事は、DataVaultモデリングの中心となるHub/Link/Satelliteをdbtのパッケージを利用して作っていくという内容です。 2,3回目の内容が当初と少し変わっていますので、再掲いたします。 第1回: DataVaultってなに？どんな特徴があるの？ 第2回: automate_dvを使ってDataVaultモデリングの中心となるテー

DoGet App は、友人と直接会って時間を共有するためのモバイルアプリケーションです。 この投稿では、DoGet Appが彼らのユースケースに対応し、リアルタイムのアクティビティ提案とマッチメイキングを可能にする Amazon Neptune に支えられたグラフデータモデルをどのように採用したかについて紹介します。 この目的のために構築されたデータベースに対するアプローチにより、彼らのサーバーレスアーキテクチャは、AWS AppSync、AWS Amplify、AWS Lambda、 Amazon S

1. はじめに はじめまして、クラウドエース データML ディビジョン所属の尾杉です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは、Google Cloud が提供しているデータ領域のプロダクトについて、新規リリースをキャッチアップするための調査報告会を毎週実施しています。 その中で特に重要と考えるリリースを記事としてまとめ、本ペ

このブログ記事は Chen Xiaoyu （BytePlus社 MLソリューションディレクター）と Hao Chen（Customer Success Engineer on the Amazon IVS team） および Tian Shi（Senior Solutions Architect at AWS）の共著によるものです。 Sandvine’s Global Internet Phenomena Report によると、2022 年の全インターネットトラフィックの 65 ％以上が動画コンテンツで

モノのインターネット (IoT) のデバイスは、クラウド上でトレンドの特定や意思決定に利用できるデータを生み出します。 スケーラブルなデータ取り込み機構を設計するのは複雑な作業であり、最初のステップはデバイスの期待動作を把握することです。つまりデバイスが、どうやってデータを送信しているか、どれくらいのデータ量か、データーフローのパターンは何か、その方向はどちらか、何の目的でどういったデータが行き交うのか、を把握します。これらの質問はデータ取り込みプロセスを定義する上で欠かせません。この記事では AWS I

こんにちは。 サービスエンジニアリング本部の寺田と橋野です。 こちらの記事は、RubyKaigi 2023に参加しました！<後編>です。 前編は以下からどうぞ！ tech.enigmo.co.jp 後編では、RubyKaigi2023で印象に残った講演の内容を紹介をしていきます。 1日目 Matz Keynote Youtube : [JA][Keynote] Matz Keynote / Yukihiro "Matz" Matsumoto @yukihiro_matz - Yo

はじめに クラシルリワードについて データ基盤の全体構成 BigQueryの選定理由 データ基盤における重要な役割 アプリのイベントログのscan量削減 DynamoDBやRDSをBigQueryにSync Snowflakeの活用 BIツール(Redash, Looker) Redash Redash repositoryのフォルダ・ファイル構成 git管理下のSQLクエリをRedashに反映 Lookerについて さいごに はじめに こんにちは！クラシルリワードで開発責任者をしているfunzinです。

このブログは 2023 年 2 月 8 日に Luca Mezzalira (Principal Solutions Architect)、Federica Ciuffo (Sr. Containers Solutions Architect)、Laura Hyatt (Solutions Architect)、Vittorio Denti (Machine Learning Engineer)、Zamira Jaupaj (Enterprise Solutions Architect) によって執筆され

このブログ記事では、 IBM PC の物語と比較しながら、自動車アプリケーション向けのオープンハードウェアプラットフォームの導入が、自動車業界のイノベーション、ディスラプション、トランスフォーメーションの推進において同様の環境を作り出す可能性があることを紹介します。また、このブログ記事では、こうしたプラットフォームをリリースする最初の自動車業界の企業が得る可能性のある優位性についても議論します。 IBM が最初の PC を導入した経緯 1981年の IBM PC のリリースは、パーソナルコンピューティング

はじめに こんにちは、DevRelブロックの @wiroha です。DevRelの3名による連載「ZOZO TECH BLOGを支える技術」の3本目、最終回として Looker Studio （旧データポータル）を使ったBLOGの数字分析についてご紹介します。 Looker Studioは、データを視覚的にわかりやすいグラフやチャートにして表示するツールです。ZOZO内ではCSレポートの作成や、計測プロダクトのデータ分析などで活用しており、これまでに記事も公開しています。 techblog.zozo.co

(本記事は 2023/01/27に投稿された Differences to expect when migrating from Azure Cosmos DB to Amazon DynamoDB を翻訳した記事です。) Azure Cosmos DBのワークロードを Amazon DynamoDB に移行することを検討しているお客様から、どのような違いが想定されるのかと聞かれることがあります。この記事では、Azure Cosmos DBからDynamoDBへの移行時に想定される相違点と、それに備えるた

はじめに こんにちは、クラウドエースのデータMLディビジョン所属の玉野です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータMLディビジョンです。 データMLディビジョンでは活動の一環として、毎週Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回紹介するリ

本連載では、ブロックチェーンの基本的な仕組みを解説しながら、オンチェーンデータを分析するための基本的な手法について、全8回で紹介します。 第4回となる今回は、オンチェーンデータ分析の手法としてSQLを用いることのメリットについて、SQLの背景にある概念や歴史などを交えながら解説していきます。 データ分析のためのSQL SQLとは、もともとリレーショナルデータベースと呼ばれるデータベースシステムからデータを抽出したり、データを操作したりするための専用の言語でした。近年では、SQLの完成度と汎用性の高さから、

はじめに こんにちは、クラウドエースの浦谷です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回紹介するリリースは、「Cl

はじめに こんにちは。検索基盤部の岩崎です。検索基盤部ではZOZOTOWNの検索機能の改善に日々取り組んでいます。ZOZOTOWNのおすすめ順検索のプロジェクトでは、機械学習モデルを活用した検索結果の並び順の改善に取り組んでおり、全ての施策はA/Bテストで検証しています。なお、最近の並び順精度改善の取り組みについては以下の記事をご参照ください。 techblog.zozo.com 本記事におけるA/Bテストとは、特定期間中ランダムに振り分けたユーザーに対してそれぞれ別の施策を提示し、その成果の差を検定する