皆さん、こんにちは。株式会社エブリーは、『動画を通じてもっと楽しく、もっと充実した毎日に』をミッションに掲げた、『動画』『リアルデータ』『AI』のメディア企業です。 株式会社エブリーのエンジニア文化を紹介するために、技術ブログを発信していくことになりました。 はじめに 　動画配信と言っても、動画編集サポートツール、動画エンコーディングインフラ、機械学習、ビッグデータ処理基盤、メディア運営をサポートする管理画面など、利用している技術は多岐に渡り『技術のるつぼ』と言っても過言ではありません。 採用技術 サー

こんにちは、SRE部MA基盤チームの谷口（ case-k ）です。私達のチームでは、データ連携基盤の開発・運用をしています。 データ基盤には大きく分けて2種類あり、日次でデータ連携してるものとリアルタイムにデータ連携しているものがあります。本記事ではリアルタイムデータ連携基盤についてご紹介します。 既存のデータ連携基盤の紹介 リアルタイムデータ連携基盤の紹介 なぜ必要なのか 活用事例の紹介 データ連携の仕組みと課題 　リプレイス後のリアルタイムデータ連携基盤 SQL Serverの差分データの取り方を検討

はじめに こんにちは。ZOZOTOWN部サービスグロースチームでアナリティクスをしている井ノ口です。 この記事ではBigQueryで使える、ユーザー定義関数（UDF）という便利な武器をご紹介します。「UDFって何？」「何のために使うの？」という方に向けた記事のため、高度な分析などはこの記事では扱いません。 UDFとは UDFとは、最初から用意されているSUMやCOUNTのような関数を、ユーザー自身が定義する関数です。 私のチームではGoogle Analyticsのデータから、ユーザーが閲覧したページを分

こんにちは。ECプラットフォーム部 推薦基盤チームで、DWH・DMP・広告まわりのデータエンジニアリングを担当している大谷です。 本記事では、マーケティング部門の広告運用のインハウス化に伴ってこれまで取り組んできた広告データの収集と活用、その仕組みにフォーカスして事例をご紹介します。 背景 データの収集と活用 Arm Treasure Data Integrations Hub ログ収集 アクセスログ 検索インプレッションログ Workflow フィードローダー (Google) レポーティング Goog

こんにちは！那須どうぶつ王国でスナネコの赤ちゃんの一般公開が開始された 1 ことに喜びを感じている、SRE部エンジニアの塩崎です。 ZOZOTOWNでメルマガやPUSHの配信のために、IIAS(IBM Integrated Analytics System)というDWHアプライアンスを利用しています。このIIASは以前から利用していたPureDataの後続機で、先日にマイグレーションをしたので、よろしかったらそちらの記事をお読みください。 techblog.zozo.com 概要 メルマガを配信するにあた

こんにちは。ZOZOテクノロジーズZOZOTOWN部 検索チーム 兼 ECプラットフォーム部 検索基盤チームの有村です。 ZOZOTOWNでは、以前からキーワード検索時にはRDBと併用してElasticsearchを使用していました。本記事ではこれまでRDBで行っていたIDによる索引検索も含め、すべての検索をElasticsearchへ置き換えた事例と、その際に行った設定内容の一部をご紹介します。 背景 弊社CTOによるこちらの記事 にもある通り、ZOZOTOWNでは現在マイクロサービス化を進めており検索

こんにちは！　ZOZOテクノロジーズの中坊（ e_tyubo ）です。 概要 私が所属しているマーケティングオートメーション（以下MA）を担当するチームでは、ユーザ毎にパーソナライズされた情報をメールやアプリのPush通知で配信しています。その際に利用するZOZOTOWNやWEARのデータは我々が管理する専用のデータベースに集約されています。このデータベースには日々のユーザの行動ログが記録されるため、必然的にデータ量は大きいものになります。このような巨大なデータを管理することに特化したデータベースはデータ

はじめに こんにちは。ZOZO研究所の shikajiro です。主に研究所のバックエンド全般を担当しています。ZOZOでは2019年夏にAI技術を活用した「類似アイテム検索機能」をリリースしました。商品画像に似た別の商品を検索する機能で、 画像検索 と言った方が分かりやすいかもしれません。MLの開発にはChainer, CuPy, TensorFlow, GPU, TPU, Annoy、バックエンドの開発にはGCP, Kubernetes, Docker, Flask, Terraform, Airfl

スマートキャンプの笹原です。 みなさんはWebサイトの、特にフロントのパフォーマンス改善を日頃から行っていますか？ 常に意識しているという方もいれば、気が向いたときにたまに見てみるなんてこともあるんじゃないかと思います。 今回はそんなパフォーマンスに常に意識を配れるように、毎日Lighthouseを叩いてみたのでその構成を紹介したいと思います。 Lighthouseとは 要件 処理の流れと制約 実際の構成 1. 定期的にCloud Tasksに各ページごとのTaskをEnqueueする TaskをEnqu

はじめに こんにちは、初投稿になります。 今年の1月から エニグモ でデータサイエンティストをしている堀部と申します。 1/25(土)に行われたCA × atmaCup というオフラインのデータ コンペティション のイベントに参加しました。 【東京・大阪同時開催】CA × atmaCup - connpass 85チーム中、Public 12

　 ※この記事は LIFULL Advent Calender の20日目です 　こんにちは! LIFULLでデータアナリストをしている竹澤( @Akira Takezawa )です. 　今回は, LIFULLの データアナリストチーム の取り組みを紹介します. 　本記事はデータ分析に興味がある方を対象に, 「マーケティングの実務で生かせる時系列分析」をテーマに執筆しました. 　まず, なぜこの記事を書いたかを簡単に説明します. 　近年, 機械学習やディープラーニングの台頭を筆頭に近年データ分析の手法は爆

少しさかのぼりますが、11/1に「ここでしか聞けない AI 、 機械学習 サービスの活用例」をテーマに開催された 第４回 Google Cloud INSIDE Digital に 弊社エンジニアの木村が登壇しました。 弊社で運営しておりますショッピングサイトバイマへ出品された商品画像に 規約違反 となるような不適切なものが含まれる場合があるため、その検出に Cloud Vision API を活用した事例についてお話ししました。 発表資料を公開します。 ショッピングサイトにおける商品画像への Could

こんにちは。開発部データエンジニアの遠藤です。現在、私はデータ×テクノロジーでZOZOグループのマーケティングを支援するデータチームに所属して、データ処理基盤の運用などに従事しています。 本記事では、Lookerを用いて運用中のデータ集計基盤をきれいなデータをスマートに取り出せる基盤に改良した件について報告します。 データ集計基盤で燻っていた問題 1. クエリ管理の限界 2. 集計定義に対するデータの信憑性が謎 Lookerは何が良い？ ～データガバナンス機能～ LookML データディクショナリ Git

こんにちは。音声UIの開発を担当している武田です。Alexaのスキル「 コーデ相談 by WEAR 」はスキルの応答から分析まで、ほぼ全てAmazon Web Services（以下、AWS）のみを使って構成されています。今回は処理の種類ごとにAWSの構成の内容を、 CloudFormation のコードとともに紹介していきます。 ユーザーに応答を返す AWS Lambda Amazon DynamoDB Amazon CloudWatch Amazon S3 CloudFormation 問題があった時

スマートキャンプでマーケターをしている佐々木です。 最近は自販機でペットボトルを購入することにハマっています。 私は弊社の運営する資料請求サイト「ボクシル」のマッチング最適化を生業として生きているのですが、追うべきKPI・可視化したデータの共有にはスプレッドシートを好んで使っています。 SQLで取り出したデータであればRe:dashで共有するのがライトなのですが、 SQLでとってきたもの以外のデータを上手く組み合わせられない 様々なアレルギー反応を起こす人がいる（英語UIがダメな人、クエリ見ると卒倒しちゃ