こんにちは。ECプラットフォーム部 推薦基盤チームで、DWH・DMP・広告まわりのデータエンジニアリングを担当している大谷です。 本記事では、マーケティング部門の広告運用のインハウス化に伴ってこれまで取り組んできた広告データの収集と活用、その仕組みにフォーカスして事例をご紹介します。 背景 データの収集と活用 Arm Treasure Data Integrations Hub ログ収集 アクセスログ 検索インプレッションログ Workflow フィードローダー (Google) レポーティング Goog

はじめに こんにちは。 機械学習エンジニアの辻です。 さて本日は、「国内初？マルチリービングでランキングを勝手に自動改善！」ということで、 マルチリービング という手法と、その手法を使ったランキングの自動最適化の方法についてご紹介したいと思います。なお、今回の取り組みは、筑波大学・図書館情報メディア系・准教授の加藤誠先生 *1 に大変ご助力賜りました。この場を借りてお礼申し上げます。 目次 はじめに 目次 アローの不可能性定理 クラシルのランキングについて ランキングの課題 では、どうしたらいいか？ マル

“AI”のギャップが、ビジネスへの導入を妨げる 2020.6.22 代表取締役CTO　藤原 弘将 概　要 “AI”と聞いて、「人の代わりになるもの」と思う人もいれば、「限られたことだけできるもの」と思う人がいるように、そのイメージは人によって異なっているのが現状です。こうした認識の一致がないまま社内で“AI”プロジェクトが進んでしまえば、その結果がどうなるかは明らかです。AIをどう捉え、どう使うか、基本的ながら重要な点を考えていきます。 （＊本コラムは、日刊工業新聞の連載『AI・ロボット転機予報part2

こんにちは。ZOZOテクノロジーズZOZOTOWN部 検索チーム 兼 ECプラットフォーム部 検索基盤チームの有村です。 ZOZOTOWNでは、以前からキーワード検索時にはRDBと併用してElasticsearchを使用していました。本記事ではこれまでRDBで行っていたIDによる索引検索も含め、すべての検索をElasticsearchへ置き換えた事例と、その際に行った設定内容の一部をご紹介します。 背景 弊社CTOによるこちらの記事 にもある通り、ZOZOTOWNでは現在マイクロサービス化を進めており検索

はじめに こんにちは、ZOZO研究所福岡の下所です。 検索チームでWEARの検索ログの解析を行なっているのですが、その中でファッション業界に限らず、多くの言語学者・データ解析者がインターネット上での文字解析、特に新語の理解に苦労していることを知りました。特に日本語のように表現が曖昧で流動的な言語を理解することに多くの労力を要しているように感じました。 例えば読者の皆さんは、「かわぱんつ」というキーワードを見て何を想起されますか？私は「革のパンツ」を思い描きました。しかし、昨今のファッション用語ではこれは「

はじめに こんにちは。ZOZO研究所の shikajiro です。主に研究所のバックエンド全般を担当しています。ZOZOでは2019年夏にAI技術を活用した「類似アイテム検索機能」をリリースしました。商品画像に似た別の商品を検索する機能で、 画像検索 と言った方が分かりやすいかもしれません。MLの開発にはChainer, CuPy, TensorFlow, GPU, TPU, Annoy、バックエンドの開発にはGCP, Kubernetes, Docker, Flask, Terraform, Airfl

はじめに こんにちは、計測プラットフォーム部バックエンドチーム、テックリードの児島（ @cozima0210 ）です。この記事では、ZOZOSUITとZOZOMATの違いにより生じたバックエンド開発における課題と、その解決のためにCQRSアーキテクチャを採用した経緯、そしてその実践について紹介します。 ZOZOSUITとは ZOZOSUIT は、2017年に発表した全身の計測を目的としたツールです。現在も計測機能は提供されていますが、新規の販売は終了しています。現在、ZOZOSUITの計測データは、マルチ

※AMP表示の場合、数式が正しく表示されません。数式を確認する場合は 通常表示版 をご覧ください ZOZO Researchの斎藤です。私たちはファッションコーディネートの推薦や生成の基礎として、深層集合マッチングという技術を研究しています。本記事では、深層集合マッチングを理解する上で必要な諸概念の説明と、ファッションデータを使った実験結果について紹介します。対象読者としては、機械学習系のエンジニアや学生を想定しています。 集合マッチングとは ある集合が与えられたとき、その集合にもっともマッチする集合を解

そもそもJetsonという製品群はエッジでモデルのトレーニングもできてしまうようなデバイスなので簡単なことであればクラウドは必要ないかもしれません。 Jetsonの強みはエッジで機械学習できることなので、クラウドへセンサーデータを送り推論みたいなことは必要はないし、低いレイテンシが求められるときはNGいかもと思います。ただデバイスやセンサーの数が多くなると管理はやっぱりクラウドでしたいですよね。 AWS IoTにはDevice Shadowという機能があります。これは簡単に言うとデバイスの状態保存&取得で

さてこれまではほとんどAWS IoTの話でしたが、Jetson Nanoを利用し、エッジで機械学習 × IoTみたないことをやっていきます。 弊社はクラウドの会社なのでこういったデバイスを扱うことはほとんどないのですが、今回はPytorchのMNISTのサンプルを動かしてJetson Nanoの性能を見てみます。Pytorchなんで正確には「エッジでディープラーニング」というべきでしょうか。 なので今回はJetson Nanoの話です。 1. jtopコマンドのインストール jtopはJetson Nan

こんにちは、技術1課の小倉です。 2020/5/13にアップデートがあり、Amazon Macieが東京リージョンで利用可能になり80%以上値引きされました！ Announcing major enhancements to Amazon Macie, an 80%+ price reduction, and global region expansion また、本アップデートで機能強化が行われ、追加された機能です。 個人情報(PII)検出のための機械学習モデルの更新、正規表現を使用した顧客定義のセンシテ

はじめに こんにちは、技術1課の山中です。 家に眠っていた RTX1500 を引っ張り出してきてリモートで同僚のアドバイス通り設定したらネットが更に速くなりました。 (といっても 100M が限界ですが… 今回は Amazon Kendra が一般利用可能になったということで触っていきたいとおもいます。 Amazon Kendra が一般利用可能に Amazon Kendra とは Amazon Kendra は S3 や RDS もしくは、 SharePoint などの外部サービスにあるデータを機械学習

はじめに 先進技術調査グループのせとです。本ブログでは、Apache MXNetを用いてfastaiで実装されている実践的な関数を真似てみた結果を紹介します。この試みのゴールは、完全一致の結果を目指すのではなく同じような傾向を得られるかを目指したものになります。完全一致を目指したいところですが、各フレームワークで用意しているモデルの構造が少し違ったり、各関数の計算方法が異なるので結果が等しくなりませんでした。もちろん、他方に併せて関数を自作すればほとんど一致する結果を得ることができますが実装のコストが高か

はじめに こんにちは、技術 1 課の山中です。 毎日花粉症の薬を飲んでるのですが、花粉はいつまで続くのでしょうか。 花粉の検査を以前病院で行ってもらったのですが、検査結果を待たずして引っ越してしまったので本当の花粉症なのか未だになぞです。 今回は Amazon Personaliize のアップデートがあったので、ためしてみました！ Amazon Personalize とは Amazon Personalize (以下、Personalize) とは、 Amazon.com で使用されている機械学習アル

こんにちは！技術2課の濱岡です。 みなさん、どうぶつの森で遊んでいますか？ 私は借金まみれです笑 AWS DeepComposerが正式にリリースされましたので遊んでみました！ ここを見るとわかるのですがすごい興奮が伝わってきますね！！ AWS DeepComposerとは AWS DeepComposerは自分で作成したメロディから機械学習を用いてオリジナルの曲を作成できるAWSのサービスです。 直感的にできるというのが特徴です。 機械学習を学んでいると色々数式が出てきて頭がこんがらがってくるので気軽に