「A/Bテスト」に関連する技術ブログ
企業やコミュニティが発信する「A/Bテスト」に関連する技術ブログの一覧です。
全40件中 31 - 40件目
Data Strategy GroupのAPI開発の挫折とその後
2018/12/18
ブックマーク
BASE Advent Calendar 2018 18日目 「 BASE Advent Calendar 2018 」の18日目の記事です。 devblog.thebase.in お久しぶりです。BASEビール部部長（& Data Strategy Group）の氏原です。 アドベントカレンダーの季節が来て今年も終わりかと実感しているところです。 年末年始、どこにビール飲みに行くか今から悩んでます。 参考： 大晦日もお正月もクラフトビール！ 年末年始営業日カレンダー (20
Google Optimize360でレコメンドエンジンの評価をしてみる
2018/10/03
ブックマーク
こんにちは。フロントエンジニアの苅部です。 今回はECサイトでのレコメンドエンジン評価にあたって、Google Optimize360のフロント組み込みやGoogle Analyticsのユーザーリスト利用を実施しましたので一連の流れを共有したいと思います。 テスト実装であったりレコメンド評価の理解の一助となれば幸いです。 ※Google Optimizeの導入方法については過去の記事をご確認ください
PyMC3を使ったベイズ推論によるA/Bテスト
2018/02/19
ブックマーク
こんにちは。 データチームの後藤です。 A/Bテストはサービス改善のための施策の効果測定に欠かせないツールですが、最近のVASILYでは、運用するサービスが増えてきたことに伴いA/Bテストの内容も多様化してきました。今回はそのA/Bテストにベイズ推論を用いた具体的な例を紹介します。 問題設定 あるサービスのコンバージョン率を上げるため、コンバージョンの前提
Speed Indexを使ったWebパフォーマンス改善の振り返り
2017/09/28
ブックマーク
こんにちは。制作部の苅部です。 今回は、サービス横断でのWebパフォーマンス改善を1年間続けた中で指標としてSpeed Indexを採用した振り返りを書き残しておこうと思います。 Speed Indexとは 時間ごとの描画面積で算出される値で、体感速度の指標として参考にすることができます。 UX向上としてのWebパフォーマンス改善を考える時に、他の指標よりも役に立ちます。 DOMConte
Google Optimize導入とA/Bテスト実施のポイント
2017/04/19
ブックマーク
フロントエンジニアの苅部です。 medibaシステム本部では一部サービスのA/BテストをGoogle Optimize(以下Optimize)で実施しております。 先日Optimizeの一般利用が可能になったようですので、これから初めてA/Bテストを実施する方に向けて、使用感を共有できたらと思います。 Optimizeの特徴 1. 無償版でも十分使える 無償版でもほとんどの機能が利用できるため、予算のないプロジ
DataStudioとGASでWebPagetestの計測結果をグラフ化する
2016/12/24
ブックマーク
mediba Advent Calendar 24日目です。 フロントエンジニアの苅部からはGoogle Data StudioとWebPagetestについて書こうと思います。 medibaシステム本部ではWebPagetestや Sitespeed を使って継続したパフォーマンス計測を実施しています。 具体的にはユーザー体験(体感速度)に影響を及ぼすCritical Rendering Pathに注視して、SpeedIndexとDomContentLoaded、FirstPaintの改善を進めています。 普段WebPagetestで計
AWS re:Invent 2016 新サービスまとめ 2
2016/12/09
ブックマーク
こんにちは、インフラストラクチャー部の沼沢です。 前回 に引き続き、re:Invent 2016 の Keynote Day 2 で発表された新サービスの概要を一挙にご紹介したいと思います。 AWS Opsworks For Chef Automate Chef サーバのフルマネージドサービス Chef のコミュニティにある Cookbook や Tool を利用可能 Amazon EC2 System Manager EC2 とオンプレミスの構成を管理するためのサービス OS パッチの適用、AMI
Google AnalyticsとCookieを使って、アイコンのA/Bテストをしてみた
2016/08/24
ブックマーク
こんにちは。制作部の苅部です。 今回は最近実施したGoogle Analyticsを使ったA/Bテストについて書こうと思います。 仕組み自体はすごくシンプルですので、ツールの導入が難しい場合にも簡易的なA/Bテストが実施できると思います。 Google Analyticsを使う機会が少ないエンジニア/デザイナーの方や、普段フロントエンドの実装をされてないディレクターの方に向けて、今回の
多腕バンディットを活用したプッシュ配信の最適化施策
2015/10/13
ブックマーク
こんにちは。VASILYに入社して、オシャレぶるようになったと周りにイジられているデータサイエンティストの金田です。 VASILYでは、プッシュ通知の開封数を上げるために様々な施策を行っていますが、その一つとして、多腕バンディット問題を応用し、複数の異なるタイトル文の配信比率を動的に最適化することで、開封数を高めるといった取り組みを行っています。今
ユーザー向け情報サービスの「評価」を考える (第2回)
2012/04/23
ブックマーク
こんにちは、ネクスト 清田です。 前回の記事 では、情報検索システムの研究で評価に使われてきた「再現率」「精度」という指標について紹介するとともに、現実の情報検索システムでは、システムの「ユーザー」を巻き込まないと本当の姿は分からないことを示しました。今回は、ユーザーを巻き込んでシステムを評価するには、どんなことを考