スーパーやドラッグストアなどの売り出し情報のデジタル化によって新しい買い物体験を提供する「トクバイ」のサービス。店舗と消費者を確かな情報でマッチングさせる技術を支えるのは、CTO前田卓俊氏をはじめとするトクバイのエンジニアたちだ。

エンジニア組織が自立的に成長していくために、組織の透明化や権限移譲などに取り組む一方、スピードとチャレンジという企業としての行動指針を確実なものにするため、日々、仮説検証の仕組みづくりに力を入れている。

KPI設定と仮説検証の積み重ねがサービスを向上させる

サービスの改善のためにスピードとチャレンジを重ねるトクバイのエンジニアたち。現状の何が問題で、それを解決するためには何をするべきかをたえず考え続けている。何のために施策を施すのか、その結果はどうだったのか、結果が想定どおりでなかったのは何が問題だったのか——こうした仮説検証が日々積み重ねられている。

「サービス改善のために施策を講じることは、エンジニアにとって不可欠な作業ですが、単に思い込みで改善を行っても、結果が無駄になることは少なくありません。より精度の高い意志決定を行うためには、仮説検証のサイクルが重要になります。

まず、現状を観察した上で『こうすればよりユーザーは使いやすくなるに違いない』といった自身の考えを明確にして仮説を立案し、施策を実行する必要があります。自分の考えが正しいか、正しくないかを判断するためには定量的な基準の導入も必要です。

そして、施策を講じた結果、起こった事象が意図どおりであったか、想定外の事象は起きていないか、もし想定外の事象が起きたのならそれはなぜなのか、といった検証を繰り返すことが重要なのです」

と語るのは、トクバイCTOの前田卓俊氏だ。

▲株式会社トクバイ 取締役CTO 前田卓俊氏

一般に、仮説検証は、①状況の観察・分析、②仮説の立案、③仮説の検証という3つのプロセスと捉えられる。なかでも仮説の立案、検証にあたっては、思い込みや勘を排除するために指標を定めることが重要だ。

トクバイには会社全体やサービス全体を通しての目標数値（KGI）はあるが、そのままでは個々の施策の仮説検証がしにくい。そのため、同社では検証指標（KPI）を施策ごとに設定している。

例えば、画面にどんなバナーを表示すれば消費者はクリックするのか。それを仮説検証するためには、ページ内に実際にバナーを作って、CTR（クリック率）やCVR（コンバージョン率）で計測するという方法がある。

計測は単一ページ内だけに止まらない。複数の店舗を閲覧した消費者は果たして目的の店舗を探し出すことができたのか。その情報をもとに実際に店舗を訪れ、商品を購入したのか。消費者の行動履歴を辿ることも重要な指標になる。

例えば、検索成功率という数値だ。検索成功率とは、特定の条件を満たして終了する「検索成功セッション」が全セッションに占める割合を示したものだ。この数値が高いほど、目的の店舗に到達する確率も高まるわけで、それが高まれば、消費者に満足度の高い検索体験を提供したことになる。

「施策に応じて、クリック率などの点の指標と、セッション成功率やセッションパス分析などの線の指標を使い分けることが重要。施策ごとに勘所は変わりますが、分析者が見たいユーザー行動に沿った数字を立てるのが基本です」と前田氏は言う。

仮説検証基盤を支えるエンジニア

各部門のエンジニアやディレクターの要望を受け、仮説検証プロセスを回す指標のもととなる行動データを貯める仕組みを設計するのが、サーバーサイドエンジニアの深谷淳氏だ。

「各アプリチームやWebチームのエンジニアやディレクターが仮説検証のために、指標を設計し、パラメータを埋め込む作業を各施策や各機能単位で行っています。すると大量の行動データが集まってくるので、それを短期間や長期間での分析に活かすために毎秒、毎分送られてくるデータを欠損することなく安定的に貯める仕組みが必要となります。
また、それらデータを貯めるだけでなく、なるべく早く参照できる状態にし、よりリアルタイムに近い状態で参照できるようにする。そのための仕組みを設計・運用するのが私の仕事です」

▲株式会社トクバイ サーバーサイドエンジニア 深谷淳氏

サービスの責任を負う現場が、自ら仮説検証し、サービス改善を進める。そうした流れをつくるためには、深谷氏らバックグラウンドにいるエンジニアの技術サポートが不可欠なのだ。

トクバイで日々、仮説検証を繰り返しているのは、エンジニアやディレクター、デザイナーだけではない。カスタマーサポート（CS）のチームもカスタマーの状況を把握し、その動きを分析するために、施策ごとの仮説検証を行っている。

「CSチームの直接のお客様は、スーパーやドラッグストアの販売やマーケティングの担当者です。CSチームとしてはそうしたお客様にもっとトクバイサービスを活用してほしい。活用度合いが高まれば高まるほど、消費者の獲得につながるのですから。例えばどういうタイミングでお知らせを消費者に届けると、効果が高まるのか。カスタマーサポートをする際に、そうしたデータを示すことでトクバイの活用度が高まります」

トクバイのCSチームは、SalesforceやMarketなどのマーケティング・オートメーションツールも活用している。それらのシステムから生まれる独自のデータを集約する仕組みの構築についても深谷氏は関わっている。

また、消費者が近所にある店舗を探したり、その店舗の特売情報を見つけたりするための検索サーバーの構築・運用も深谷氏の担当だ。

検索サーバー自体はOSSのミドルウェアを活用するが、その検索スコアのチューニングを進め、「1年前に比べたら、確実にユーザーの検索体験は向上しているはず」と胸を張る。トクバイの裏側にはこんな頼もしい人材がいるのだ。

「心の壁を取り払う」——誰もすぐに使えて役に立つ仮説検証基盤を

チームが自ら仮説検証を行ってサービスを改善するという行動は、トクバイが独立した時から当たり前のように行われてきた。

「Webサービスを改善するためには、各機能に責任をもつプロダクト側が自ら仮説検証を行って、データを分析する習慣を持ってほしい」というのは前田CTOの願いでもある。トクバイとして独立してからは、そうした習慣を促進するために、仮説検証基盤を更に使いやすくするためのアップデートを重ねている。

現在は、モバイルアプリについては、ログ収集用のエンドポイントを自社で運用するほか、Google が提供しているモバイルおよび Web アプリケーションのバックエンドサービス「Firebase」を活用している。Webアプリに関しても、クライアントイベント、サーバーサイドイベント共に様々なログデータを保存し、集約している。

職種別のユースケースで見ると、エンジニア、デザイナー、ディレクターらは日常的にログテーブルの集計を自ら行うほか、複雑な集計については、トレジャーデータ社のscheduled queryをフル活用して、中間データを生成するようにしているという。CSチームでも、ログとマスターデータを1箇所に集約、中間データを生成して期間集計を行うことで、複雑なデータを比較的簡単に分析できるようになった。

「仮説検証基盤をアップデートするにあたっての基本方針は、データは可能な限り集約し、また中間データを生成しやすくすることでした。SQLの複雑さをカバーするべく、各部門の利用シーンに合わせた集計済みデータを事前に用意しておくことで、分析に関わる学習コストを下げることにも注意を払っています。

各チームに課題に集中して向き合ってもらうために、分析コストは最大限下げるというのが最も重要なこと。簡単なルールを覚えれば誰でもすぐにデータ分析ができるようになるという体制を目指しています」（前田氏）

こうした体制づくりのために、深谷氏が尽力したことは言うまでもない。

「まずは、分析に対してメンバーの中の心の壁を取り払うことが大切です。データを見たいときにすぐ見られるようにする。可能な限り見やすい形でデータを提供する——ということに留意しました。

ただ、データが膨大になればなるほど、データの取り出し方に工夫が必要になります。その点は、クエリーに対するレスポンスを速くするとか、複雑なクエリーを書かなくても、中間データを見ればよいようにするとか、エンジニア側でサポートする取り組みを行っています」

いまや50000店舗以上の小売業者が参画する国内最大のプラットフォームに成長したトクバイ。そのサービスを支えるエンジニアの責任はけっして小さくない。

「仮説検証基盤や分析技術そのものは他の企業でもやっていることで、当社が抜きんでて高度だとは考えていません。サービスを前に進める、そのスピードを加速するための基盤技術を目指しています。その意味では、まだまだ改善の余地はありますが、着実に前に進めることができているのではないでしょうか」

と、深谷氏は自信を込めて語るのだった。