再現性ある介入効果検証に向けて、さまざまなバイアスや課題に立ち向かった話

カケハシでデータサイエンティストをしている島吉です。こちらの記事はカケハシ Advent Calendar 2024 の13日目の記事になります。

カケハシでは薬局向けプロダクトをベースとした新規事業を進めています。新規事業の効果を定量的に示すために、データサイエンティストが複数のチームと連携し、効果検証ロジックの構築から型化に取り組んできました。今回、データアナリスト・医学研究チーム・ビジネスチームと連携することで、医学的かつ統計的に妥当性が高いロジックを構築するとともに、ビジネス活用において再現性が高いロジックの型化を実現しましたので、その事例を紹介します。

効果検証ロジックの構築・型化に取り組んだ理由

カケハシは医療に大きく貢献するために、新規事業の取り組みを複数の顧客に提案し、PoCを進めてきました。しかし、PoCのデータが蓄積されてから、新規事業の効果を検証しようというタイミングで、データが想定よりも複雑になっていることが明らかになりました。このような問題を解決するために、データサイエンティストがプロジェクトに参画することになり、効果検証ロジックを構築することになりました。

顧客ごとに分析対象の医薬品が異なるので、それにともない分析の要件が異なる場合もあります。しかし、複数の顧客への報告が近づいてきているなか、報告のたびにロジックを構築していては手が回らないと考えました。顧客ごとに別の分析担当者を割り当てたとしても、担当者によって考え方の違いが発生すると、ロジックの派生がたくさん生まれてしまい、管理が難しくなってしまいます。そこで、顧客ごとのニーズに柔軟に対応可能なロジックの型化が実現できれば、効率的な効果検証が可能になると考えました。

今回の効果検証における課題

課題1. データが検証しやすい形式ではなかった

検証に使用するデータは、実際の薬局から収集した医療データ（リアルワールドデータ）であり、分析しやすい整ったデータではありませんでした。たとえば、新規事業の取り組みによる介入はさまざまなタイミングで行われたので、比較する対照群の抽出方法や、比較の起点の決め方に工夫が必要でした。そのほかにも薬局によってデータ収集期間が異なるなど、さまざまな課題があり、これまで類似の分析事例がなかったので、前処理の検討から取り組む必要がありました。

課題2. 介入群・対照群で属性の違いによるバイアスがあった

介入の際に発生するバイアスの影響は、実際にデータが蓄積されるまでわかりませんでした。たとえば、ランダムに介入が行われると思っていたけれど、実際には介入の行われ方に何らかの傾向があったり、それが薬局によっても異なることがありました。そのため、介入群・対照群を比較する際、2群間の属性の違いによるバイアスを取り除いた検証ができるように、条件をそろえた比較が必要でした。

課題3. 顧客ごとのニーズの違いによる影響が想定以上だった

顧客ごとに対象の医薬品が異なることで、多少のロジック変更が必要であることは想定していました。しかし、実際にデータが蓄積されてから分析してみると、想定していた以上に効果検証への影響が大きいことがわかりました。たとえば、医薬品によって介入の実施数が大きく異なったり、見たい指標が異なる場合の影響が想定よりも大きかったりしました。そのため、顧客ごとにPoCの期間や評価指標などの条件設定を適切に行う必要があり、そのうえで汎用性の高い効果検証ロジックの型化が必要だと考えました。

課題解決のためのアクション

異なる専門性を持つチームと連携した効果検証ロジックの構築・型化

効果検証の目的を正しく理解するために、新規事業の初期から参画しているデータアナリストに話を聞きました。カケハシのデータアナリストはリアルワールドデータを用いたビジネス価値の創出に強みがあり、データサイエンティストはビジネス課題を解決するための探索的な分析に強みがあります。データサイエンティストの方で課題1を解決するために、データを可視化しながら対策を検討しました。これによって必要な前処理が具体的になり、検証しやすい形式でデータを抽出できるようになりました。そして、課題2を解決に近づけるために、データアナリストが検討していた層別解析を用いることで、介入群・対照群で一定の条件をそろえた効果検証ロジックを構築しました。

課題2の解決に向けて効果検証を精緻化するために、医学研究チームとも連携しました。医学研究チームは、リアルワールドデータを用いた研究・エビデンス創出を行なっているチームであり、医学的に妥当性の高い分析ができるところに強みがあります。医学研究チームとの連携により、課題2を解決するにはさまざまなバイアスを除く必要があることがわかりました。そこで、医療観点で考慮すべきさまざまな要因や、統計的因果推論を用いた手法について検討しました。専門性の異なる医学研究チームとうまく連携するために、技術力だけでなくドメイン知識も習得してきました。たとえば、薬局の業務について社内の薬剤師から話を聞いたり、医薬品の添付文書を読むことで分析対象の理解を深めたりしてきました。これによって、医学研究チームの言っていることの真意を汲み取り、本質的な課題に落とし込んでデータを分析できるようになりました。その結果、医学的かつ統計的に妥当性の高い効果検証ロジックを構築することができ、さまざまなバイアスを除いた検証ができるようになりました。

課題3を解決するためには、新規事業における顧客とのやりとりなど、ビジネス面での理解を深める必要もあると考えました。そのため、ビジネスチームとのコミュニケーションを増やしたり、顧客とのミーティングにも参加するようにしました。そして、顧客のニーズをデータアナリストと連携しながら整理することで、効果検証で共通的に必要な要件と、対象の医薬品ごとにカスタマイズが必要な要件をまとめました。これらを加味したロジックをデータサイエンティストが実装することで、さまざまな顧客への報告で使用できるロジックの型化が実現しました。

効果検証の再現性を高める

新規事業の効果検証は、データアナリスト・データサイエンティストの複数のメンバーが実施することになるので、各メンバーが効果検証ロジックを使いこなせるようになる必要がありました。そのため、統計的因果推論の勉強会を実施し、新規事業の事例に当てはめながら説明することで、各メンバーの理解度を高めてきました。また、各メンバーが効果検証ロジックを使用して気づいた点をコメントし、それに対する改善を繰り返すことで実用性を高めていきました。

型化した効果検証ロジックを顧客向けに使用するには、データの収集期間や評価指標など、PoCの条件設定も重要になってきます。このあたりは、ビジネスチームが顧客と相談しながら調整しているので、ビジネスチームが効果検証について理解しているかどうかも重要です。そのため、ビジネスチーム向けの効果検証の勉強会を実施し、効果検証で何ができるのか・どのような難しさがあるのかについて説明しました。これによって、ビジネスチームが顧客と適切な調整がしやすくなり、効果検証をスムーズに行えるようになりました。

これらの取り組みによって、どのメンバーが効果検証を担当しても同じ結果を出せるようになり、効果検証の再現性が高まりました。

まとめ

この記事では、データサイエンティストが複数のチームと連携しながら、新規事業の効果検証ロジックの構築から型化まで取り組んできた事例を紹介しました。

新規事業の取り組みを複数の顧客と進めるために、条件が異なる複数の効果検証を効率化する必要がありました。
データアナリスト・医学研究チーム・ビジネスチームと連携することで、医学的・統計的に妥当性が高い効果検証ロジックを構築し、医薬品などの条件が異なる場合でも対応できるような型化を実現しました。
新規事業に関わる複数のメンバーに効果検証の勉強会を実施することで、チーム全体で効果検証に取り組めるようになりました。