こちらの記事はカケハシ Advent Calendar 2024 の 2日目の記事になります。

こんにちは。カケハシでプロダクトマネージャーをしている高梨です。

私は今生成AIを活用した薬局向けの医療アプリケーション開発に取り組んでおり、先日横浜で開催された第18回日本薬局学会学術総会（NPha）でもプロトタイプを初お披露目させていただきました。

カケハシで生成AIのプロダクトを開発するのはこの取り組みが初めてだったため、プロトタイプの開発にあたっては、事前にさまざまな本や資料で生成AIプロダクトの原理原則やプラクティスを調査したり、開発を進めながらプロダクトポリシーについてチーム内で緩やかに合意していきました。

この記事では、プロダクトの企画・開発を通して開発チーム内で合意したプロダクトポリシーを改めて言語化し、生成AIプロダクトのプロダクトマネジメントの成熟のために公開します。

なお、本プロダクトポリシーは執筆時点のものであり、今後の技術・市場変化を受けて変更になる可能性があります。また、内部情報を含むため、一部のポリシーに関しては非公開、もしくはデフォルメしているものがあります。あらかじめご了承ください。

この記事で何がわかるか

生成AIプロダクトにおけるプロダクトポリシーを考える上でのインプット情報
生成AIプロダクトにおける一般的なポリシー例
医療における生成AIプロダクトのポリシー例

がわかります。

カケハシの生成AIプロダクトとは？

カケハシの生成AIプロダクトがどんなものか簡単に紹介します。

カケハシの生成AIプロダクトは、薬剤師と患者さんの服薬指導の音声を録音し、その内容に基づき薬歴（病院でいうカルテのようなもの）を自動で生成するというものです。
プロダクト活用と処理の流れとしては以下のようになります。

服薬指導を開始する前に投薬台にマイクを設置
プロダクトの録音開始ボタンを押してから服薬指導を開始
通常通りの服薬指導
服薬指導が完了したら録音終了ボタンを押す
録音された会話内容に基づき自動で薬歴下書きが生成される
薬剤師の確認・修正を経て最終的な薬歴として保存する

簡略化したプロダクトのユースケースと画面構成を以下に示します。

プロダクトポリシーを考える上で参考にしたインプット情報

以下の本や資料を参考にしました。プロマネ関連では、生成AI時代のプロダクトマネジメント勝てる事業の原則から戦略、デザイン、成功事例までは、いち早く生成AIプロダクトのプロマネを（執筆時点の最新情報で）ある程度体型立ててまとめられている唯一の本だったので参考になりました。また、メルカリ社の各種公開資料も、生成AIプロダクトをいち早く商用プロダクトに組み込んだ経験に基づく実践的な内容になっておりとても参考になりました。

法規制、レギュレーション周りでは、EU AI ACT や経済産業省 AI 事業者ガイドラインは、やはり必ずと言って良いほど引き合いに出されますので一読しておくことをお勧めします。

AI固有の考慮事項であるAI倫理や Responsible AI については、生成AIの登場前からある内閣府人間中心のAI社会原則　や、BigTechやメガコンサル、シンクタンク各社が公表している Responsible AI に関するプラクティスやレポートが参考になりました。

生成AIを活用したプロダクトマネジメントに関して

生成AIに関する法規制、レギュレーション関連

生成AIサービス利用に係るガイドライン（社内）
- 社内ガイドラインであり公開できないため以前弊社のnoteで公開した関連記事を参考として貼っておきます
- https://blog.kakehashi.life/n/n5a26a49c19e0
EU AI ACT
経済産業省 AI 事業者ガイドライン

AI 倫理・ガバナンス、Responsible AI

生成AIプロダクト固有の考慮事項

生成AIプロダクトのプロダクトマネジメントの考慮事項として、大きく以下の３点が挙げらると思います。

1.これまでのSaaSプロダクトとの内部/外部制約の違い

社内ガイドラインもそうですが、法規制や行政が公開しているガイドラインなども、生成AI技術の進化や活用可能なユースケースに追いついておらず慎重な対応が求められます。また、AI倫理やResponsible AIといった規制を超えた実践的なプラクティスも非常に重要です。さらに、GPTなどの外部のFoundation Modelを利用する場合、ユースケースにも依存しますが一般的には生成AI固有の高コストな外部サービス利用料が発生し、従来のSaaS型プロダクトとは異なるコスト構造になる点にも注意が必要です。

2.技術進捗の速さと不確実性

生成AI技術は日進月歩で進化しており、高性能モデルやマルチモーダル技術の登場により市場の競争構図が短期間で変化します。また、周辺技術としてAI ObservabilityやLLMOps、セキュリティ対策の重要性が増していますが、エコシステム自体が未成熟で標準化されていないため、特定技術への依存はリスクとなる場合があります。

3.将来の市場変化に対する予見

AIガバナンス構築や消費者のAI受容度の変化に対応するには、市場動向を正確に見極めることが必要です。特に、安全性や説明可能性が求められるResponsible AIが当たり前品質となる未来を見据えた設計が重要です。また、行政による規制強化は必須な一方で、生成AIによる便益を享受する動きも加速し、規制対応と利便性をバランスよく両立したサービスのみが生き残っていく動きが加速することが予想されます。

カケハシの生成AIプロダクトにおけるプロダクトポリシー

上記を踏まえてカケハシでは以下のように生成AIプロダクトのプロダクトポリシーを定めました。

なお、こちらはあくまでも生成AIプロダクト固有のポリシーであり、カケハシの既存サービスに関するポリシーや、カケハシのサービス全てに共通するポリシーなどは含んでいません。

（生成AIプロダクトおける）7つのプロダクト原則

生成AI時代のプロダクトマネジメント勝てる事業の原則から戦略、デザイン、成功事例までに記載されている７つのプロダクト原則は、（少なくとも現時点での社会的な受容性考慮しても）参考になるため、そのまま原理原則として採用しました。

原則１　ユーザーの問題にはユーザーになじむ世界観で応える
- ユーザーの抱える問題には顕在的なものもあれば潜在的なものもあります。（中略）ニーズや課題意識に寄り添ってプロダクトを作ろう。機能のみならず、社会的な影響、感情的および文化的側面への考慮も求められる。
原則２　透明性と説明可能性を取り入れる
- ユーザーが生成AIプロダクトを信頼するためには、AIによって生成された体験やその結果をユーザーが理解、納得できることが重要です
原則３　フィードバックループの実装
- ユーザーフィードバックと定量データを使いこなしてプロダクトを改善し、生成AIがユーザーの要求と期待に沿って進化するようにする必要があります。
原則４　自動化と制御のバランス
- 生成AIアルゴリズムは、繰り返しタスクを自動化したり、新しいアイデアを生成したりしてユーザーの能力を高めます。一方でユーザーには自分たちがAIを管理し、生成プロセスに積極的に関わっていると理解してもらう必要があります。自動化とユーザーに何をどこまで入力してもらうかのバランスを見極めることは、生成AIプロダクトの創造性と生産性の最大化に不可欠です。ユーザーにパラメータや制約を設定してもらったり、特定のニーズに応じて動作を調整できるようにしたりすることで、ユーザーに主導権をもつ感覚を抱いてもらえるようになります。
原則５　安全性と倫理を優先する
- 徹底的な安全対策、セキュリティプロトコル、ユーザー同意の取得、プライバシー規制と倫理ガイドラインの遵守は必須です。機能だけでなく、責任感、公平性、透明性を備えた生成AIプロダクトの設計が、信頼を築くためには欠かせません。
原則６　アクセシビリティを考慮したインクルーシブな設計
- 多様なユーザーに対応するために、言語設定の変更、スクリーンリーダーへの対応、入力／出力方式の選択肢の提供が重要となります。（中略）特定の文化、宗教、地域における習慣、好み、慣習などを考慮し、それらを生成AIプロダクトのインタラクション戦略の中核に組み込むことです。
原則７　人間の能力を拡張する
- AIを人間のスキルに置き換えるのではなく、より公理的に目的を達成するための支援ツールとして機能させることを指します。（中略）AIは人間を支援し効率を高めながらも場合に応じて人間が介入できるように設計されるべきです。

幻覚への対処

生成AIを扱う上で避けて通れないのは幻覚（ハルシネーション）です。こちらも、生成AI時代のプロダクトマネジメント勝てる事業の原則から戦略、デザイン、成功事例までにハルシネーションをうまくコントロールするための設計プラクティスとして以下の７つが紹介されており、基本的なプラクティスとしてポリシーに採用しました。

編集可能な出力
- ユーザーがAI生成コンテンツを編集できるようにすることで、人間が監視するプロセスを加え、コンテンツの信頼性を向上させます
ユーザーの責任
- 生成されたコンテンツの公開については、最終的にユーザーが責任を負うことを明確にします。
引用サポート
- 情報を共有する前にその内容を検証できるように、引用を提示する機能を用意します。
ユーザーオプション
- 計算コストが高い分より正確な「精密モード」などの設定を提供します。
ユーザーフィードバック
- ユーザーがコンテンツ内のエラーや幻覚を報告できるフィードバックループを作成します。
出力の制約
- 出力の長さや複雑さに制約を設けます。短く単純な出力は幻覚を生じにくい傾向にあります。
構造化された入出力
- 構造化された記述欄とすると、厳格のリスクを軽減できます。

上記のポリシーに加えてカケハシ独自で定めたポリシー

上記に加えて、医療プロダクト、およびカケハシのユーザー群、今回開発するプロダクトの特性を考慮して以下を独自のプロダクトポリシーとして定めました。

生成AIの出力を患者に直接提示しない

EU AI ACT などでも規定されている通り、カケハシの扱う生成AIプロダクトはハイリスクケースに該当します。そのため、現時点ではAI出力結果は薬剤師のチェックを必須としました

患者、薬剤師、企業それぞれの意向に配慮したインクルーシブデザイン

近い将来患者や薬剤師のAIに対するリテラシーや受容性が変化し、AIの利用意向に対する個々人のボラティリティが大きくなることが予想されます。そのため、カケハシの生成AIプロダクトでは、AIを活用しないと目的を達成することができないUXやプロダクトデザインにすることなく、プロダクトユーザー各人の意向に沿った選択的UXを提供するようにしました

安全性、信頼性、透明性、説明可能性の必須化

AIの出力に対する安全性、信頼性、透明性、説明可能性を必須としました。具体的には以下の通りです。

安全性、信頼性
- AIによる生成結果がどの情報ソースに基づいているのかを明示すること。もしくは情報ソースが明示可能な内容でしか生成させないこと。もしくは情報ソースが明示できないことを明確にユーザーに伝えること
- AI の出力は非決定的であるという前提のもと、防御策を講じること
透明性
- AIを利用していることを明示すること。
説明可能性
- 安全性、信頼性とも共通する部分があるが、AIの出力がなぜその出力になったのかの根拠を出力し、その妥当性を薬剤師が確認できるようにすること
- また、薬剤師が説明可能になるための補助機能を提供し説明可能性を実践的なレベルで実現すること