脳画像とゲノムデータ融合への応用を持つ解釈可能なマルチモーダル深層学習

Prof. Yu-Ping Wang, PhD
生物医学工学部、生物統計・データ科学部、コンピュータサイエンス部、神経科学部
チューレーン大学

ディープネットワークベースのデータ融合モデルは、マルチモーダルデータセットから補完的な情報を統合し、それらの複雑な関係を捉えるために開発されてきました。これは、画像やマルチオミクスなどのマルチモーダルデータが遍在し、これらの異種データの統合が新しい生物学的発見につながる可能性のある生物医学の分野で特に有用です。しかし、ディープラーニングモデルは解釈が難しく、これらのモデルを使用して生物学的メカニズムを解明する際に課題となります。本研究では、自動疾患診断と結果の解釈を同時に行う解釈可能なマルチモーダルディープラーニングベースの融合モデルを開発しました。私たちはこれをGrad-CAMガイド付き畳み込み協調学習（gCAM-CCL）と名付け、マルチモーダル畳み込みネットワークで中間特徴マップと勾配ベースの重みを組み合わせることで実現しました。gCAM-CCLモデルは、入力fMRI画像特徴のピクセルレベルの寄与を定量化する解釈可能な活性化マップを生成できます。さらに、推定された活性化マップはクラス特有であるため、年齢、性別、認知グループなどの異なる集団に基づく画像バイオマーカーの特定を促進できます。最後に、マルチモーダル脳画像とゲノムデータの統合分析を通じて、脳の発達に関する研究にgCAM-CCLモデルを適用し、その有効性を検証しました。認知機能グループの分類と潜在的な遺伝的メカニズムの発見の両方において、その成功を実証しました。

略歴
Dr. Yu-Ping Wangは1990年に中国の天津大学で応用数学の学士号を取得し、1993年と1996年にそれぞれ中国の西安交通大学で計算数学の修士号および通信・電子システムの博士号を取得しました。卒業後、シンガポール国立大学のウェーブレット、近似および情報処理センターやセントルイスのワシントン大学医学校で訪問研究員を務めました。2000年から2003年まで、彼はPerceptive Scientific Instruments, Inc.およびAdvanced Digital Imaging Research, LLC（テキサス州ヒューストン）で上級研究技術者として働きました。2003年秋、ミズーリ大学カンザスシティ校のコンピュータサイエンスおよび電気工学の助教授として学界に戻りました。現在、彼はチューレーン大学の生物医学工学、コンピュータサイエンス、神経科学、および生物統計・データ科学の教授を務めています。Wang博士の最近の取り組みは、300以上の査読付き論文を発表し、2022年にはチューレーン大学から「コンバージェンスアワード」を受賞しました。彼はAIMBEのフェローであり、数多くのプログラム委員会やNSFおよびNIHのレビュー委員会に参加しています。現在、J. Neuroscience Methods、IEEE/ACM Trans. Computational Biology and Bioinformatics (TCBB)およびIEEE Trans. Medical Imaging (TMI)の副編集長を務めています。彼の研究についての詳細は、彼のウェブサイトhttp://www.tulane.edu/~wyp/をご覧ください。