概要

このイベントは意思決定アルゴリズムの学習・最適化（Algorithmic Learning & Optimization)をテーマにしたAI Lab主催 の勉強会です。

第1回目の本勉強会では、AI Labの研究者である​​蟻生 開人と阿部 拳之、ならびにコーネル大学の齋藤 優太さんにご登壇いただきます。

聴講者には下記キーワードに関連する論文を普段読まれている研究者、学生、エンジニア、データサイエンティストの方を想定しておりますが、誰でもご参加いただけます。

キーワード：組合せ最適化 / 連続最適化 / 情報検索 / 推薦システム / 強化学習 / バンディット問題 / マルチエージェント学習 / オンライン学習 / ゲーム理論 / etc

実施方法

ZOOMを使用します。各自インストールをお願いします。 URLは当日6月24日 16時30分に、connpassのメッセージ機能で登録者に事前にお送りいたします。 一つの発表時間は約60分です。

質疑応答は、sli.do を使用して行います。 使用方法は以下の通りです。

1. connpassのメッセージ機能でお知らせしたURLにアクセスしてください
2. 発表者に質問があれば、都度ここに書き込んでください（匿名可）。
3. 質問は他の方も閲覧可能です。自分も聞きたいという質問があれば「いいね」ができます。
4. 発表終了後時間が許す限り、発表者が「いいね」が多いものから優先して回答していきます。

注意事項

技術交流が目的の勉強会ですので、知識の共有および、参加者同士の交流を目的としない参加はお断りしています。 参加目的が不適切だと判断される場合には、運営側で参加をキャンセルさせていただく場合がございます。

タイムテーブル

※ 適宜休憩を取ります。当日予告なく時間配分、内容が変更になる可能性がございます。

発表の詳細

タイトル：Stochastic Block Modelにおけるコミュニティ検出: 確率的最適化の観点から

発表者：蟻生 開人

プロフィール： 2021年にサイバーエージェントに入社。多腕バンディット問題・コミュニティ検出・確率的最適化、それらの広告配信技術への応用等の研究に従事。東京大学学部・修士卒業(航空宇宙工学)。スウェーデン王立工科大学 Licentiate of Engineering (Electrical Engineering) 取得・同大学博士課程在学。

発表概要：ラベル付きStochastic Block Model（LSBM）におけるコミュニティ検出問題を考える。この問題は、アイテムのペアに対して独立に観測されるラベルを利用して、クラスタを復元することを目指すものである。まず、この問題に対して、多腕バンディット問題等で用いられる手法を応用し、どのようなクラスタリングアルゴリズムに対しても成り立つ誤判定アイテム数の期待値に関する下限を証明する。次に、この下限を基に、Instance-Adaptive Clustering (IAC) アルゴリズムを提案し、その性能保証を行う。このアルゴリズムは、スペクトルクラスタリングの結果を基に、情報幾何を考慮しながら尤度ベースのクラスタ割り当て改善を行う。IACは、期待値と高確率で下限に一致する性能保証を持つ最初のアルゴリズムである。最後に、今後の展開や強化学習における全探索問題との関連について説明する。

タイトル：Learning in games: ゲーム理論とオンライン学習

発表者：阿部 拳之

プロフィール：2017年に東京工業大学大学院総合理工学研究科を修了後、株式会社ハル研究所でゲーム開発に携わる。2018年にサイバーエージェント入社。AI Labでは強化学習、アルゴリズム的ゲーム理論、凸最適化に関する研究に従事。Twitter: @bakanaouji

発表概要： GANやマルチエージェント強化学習の発展によって、ミニマックス最適化問題を中心としたゲームのナッシュ均衡解を効率的に近似するアルゴリズムの開発に大きな関心が寄せられています。 しかし、多くの研究者及び実務家にとって有用な話題である一方で、ゲームの均衡学習に関する資料や解説は国内において極めて限られています。 そこで本発表では、ゲームにおける均衡学習のためのアルゴリズムとその理論的な性質について解説を行います。 特に、代表的なリグレット最小化アルゴリズムの均衡解への収束性がどのようにして与えられるのか、について説明を行います。 また、これらのアルゴリズムが抱える問題について解説し、それに対処した近年の理論研究の発展について発表者らの研究を混じえて紹介します。 最後に、この分野において未解決かつ重要な問題についても解説を行います。

タイトル：回帰ベースと勾配ベースのアプローチを融合した新たなオフ方策学習アルゴリズム

発表者：齋藤 優太

プロフィール：2021年東京工業大学にて学士号取得。同年よりコーネル大学コンピュータサイエンス専攻博士課程にて反実仮想学習や推薦システムの公平性に関する研究を行う。NeurIPS・ICML・KDD・RecSys・WSDMなどの国際会議にて学術論文を発表。また複数の国内企業と連携して、反実仮想学習の応用にも従事。2021年 日本オープンイノベーション大賞内閣総理大臣賞を受賞。2022年 Forbes Japan 30 Under 30及び孫正義育英財団第6期生に選出。著書に『施策デザインのための機械学習入門』（技術評論社）。Twitter: @usait0

発表概要： オフ方策学習は、すでに運用中の方策により収集されたログデータのみを用いた新たな意思決定方策の学習を可能し、安全で堅実なシステムの改善に役立つ。しかし行動数が多くなる場合に、既存の回帰ベースと勾配ベースのアプローチが共に方策をうまく学習できない問題がある。これは、推薦・検索システム・組み合わせ介入など、行動空間が大きくなりがちな大規模応用において特に深刻な未解決問題である。そこで本発表では、既存のアプローチを融合した"第三のアプローチ"を提案し、大規模問題におけるオフ方策学習の活用を可能にする。具体的に提案する"POCEMアルゴリズム"は2段階の構造をしており、1段階目の方策は有望な行動クラスタを特定し、2段階目の方策は有望クラスタ内で最良のアクションを選択する。特に1段階目の方策を勾配ベースで、2段階目の方策を回帰ベースでそれぞれ学習することで、2つのアプローチの利点を活かし個別に抱えていた問題点がうまく解決されることを示す。我々のPOCEMアルゴリズムは大規模問題におけるオフ方策評価を実現する上で実践上有用であるだけでなく、回帰ベースと勾配ベースのアプローチを融合した初めてのアルゴリズムであり、この第三のアプローチに関する新たな研究の方向性を打ち出すものである。