目的

• 論文を読むことでやった感を醸し出し、人生の満足度を高める（主目的）
• 論文に慣れる
• 今回からの参加でもOKです

やること

• 人の嗜好を反映して言語モデルを学習させる方法（RLHF、Reinforcement Learning from Human Feedback. ChatGPTのコアとなる学習方法)に関する論文を読みます。
  • Fine-Tuning Language Models from Human Preferences
  • 今回は2.2. Fine-tuning details 以降を読んでいきます。
  • 2.2.に入る前に、以下のwebページあたりを参考にして学習に使われるProximal Policy Optimization（PPO）の理解から入る予定です。
  • PPO : OpenAIのデフォルトの強化学習アルゴリズム
  • ハムスターでもわかるProximal Policy Optimization （PPO）①基本編
  • 第6回 今更だけど基礎から強化学習を勉強する PPO編

やらないこと

• 完璧に正しい理解をしようとしない
  • 細かい箇所の理解が合っているかなどはあんまり追求しません
• 時間をかけてじっくり読みすぎない
• 数式の証明を深追いしない

その他

• 途中での質問も歓迎です
  • でもあんまり深追いせずに先に進んじゃうかもですが……
• 聞いてるだけでも大丈夫です

開催日時

毎週土曜日　20:00 ~ 21:00（予定）

会場

Google meetを使用する予定です。

URLは当日conpassのメッセージ機能で通知します。 また、参加者への情報欄にも記載しておきます。

当日までの準備

特にありません。
事前に論文や資料を読んでおくと良いかもです。

費用

なし

定員

特にありません