強化学習・方策勾配法の基本から理解するChatGPT・GPT-4の学習の仕組み

昨今ChatGPT・GPT-4が大きな注目を集め、概要や使い方に関するコンテンツが多い一方で、
仕組みの解説コンテンツがそれほど多くありません。ChatGPT・GPT-4自体の直接の論文は
ありませんが、どちらもInstructGPT論文を元に構築されたという見方が有力です。

そこで当企画ではInstructGPTの論文の内容を詳しく確認することでChatGPTの学習の仕組みに
ついて確認します。特に強化学習部分の式については論文の式をそのまま追うだけでは理解が
難しいので、基本的な理論も合わせて取り扱うことで詳しく理解できるように解説を行います。

・参加にあたって注意
下記に基づいて進行しますので、目次を見た上で参加をご判断ください。数式変形が多いのでご注意ください。
https://hello-stats.booth.pm/items/5063778

11/1（水）
受付： 19:20〜19:30
講義： 19:30〜21:30
質疑応答 etc：21:30〜21:45

途中10分程度休憩を挟みます、質疑応答は伸びる場合がありますが22:00完全撤収
にご協力をお願いいたします。

会場設営の都合上、19:20分より前の入室はできませんのでご注意ください。

・千代田区神田三崎町2-10-5 土本ビル303号室

場所がわからない方は「参加者への情報」記載の緊急連絡先までご連絡ください。
近くまでお越しの場合は当日スタッフがご案内します。

・InstructGPTで用いる強化学習
- 強化学習超入門：状態価値関数・Q関数・最適方策による意思決定最適化
- 方策勾配法
- PPO

・InstructGPT
- Supervised Fine-tuning
- RewardModel
- 強化学習の目的関数と勾配計算


■ 下記の内容に基づいて解説を行いますので、予習の際は下記をご確認ください。
https://hello-stats.booth.pm/items/5063778

・Transformerの仕組みについては一通り理解している方
・対数関数の微分など数Ⅲの微分に抵抗のない方


Transformerについては当日は既知である前提で進行します。
学んだことのない方は下記で解説を作成しましたので、合わせてご確認ください。

- pdf版
https://hello-stats.booth.pm/items/4781879
- Udemy
https://www.udemy.com/course/ai-transformer/?couponCode=43D95C0B5686A4EB0F88

・事前払い：2,500円
・当日払い：3,500円

事前払いの場合、支払い後の返金は原則応じられませんが体調不良など止むを得ない場合は
当日開催時刻までに連絡があれば別日に対応しますのでご相談ください。

8名 (増枠は行えませんのでご注意ください。)

マスク着用については義務付けませんが、体調不良の場合は無理に参加しないようにお願いします。
返金は原則行えませんが、当日開催時刻までに連絡があれば別日に対応しますのでご相談ください。
マスク着用での開催を希望される方はご要望ありましたら検討いたしますのでお問い合わせください。