機械学習のエンジニアのためのTransformers読書会 #35

要旨

この読書会は「機械学習エンジニアのためのTransformers」を取り上げます。

毎回担当者を決めて、本に軽く目を通しながら、担当者が公式リポジトリのコードを実行していきます。参加者の手元に本がある前提で、発表用のスライドなどは用意しません。この読書会は担当者の負荷をできるだけ小さくするという方針で実施します。このような進め方が初めてなので、会を進めながらより良い方法を模索していきます。

各回の担当者は事前にコードの動作確認だけお願いします。資料の準備は必須ではありませんが、準備して頂いても大丈夫です。この読書会では、担当者に「よくわかっている」ことを求めません！むしろ "「わからない」を連発して周りからの助けを求める感じ" でOKです！ですので希望者になることを「重荷に」感じてもらうことはありません！

不特定多数が参加するオンラインイベントのため、原著の内容そのものは画面共有しない方針とします。ご了承ください。

一方、下記の原著のための GitHub リポジトリの内容は画面共有可能と捉え、活用する方針です。

• 公式リポジトリのコード
• 日本語訳書サポートサイト

開催ペースは月に2、3回程度を想定しています。毎回、最後に次以降の開催日時を決めます。基本的に土曜日の22:00〜23:00の枠として、日は担当者、オーガナイザーの都合で決めさせてください。

開催日時

2024年3月30日（土）22:00〜23:00

場所

DiscordのPyData-JPのボイスチャンネル「PyDataOsaka読書会」で行います。 当イベントに参加申し込み頂くと、DiscordPyData-JPのサーバへの招待リンクを当イベントページで確認できます。

書籍の目次

今回は「10.2.4　トークナイザーの学習」から読んでいきます。

10章　Transformerをゼロから学習する
    10.2　トークナイザーの構築
        10.2.4　トークナイザーの学習
        10.2.5　Hubにカスタムトークナイザーを保存する
    10.3　ゼロから始めるモデルの学習
        10.3.1　事前学習の目的の話
        10.3.2　モデルの初期化
        10.3.3　データローダーの実装
        10.3.4　学習ループの定義
        10.3.5　学習の実行
    10.4　結果と分析
    10.5　まとめ

当日の流れ

その他

• PyData Osakaについてはこちらをご参照ください。
• hackMDの使用方法についてはこちらをご参照ください。