機械学習のエンジニアのためのTransformers読書会 #2

要旨

この読書会は「機械学習エンジニアのためのTransformers」を取り上げます。

毎回担当者を決めて、本に軽く目を通しながら、担当者が公式リポジトリのコードを実行していきます。参加者の手元に本がある前提で、発表用のスライドなどは用意しません。この読書会は担当者の負荷をできるだけ小さくするという方針で実施します。このような進め方が初めてなので、会を進めながらより良い方法を模索していきます。

各回の担当者は事前にコードの動作確認だけお願いします。資料の準備は必須ではありませんが、準備して頂いても大丈夫です。この読書会では、担当者に「よくわかっている」ことを求めません！むしろ "「わからない」を連発して周りからの助けを求める感じ" でOKです！ですので希望者になることを「重荷に」感じてもらうことはありません！

不特定多数が参加するオンラインイベントのため、原著の内容そのものは画面共有しない方針とします。ご了承ください。

一方、下記の原著のための GitHub リポジトリの内容は画面共有可能と捉え、活用する方針です。

• 公式リポジトリのコード
• 日本語訳書サポートサイト

開催ペースは月に2、3回程度を想定しています。毎回、最後に次以降の開催日時を決めます。基本的に土曜日の22:00〜23:00の枠として、日は担当者、オーガナイザーの都合で決めさせてください。

開催日時

5月27日（土）22:00〜23:00

場所

DiscordのPyData-JPのボイスチャンネル「PyDataOsaka読書会」で行います。 当イベントに参加申し込み頂くと、DiscordPyData-JPのサーバへの招待リンクを当イベントページで確認できます。

書籍の目次

今回は1.6以降を読んでいきます。

1章　入門Transformers
    1.6　Hugging Faceのエコシステム
        1.6.1　Hugging Face Hub
        1.6.2　Hugging Face Tokenizers
        1.6.3　Hugging Face Datasets
        1.6.4　Hugging Face Accelerate
    1.7　Transformerの主な課題
    1.8　まとめ

2章　テキスト分類
    2.1　データセット
        2.1.1　初めてのHugging Face Datasets
        2.1.2　データセットからDataFrameへ
        2.1.3　クラス分布の確認
        2.1.4　ツイートの長さはどれくらい？
    2.2　テキストからトークンへ
        2.2.1　文字トークン化
        2.2.2　単語トークン化
        2.2.3　サブワードトークン化
        2.2.4　データセット全体のトークン化
    2.3　テキスト分類器の学習
        2.3.1　特徴抽出器としてのTransformer
        2.3.2　Transformerのファインチューニング
    2.4　まとめ

当日の流れ

その他

• PyData Osakaについてはこちらをご参照ください。
• hackMDの使用方法についてはこちらをご参照ください。