機械学習のエンジニアのためのTransformers読書会 #10

要旨

この読書会は「機械学習エンジニアのためのTransformers」を取り上げます。

毎回担当者を決めて、本に軽く目を通しながら、担当者が公式リポジトリのコードを実行していきます。参加者の手元に本がある前提で、発表用のスライドなどは用意しません。この読書会は担当者の負荷をできるだけ小さくするという方針で実施します。このような進め方が初めてなので、会を進めながらより良い方法を模索していきます。

各回の担当者は事前にコードの動作確認だけお願いします。資料の準備は必須ではありませんが、準備して頂いても大丈夫です。この読書会では、担当者に「よくわかっている」ことを求めません！むしろ "「わからない」を連発して周りからの助けを求める感じ" でOKです！ですので希望者になることを「重荷に」感じてもらうことはありません！

不特定多数が参加するオンラインイベントのため、原著の内容そのものは画面共有しない方針とします。ご了承ください。

一方、下記の原著のための GitHub リポジトリの内容は画面共有可能と捉え、活用する方針です。

• 公式リポジトリのコード
• 日本語訳書サポートサイト

開催ペースは月に2、3回程度を想定しています。毎回、最後に次以降の開催日時を決めます。基本的に土曜日の22:00〜23:00の枠として、日は担当者、オーガナイザーの都合で決めさせてください。

開催日時

7月29日（土）22:00〜23:00 ※7月22日(土)は開催者の都合でスキップさせていただきます。

場所

DiscordのPyData-JPのボイスチャンネル「PyDataOsaka読書会」で行います。 当イベントに参加申し込み頂くと、DiscordPyData-JPのサーバへの招待リンクを当イベントページで確認できます。

書籍の目次

今回は4.2「多言語Transformer」から読んでいきます。

4章　多言語の固有表現認識
    4.2　多言語Transformer
    4.3　トークン化の詳細
        4.3.1　トークナイザーのパイプライン
        4.3.2　SentencePieceトークナイザー
    4.4　固有表現認識用のTransformer
    4.5　Transformerモデルクラスの詳細
        4.5.1　ボディとヘッド
        4.5.2　トークン分類のためのカスタムモデルの作成
        4.5.3　カスタムモデルのロード
    4.6　固有表現認識のためのテキストトークン化
    4.7　性能指標
    4.8　XLM-RoBERTaのファインチューニング
    4.9　エラー分析
    4.10　言語間転移
        4.10.1　ゼロショット転移が有効なのはどんなときか？
        4.10.2　複数言語の同時並行的なファインチューニング
    4.11　モデルウィジェットとのインタラクション
    4.12　まとめ

当日の流れ

その他

• PyData Osakaについてはこちらをご参照ください。
• hackMDの使用方法についてはこちらをご参照ください。