機械学習のエンジニアのためのTransformers読書会 #27

要旨

この読書会は「機械学習エンジニアのためのTransformers」を取り上げます。

毎回担当者を決めて、本に軽く目を通しながら、担当者が公式リポジトリのコードを実行していきます。参加者の手元に本がある前提で、発表用のスライドなどは用意しません。この読書会は担当者の負荷をできるだけ小さくするという方針で実施します。このような進め方が初めてなので、会を進めながらより良い方法を模索していきます。

各回の担当者は事前にコードの動作確認だけお願いします。資料の準備は必須ではありませんが、準備して頂いても大丈夫です。この読書会では、担当者に「よくわかっている」ことを求めません！むしろ "「わからない」を連発して周りからの助けを求める感じ" でOKです！ですので希望者になることを「重荷に」感じてもらうことはありません！

不特定多数が参加するオンラインイベントのため、原著の内容そのものは画面共有しない方針とします。ご了承ください。

一方、下記の原著のための GitHub リポジトリの内容は画面共有可能と捉え、活用する方針です。

• 公式リポジトリのコード
• 日本語訳書サポートサイト

開催ペースは月に2、3回程度を想定しています。毎回、最後に次以降の開催日時を決めます。基本的に土曜日の22:00〜23:00の枠として、日は担当者、オーガナイザーの都合で決めさせてください。

開催日時

2024年1月20日（土）22:00〜23:00

場所

DiscordのPyData-JPのボイスチャンネル「PyDataOsaka読書会」で行います。 当イベントに参加申し込み頂くと、DiscordPyData-JPのサーバへの招待リンクを当イベントページで確認できます。

書籍の目次

今回は「8.3.3　知識蒸留用のトレーナーの作成」の途中(P.237)から読んでいきます。

8章　Transformersの高速化
    8.3　知識蒸留でモデルを小さくする
        8.3.3　知識蒸留用のトレーナーの作成
        8.3.4　良い生徒モデルの選択
        8.3.5　Optunaによる良いハイパーパラメータの探索
        8.3.6　蒸留されたモデルのベンチマーク
    8.4　量子化によるモデルの高速化
    8.5　量子化モデルのベンチマーク
    8.6　ONNXとONNX Runtimeを使った推論の最適化
    8.7　重みの枝刈りでモデルをよりスパースにする
        8.7.1　ディープニューラルネットワークにおけるスパース性
        8.7.2　重み枝刈りの手法
    8.8　まとめ

当日の流れ

その他

• PyData Osakaについてはこちらをご参照ください。
• hackMDの使用方法についてはこちらをご参照ください。