機械学習のエンジニアのためのTransformers読書会 #30

要旨

この読書会は「機械学習エンジニアのためのTransformers」を取り上げます。

毎回担当者を決めて、本に軽く目を通しながら、担当者が公式リポジトリのコードを実行していきます。参加者の手元に本がある前提で、発表用のスライドなどは用意しません。この読書会は担当者の負荷をできるだけ小さくするという方針で実施します。このような進め方が初めてなので、会を進めながらより良い方法を模索していきます。

各回の担当者は事前にコードの動作確認だけお願いします。資料の準備は必須ではありませんが、準備して頂いても大丈夫です。この読書会では、担当者に「よくわかっている」ことを求めません！むしろ "「わからない」を連発して周りからの助けを求める感じ" でOKです！ですので希望者になることを「重荷に」感じてもらうことはありません！

不特定多数が参加するオンラインイベントのため、原著の内容そのものは画面共有しない方針とします。ご了承ください。

一方、下記の原著のための GitHub リポジトリの内容は画面共有可能と捉え、活用する方針です。

• 公式リポジトリのコード
• 日本語訳書サポートサイト

開催ペースは月に2、3回程度を想定しています。毎回、最後に次以降の開催日時を決めます。基本的に土曜日の22:00〜23:00の枠として、日は担当者、オーガナイザーの都合で決めさせてください。

開催日時

2024年2月17日（土）22:00〜23:00

場所

DiscordのPyData-JPのボイスチャンネル「PyDataOsaka読書会」で行います。 当イベントに参加申し込み頂くと、DiscordPyData-JPのサーバへの招待リンクを当イベントページで確認できます。

書籍の目次

今回は「9.1　GitHub Issueタガーの構築」から読んでいきます。

9章　ラベルのないまたは少ない状況への対応方法
    9.1　GitHub Issueタガーの構築
        9.1.1　データの取得
        9.1.2　データの準備
        9.1.3　学習データセットの作成
        9.1.4　学習スライスの作成
    9.2　ナイーブベイズによるベースラインの実装
    9.3　ラベルのないデータへの対処方法
    9.4　ラベルの少ないデータへの対処方法
        9.4.1　データ拡張
        9.4.2　埋め込みをルックアップテーブルとして使用する場合
        9.4.3　通常のTransformerのファインチューニング
        9.4.4　プロンプトを使ったインコンテキスト学習と少数事例学習
    9.5　ラベルなしデータの活用
        9.5.1　言語モデルのファインチューニング
        9.5.2　分類器のファインチューニング
        9.5.3　高度な手法
    9.6　まとめ

当日の流れ

その他

• PyData Osakaについてはこちらをご参照ください。
• hackMDの使用方法についてはこちらをご参照ください。