機械学習のエンジニアのためのTransformers読書会 #2

2023/05/27(土)22:00 〜 23:00 開催
ブックマーク

イベント内容

要旨

この読書会は「機械学習エンジニアのためのTransformers」を取り上げます。

毎回担当者を決めて、本に軽く目を通しながら、担当者が公式リポジトリのコードを実行していきます。参加者の手元に本がある前提で、発表用のスライドなどは用意しません。この読書会は担当者の負荷をできるだけ小さくするという方針で実施します。このような進め方が初めてなので、会を進めながらより良い方法を模索していきます。

各回の担当者は事前にコードの動作確認だけお願いします。資料の準備は必須ではありませんが、準備して頂いても大丈夫です。この読書会では、担当者に「よくわかっている」ことを求めません!むしろ "「わからない」を連発して周りからの助けを求める感じ" でOKです!ですので希望者になることを「重荷に」感じてもらうことはありません!

不特定多数が参加するオンラインイベントのため、原著の内容そのものは画面共有しない方針とします。ご了承ください。

一方、下記の原著のための GitHub リポジトリの内容は画面共有可能と捉え、活用する方針です。

開催ペースは月に2、3回程度を想定しています。毎回、最後に次以降の開催日時を決めます。基本的に土曜日の22:00〜23:00の枠として、日は担当者、オーガナイザーの都合で決めさせてください。

開催日時

5月27日(土)22:00〜23:00

場所

DiscordのPyData-JPのボイスチャンネル「PyDataOsaka読書会」で行います。 当イベントに参加申し込み頂くと、DiscordPyData-JPのサーバへの招待リンクを当イベントページで確認できます。

書籍の目次

今回は1.6以降を読んでいきます。

1 入門Transformers
    1.6 Hugging Faceのエコシステム
        1.6.1 Hugging Face Hub
        1.6.2 Hugging Face Tokenizers
        1.6.3 Hugging Face Datasets
        1.6.4 Hugging Face Accelerate
    1.7 Transformerの主な課題
    1.8 まとめ

2 テキスト分類
    2.1 データセット
        2.1.1 初めてのHugging Face Datasets
        2.1.2 データセットからDataFrameへ
        2.1.3 クラス分布の確認
        2.1.4 ツイートの長さはどれくらい
    2.2 テキストからトークンへ
        2.2.1 文字トークン化
        2.2.2 単語トークン化
        2.2.3 サブワードトークン化
        2.2.4 データセット全体のトークン化
    2.3 テキスト分類器の学習
        2.3.1 特徴抽出器としてのTransformer
        2.3.2 Transformerのファインチューニング
    2.4 まとめ

当日の流れ

時間 内容
22:00-22:05 概要説明
22:05-22:50 読書会
22:50-23:00 次回日時・担当者の決定

その他

  • PyData Osakaについてはこちらをご参照ください。
  • hackMDの使用方法についてはこちらをご参照ください。

注意事項

※ こちらのイベント情報は、外部サイトから取得した情報を掲載しています。
※ 掲載タイミングや更新頻度によっては、情報提供元ページの内容と差異が発生しますので予めご了承ください。
※ 最新情報の確認や参加申込手続き、イベントに関するお問い合わせ等は情報提供元ページにてお願いします。
情報提供元ページ(connpass)へ

新規会員登録

このイベントに申し込むには会員登録が必要です。
アカウント登録済みの方はログインしてください。



※ ソーシャルアカウントで登録するとログインが簡単に行えます。

※ 連携したソーシャルアカウントは、会員登録完了後にいつでも変更できます。

関連するイベント