トークナイザー入門！トークンから始めるLLM基本解説

イベント内容

講座概要

LLMを触っていると、「トークン」という単語を耳にすることがあると思います。

例えば、ChatGPTのAPIは利用料金が「トークン」あたりで決められていたり、一度のリクエストで送れる最大テキスト量が「トークン」で決められていたりします。

そういった場面で、なんとなくテキストの長さを測るための単位だろうと想像しつつも、実際に「トークン」がLLMでどのように使われているか、どのような役割を果たしているかを詳しく分かっていない方も少なくないのではないでしょうか。

そこで本講座では、「トークン」とは何なのか、LLMにおいてどのような役割を果たしているかについて解説します。

主な対象者

• LLMを触っているが、トークンの意味がよく分かっていない方

前提とする知識

• 最低限LLMを触ったことがある
• 高校程度の数学知識

会場

Zoomウェビナーでの開催となります

※ 参加登録してくださった方に、このページ上部の「参加者への情報」の欄にZoomのURLが表示されます。

タイムテーブル

時刻	内容
19:30	はじめに
19:35	講座
20:20	質疑応答
20:30	終了

※質疑の内容や数などにより、終了時刻が前後する可能性があります。

登壇者プロフィール

早野康太 (StudyCo)

東京大学農学生命科学研究科生物・環境工学 修士課程修了。都内のIT企業で自然言語モデルに関わる研究開発に従事。Kaggleメダル獲得数は銀メダル1個、銅メダル2個。

注意事項