Hugging Face Transformers モデルのチューニング入門

2023/08/31(木)14:00 〜 15:00 開催

ブックマーク

#Python, #macOS, #機械学習

イベント内容

概要

生成系AIへの注目が集まる中、エンジニアの皆さんは、AIアプリを検討する機会が増えていくと思います。このセッションでは、自然言語理解や自然言語生成をコンピューターを使って処理していく上で、広く使われているHugging Face Transformersを用いて、事前学習済みモデルに追加の学習をさせるなど、チューニング、カスタム化のために必要なことを具体例を取り上げながら学びます。 Hugging Faceが提供しているドキュメントとサンプルコードを参照し、BERTモデルを利用し、テキスト分類（0から4のラベル付け)というタスクに使えるファインチューニングを題材に話を進めます。Datasets、Transformersなどに含まれるクラスライブラリをどう使っていくのか、ファインチューニング用のPythonコードの動作が大まかに理解できるように流れをご紹介します。最後に、出来上がったモデルをHugging Face Hubに公開する流れをDemoを交えてご紹介します。
AI アプリ Dojo #1, #2で学んだ環境を使っていきますので、Python, Pytorch, Hugging Face Transformersをご準備ください。もし可能であればPytorchがサポートするGPUを有するPC/Macをご準備ください。

講演で利用したバージョン: Windows 11 Pro 22H2 (22621.2215) Python 3.10.6, CUDA V11.7.64, Pytorch 2.0.1+cu117 CPU: AMD Ryzen 9 5950X (3.4GHz, 16コア), Memory: 128GB, GPU: NVIDIA GeForce RTX 4090

macOS 13.5.1（22G90）Python 3.11.4 Pytorch 2.0.1 (mpsサポートなし) CPU: Intel Core i5 3.7GHz 6コア CPU, Memory: 64GB

AIアプリ Dojo

下記シリーズで開催します。

回	タイトル	実施日
1	[入門者歓迎] GPUを活用して生成系AIに触れてみよう	2023/6/15(木)
2	Hugging Face Transformers 入門	2023/6/29(木)
3	Hugging Face Transformers モデルのチューニング入門	2023/8/31(木)