Embeddingモデルを使ったベクトル化のしくみ ＆ fine-tuning手法を解説

講座概要

近年、自然言語処理モデルに関する技術が目覚ましく発展し、さまざまなアプリケーションに活用されるようになってきました。

なかでも、文章ベクトル化 (Embedding) は、検索 (Retrieval) タスクやマルチモーダルなモデルへの応用を考える上では欠かせない技術となっています。

ただ、例えばRAGなどでなんとなく文章ベクトル化に触れたことがあっても、その詳しい仕組みまでは分かっていないという人は少なくないのではないでしょうか。

一口に文章ベクトル化といっても、どのようなモデルを使うかであったり、モデルは同じでもどのベクトル化手法を使うかといった要素で、ベクトルの質は大きく違ってきます。 そういったことを大まかにでも分かっておくことは、今後文章ベクトルを利用する際にも非常に有用なのではないでしょうか。

本講座では、自然言語処理モデル (Transformer) を使った文章の埋め込み手法について触れ、また、どのようにモデルをfine-tuningしていくかについて解説していきます。

主な対象者

• RAGを使ったことがある or これから使いたい方
• 文章ベクトル化について知りたい方

前提とする知識

• LLM・AIの基礎知識のある方
• 高校数学の基礎知識のある方

アジェンダ

• Transformerモデルとは
• Transformerモデルを使った文書ベクトル化
• ベクトル化モデルのfine-tuning手法紹介
• まとめ

会場

Zoomウェビナーでの開催となります

※ 参加登録してくださった方に、このページ上部の「参加者への情報」の欄にZoomのURLが表示されます。

タイムテーブル

※質疑の内容や数などにより、終了時刻が前後する可能性があります。

発表者プロフィール

東京大学農学生命科学研究科生物・環境工学 修士課程修了。都内のIT企業で自然言語モデルに関わる研究開発に従事。Kaggleメダル獲得数は銀メダル1個、銅メダル2個。