生成AI、LLM(大規模言語モデル)の使い方や原理などを学ぶ技術勉強会です。

会場

オンライン

参加方法

Zoomを使用します。
参加登録後、「参加者への情報」をご覧ください。

発表内容

論文紹介「Long-Context LLMs Meet RAG: Overcoming Challenges for Long Inputs in RAG」

• 大規模言語モデル（LLM）は、外部の知識源を利用することで、より強力な応答を生成できるようになります（これをRetrieval-Augmented Generation: RAGと呼びます）。LLMが処理できる入力テキストの長さが長くなるにつれて、より多くの関連情報をRAGで与えられるようになり、生成される回答の質が向上することが期待されます。一般的には、取得する情報が多いほど関連情報（高い再現率）も増え、結果として性能が向上すると考えられます。

• しかし、長文処理LLMにおけるRAGの性能が、取得する情報が増えすぎると逆に低下する現象を明らかにし、その原因が「ハードネガティブ」な情報にあることを示しました。そして、その問題を解決するために、効果的な学習不要および学習を伴うアプローチを提案しています。

書籍情報

• Title: Long-Context LLMs Meet RAG: Overcoming Challenges for Long Inputs in RAG
• Author: Bowen Jin, Jinsung Yoon, Jiawei Han, Sercan O. Arik
• Published: 8 Oct 2024
• Link: https://arxiv.org/abs/2410.05983

事前準備

• 予習は必須ではありませんが、予習しておくと理解がスムーズです。
• 生成AI等を用いると予習が捗ります。

勉強会形式

• 発表者による講義形式です。
• 授業のように参加者に質問をしたり、当てたりすることはないので、安心してご参加ください。
• 参加者の方から発表者への質問やコメントは歓迎です。

発表者：小渕 周　X(旧Twitter)

• 株式会社スリーシェイク Sreake事業部 エンジニア
• 日本生成AIユーザ会 (当勉強会) 運営スタッフ

タイムテーブル

動画撮影について

勉強会は録画し、後日アーカイブを公開します。Zoomにて参加者の皆様は質問時以外ではマイクのミュートにご協力ください。

YouTubeチャンネルはこちら

勉強会での発表方法

• 発表応募フォームをご記入ください。折り返し、運営から返信します。

連絡先

• X(旧Twitter)