1. はじめに こんにちは。AIチームの友松です。 2024年3月11日(月)〜3月15日(金)に 神戸国際会議場 で行われた 言語処理学会第30回年次大会 で、弊社からポスター発表で2件、口頭発表で1件の発表を行いました。 昨年は4年ぶりのオフライン(+オンラインのハイブリッド)開催＆沖縄開催ということもあり、盛り上がりを見せておりましたが、今回の神戸開催における 統計情報 は投稿数599(昨年は577), 参加者数2045(昨年は1828, ※除当日参加者)となり過去最大となったようです。 2. 各発表資料と発表内でのディスカッション 2.1 RAGにおける自己認識的不確実性の評価 発表情報 P6:ポスター 　　3月13日（水） 9:30-11:00 P6-24 　　○二宮大空, 戸田隆道 (AI Shift) 発表資料 ディスカッション Q: Retrieverによる検索が成功するかどうかを事前にわかっていれば回答を控える方法を考える必要はないのではないですか？ A: 実運用時には検索が成功するかどうかは事前にはわかりません。今回の実験では、RAGのGeneratorにおける回答を控える能力を計測するために、Retrieverの検索は全て事前に行なっておき、実験データの検索の正誤を元に分割しています。しかし、推論時には検索の正誤に関する情報が与えられないので、正しく回答を控えるためには、Generatorで処理する必要があります。 Q: Retrieverで得られた情報も使うことで回答すべきか控えるべきかの判断が高精度に行えるのではないか？ A: そうだと思います。例えば、検索時に得られた類似度の値はその情報の信頼性を表しているものと捉えることも考えられるので、Generatorが情報を判断する上で非常に有効だと考えられます。今後試してみたいと思います。 Q: 推論時にも回答をするか回答を控えるかの二値分類の処理をすると良いのではないか？ A: そうだと思います。今回の実験では試せませんでしたが、Generatorで処理する前に、回答を控えるかどうかを二値分類タスクとしてLLMに解かせることで精度向上する可能性があります。今後試してみたいと思います。 2.2 RAGにおけるLLMの学習と評価：FAQタスクへの応用 発表情報 P5:ポスター 　　3月12日（火） 18:00-19:30 P5-5 　　○長澤春希, 戸田隆道 (AI Shift) 発表資料 ディスカッション Q: Retriever の性能が気になる A: 今回は retriever の性能は評価の対象外としていました。ただそれぞれの条件で与える関連文書は全て共通のものとしています。 Q: RAGのみ, LoRAのみ, RAG+LoRA のそれぞれの運用において、それぞれを最適化した際の性能上限が気になる A: 今回は比較的 naive な設定での比較となっていました。それぞれを最適化させた場合、またそれぞれにおける質的な振る舞いは変化することが予測されます。 Q: 他ドメインデータでの結果が気になる A: 先の最適化の話と関連し、各種設定での性能はデータセットによって変わるものだと予見されます。特に事業応用を考える場合は、様々な運用方法を考えて、実際に試してみる姿勢が重要であると推察されます。 Q: LoRA のランクが大きいように思われる A: 経験則的に、LoRAのランク設定は目的に応じて適宜変更することが肝要であると考えられ、今回のように新規に知識を獲得させるような場合では、少し大きめに設定しないとうまくいかないことがありました。 Q: LoRA は出力スタイルのチューニング、RAG は外部情報参照というそれぞれの得手不得手があると考えられる。今回のように "対決" させるのではなく長所を組み合わせることが大事なのでは？ A: 大変鋭い指摘でした。このような組み合わせはより柔軟なニーズ対応を可能にするアプローチであると考えられるので、大変参考になりました。 2.3 LCTG Bench: 日本語LLMの制御性ベンチマークの構築 発表情報 D11:テーマセッション１：人間と計算機のことばの評価(3) 　　3月14日（木） 14:10-16:00 D11-2 　　○栗原健太郎 (AI Shift/サイバーエージェント), 三田雅人, 張培楠, 佐々木翔大, 石上亮介 (サイバーエージェント), 岡崎直観 (東工大) ディスカッション Q: 生成品質の評価ではGPT-4を使っているようですが，GPT-4からは文章が出力されるのでは。どのようにしてスコアに最終的に変換しましたか。 A: GPT-4の出力が「適切」「不適切」のいずれかになるようにプロンプトを作成しました。 Q: 今回の項目の他に検討した項目はあるのでしょうか？ A: 今回採用したフォーマットの制御性の定義が「余計なものを出力しない」だったのですが、検討した内容の一つに「json形式で出力できるか」というものがありました。ただ、こちらは日本語LLMにとって非常に難易度が高いタスクだったので実施しないこととしました。 Q: 2値では判断が難しいものものに拡張される予定はあるのでしょうか？ (例えばスタイル(positive-negative, polite-rude)など A: positive-negativeは過去に検討した項目の一つで、拡張の可能性もあると思います！positive-negative程度であればJGLUEのMARC-jaなどのスコアから多くの言語モデルで容易に回答できると言えるので、考えておりました。polite-rudeでも判別が高精度でできるという調査があれば検討の余地あるかと思います。 Q: たとえば，IFEvalのようにフォーマットの制御性（※）を多様化したうえで，制御対象の数を2個以上にすると，難易度を調節できるかもしれないと感じました． A: 難易度調整の話は没になりましたが構想にありました。当初の構想の原案として、制御性を1つのみ、2つ組み合わせ、3つ以上というようなレベル分けを検討していたのですが、2つ以上から日本語LLMにとっての難易度が極端に上がりまともなスコアを得られないというのが予備実験を実施した手応えでしたので、制御性1つのみ（つまり最も簡単なレベルのみ）というデザインになりました。 Q: 達成条件が明確ではない制御への拡張（例えば、小学生が理解できるようにして）について、お考えがあれば教えてください。（そういうものを作りたいなと思っていたのでした。また議論させてください。） A: 小学生が理解できるようにして  このような達成条件が不明瞭なものを納得感のある形で評価するのは今のところ難しいなと感じています。（それこそGPT-4などの高性能とされているLLMによる評価が主流？）従来のBERTベースのモデルが容易に回答可能な分類のレベルであれば、ある程度達成条件が曖昧になってもいいと考えています！（今回はコードベースで判別できるくらい明確になるよう設計しました） Q: もし根本的な限界 = 指示チューニングでは改善不能な特徴なのだとしたら，制御性を調べるタスクとしてあまり妥当ではないのかもしれないとも思いましたが，わかりません． A: この点については、インストラクションチューニングで改善できるのかは確かに不明ですね。ただ、文字数の制御性自体は関心が強いだろうという認識であり、GPT-4でも現状難しい項目となっていますが、いつの日かより強いLLMが出たその日にこのベンチマークを使って、「今まで難しかった文字数も制御できるようになった！」みたいな議論ができると面白いのかなと思っています。妥当性はともかくとして、設けるべき観点の一つかなと考えています。 3. 2023年度言語処理学会最優秀論文賞 会期中に、弊社所属の栗原 健太郎主著の 「JGLUE: 日本語言語理解ベンチマーク」 が 2023年度言語処理学会最優秀論文賞 を受賞しました。 ※研究内容は弊社での取組みではなく、学生時代の研究になります 。 また、研究内容について、招待論文で発表を行いました。 2023年度の言語処理学会論文賞は4件です。 #NLP2024 で表彰し、ご講演いただきました。 https://t.co/pAvImd1aXH 栗原 健太郎さん、塚越 駿さん、李 凌寒さん、大村 和正さん、おめでとうございます！ pic.twitter.com/MnalqrULP2 — NLP2024 KOBE (@anlpmeeting) March 11, 2024 4. おわりに 昨年の沖縄で開催された言語処理学会では「緊急パネル：ChatGPTで自然言語処理は終わるのか？」のようなセッションが企画されたり、そのセッションが行われた夜にOpenAI社からGPT-4が発表されたりとNLPがこれからどうなっていくかというところに非常に注目が集まっていましたが、ChatGPTで自然言語処理は終わっておらず過去最大の開催となりました。生成AIに絡んだデータセットの構築、生成AIの挙動に関する検証、生成AIの評価に関する研究が多かったのが印象的でした。 毎度になりますが、このような素晴らしい学会を開催頂いた運営の皆様に感謝申し上げます。 来年は長崎開催が発表され、来年もAI Shiftから発表ができるように日々の活動をしていこうと思います。 投稿 言語処理学会第30回年次大会(NLP2024) 発表報告 は 株式会社AI Shift に最初に表示されました。

こんにちはAI Shiftの栗原です。3月11日(月)から3月15日(金)に 神戸国際会議場 で 言語処理学会年次大会 が実施され、AI Shiftからは口頭発表1件とポスター発表2件の合計3件の発表を行います。 本記事では各発表の概要と、ポスター発表については議論したいポイントについて取り上げたいと思います。 1. AI Shiftからの発表 3月12日(火) 18:00-19:30 P5-5 RAGにおけるLLMの学習と評価：FAQタスクへの応用 長澤春希, 戸田隆道 (AI Shift) 3月13日(水) 9:30-11:00 P6-24 RAGにおける自己認識的不確実性の評価 二宮大空, 戸田隆道 (AI Shift) 3月14日(木) 14:10-16:00 D11-2 LCTG Bench: 日本語LLMの制御性ベンチマークの構築 栗原健太郎 (AI Shift/サイバーエージェント), 三田雅人, 張培楠, 佐々木翔大, 石上亮介 (サイバーエージェント), 岡崎直観 (東工大) 2. 各発表の概要と議論したいポイント ポスター発表 2.1 RAGにおけるLLMの学習と評価：FAQタスクへの応用 概要 外部情報を参照しながらLLMを活用する代表的な方法としてRAGがあるが、一方でLoRAなどの軽量な学習手法も提案されている。LLMの実運用を考えた際、どちらが有用なのかは明らかとなっていない。本研究ではFAQタスクを例にとり、RAG、LoRA及びその組み合わせについての性能差を検証し、直接比較による評価で両者を組み合わせた際にMean Reciprocal Rank スコアが最も高い傾向となることを報告する。 議論したいポイント RAG精度向上のための施作 RAGシステムにおける評価手法の選定 事業応用を前提とした時のLLMとの付き合い方 2.2 RAGにおける自己認識的不確実性の評価 概要 カスタマーサポート事業においてユーザーからの質問にRAGで回答する場合、検索で答えが得られなかったときは回答を控えることが期待される。そこで、回答を控える正確さを"自己認識的不確実性（Self-Aware Uncertainty）"と定めて評価する。実験の結果、 Gemini-ProはGPT-4-turboよりも正しく回答を控えることができる傾向にあった。 議論したいポイント Hallucinationを防ぐための方法として、答えを控える以外により適切な方法はどのようなものが考えられるか リアルタイム性を保ったままRAGの精度を向上させる方法 他にどのようなRAGの評価方法が有効そうか 口頭発表 2.3 LCTG Bench: 日本語LLMの制御性ベンチマークの構築 概要 LLMの事業応用において性能を評価する際には、生成内容の評価の他に、指定のフォーマットや文字数を満たせるかという「生成結果の制御性」の評価も必要と考えている。本研究を通じて、日本語LLMの制御性を評価するベンチマークLCTGを構築した。さらにLCTGを用いた評価実験の考察も実施した。 議論したいポイント 実際に事業にLLMを適用する場合に、（本実験での検証項目の有無を問わず）制御性を気にした場面があるか否か 皆様が実施している、あるいは求めているLLMの評価方法 LLMの事業適用における、意思決定の方法 3. おわりに 今年もAI Shiftの他に，CyberAgentグループから4件の発表とスポンサーブースの出展があります。そちらの発表もぜひお越しください！ 僕個人も神戸は人生初上陸で非常に楽しみにしております！ 当日皆様と活発な議論やお話ができることを楽しみにしております！ 投稿 言語処理学会第30回年次大会(NLP2024) でAI Shiftから3件の発表を行います は 株式会社AI Shift に最初に表示されました。