OsakaGPT #0.7

2023/08/05(土)18:00 〜 20:00 開催
ブックマーク
#Python, #ChatGPT, #スマートスピーカー

イベント内容

  • 「ファインチューニングLLMクラブ」という名称はぜんぜんキャッチーでなく注目されないため、以後は「OsakaGPTクラブ」に名称変更いたしました。

目次

  • 第7回目のテーマ
  • OsakaGPTクラブの趣旨と運営方針
  • OsakaGPTクラブの参加要件
  • OsakaGPTクラブ開催の経緯
  • 主催者の野望：自然言語処理×強化学習(RLHF)

第7回目のテーマ

7回目はOpenCalm7bと既存の日本語データセットを用いてSupervised FineTuningする予定です。google colabの使い方、トークナイズなどの前処理、wandbでの学習管理などについて触れたいです。これまでとりあげたテーマは以下のとおり。

  • 1回目：GPTのしくみ
  • 2回目：アテンションメカニズム
  • 3回目：ディープラーニング、強化学習クラッシュコース
  • 4回目：RLHF、PPO
  • 5回目：作成アプリケーション進捗報告
  • 6回目：dataset, dataloader, datacollator

1～4回目までの話聞きたい方いらっしゃればプレゼンさせていただきます。

自分でなにかLLM系アプリケーションを作っていらっしゃるアツい方、大歓迎です。

どうしてもプレゼンやデモしたいことがある方、大歓迎です。

具体的には以下の項目に興味があります。

  • 日本語ベースのオープン系LLMの実際の精度
  • クラウドでのAIサービスの運用ノウハウ
  • 量子化やLoRAなどのメモリ効率化ノウハウ
  • langchainライブラリの使い方
  • OpenAI function calling

OsakaGPTクラブの趣旨と運営方針

  • 参加者がクオリティの高いLLMアプリケーションを開発できるようにコミュニティを形成するのがOsakaGPTクラブの趣旨です。
  • OsakaGPTクラブはオフライン集会です(つまり参加者は実際にひとつの場所に集まります)
  • 2週間に1回の頻度での開催を目論んでいます。
  • 参加費は500円です(paypay対応可)
  • 参加者は各自でPCを持参していただきます。
  • 最初の30分の間に主催者が自然言語分野や強化学習分野についてのプレゼンをおこないます。
  • 主催者のプレゼンが終わると参加者はひとりで各々の作業をおこなうことができます(AES方式のWi-fiでインターネットへの接続が可能です)
  • 参加者は主催者にいつでも質問することができます。質問内容は技術に関するものでも、漠然とした相談のようなもの構いません。主催者はそれらの質問に対していつも真摯に回答することが求められます。

OsakaGPTクラブの参加要件

参加要件は以下のとおりです。

  • プログラマー

圧倒的にpythonを用います。

OsakaGPTクラブ開催の経緯

今年に入ってからchatGPTをはじめとするLLM(大規模言語モデル)を土台にしたアプリケーションサービスが次々とリリースされ、個人的に度肝を抜かれました。これまでも自然言語処理技術を用いたアプリケーションは数多くリリースされてきましたが、そのどれもが物足りない印象でした。たとえば言語翻訳タスクにおいては、google翻訳が長い間第一線でがんばっていましたが、それでも英語ができる人にとってはほとんど使い道はありませんでした。Alexa, siriなどの音声対話型AIもパッとしない印象が顕著で、Amazonやappleのような大企業が巨額の資金を投入しても、満足のいくようなクオリティには達しませんでした。それがDeepLの登場で潮流が変わり始め、chatGPTの登場で一気に変わった。LLMというのはこれまでのアプリケーションとは異なり、個別のタスクだけをこなすものではありません。翻訳や対話のみならず、テキストのセンチメント分類、テキストの要約など、様々なタスクを非常に高い精度でこなす、汎用システムなのです。

LLMと一言で言ってもたくさんのモデルがあります。オープンソースのものもあればAPIだけが公開されているものもあります。英語で事前学習されたものも日本語で学習されたものもあります。毎月新しいモデルが公開され、それらのモデルをファインチューニングしたアプリケーションがリリースされています。またこれらLLMの公開と並行して、hugging faceのようなLLMハブの役割を持ったプラットフォームが興り、LangChainのような周辺機能を扱うようなライブラリも活発に開発されています。ＳＮＳでは毎日のようにLLMに関するTIPSが流れてきますが、情報量が多すぎてまるでついていけません。「アプリケーション開発のために本当に有益な情報は何なのか」という観点で情報をうまく整理し、実際のコードを手になじませることが重要なのかなと思いました。そういったことはひとりでやるには退屈なので勉強会の形をとることにしました。

それがOsakaGPTクラブ開催の経緯です。

主宰者個人の野望

主催者個人の方向性についても簡単に記しておきます。

  • 機械学習エンジニア
  • オープンエンドな(特定の質疑応答に特化したものではなく、幅広く様々な会話をおこなうような)チャットボットに興味があって今年の4月から勉強を始めました。
  • 勉強をしていく中で、同じような目線、環境のひとたちと情報を共有したいが、大阪でそういうコミュニティを見つけるのは困難だと感じていた。
  • ファインチューニングの手法として、教師あり学習や、自己教師あり学習ではなく、報酬最大化をベースとした強化学習に興味がある
  • 以下の2つの論文を自分なりにアレンジして実装することを夏の目標としている

注意事項

※ こちらのイベント情報は、外部サイトから取得した情報を掲載しています。
※ 掲載タイミングや更新頻度によっては、情報提供元ページの内容と差異が発生しますので予めご了承ください。
※ 最新情報の確認や参加申込手続き、イベントに関するお問い合わせ等は情報提供元ページにてお願いします。
情報提供元ページ（connpass）へ

新規会員登録

このイベントに申し込むには会員登録が必要です。
アカウント登録済みの方はログインしてください。

※ ソーシャルアカウントで登録するとログインが簡単に行えます。

※ 連携したソーシャルアカウントは、会員登録完了後にいつでも変更できます。

関連するイベント