機械学習アプリケーション（LLMアプリケーション）の「評価」の基本を改めて整理・議論する会

講座概要

大規模言語モデル（LLM）の登場により、機械学習を組み込んだアプリケーションの開発に取り組むハードルは非常に低くなりました。

「こんなもの作れそうかな？」というアイデアに対して、最低限動作するプロトタイプ程度であれば、簡単に実装できてしまうことも多いです。

一方で、本番レベルのアプリケーションにするために重要な「評価」については、どう取り組むべきなのか困っていると言われることも多いです。

そこでこの勉強会では、LLMを含む機械学習を組み込んだアプリケーションの「評価」について、基本を改めて整理しつつ議論していきます。

※登壇者数名が、あらかじめ用意した資料をベースとして議論する形式の勉強会になります。視聴者の方からは適宜質問を受け付けます。

主な対象者

• 機械学習（LLM含む）を使ったアプリケーションの開発に取り組んでいる方

前提とする知識

• 機械学習の基礎知識（「学習」「推論」といった単語が理解できる程度）

アジェンダ

• 機械学習アプリケーションの評価の概要
• オフライン評価の基本と限界について
• オンライン評価の基本と限界について

タイムテーブル

※質疑の内容や数などにより、終了時刻が前後する可能性があります。

会場

Zoomウェビナーでの開催となります

※ 参加登録してくださった方に、このページ上部の「参加者への情報」の欄にZoomのURLが表示されます。

登壇者プロフィール

大嶋勇樹 @oshima_123 (StudyCo / 株式会社ジェネラティブエージェンツ)

株式会社ジェネラティブエージェンツ取締役CTO/Co-founder。大規模言語モデルを組み込んだアプリケーションやAIエージェントの開発を実施。個人ではエンジニア向けの勉強会開催や教材作成など。オンラインコースUdemyではベストセラー講座多数。勉強会コミュニティStudyCo運営。「ChatGPT/LangChainによるチャットシステム構築［実践］入門」共著。

上野彰大 @ueeeeniki (StudyCo / PharmaX株式会社 取締役・エンジニアリング責任者)

東京大学農学生命科学研究科卒業。大阪府堺市出身。新卒でIGPI（経営共創基盤）に入社し、2018年12月にPharmaX株式会社（旧・株式会社YOJO Technologies）を共同創業。全社戦略、エンジニアリング責任者。趣味でエンジニアリング勉強会を数年続けている。得意なのは、統計、機械学習、データ分析。

早野康太 (StudyCo)

東京大学農学生命科学研究科生物・環境工学 修士課程修了。都内のIT企業で自然言語モデルに関わる研究開発に従事。Kaggleメダル獲得数は銀メダル1個、銅メダル2個。

江﨑崇浩 @t_esaking (StudyCo)

東京大学心理学専修課程卒業。ビジネス／ITコンサルタントとして、金融・製造・航空・自動車など多様なクライアントのBPRやSCM改革、システム刷新などのプロジェクトに従事。その後、社内やJVによる新規事業案件にてアジャイル開発を実施。現在はCSMとしてAI・クラウドソリューションの活用促進やコミュニティ活動に注力。