イベント概要

より質の高いRAGを開発していくには、評価方法を定義した上で、アプリケーションへの入出力をトラッキングし、PDCAサイクルを回していく必要があります。そんなネクストレベル的な開発に関心のある方向けに、本イベントでは、RAGを使ったAIアプリケーションの性能評価と精度向上をテーマにしたマンスリーミーティングを行います。LLM開発の分野で著書を多数執筆されているnpakaさんと、先日LLMアプリケーションの精度向上について社内の取り組みを公開したTIS浦上さんにご登壇いただき、実践的なアプローチをご紹介していただくとともに、Weights & Biasesからも、LLMOpsの新機能「Weave」を使ったChatbot開発における活用方法を解説します。

スポンサーからのお願い

• 講演開催中にお弁当形式の軽食と、懇親会でのお飲み物の提供を予定しておりますが、数には限りがありご参加者全員に行き渡らない場合もございます。

タイムテーブル

スピーカー(発表順）

布留川 英一（ふるかわひでかず）/ npaka / Xアカウント

1999 年、『JAVA PRESS』（技術評論社）にて、携帯アプリの開発方法の連載を開始。2001 年、株式会社ドワンゴにてJava 搭載携帯電話「503i」のローンチタイトル『サムライロマネスク』の開発に携わる。以後、新端末の新機能を活用したアプリを作りつつ、技術書を書き続け、18 年で40 冊ほどに。現在は株式会社ゼルペムにて、ヒトとAI の共生環境の実現を目指して、人工知能の研究開発に取り組んでいる。

主な著書に、『OpenAI GPT-4/ChatGPT/LangChain 人工知能プログラミング実践入門』『BERT/GPT-3/DALL-E 自然言語処理・画像処理・音声処理人工知能プログラミング実践入門』『OpenAI Gym/Baselines 深層学習・強化学習人工知能プログラミング実践入門』（ボーンデジタル）など。

講演タイトル：WeaveによるRAGシステムのLLM変更時の精度検証手順

本イベントでは、Weights & Biasesの新機能「Weave」をご紹介いたします。まず、Weaveの基本的な使い方を解説し、その記録方法について詳しく説明します。Weaveでは、自動記録、関数による記録、モデルによる記録など、さまざまなアプローチを採用しており、それぞれの利点と適用方法についても触れていきます。 さらに、RAG（Retrieval-Augmented Generation）システムにおけるLLM（大規模言語モデル）の変更に伴う精度検証手順についても解説いたします。まず、RAGシステムのLLMをどのように変更するかを説明し、その後、評価指標を用いてシステムのパフォーマンスをどのように評価するかを詳しく見ていきます。最後に、実際の精度検証手順について、ステップバイステップでご紹介いたします。

浦上 太一 / TIS株式会社

SIerでシステム開発の経験を積んだプログラマー。 得意言語はJavaで、コミュニティでの登壇や運営、雑誌連載の経験を持つ。 現職のTISでは全社技術支援や自社フレームワーク開発、スタートアップとタッグを組んでのPoC開発など様々なプロジェクトに携わる。 現在参画中のプロジェクトで初めて生成AIに触れ、これまで触れてきた技術とのギャップに驚く毎日を過ごしている。

鎌田 啓輔 / Weights & Biases Japan, MLエンジニア / Xアカウント

因果推論からML、LLMまで行う機械学習エンジニア。APTではビジネス施策における因果推論の支援、DataRobotではヘルスケアチームのLead Data Scientistとしてヘルスケア業界を中心に数十社のAI導入を支援。コロナ禍には国立国際医療研究センターと論文や厚生労働省へのレターを作成。現在Weights & Biasesでは、企業へのML workflow構築支援以外にNejumi Leaderboardやllm-jp-evalの開発も行っている。タンパク質言語モデルのファインチューニングのハンズオントレーニングを製薬企業8社に対し提供するなど、業界特化のLLMの応用に向けた活動も行っている。

講演タイトル：Dogfooding! Weaveを使ったWandbotの開発・評価・改善を公開

Weights & Biases では、社内およびWandBのユーザー様向けにRAGを用いたチャット機能を運営しています（日本語のチャットボットはslack (wandbjp.slack.com #wandbot)で運営しています）。 このセクションではWandbotをWeaveを使って開発・評価・改善するプロセスをご紹介します！

会場

WeWork 渋谷スクランブルスクエア39F

住所: 150-6139 東京都渋谷区渋谷２-24-12

（以前のイベントの様子）

アクセス

1. 電車で：
   • JR山手線・埼京線・湘南新宿ライン「渋谷駅」中央改札・南改札直結
   • 東急東横線・田園都市線「渋谷駅」B6出口直結
   • 東京メトロ銀座線「渋谷駅」スクランブルスクエア方面改札直結
   • 東京メトロ半蔵門線・副都心線「渋谷駅」B6出口直結
   • 京王井の頭線「渋谷駅」直結
2. お車で： 建物にオフィス専用駐車場がございますが、タクシーの乗り入れはできません。 タクシーでお越しの際は、最寄りの公共タクシー乗車場である「渋谷駅東口タクシー乗り場」をご利用ください。

17階のオフィス入り口で入館チケットを発行していただきます。

主催・運営

このイベントはWeights & Biases Japan によって運営されています。

本イベントの開催には、WeWork様に多大なご協力をいただいております。

このミートアップに登録することで、Weights & Biasesの製品、サービス、イベントに関するマーケティングコミュニケーションを受け取ることがあります。W&Bは、お客様の個人情報をプライバシーポリシーに従ってのみ使用し、これらのコミュニケーションはいつでも解除することができます。

このミートアップ中に写真や動画が撮影されます。これらはW&Bによってマーケティングや宣伝用に、出版物、ウェブサイト、ソーシャルメディアで使用されることがあります。何か懸念がある場合や、撮影や録画されたくない場合は、お問い合わせください。