2024/02/29(木)16:00 〜 17:00

ウェビナー：Nejumiリーダーボードを使った自社LLMモデルの独自評価

オンライン

イベント内容

概要

本ウェビナーでは以下の内容をご紹介いたします：

Nejumi.aiリーダーボードを任意のWandBサーバーに構築
自社モデルを結果を公開しないで評価するジョブの実行
独自データセットを用いた評価の追加方法

Weights & Biases Japanでは、昨年末、LLM-jpのモデル評価チームや、Stability AI Japan の評価チームの皆さんのご協力をいただいて、日本最大規模の日本語LLM評価ランキングである、Nejumi.aiリーダーボードのアップデート版、Nejumi LLMリーダーボード Neoを公開しました。

リーダーボード公開以降、自社のモデルを外部に公開せずに評価してリーダーボードに追加したいというリクエストを多く頂きました。その際には自社専用のDedicated Cloudを用いたいという声をありました。本ウェビナーではこれらのリクエストにお答えして弊社のNejumi.aiリーダーボードの評価データや可視化ダッシュボードなどのリッチなアセットを活用しつつ自社専用リーダーボードを構築する方法をお伝えします。

背景

今回のリーダーボードアップデートの背景は、こちらのブログにて紹介させていただきました。

Weights & Biases とは

Weights & Biases（WandB）は、エンタープライズグレードのML実験管理およびエンドツーエンドMLOpsワークフローを包含する開発・運用者向けプラットフォームです。WandBは、LLM開発や画像セグメンテーション、創薬など幅広い深層学習ユースケースに対応し、NVIDIA、OpenAI、Toyotaなど、国内外で80万人以上の先端的ML開発者に信頼されているAI開発の新たなベストプラクティスです。

タイムテーブル

時間	内容	スピーカー
16:00 ~ 16:50	Nejumiリーダーボードを使った自社LLMモデルの独自評価方法の解説	W&B 山本祐也
16:50 ~ 17:00	Q&A

スピーカー

山本祐也 - Weights & Biases Japan, MLエンジニア

講演タイトル「Nejumiリーダーボード評価の走らせ方」

山本祐也

東京大学大学院工学系研究科にて有機無機複合材料の研究で博士号を取得。学位取得後、大手化学メーカーにて液晶・タッチパネル関連先端化学材料の研究開発に従事。その後、大手食品メーカーで機械学習を用いた食品パッケージに関する予測モデリングと最適化に取り組むなど、BtBとBtCいずれにも深い経験を有する。前職DataRobotでは製造顧客担当チームのリーダーとして国内数十社のAI導入を支援。国内で数十人程度のKaggle Grandmasterの一人。