BEGIN:VCALENDAR VERSION:2.0 PRODID:-//https://techplay.jp//JP CALSCALE:GREGORIAN METHOD:PUBLISH X-WR-CALDESC:ホワイトペーパー公開記念ウェビナー：「LLM 評価のベストプラクティス」 X-WR-CALNAME:ホワイトペーパー公開記念ウェビナー：「LLM 評価のベストプラクティス」 X-WR-TIMEZONE:Asia/Tokyo BEGIN:VTIMEZONE TZID:Asia/Tokyo BEGIN:STANDARD DTSTART:19700101T000000 TZOFFSETFROM:+0900 TZOFFSETTO:+0900 TZNAME:JST END:STANDARD END:VTIMEZONE BEGIN:VEVENT UID:941546@techplay.jp SUMMARY:ホワイトペーパー公開記念ウェビナー：「LLM評価 のベストプラクティス」 DTSTART;TZID=Asia/Tokyo:20240423T160000 DTEND;TZID=Asia/Tokyo:20240423T173000 DTSTAMP:20260528T163903Z CREATED:20240410T060806Z DESCRIPTION:イベント詳細はこちら\nhttps://techplay.jp/event/94154 6?utm_medium=referral&utm_source=ics&utm_campaign=ics\n\n概要\n本ウ ェビナーでは4/10にリリースされたW&B Japanのホワイトペ ーパー「大規模言語モデル (LLM) を評価するためのベス トプラクティス」の内容に基づき、重要ポイントをま とめたダイジェスト版プレゼンテーションと、著者に 直接質問をできるQAコーナーを開催します。\n特にLLMモ デルの開発およびその応用に関わる下記のような方々 をターゲットにしています：\n\nLLM基盤モデル開発に携 わるリサーチャー・エンジニア\n基盤モデルの継続学 習やチューニングにより、特定タスクへの適用を目指 すエンジニア\n生成AIプロジェクトの企画担当者および プロジェクトマネージャー\n生成AIを軸としたビジネス ・プロダクト開発の担当者\n上記の活動に関わる意思 決定者・エグゼクティブ\n\n本ウェビナーに参加するこ とで、具体的には下記のような質問に答えるを見つけ ることができます：\n\nLLMモデルを評価する上で知って おくべきことは？\n評価の種類と、評価方法のベスト プラクティスは？\nできるだけ省力・自動的に評価を 実行する方法は？\n日本語評価リーダーボードの現時 点での選択肢と特徴は？\n生成AIの評価に関して今後注 意するべきことは？\n\nまた、Weights & Biasesの過去のホ ワイトペーパーも併せてご利用ください：\n\n「LLMをゼ ロからトレーニングするためのベストプラクティス」\ n「LLMファインチューニングとプロンプトエンジニアリ ング」\n\nタイムテーブル\n\n\n\n時間\n内容\nスピーカー \n\n\n\n\n16:00 ~ 16:15\nパート0：Nejumiリーダーボードと、 本ホワイトペーパーの紹介\nW&B シバタアキラ\n\n\n16:15 ~ 16:35\nパート1：評価の枠組みと、汎用的言語能力の評 価\nW&B 鎌田啓輔\n\n\n16:35 ~ 16:45\nパート2：アライメント （安全性等）評価\nW&B シバタアキラ\n\n\n16:45 ~ 17:05\nパ ート3：評価の実装方法とWandBの活用\nW&B 山本祐也\n\n\n1 7:05 ~ 17:30\nQ&A\n\n\n\n\nスピーカー\n鎌田啓輔 - Weights & Bias es Japan\, MLエンジニア\n京都大学情報学研究科で機械学 習を専攻。新卒では因果推論ツールを提供する外資系 企業に参画し、ビジネス施策における因果推論に従事 。その後、DataRobotにてLead Data Scientistとしてヘルスケア チームのリーダーとしてヘルスケアの企業を中心に国 内数十社のAI導入を支援。コロナ禍にはデータに基づ く対策方針の決定に資するべく、分析担当・PMとして 国立国際医療研究センターと共同で解析プロジェクト を推進し、その結果をもとに論文を執筆。厚生労働省 へのレター提出にも参画。因果推論から機械学習、Deep Learningまで行う機械学習エンジニア。\nシバタアキラ - Weights & Biases Japan\, カントリーマネージャー\n人工知能 を使ったデータ・AI活用によるビジネス価値の創出を 専門分野とし、オンラインサービス、既存産業各領域 、クリエイティブ領域など幅広い分野にて、これまで 数百社に及ぶ国内外企業のデータ・AIの利活用を実現 してきた。\n機械学習自動化プラットフォームのDataRobo t日本CEO、AIによる創造性の拡張をミッションとするQosm o\, Inc.のCOOなどを歴任し、現在はサンフランシスコを 拠点とし、AIエンジニアのための開発・運用プラット フォームを提供するWeights & Biasesの日韓カントリーマネ ージャー。その他数社の社外取締役・顧問などを務め る。\n山本祐也 - Weights & Biases Japan\, MLエンジニア\n東京 大学大学院工学系研究科にて有機無機複合材料の研究 で博士号を取得。学位取得後、大手化学メーカーにて 液晶・タッチパネル関連先端化学材料の研究開発に従 事。 その後、大手食品メーカーで機械学習を用いた食 品パッケージに関する予測モデリングと最適化に取り 組むなど、BtBとBtCいずれにも深い経験を有する。前職D ataRobotでは製造顧客担当チームのリーダーとして国内 数十社のAI導入を支援。国内で数十人程度のKaggle Grandma sterの一人。\nカンファレンス詳細\n\n日　時：　2024年4 月23日 16:00-17:30\n参加費：　無料（事前登録制）\nお問 い合わせ：contact-jp@wandb.com\n\nWeights & Biases とは\nWeights & Biases（WandB）は、エンタープライズグレードのML実験 管理およびエンドツーエンドMLOpsワークフローを包含 する開発・運用者向けプラットフォームです。WandBは 、LLM開発や画像セグメンテーション、創薬など幅広い 深層学習ユースケースに対応し、NVIDIA、OpenAI、Toyotaな ど、国内外で80万人以上の先端的ML開発者に信頼されて いるAI開発の新たなベストプラクティスです。\nNejumi LL Mリーダーボードとは\nW&B Japanがhttp://nejumi.ai にて運営 しているLLM日本語評価リーダーボードです。一問一答 形式で言語理解を評価するllm-jp-evalと、プロンプト対 話で生成能力を評価するMT-Benchによる多角的なLLMモデ ル評価を提供しています。またWandBのTable機能を用いて 、平均スコアだけではなく結果をインタラクティブに 深掘り・比較することが可能です。 LOCATION:オンライン Zoom URL:https://techplay.jp/event/941546?utm_medium=referral&utm_source=ics&utm _campaign=ics END:VEVENT END:VCALENDAR