イベント概要

今回のW&Bミートアップでは、国内でいち早く独自のLLMモデルをリリースしたrinnaとCyberAgentから、それぞれのモデルの開発リーダーから、これまでのLLM開発の経緯や技術的なアプローチ、直面した課題やそれに対する解決方法、今後の取り組みやモデルを使ったビジネス展開のご予定などについて、お話いただける範囲でお話いただきたいと思ってます。Tianyuさんも日本語でお話いただける予定です！

スポンサーからのお願い

• 講演開催中にお弁当形式の軽食と、懇親会でのお飲み物の提供を予定しておりますが、数には限りがありご参加者全員に行き渡らない場合もございます。
• 今回のミートアップでは、資料公開の予定はありません。また、資料の撮影、プレゼンテーションの録音・録画も禁止となります。

トークテーマ

• 国産LLM
• LLMモデルの開発
• LLM開発におけるチャレンジ
• LLMモデルを使ったビジネスの展望

タイムテーブル

スピーカー

Tianyu Zhao, Researcher, rinna

Tianyu Zhao is a researcher specializing in natural language processing (NLP). He completed his bachelor's degree at Peking University in 2015 and went on to earn both a master's degree and a Ph.D. from Kyoto University in 2017 and 2020, respectively. Currently, Tianyu serves as a researcher at rinna Co., Ltd., where he actively contributes to the development of NLP techniques. His expertise lies in large language models and dialogue systems, and his work has been recognized through publications in esteemed academic conferences such as ACL, SIGDIAL, COLING, Interspeech, and ICASSP. Notably, Tianyu has also developed a series of large Japanese language models that have gained significant popularity and adoption within the Japanese NLP community.

（某LLMによる翻訳）Tianyu Zhaoは自然言語処理（NLP）を専門とする研究者です。彼は2015年に北京大学で学士号を取得し、その後、2017年と2020年に京都大学で修士号と博士号をそれぞれ取得しました。現在、Tianyuはrinna Co., Ltd.で研究者として活動し、積極的にNLP技術の開発に貢献しています。彼の専門は大規模言語モデルと対話システムであり、ACL、SIGDIAL、COLING、Interspeech、ICASSPといった一流の学術会議での出版を通じてその業績が認められています。特筆すべきは、Tianyuが日本のNLPコミュニティ内で大きな人気と支持を得ている一連の大規模日本語モデルを開発していることです。

「Open-source Japanese LLMs and where to find them」

The landscape of large language models (LLMs) has witnessed a surge in both academic and commercial domains. However, while numerous LLMs have emerged from English-centric organizations, the development of Japanese-oriented LLMs has been relatively scarce. Consequently, the challenges faced during the development of Japanese-oriented LLMs remain largely unexplored, with limited sharing of experiences within the developer and user community. In this talk, I will share with you my journey, unraveling the process behind of the development of open-source Japanese LLMs at rinna.

（某LLMによる翻訳）大規模言語モデル（LLMs）の領域は、学術的および商業的な領域で急増しています。しかし、多くのLLMsが英語中心の組織から生まれている一方で、日本語指向のLLMsの開発は比較的少ないままです。その結果、日本語指向のLLMsの開発において直面する課題はほとんど探求されておらず、開発者やユーザーコミュニティ内での経験の共有も限られています。この講演では、rinnaでのオープンソースの日本語LLMsの開発過程を解き明かす私の旅を皆さんと共有します。

Ryosuke Ishigami - Machine Learning Engineer, CyberAgent

2021年 株式会社サイバーエージェント 中途入社。AI事業本部で「極予測LP」の開発、大規模言語モデル（LLM）をはじめとした基盤モデルプロジェクトのリードを担当。画像やテキストを対象としたマルチモーダルなAIの社会実装に従事している。

「日本語基盤モデルの開発について」

近年、大規模データ・大規模パラメータが特徴の基盤モデルが注目を集めています。ChatGPTをはじめとして様々な分野で革新的な成果を生み出している一方で、多くの基盤モデルは英語や他言語を対象としており、日本語の基盤モデルはまだ少ない状況です。本講演ではOpenCALMのような日本語の基盤モデルの開発に焦点を当て、課題や展望についてご紹介します。

会場

WeWork 東京スクエアガーデン

住所: 104-0031 東京都中央区京橋3-1-1 東京スクエアガーデン 14F

（以前のイベントの様子）

アクセス

• 東京メトロ 銀座線 京橋駅（出口3）（駅直結）
• 東京メトロ 有楽町線 銀座一丁目駅（出口7） 徒歩2分
• 都営浅草線 宝町駅（A4出口） 徒歩2分

京橋駅直結のビル。3階にあがるとオフィスエントランスがございます。 3階からエレベーターで14階までお越しください。 会場へのアクセス方法の詳細はこちらに：http://wandb.me/tokyo-office

主催・運営

このイベントはWeights & Biases Japan によって運営されています。

本イベントの開催には、WeWork様に多大なご協力をいただいております。

このミートアップに登録することで、Weights & Biasesの製品、サービス、イベントに関するマーケティングコミュニケーションを受け取ることがあります。W&Bは、お客様の個人情報をプライバシーポリシーに従ってのみ使用し、これらのコミュニケーションはいつでも解除することができます。

このミートアップ中に写真や動画が撮影されます。これらはW&Bによってマーケティングや宣伝用に、出版物、ウェブサイト、ソーシャルメディアで使用されることがあります。何か懸念がある場合や、撮影や録画されたくない場合は、お問い合わせください。