概要

今回のウェビナーでは、MLOpsのプロセスに高いレベルの自動化を導入し、継続的かつ高速なMLモデルの開発・運用をする方法を学びます。特に今回は大規模言語モデル(LLM)を例にとり、CI/CDワークフローの構築と自動化の流れを紹介します。LLMの評価から、ステージング・プロダクションモデルの管理、Github actionsを用いたテストの実行、プロダクションモニタリングまで、W&Bの新しい活用方法を見ていきましょう。「モデルを本番環境に展開する際のつまづきをどのように減らすことができるか？」という疑問にお答えしていきます。

アジェンダ（予定）

1. LLMモデルの再学習とテスト
2. W&B Promptsを使用したLLM固有の可視化
3. GitHub ActionsとWebhooksを活用した自動化
4. 本番環境へのモデルデプロイとモニタリング
5. 本番環境の機械学習をスケールアップとCI/CD

当日紹介した関連情報

1. PALR: Personalization Aware LLMs for Recommendation
2. State of GPT | BRK216HFS
3. PaLM 2 Technical Report
4. The Rakuda Ranking of Japanese AI
5. Nejumi LLMリーダーボード
6. GPT-NeoXの開発ダッシュボード
7. LangChain X Weights & Biases
8. wandbotが使えるwandb community slack

参考: MLOpsにおけるCI／CDとは

Googleが提唱した指針によるとMLOpsの自動化レベルが高くなるにつれ、機械学習に関するプロセスが自動化され、サイクルを早めることができます。

• レベル0 (手動プロセス)：これは典型的なデータサイエンスプロセスであり、機械学習プロジェクトの開始時に実行されます。このレベルには、実験的で反復的な性質があります。データの準備と検証、モデルの学習とテストなど、各パイプラインのすべてのステップは手動で実行されます。処理する一般的な方法は、Jupyter notebookなどのツールを使用することです
• レベル1（機械学習パイプラインの自動化)：モデル学習の自動実行が含まれます。ここでは、モデルの継続的な学習を実施します。新しいデータが利用可能になるたびに、モデルの再学習のプロセスがトリガーされます。このレベルの自動化には、データとモデルの検証手順も含まれます
• レベル2（CI/CDパイプラインの自動化）：最終段階では、CI/CDシステムを導入して、本番環境で高速で信頼性の高い機械学習モデルのデプロイを実行します。前の手順との主な違いは、データ、機械学習モデル、および機械学習パイプラインのコンポーネントを自動的に構築、テスト、デプロイすることです

登壇者

鎌田啓輔 - Weights & Biases, Success Machine Learning Engineer

京都大学情報学研究科で機械学習を専攻。新卒では因果推論ツールを提供する外資系企業に参画し、ビジネス施策における因果推論に従事。その後、DataRobotにてLead Data Scientistとしてヘルスケアチームのリーダーとしてヘルスケアの企業を中心に国内数十社のAI導入を支援。コロナ禍にはデータに基づく対策方針の決定に資するべく、分析担当・PMとして国立国際医療研究センターと共同で解析プロジェクトを推進し、その結果をもとに論文を執筆。厚生労働省へのレター提出にも参画。因果推論から機械学習、Deep Learningまで行う機械学習エンジニア。

カンファレンス詳細

• 日　時：　2023年8月31日 17:00-18:00
• 参加費：　無料（事前登録制）
• お問い合わせ：contact-jp@wandb.com