概要

本ワークショップにおいてはローンチの基本的な概念に始まり、その設定方法、Optunaを使った最適化ジョブの実行までをご覧いただくことができます。ワークショップで使った資料・ノートブックなどは共有されますので、wandb.ai上ですぐにお試しいただくことができます。

• 使い方のNoteの記事のリンク
• GitHub上のサンプル
• wandbドキュメンテーションの該当箇所

wandbにはハイパーパラメーター探索の自動化を行うスイープ機能が以前から提供されていましたが、より高度な最適化を求める声を多くのユーザー様からいただいてきました。特に、ハイパーパラメーターの最適化を自動化するためのオープンソースフレームワークであるOptuna（オプチュナ）は、深層学習モデルの最適化を主眼に置き、ベイズ最適化を含む多様なスケジューラーと、サンプリングやプルーニングの手法を組み合わせて効率的に最適なハイパーパラメーターを探索してくれる特徴から、世界中の機械学習エンジニアから広く支持されています。

このたびwandbではローンチ機能におけるOptunaスケジューラーとのインテグレーションを提供開始ました。これによって、Optunaの優れた最適化アルゴリズムをwandb上でトラッキングされているあらゆるモデル開発コードに対して適用し、その結果をリアルタイムでダッシュボード上で確認することができます。ローンチキューを設定し、簡潔なコンフィグレーションファイルを定義することで、オンプレミスやクラウドにある計算リソースを効果的にモデルの精度向上のために割り当てることができるようになります。

ワークショップアジェンダ:

本ワークショップでは、KaggleのHungry Geeseコンペを題材にWandBによるゲームAI開発の実験管理と再現性の担保、Launch機能を活用したジョブキューの活用、さらにLaunchとOptunaのインテグレーションを用いたハイパーパラメータ最適化について実際の製品デモを交えてご紹介いたします。

アジェンダ

1. WandBによる実験管理
   1. 実験管理の基礎と再現性の担保
   2. 可視化とインサイトの抽出
2. Optunaのご紹介（Preferred Networksの王允卓さんより）
3. Launch機能のセッティングとジョブの実行
4. Sweeps with Launchによるハイパーパラメータの最適化
   1. W&BスケジューラのUI上からの実行
   2. OptunaスケジューラのCLIからの実行

カンファレンス詳細

• 日　時：　2023年7月5日 17:00-18:00
• 参加費：　無料（事前登録制）
• お問い合わせ：contact-jp@wandb.com