背景
近年、自動運転技術の発展が加速し、中国やアメリカなど一部の国では完全自動運転のタクシーサービスが実用化されています。
自動運転の要の技術は「AI」です。
自動運転AIは、主に、認識、判断、制御の3つのステップで構成されています。
この3ステップを精度を高く行うために、大量の学習データを用いて、AIの学習を行います。
自動運転AIの学習の課題として挙げられるのは「ロングテール問題」です。
ロングテール問題とは、「頻繁に発生する一般的な状況には対応できるが、稀にしか発生しない特殊な状況に対応するのが難しい」という問題です。
頻度が少ない状況に対応するためには、膨大なデータを収集し、AIに学習させる必要がありますが、全ての状況を網羅することは非常に困難です。
この課題を解決するために注目されているのが、「強化学習」です。
強化学習は、簡単に言えば、「シミュレータ上でAIが試行錯誤を通じて、最適な行動を学習していく」という学習方法です。
本記事では、最新論文を基に、最新のAI学習方法を紹介します。
RAD: Training an End-to-End Driving Policy via Large-Scale 3DGS-based Reinforcement Learning
- 2025年2月公開
- 華中科技大学/Horizon(中国の自動運転向けAIチップメーカー)
本論文は、3DGS（3D Gaussian Splatting）を活用した強化学習手法を提案しています。
シミュレータ上でAIを学習させる際に、これまではCARLA・MetaDriveといった、ゲームエンジンベースのツールを使うことが主流でした。
一方で、シミュレータ上の光景と現実世界の光景にギャップがあることが課題でした。
課題を解決するために、本論文では、3DGSという技術を用いて、シミュレーションを行います。
3DGSとは？
3DGSはガウシアン分布（ガウス分布、正規分布）を使用して3Dオブジェクトを表現する手法です。
(従来の3Dモデリング手法は、点群や三角形の集合（メッシュ）で3Dオブジェクトを表現しています。)
ガウシアン分布を使用することで、細かいディテールや滑らかな表面を自然に表現できます。
3DGSを用いることで、現実世界に近いフォトリアリスティックなシミュレーション環境を構築できます。
このシミュレーション環境で強化学習を行い、他車と衝突したらペナルティ報酬を課すことで、自動運転AIは現実世界に近い状況で学習できます。
CurricuVLM: Towards Safe Autonomous Driving via Personalized Safety-Critical Curriculum Learning with Vision-Language Models
- 2025年2月公開
- Google/ウィスコンシン大学/パデュー大学
本論文は、VLM・LLMを活用した強化学習手法を提案しています。
シミュレータ上でAIを学習させる際に、学習するシナリオの難易度が、AIの習熟度とギャップがある場合、過剰な選択を取るように学習してしまったり、学習の効率が低下してしまったりする課題がありました。
本論文では、VLM・LLMを用いて、AIの苦手シーンを分析し、AIの習熟度に沿ったシナリオを生成し、強化学習を行う手法を提案しています。
※ 引用（Zihao S., Zilin H., Yansong Q., Yue L., Sruthi B., Sikai C., CurricuVLM: Towards Safe Autonomous Driving via Personalized Safety-Critical Curriculum Learning with Vision-Language Models, https://arxiv.org/pdf/2502.15119）
具体的には、次のとおりです。
(a)シミュレータ環境上で強化学習を実施し、AIに運転を行わせる。
(b)シミュレータ上での運転の様子をVLMで言語化し、さらに、LLM(GPT-4o)を用いて、AIの行動パターンを分析する。AIの苦手な運転シーンを言語化する。
(c)前段の結果に基づいて、学習すべきシナリオを生成する。
(d)現在のトレーニングステップ数などの条件に基づいて、生成したシナリオを学習すべきか制御する。
上記の4ステップを繰り返すことで、AIの習熟度に沿った強化学習を行っています。
結果として、従来の強化学習と比較すると、タスク成功率が72.9から76.2%、衝突率が18.3%から16.0%と改善されているようです。
最後に
今回は、自動運転向けAIモデルの最新学習手法として、強化学習関連の内容を紹介しました。
今後はWorld Modelを用いた強化学習もトレンドになるのではと考えています。
Tech Blogを最後までお読みいただき、ありがとうございます。
