ソフトとハードに精通するデンソーが語る「先進安全・自動運転のアルゴリズム開発」──高精度な画像解析 / AI推論モデル / センシング / バーチャル×リアル空間シミュレーション

アーカイブ動画

ソフト・ハードウェア二刀流で挑む「先進安全・自動運転」のアルゴリズム開発

株式会社デンソー
セーフティシステム事業部
事業部長　夏目 一馬氏

最初に登壇したのは、入社以来25年近くに渡り、ミリ波レーダーを中心としたADASセンサ全般の研究開発ならびに量産設計に従事してきた、夏目一馬氏である。優れた技術者に贈られるアワードの受賞や、グローバルでの論文発表などのキャリアを経て、現在は同領域の製品を技術と経営の両面から統括する、セーフティシステム事業部の事業部長を務める。

環境に優しく安心安全な製品の開発を通じて、社会に貢献することをビジョンに掲げているデンソー。交通事故による死亡者数ゼロを目指し、1990年代からAD/ADAS関連の製品開発に取り組み、LiDAR、ミリ波レーダー、ソナー、統合ECUなど、数多くの関連製品を世に送り出してきた。

現在も研究開発を続け、ADASシステムのさらなる進化やAIを応用したセンシングなど技術を探求している。一方、価格を抑え、後付け可能な製品を開発するなど、「より多くのモビリティに実装したいと」と夏目氏は語る。「深み」と「広がり」を意識しながら、交通死亡事故ゼロを目指している。

実際、成果も残している。クルマの安全性を評価する国際的なアセスメントプログラムの日本版、JNCAP（Japan New Car Assessment Program）において、上位にランキングされた8車種のうち7車種が、デンソー製のADASを搭載していた。

デンソーがこのような高い評価を得ているADAS製品の開発を実現できているのは、ソフトウェアとハードウェア両方の二刀流の開発に取り組んでいるからだと、夏目氏は言う。

具体的には良質なハードウェアとはハイパフォーマンスなECUなどのエレクトロニクス製品であり、そこに最適なソフトウェアが載ることで、ソフトウェア自体の価値も出る、と夏目氏は続けた。

なお、デンソーのAD/ADAS製品のソフトウェア開発は、センサ、フュージョン、アプリケーションと大きく3つの領域で取り組んでおり、すべて自社開発している。

高速道路のようにシーンがある程度限定される状況下の運転であれば、ルールベースによるアルゴリズムで対応できる。しかし、シーンが多種多様で複雑な都市部などでは、ルールベースのアルゴリズムでは対応が難しい。

そこで、AIによるアルゴリズム開発が注目度を増しており、「我々のAD/ADAS製品では既にAIを適用しているが、さらなる性能向上において、飛躍的な進化を続けるAIの技術活用は重要だと考えています」と、夏目氏は現状を語る。

そして、ここから先は自身のチームのメンバーであり、こちらも夏目氏に負けず劣らず、AD/ADAS領域の研究開発に20年ほど取り組むソフトウェアエンジニアに、バトンを託した。

ADASアプリケーション「Global Safety Package」のアルゴリズム開発

株式会社デンソー
セーフティシステム事業部
セーフティシステム開発部
課長　胡桃沢 仁氏

続いて登壇したのは、入社以来、ミリ波レーダーや画像センサを使った、ADASアプリの開発や量産設計に従事してきた胡桃沢仁氏だ。デンソーが開発した同パッケージシステム、「Global Safety Package（GSP）」の量産設計などにも携わっており、現在は次世代AD/ADAS向け運転支援アプリの先行開発を担当している。

胡桃沢氏は改めて、ドライバーの運転行動には「認知」「判断」「操作」の3要素があり、この3要素を「センサ」「アプリ」「制御」で支援するのが、ADASだと説明した。

このような運転支援や予防安全に関する機能やシステムを統合したのが、まさしく胡桃沢氏が携わってきたGSPだ。2015年にリリースして以降、現在は3代目であるGSP3を量産しており、「次世代GSP4の量産に向けて開発中です」という展望も述べた。

具体的にGSP3が支援する領域や機能も詳しく紹介すると共に、「世界トップレベルのADASパッケージ製品だと自負しています」と、胡桃沢氏は強調する。

システムの構成イメージ図も紹介した。先に登壇した夏目氏も触れたように、まずは画像センサやミリ波レーダーで歩行者や車両など、対象物を認識する。

その後はFusion（フュージョン）というセンサー情報を統合する処理を通り、最終的に自動ブレーキを要求するなど、様々なアプリやソフトウェアの動作を行う。

Fusionという処理を通す理由については、「ミリ波レーダや画像センサはそれぞれ異なる強みと弱みがあるため、いいとこ取りをするためです」と、説明した。

夏目氏も紹介したように、GSP3を搭載した車両がJNCAPのアセスメントにおいて、高い評価を得ていることを改めて説明すると共に、実際に夜間で歩行者が突然出てきた際にブレーキが自動で作動し、衝突を回避するJNCAPアセスメント動画も流し、性能の高さを示した。

ADASアプリの開発においては、一般的なV字プロセスで進む。だが、「自動車の場合は、道路、自然、周辺環境などのシーンが膨大な組み合わせで発生することがあります。それぞれのシーンでロバスト性を求められるためADASアプリ開発は簡単ではありません」と、胡桃沢氏は開発の難しさを語った。

デンソーではこのような市場で発生するシーンを再現してテストできるよう、2つのテストコースを保有する。愛知県の額田テストセンター、北海道の網走テストセンターだ。

額田テストセンターは夜間や雨天といったシーンを再現できる。一方、網走のテストコースは東京ドーム約120倍という広大な敷地を活かし、3つの交差点がある市街地を模したテストコースなどが設けられている。

ただ、これだけの規模のテストコースで評価を行い性能が認められたとしても、市場では意図しない動きをする可能性があるため、さらなる評価を重ねている。実際に道路環境でクルマを走らせて得たデータから行う、FOT（Field Operation Test）評価という手法だ。

デンソーではこのFOT評価を、製品をリリースしている各国、グローバルで実施しており、その走行距離は10万～100万kmにも及ぶ。そうして得たデータを先述した開発プロセスに改めて通しブラッシュアップすることで、最適なソフトウェアとして最終的にリリースしているのだ。

「グループ内に、センサ認識、フュージョン、アプリケーションエンジニアという、それぞれの領域の専門家がいるのがデンソーの強みであり、専門家が密に議論した結果として効果的な解決策を導き出せていると思っています」（胡桃沢氏）

続いては、胡桃沢氏が担当している次世代AD/ADASアプリケーションについて解説された。コンセプトは運転支援シーンの拡張であり、スライドで示したように自宅を出た段階から目的地に到着するまで、あらゆるシーンで安心・自由な移動を実現することを目指している。

従来、判断領域においてはルールベースのアルゴリズムを採用していたが、前述した通り、市街地など複雑な交通環境のシーンに対応するために、AIを活用していく。

その核となるのが、「AIプランナー」である。現在は今まさにこのAIプランナーが、様々な道路環境のシーンにおける運転動作を学習している最中だという。

人間でも判断が難しい交差点での右折では失敗もあるなど、「まだまだ課題は多いですが、安心・自由な移動の実現を目指して、これからも開発を続けていきます」と胡桃沢氏は力強く語り、セッションを締めた。

車両周辺情報を高性能に検知するカメラ・画像認識のアルゴリズム開発

株式会社デンソー
セーフティシステム事業部
セーフティセンサ＆コンポーネント技術1部
室長　片山 雄介氏

続いては、画像認識技術を統括する立場にある、片山雄介氏が登壇した。2004年に入社後、ナビゲーションシステムの音声認識などに関する研究開発に従事した後、2014年よりAD/ADAS領域に異動。以降は画像認識に関する業務を担当し、同領域の優れた技術開発でアワードを受賞したキャリアを誇る。

片山氏は、クルマにおける画像認識の流れや全体のシステム構成、使われている技術などについて説明した。まずは、ルームミラー付近等に搭載されている車外センシング用カメラについてだ。「真夏の車内は高温になるなど、過酷な環境下でも耐えられるように、筐体も含めてハードウェア開発の技術がまずある」と、片山氏は言う。

続いては、カメラが撮影した画像を認識する領域だ。検出、追跡、情報付与といったフローを経て、車両システムにデータを送る構成となっている。

「DNN（Deep Neural Network）」のようなAI技術やパターン認識といった技術が使われており、「全体を通して多様な技術が結集した上で成り立っています」（片山氏）

実際にどのようなカメラを開発してきたのか。GSP向けも含め、単眼、ステレオ、周辺監視向けとタイプごとの変遷、系譜も示した。

同時に「認識アルゴリズム、としてはGSP1から機械学習を導入し、徐々にAI活用領域を増やしながら、機能拡大を進めています」と、最先端技術を量産活用していることを紹介した。

そして、これらのカメラも含めたシステムは複数の自動車メーカーで使われていると補足した。

GSP3の画像認識アルゴリズムが、どのような技術なのか。片山氏は他の走行車やレーンの白線、標識などの認識について、デモ動画を流しながら具体的に紹介した。以下スライドで示したように白線は緑色、クルマは黄色いボックスとして、パイロンも認識していることがわかる。

さらには、画像認識エンジニアの職業病とユーモラスな表現も交えながら、次のように述べた。

「実際の町中の標識や路面の矢印などは他の物標が重なり見えづらくなっていたり、同じく塗装が薄くなり見えづらくなっているケースが少なくなく、普段からとても気になっています（苦笑）。こういったケースは、人間と同様に画像認識でも正しく認識することが難しい場合があります」（片山氏）

このような課題を解決するために、実際の画像認識では様々な技術によって生成した複数の指標を使い、ケースに応じて相互補完やダブルチェックなどを行い、信頼性の担保を実現しているという。

片山氏は最後に今後の展望を次のように述べ、セッションを締めた。

「複数のカメラが撮影した画像を統合認識させることで、交差点など判断が難しい状況でもあらゆる移動体を地図情報がなくても認識し、見逃さないようにしたいと思っています」（片山氏）

LiDARによる認識とは――LiDARや画像認識など、エンジニアに必要なスキル

株式会社デンソー
セーフティシステム事業部
セーフティセンサ＆コンポーネント技術2部
担当課長 髙木 雅成氏

続いては片山氏と同じく、車両や歩行者などの対象物の画像認識の研究開発を担当した後、LiDARの開発に従事。トヨタ自動車のLEXUSやMIRAIといったハイブランドの高度運転支援技術、「Advanced Drive」向けの製品の開発に携わってきた髙木雅成氏が登壇した。

髙木氏はまずは、LiDARについて解説した。「Light Detection And Ranging」の略でもあるLiDARは言葉どおり、レーザー光を照射し反射光から対象物の形状や距離を認識する。

TOF（Time of Flight）や、FMCW（Frequency Modulated Continuous Wave）といった方式があり、「LiDARはカメラと比較すると、模様・テクスチャが分かりにくく、解像度も高くありませんが、周辺環境の3次元情報を取得できることが強みで、最近は速度も測れるようになりました。」と、髙木氏は特徴を述べた。

元々は、機能部でカメラの画像認識を担当していた髙木氏。担当が事業部でのLiDAR点群認識に移ったが、特にハードルはなかったと述べると共に、次のように振り返った。

「部門間の開発プロセスの違いや、認識で扱う情報が2次元から3次元になりましたが、信号処理された後の情報には大きな差はなく、これまでの経験は十分に生かすことができたと考えています」（髙木氏）

髙木氏は、FMCW方式のLiDARによる、AIを使った物体認識の開発事例も紹介した。ただし、こちらも先の胡桃沢氏と同じく、ルールベースによる認識もしっかりと取り組んでいることを補足した。

そして「AIベース、ルールベース両方をフュージョンさせ、お互いの苦手なところを補うかたちで進めています」と、髙木氏は現在の開発、活用状況を語った。

さらに、Grid Mapベースの走路認識にも取り組んでいることも紹介した。

一方で、LiDARのような光を使ったセンサは水が苦手であり、大雨の日などは測定に限界があるという。そこで、実際に自動車メーカーの方に試乗してもらい、どこまでセンサにがんばってほしいのか、性能や判断の限界について膝を突き合わせて話し合うなど、「裏では泥臭い開発をしています」と、開発舞台裏の苦労を吐露した。

ソフトウェアエンジニアに必要なスキルにおいて、あくまで個人の考えだと前置きした上で髙木氏は、「高いコードスキルは、持っていればもちろん武器にはなると思いますが、必ずしも必要ないと思っています」と、語る。

一方で、顧客の要求を理解し、達成するために様々な手段を講じることができる。その際には、論理的思考、色々な角度から考えることができる力、まずはやってみるという行動力などのスキルの方が大事だという持論を述べた。そして次のように述べ、セッションを締めた。

「このような思考や姿勢がお客さまの満足へつながり、安全・安心・快適・利便を達成する。その先に、交通死亡事故ゼロという世界が待っていると思いますし、デンソーとしてそのような世界の実現に貢献したいと考えています」（髙木氏）

【Q＆A】参加者からの質問に登壇者が回答

セッション終了後は、参加者から寄せられた質問に、登壇者が回答する時間が設けられた。抜粋して紹介する。

Q．テストにおいて、デジタルツインなど3Dシミュレーションも活用しているのか？

胡桃沢：画像認識に使えるレベルの3D映像を作成し認識を行ったり、ミリ波レーダーやLiDARのセンサモデルも作ったり、実際の公道評価を代替するシミュレーションが行えるようにシミュレーション環境を構築しています。一方で複雑なシーンはシミュレーションでの再現が難しいため、実車データと平行して使うような状況です。

片山：AIの発達により、我々が見てもリアルな映像なのかどうかの判断がつかないレベルとなっていますので、活用していますし、今後も拡張していく予定です。また、リアルだと誤差が生じますが、シミュレーションでは真値がわかるのも魅力です。

Q．雪や雨、路面凍結などの道路環境でも画像認識は可能か？

片山：霧や逆光など画像認識が厳しいシーンはいくつかあります。そのような中で、画像認識のやるべき使命は2つあると考えています。1つ目は、ドライバーがなんとか認識できるような状況では、画像認識も同じくロバストに認識することです。

2つ目は、ドライバーもまったく認識できないような、あまりにひどい霧などの場合は、画像認識システムは稼働できないことを、クルマやシステムに教えてあげる、フェイルセーフの考えが重要だと思っています。

Q．AI活用における学習データの検証について

片山：学習データも大事だと考え、検証しています。具体的にはAIを製品に使う規格が整いつつあるので、それらの規格を活用し、データの管理なども含め品質の良いデータを使うように心がけています。

Q．認識、判断後の操舵や加減速でもAIを活用していくのか？

胡桃沢：AIプランナーの出力は、時系列の走行軌跡と速度情報を含んでいるため、加減速や操舵の動きもAIで演算していることになります。

Q．人とセンサによる判断において、得意・不得意のシーンの違いなどはあるか？

片山：人間は隠れた標識を推論し、その場の空気を読むなど、センシングというよりもふわっと感じ取るのが強いです。一方でセンサはバッテリーがあれば、確実に同じ精度で測定しますが、人間は長距離運転などをしているとどうしても精度が落ちていく、という違いがあります。いずれは、人間を超える機能ばかりを持つセンサを開発したいと考えています。

株式会社デンソー
https://www.denso.com/jp/ja/

株式会社デンソー　ソフトウェアのページ(DRIVEN BASE)
https://www.denso.com/jp/ja/driven-base/feature/software/