AI画像処理で自動運転車の安全性向上を目指す──SUBARU「EyeSight」の開発最前線

アーカイブ動画

■登壇者プロフィール

株式会社SUBARU
技術本部　ADAS開発部
SUBARU Lab副所長　齋藤徹氏
2004年入社。初代アイサイトの開発より画像認識ソフトウェア開発のエンジニアとして従事。アイサイトに関わる多くの特許取得、国際学会での論文執筆なども手掛ける。SUBARU Labの企画、立ち上げを手掛け、2020年より現職。

株式会社SUBARU
技術本部　ADAS開発部
AI R&D課　担当　大久保淑実氏
2013年入社。画像認識ソフトウェア開発のエンジニアとして従事。アイサイトにAIを導入するためのAI開発を立ち上げたメンバーの1人。現在は、機械学習エンジニアとしてSUBARU LabでのAI開発を率いる。

複数のカメラから得た情報を解析。最も信頼度の高いデータを採用する

まず登壇したのは、2004年に入社して以来一貫して、アイサイトの開発に携わってきたSUBARU Lab副所長の齋藤徹氏。開発の変遷について次のように紹介した。「ステレオカメラの研究開発は、今から30年以上前の1989年にスタートしました。1999年には世界初の車載ステレオカメラの量産化に成功。以降20年以上にわたり内製開発で進化を続け、今日に至っています」（齋藤氏）

ステレオカメラとはその名のとおり、左右に搭載された2つのカメラで物体を捉え、両カメラの差分（視差）をもとに距離を測定する技術だ。距離センサーの一つであり「三角測量」の原理に基づいている。

ステレオカメラで得たデータを、アイサイトは具体的にどのように処理しているのか。簡単に説明すればスライドのとおり。ステレオカメラによって撮影された視差画像から路面モデルを生成。その路面モデルより上の距離郡から列ごとに代表距離を算出していく。

アイサイトが特徴的なのは、カメラに写るあらゆるObject（物体）を検出することだ。どこが路面なのかを判断、路面以外の物体は言ってみれば障害物だと認識していることになる。

抽出した道路上の物体を、次のステップでは先に算出した代表距離によりグルーピングする。ただしグルーピングの際はそれぞれの物体、たとえば近しい距離にある2台のクルマを1台と認識するのを防ぐため、1つ前のフレーム画像を確認するなど、グルーピングの精度を高める工夫が取り入れられている。

そうして各物体が正しくトラッキングできたら、あとは各物体の速度計算を行い、ブレーキを自動で踏むかなど制御対象となる物体を見つけていく。

「一方で、左右それぞれのカメラ単体による単眼画像認識も行っています。その上で、3つの情報の中から最も信頼度の高い情報がどれなのかを判定しています」（齋藤氏）

ステレオカメラによる視差画像と単眼による画像データを組み合わせているのは、雨の日など視界が不良の場合などに、高精度な視差を安定して出力することが難しくなるからだという。

さらに、物体の速度を計算する手法はハードな研究テーマではあるが一般的にあまり大きく進化しておらず、カルマンフィルターなど一昔前のアルゴリズムがいまでも主流で使われている状態だったという。そこで齋藤氏らが独自に計算式を編み出し、速度を計算している。

このように独自の計算式はもちろん、画像認識アルゴリズムなどを、SUBARUではすべて内製開発で行っている。画像処理のソフトウェアもすべて、社内のエンジニアがコーディングしている。以前は齋藤氏もコードを書いていたという。

「画像認識アルゴリズムの開発で難しいのでは、起きた事象が再び起きることはほぼないことです。つまり、入力データが無限大とも言えます。実際の開発ではエンジニア自らが世界中に飛び、各地の道路をテスト走行したデータを集め、プログラミングを繰り返してきました。画像認識技術を高めるには、こうした“泥臭い”開発体制が最も大事だと考えています」（齋藤氏）

複数のAIが省エネで稼働する「SUBARU ASURA Net」

続いて、現在Labで最新のAI開発を牽引している大久保淑実氏が登壇。アイサイトVer.3の量産開発から研究開発に携わり、それまであまり使われていなかった機械学習の研究開発を推し進め、AI開発チームを立ち上げ、AIを導入した理由について、まずは説明した。「AIを導入することで、それまでは局所的で表現の乏しかったメソッドが、大局性ならびに表現力を得たと私は捉えています」（大久保氏）

以前のメソッドでは、HOG（Histogram of Oriented Gradients）やHaar-likeといった特徴量を矩形の中だけで認識していたため、局所的な手法であった。表現においてもSVM（サポートベクターマシン）、ロジスティック回帰といった学習アルゴリズムや統計手法を用いていたため、非線形性の低い機械学習状態になっていた。

対してAIであれば、いわゆる画像の深層学習（ディープラーニング）「CNN（Convolutional Neural Network：畳み込みニューラルネットワーク）」により画像を認識していくため、大局性が得られるという。

表現においても、非線形性関数を多層的に重ねることで、指数関数的に高まると説明。「エンコード・デコード構造」「折り紙を折っていくようなイメージ」との言い回しで表現した。

「実際、画像認識にAIを導入し、大局性と表現力が上がると、一般物体においてはこれまでもより精緻な検出ができます。また、以前のメソッドでは発見できていなかったいわゆるオクルージョンのような物体も、検出できるようになります」（大久保氏）

※オクルージョン：他の物体に隠れているなどぱっと見では判断できない物体の状態

ステレオカメラによるピクセルワイズな画像や視差画像においても、非連続的な認識が可能になることで、路肩の形状などの認識がピクセル単位でより精緻になるという。

一方で、AIの導入に際しては課題があった。実際の路上では検出対象が多いため、AIのタスクが増えることだ。対して、クルマに搭載する半導体のパフォーマンスは限られていた。

「AI処理の大半を占めるBackbone（特徴抽出）を共有したマルチタスクネットワーク『SUBARU ASURA Net』を開発することで対応しました」（大久保氏）

ここからは先の齋藤氏の説明と同様、現場でリアルデータを取得し、AIモデルとしてアノテーションしていく。さらに、学習と評価を繰り返すことで、雪などの判断が難しい状況におけるロバスト性も高めていく。

ただし、各タスクがつながっているためお互いが影響を及ぼす。そうならないようバランス調整が難しく、この課題解決においては大久保氏も齋藤氏と同じく“泥臭い業務”という言葉で説明した。

AIの実装に向けた課題はまだある。検出レンジと受容野のバランス調整である。CNNにおける受容野においてはモデル構造で決まることから、論理的に求めることはできるという。しかし、ここでもリアルワールドでどのような結果になるかは、やはり実証実験が必要だからだ。

「たとえば横断歩道です。受容野が狭い状態で見ると何だかよく分かりませんが、受容野を広くすれば横断歩道だと認識できます。また学習においては、出現頻度の低い対象は検出しづらいのは当然ですが、受容野内の背景が雪なのかなど、背景の頻度も考慮する必要があることがあります。実際、実験では人であれば明らかに認識する道路上のコーンを、路面の一部だと認識していました」（大久保氏）

大久保氏はコーン以外にも、路面のたぬきや寝ている人などの物体の認識実験も重ねて紹介し、受容野のバランス、まさに冒頭に説明したAIの強みである大局性と、アイサイトが元々持っていた高い汎化性が共存できるような研究開発を進めているという。

これまでの実験結果では、現時点では未知の物体に対しては、齋藤氏が紹介した従来の物体検出メソッドの方が正確だ。一方で、今後AIが弱い部分の研究開発を突き詰めていくことで未知の物体検出にも強い、そして従来のメソッドと補い融合し合う次世代のアイサイトにしていきたいと述べ、セッションを締めた。

多様な人たちがオープンに議論することで、AIの開発を加速

今回のイベントは、「アイサイト×AI」の研究開発をさらに加速させるべく、2020年12月に渋谷にオープンした「SUBARU Lab」で行われた。今回登壇した2人はLabの研究員でもある。副所長の齋藤氏が再び登壇し、Labについて説明した。

「あえてシェアオフィスを選びました。新しい人材とのコラボレーションはもちろん、昨今の働き方のトレンドも学べると考えたからです。もちろん、エンジニアが開発に没頭できる環境づくりも重要でした」（齋藤氏）

齋藤氏はもうひとつ、Labをオープンした大きな理由があると続けた。

「AI開発においては、グローバルなIT企業がリードしています。そして、AI人材も同業界に多く集まる傾向にあり、私たちは危機感を持っていました。SUBARUはAI開発に注力していることを、世間に強くメッセージするための場所でもあるのです」（齋藤氏）

このような意図もあり、今回のイベントはもちろん、Labを広く開放するような取り組みも行っている。Labでは自動車メーカーだからこそ、様々なタイプのエンジニアとコミュニケーションする機会が生まれている。

「自動車を動かしながらAI開発を行っているのが、私たちの特徴。エンジニアもMLエンジニアやDBエンジニアのほか、多様なメンバーが揃っています」（齋藤氏）

実際、オフィスの地下駐車場には実験用の車両が置かれており、日々、街に繰り出しては検証を繰り返しているという。

いわゆるオープンイノベーションにより、新たなアルゴリズムを創出する取り組みも行っている。セッションで紹介したようなアイサイトの開発に使う画像データセット12万以上を公開。齋藤氏らが行っている物体速度を検出するアルゴリズムの開発を、広く求めている。

【Q＆A】参加者から寄せられた質問に回答

セッション後は、参加者から多くの質問が寄せられた。

Q．モデル作成と実際のソフトウェア作成など、作業は分業化しているのか

齋藤：モデルとソフトウェアで分かれているというよりも、車両検出や、白線検出など、どの物体を検出するのか対象ごとにチームが分かれ、開発を進めている体制です。モデルをメインにやっているメンバーもいますが、モデルもソフトも両方考えながらやっているメンバーもいます。

目的に対してこれをやりますと手段を決めてスタートするのは良く無くて、開発を進めていく中で、新しい技術が必要となったらどんどん加えながらやっていくという意識でやっています。

Q．どのように取り組んでいる領域は変わっているか

大久保：私のメインの業務はObject Detectionですが、入社時点では、機械学習、画像認識どちらの知識もなく、入ってから学んでいきました。数年後にディープラーニングが登場したので、再び学びました。技術領域は日々変わっていて大変ですが、大変だからこそ面白いと感じています。

Q．AIを取り入れるようになったきっかけ

齋藤：例えば雪道などで道路の白線が見えない状況で走れるようなアルゴリズムを、従来のメソッドで開発することは難しい状況でした。人が走れるのは、白線が無くても、色々な経験をもとに、道路のおおよその位置を推論できているから。そのアプローチをマシン上で行うには、これまで取り組んできたDetectionとはまったく異なるアプローチが必要だと考えました。AI導入でこの壁を超え、より強いアイサイトを開発したいと思います。

Q．半導体のスペックなどハード面の制約に対する対処について

齋藤：まさしく一番の課題だと捉えていて、大久保が説明したようなモデル設計の工夫が重要です。パソコンに搭載しているような半導体を使えば、より高級なロジックが組めることは間違いありませんが、コストと消費電力は非常にシビアです。自動車の半導体も日々進化しているので、同領域の専門家と話し合うなどの取り組みも行っています。

Q．開発拠点の特徴は何か

齋藤：アイサイトの開発は、三鷹にある東京事業所と群馬にある事業所で進めてきました。東京事業所にはカメラ開発チームが在籍し、半導体用のクリーンルームなどもあります。一方、群馬の施設は車両のスペシャリストが多く在籍し、テストコースも揃っています。今回のLabの設立に伴い、分散していたAI人材を集結し、新しい枠組みでAI開発を進めています。

Q．ラベリングは自動・手動どちらで行っているのか

大久保：どちらの手法も取り入れています。

齋藤：手動に関しては、コストが安価なオフショアを効果的に活用しています。外注というよりは、パートナーといった位置付けで協業しています。

Q．自動車業界以外から加わったメンバーの割合は？

齋藤：具体的な割合をお答えすることは出来ませんが、考え方としては半々くらいにしていきたいと思っています。自動車のことをよく知っている人と、他の業界の知見を入れることで、お互いに新たな学びやイノベーションが生まれると思うからです。私も新しく入ってきた方々から、多くのことを学んでおり、刺激になっています。