セーフィー・エクサウィザーズ・ソニーが語る、画像解析技術の現場活用と技術課題

■登壇者プロフィール

セーフィー株式会社
第2ビジネスユニット　プロダクト部
プロダクトグループ　サブグループリーダー　鬼城 渉氏

株式会社エクサウィザーズ
リサーチエンジニア　山下 聖悟氏

ソニー株式会社
イメージングプロダクツ＆ソリューションズ事業本部
イメージングクラウド開発部 2課 統括課長　服部 博憲氏

【セーフィー】クラウド型の画像認識サービス「AI People Count」

最初に登壇したのは、セーフィーの鬼城渉氏。2014年に設立したセーフィーは、クラウド録画サービス（映像プラットフォーム）の「Safie（セーフィー）」を開発・運営する。

メーカー・小売・飲食・建設・不動産など、さまざまな業界における企業に採用されており、クラウドカメラにおける国内シェアは5割近くにもなる。昨年9月にはマザーズへの上場も果たした。

プラットフォームとのサービス名からも分かるように、カメラなどのハードウェア、ハードを制御するソフトウェア、クラウド、データ解析ソリューションなど、映像に関するサービスやシステムを一気通貫かつ、包括的に扱っているという点が特徴である。

「ローカル型のカメラとは異なり、セーフィーのカメラはインターネットにつないでクラウド上で管理しているので、いつどこでも見たい映像を見ることができます。複数のカメラを同時に見たり管理したりすることも可能です」（鬼城氏）

今回紹介されたのは、クラウド型画像認識サービス「Safie AI People Count（セーフィー エーアイ ピープル カウント）」の開発における取り組みだ。

一定時間毎にカメラが撮影した画像の解析を行い、映っている人数をカウント。画像上にエリアを設定して、エリアごとの人数をグラフで確認したり、エリア内の人数で条件を設定してメールなどで利用者に通知する。技術的には、深層学習ベースの物体検出を使っている。

「開発においては当初、3つのアイデアが出ました。カメラ内で画像認識を行ういわゆるエッジAI。利用者のLAN内にAIボックスを設置し、そこで処理したものをクラウドにアップする方法。そして採用された案は、クラウド内で画像認識を行うものです」（鬼城氏）

鬼城氏は、それぞれのシステムの概要やメリット・デメリットを紹介。その上で採用したシステムについて詳しく解説した。既設カメラに導入できるメリットがある一方で、動画データは通信帯域によって画質が変動するという課題があった。

そこで、安定的な画像認識を行うためにカメラのファームウェアを修正し、画質を担保できるJPEG静止画像を取得することとした。また、クラウド上で処理を行うため処理時間がそのままコストに直結することが明白だった。

対策としては、検出性能と計算時間のトレードオフを考慮した上でモデルを設定したり、SIMD（single instruction multiple data）利用で推論を高速化するなどの検討を行った。インスタンスタイプの検討も行い、高コストなGPUではなくCPUを採用した。

「1カメラ1日あたりのインスタンスコストを出すために、概算で処理時間や間隔、インスタンスコストの計算式を立てて実測。コストの見積もりを行いました」（鬼城氏）

このような検討を重ねた上で、サーバレスを用いずにCPUインスタンス、タスクキュー分散処理によるコスト削減を実現したシステムを構築。計算資源を有効活用するために、カメラごとの処理を時間軸上でも分散化を行っているという。

続いては、画像認識における課題だ。セキュリティカメラが撮影した天井などからの映像は人が90度回転している場合がある。また、夜間には低照度画像のため誤認識が発生していたこともあった。データセットにない画像だからだ。

そこで、自社オフィスのセキュリティカメラの映像や自撮り棒を使い、該当するデータを撮影・収集しデータセットに加える対策を施した。さらに、画像の回転を追加したり、人の色味はそこまで極端に変わらないことから、色味によるデータ拡張を控えめに設定するなど、データ拡張も調整した。

これらの取り組みにより認識性能は向上した。もうひとつ、遠い位置にいるなど小さく写り込んでいる人の認識についての見解も示した。

「当初はカメラに写り込んだすべての人物を、データとしてアノテーションしていました。しかし適切なアプローチではないため、現在では対象外としています。『評価手法』『モデル性能』『サービス要件』。この3要素を適宜フィードバックループすることが重要だと考えています」（鬼城氏）

サービスリリース後もこうした取り組みを継続することで、モデルを2〜3カ月毎に更新している。本サービスに加えてそれ以外の画像認識も含め、パブリックスペースを有効活用しようと、渋谷区の宮下公園で実証実験を実施した例もある。

また、セーフィーのアセットならびにプラットフォームを他社に提供することで、外部ベンダーが新たなサービスを開発する取り組みも行っている。

鬼城氏は次のように述べセッションを締めた。

「セーフィーのクラウドプラットフォームが、あらゆる産業の”現場”のDXに寄与する。そのような未来を描いています」（鬼城氏）

【エクサウィザーズ】光学技術により画像解析技術の適用可能対象を広げる

続いては、エクサウィザーズの山下聖悟氏が登壇。同社では「AIを用いた社会課題を通じて、幸せな社会を実現する」というミッションに従い、創業当初から介護領域など高齢化社会に役立つAIプロダクトを開発してきた。そして現在は、さらに幅広い領域での社会課題解決に取り組んでいる。

エクサウィザーズはAIソフトウェアだけでなく、AIカメラ「ミルキューブ」やロボティクス領域など、ハードウェア領域での研究やサービス提供も活発に行っている。「ハードウェア領域でも先進技術を保有している」と山下氏は説明した。

続いて、一般的なRGBカメラによる撮影画像では映らない、あるいは判別が難しい画像解析技術について紹介した。具体的にはスライドの左側、ほこりなど小さく透明な異物や空気、水の動き、果物の傷み具合や同色物体異物の混入などである。

「画像解析機械学習モデルは多数あり、優秀なモデルも開発されています。しかしいま紹介したような対象では、いくらモデルが優れていても検知・識別することは難しいですし、このような対象の識別に有効な機械学習モデルは、現時点では存在しないと言えるでしょう」（山下氏）

ところが光学系技術を重ねることで、識別が可能になるという。実際、光学系で変換した画像も紹介した。なお光学系とは、反射や屈折といった光の性質を利用して物体の像を作る器具や装置の総称であり、レンズ、反射鏡、プリズムなどの組み合わせで作られる。

1つ目は偏光を用いる光学系だ。対象物を2枚の偏光板（Polarization sheet）で挟みこみ背後にバックライトを設置することで、背景が暗くなり対象物は明るく（可視化）なる。瓶中の透明なプラスチック異物確認などに有効であり、実際の画像も紹介した。

「例えば、カメラレンズに機械的に偏光板の有無をトグルできる機構を搭載することにより、黒っぽい異物を視認しやすい白色の背景、黒っぽい異物を視認しやすい白色の背景、透明な対象を可視化できる背景を作り出すことができます。これまでは人が行っていた白・黒背景を用いた異物検知に加えて今までは難易度が高かった透明色の異物の検知も可能になります」（山下氏）

続いて紹介されたのは、対象物から出る（反射している）特定の波長の光を捉えることで識別を可能にする「マルチスペクトルカメラ」光学系だ。例えば、R・G・Bなどのフィルターを設けたバンドパスフィルタ、COMSカメラとエッジコンピュータから構成される。

先のアボカドの場合は750-900帯の波長、IR（赤外線）帯の波長を当てると熟れているものや腐敗しているものとの区別ができることが分かる。一方で機械学習モデルの作成においては、課題もあるという。

「モデル作成には大量の学習データが必要ですが、傷んだ食べ物などの特殊な状況の画像サンプルを大量に入手することは一般的に難しい場合が多いと思います。そのため、少ない学習画像でいかに優秀なモデルを作成するか、あるいは学習画像をどのようにデータ拡張するかが重要となります。」（山下氏）

現在、機械学習のモデル作成に有効な画像を、シミュレーションで生み出す技術の開発を行なっている。具体的には、様々な環境における検出対象の画像や、腐敗した際の模様などを半自動的に生成する仕組みの開発を目指している。

セッションではシミュレーション画像が生成される過程の一例を紹介しているので、興味を持った方はぜひアーカイブ動画も参照していただきたい。

さらに山下氏は、その他の取り組み例として、超音波、氷の融解、気体や液体の温度変化などの可視化についても紹介を行い、セッションを締めた。

【ソニー】スポーツ界に変革をもたらす画像解析技術

最後に登壇したソニーの服部博憲氏は、まずスポーツに変革をもたらす画像解析技術について熱いメッセージを投げかけ、セッションを開始した。

「近年、ディープラーニングに代表される機械学習技術は日進月歩で進化し、有用なデータセットや学習済みモデルも公開されています。クラウドを含めコンピューティングパワーの発展も目覚ましい。このような好条件が揃った現在は、画像技術者にとってパーフェクトストームであり、面白い世の中を創っていける可能性にあふれています」（服部氏）

ちなみに、「パーフェクトストーム」とは、もともとは複数の天災が重なって大惨事になることを表現した言葉であるが、それが転じて最高の状態を意味する時にも使われることがあるという。

2011年からソニーのグループ会社となったHawk-Eye Innovations Ltd. (以下、Hawk-Eye)が提供するスポーツ判定支援を主とした様々なサービスは、サッカーやテニスなど25以上の競技、90カ国以上500を超えるスタジアムやアリーナで導入され、すでに年間2万試合以上使われている。

例えば、サッカーではゴール判定サービスを提供している。カメラでボールの軌道をセンシングして、結果を瞬時に審判の腕時計に通知する。その間1秒以内。今や、なくてはならない技術ならびにサービスとして拡大。ワールドカップ、FIFA開催の試合を筆頭にUEFA、英プレミアリーグ、独ブンデスリーガ、伊セリアAなどで導入されている。注目すべきは、単に技術やシステムを提供するだけではない点だ。

「テニスのライン判定では、判定を支援するだけでなく、結果をグラフィックスとして観客に瞬時に見せることや、チャレンジと呼ばれるルールに組み込んでサービス提供することまで含めて、深く試合運営に携わっています」（服部氏）

コロナ禍においては、これまで提供してきたチャレンジの制度を覆す新たなサービスに挑戦した。Hawk-Eyeの判定システムが線審に代わってジャッジするものであり、際どい打球に対しては「OUT」と言ったコール（音）とグラフィックスでのリプレイを伴って全自動かつ即座に判定を下す。最少人数のスタッフでの試合運営を可能にするもので、実際に複数の国際大会で活用されている。

コアとなる画像解析技術はいくつかあるが、本セッションではプレイヤーの骨格をトラッキングする「SkeleTRACK」について詳しく解説された。

スタジアムを取り囲むように4Kカメラを配置し、フィールド上で動く全選手の骨格を含めたすべての動きをリアルタイムでトラッキングする。サッカーであればカメラ8台で22人の18関節をトラッキングしているのだ。

「野球であれば、リリース時のピッチャーの手首の動きに加え、投げ放ったボールの回転量や速度、バットの動きもトラッキングします。また、どの球で打ち取ったのか。逆に打たれたかのデータも蓄積しているので、試合後に確認することが可能です」（服部氏）

すべてのプレーが映像とデータで蓄積されることになるため、選手にとっては自身のプレーを分析する良き材料になることは間違いない。服部氏は、この技術を活用した新たなサービス「HawkVISION」も紹介した。

SkeleTRACKでトラッキングした骨格データをベースに、試合をCGで再現する。判定時に活用することはもちろん、ソニーらしい新たなエンターテインメントコンテンツとして展開することを考えている。

「試合そのものがCGで再現されることで、自由な視点でプレーを観ることができます。例えば、特定選手の目線で試合を観るといった新たな視聴体験も生まれるでしょう。VRゴーグルのヘッドセットを被ればより臨場感が増します。最近、流行っているメタバース的な世界観も楽しめます」（服部氏）

服部氏が所属するグループは、スポーツ向けのソリューション開発に限らず、クラウドを中心としたカメラ領域の技術開発を広く担当している。また、アプリケーションだけでなく、映像解析やデータ分析といった要素技術開発などにも取り組んでいる。

最後に「これからもスポーツの楽しみを追求していく取り組みを続けていきたい」と展望を述べ、セッションを締めた。

【Q＆A】参加者から寄せられた質問を紹介

Q&Aタイムでは、参加者から多くの質問が寄せられた。各企業ごとに紹介する。

●セーフィー

Ｑ．クラウド上のCPUでAI処理するとタイムラグが発生するのではないか

鬼城：当然発生しますが、システム要件上の許容範囲内です。

Ｑ．映っている人のプライバシーやセキュリティについて

鬼城：セッションでは技術について紹介しましたが、法務上も当然クリアしています。事前に個人情報保護のガイドラインに沿った啓示を利用者に行っています。セキュリティについても暗号化することで、不特定多数がアクセスできないように対策しています。

Ｑ．夜間はNIR（近赤外）カメラを利用していると思われるが、得た1CHの画像も学習データに加えているのか

鬼城：夜間モードではNIRカメラによる1CHモードで画像を収集しています。そして学習データにも加えています。

Ｑ．魚眼カメラによる歪みの影響について

鬼城：周辺部分は歪みが大きくなるため、そのままでは認識率が下がります。そこで、データ拡張時にアスペクト比をへんこうして、引き伸ばす工夫を施しています。

●エクサウィザーズ

Ｑ．研究開発テーマはどのように決めているのか

山下：メンバーによりさまざまです。私の場合はもともと興味があり、画像認識ドメインの知見もあったので、今のテーマに取り組んでいます。他のメンバーの中には新しい領域に挑戦している人もいます。プロダクト開発は多くの需要がある機能を優先して開発するトップダウンで行う場合もありますが、研究開発テーマの選定に関しては、自身の知的好奇心から始まるボトムアップの場合もあります。

Ｑ．瓶の中のほこり検出では、画素数の高い部分をゴミとしてセグメンテーションしているのか

山下：その認識で間違いありません。あくまで機械学習モデルなので、明るく見える箇所をゴミとして登録しているモデルになります。また現段階はサンプルであり、実装に向けては泡とほこりを見極めるなど、新たな取り組みが必要だと考えています。

Ｑ．データの増幅をGANではなくCGデータにこだわった理由

山下：データ拡張に関しては、その目的にあった手法を使うべきだと考えています。例えば、果物を正面から撮影した画像から異常検知を行うモデルのデータ拡張の場合、GAN等による模様の生成が有効だと考えています。一方で、環境光や対象への影の入り具合などの実環境に付随する要因を考慮する必要がある場合には、CGも一つの選択肢になり得ると考えます。 

※GAN：Generative adversarial networks（敵対的生成ネットワーク）

●ソニー

Ｑ．ニーズはどのようにして掘り起こしているのか

服部：我々は単にシステムを販売する形態ではなく、オペレーションを含めたマネージドサービスとして提供する形態をとっているため、実際にスポーツの試合現場にも足繁く通っています。そのため、ニーズを掘り起こすというよりも、お客様から直接困りごとなどを相談されるケースが多く、そうした関係性が継続できていることが強みでもあります。

Ｑ．バスケットボールCGの手先映像は、複数台カメラの画像を元に推測しているのか

服部：骨格はカメラでトラッキングしていますが、指先は捉えていません。それとなくいい塩梅に推測してCG化しているのが現状なので、これから改善を加えたいポイントです。

Ｑ．開発体制やメンバー数について

服部：ハードウェア系からソフトウェア系、そして現場での運用をサポートするオペレーション系のメンバーまで幅広くいるので、全体では優に100名を超える規模になります。ただ、それぞれの担当領域毎に細分化すると各領域を担当しているのは少数精鋭と言えるでしょう。

Ｑ．今後の課題や展望は？

服部：これまでは、より高精度でリアルタイムなサービスを提供するという点を重視してきましたが、ここからのフェーズではソニーならではのエンタメ要素を入れていきたいと考えています。例えば、グループ会社のソニー・インタラクティブエンタテインメントが得意とするゲーム性であったり、ソニー・ミュージックエンタテインメントのメンバーが持っている人々を楽しませるアイデアなどを盛り込んでいくことに挑戦していきたいですね。

セーフィー株式会社
https://safie.co.jp/

セーフィー株式会社の採用情報
https://safie.co.jp/recruit/

株式会社エクサウィザーズ
https://exawizards.com/

株式会社エクサウィザーズの採用情報
https://recruit.exawizards.com/

ソニー株式会社
https://www.sony.co.jp/

ソニー株式会社の採用情報
https://www.sony.co.jp/recruit/