人と機械が協調する未来とは？──NSSOLが実現するxR・アンビエントコンピューティングに迫る！

アーカイブ動画

■登壇者プロフィール

日鉄ソリューションズ株式会社
システム研究開発センター
研究戦略・ソリューション化推進部　原 伸樹氏
2006年3月東京大学大学院を修了後、新日鉄ソリューションズ（現・日鉄ソリューションズ）に入社。事業部門で研究機関向けのHPC基盤構築に従事。その後2008年よりシステム研究開発センターに所属。性能管理に関する技術開発の傍ら、性能管理コンサルタントとして、エンタープライズからWebサービスのシステムまで数多くの案件で性能設計やチューニングなどに邁進。2020年より同センター内の研究戦略・ソリューション化推進部に所属し、センター内の研究戦略・ソリューション化を推進している。

日鉄ソリューションズ株式会社
システム研究開発センター
インテリジェンス研究部　主席研究員　笹尾 和宏氏
2003年3月東北大学博士後期課程を修了後、新日鉄ソリューションズ（現・日鉄ソリューションズ）に入社。システム研究開発センターに所属し、金融分野、産業分野など様々な業種に対して業務向けアプリケーション開発に関する技術開発に従事。2007年より拡張現実感（AR）を活用した業務支援に向けた研究を開始し、以降、多数のお客様とともに実証実験等を通じてビジネス化を推進。現在に至る。博士（工学）。

36年の歴史を持つ日鉄ソリューションズ（NSSOL）のR＆Dセンター

日鉄ソリューションズ（以下、NSSOL）は、日本最大手の鉄鋼メーカーである日本製鉄の製鉄関連業務システムの開発で培った40年以上のノウハウを、製造・流通・金融・通信などを提供するSIerとして、1980年に設立した。以降、着実に成長、現在では従業員約7000名、売上高約2520億円を誇る。

まず、原伸樹氏がNSSOLのR＆Dセンターであるシステム研究開発センター（以下、シス研）について次のように紹介した。

「シス研は、当社のR&D部門として、1985年に現日本製鉄の組織として発足しました。2000年からみなとみらいに拠点を写して当社の技術本部内に設置されています。ユーザー系のSIerでは珍しい研究開発部門を自社内に有しています。そして、IoTやクラウドコンピューティングが身近な技術として浸透する以前から、大規模な実験設備を保有し研究開発を行ってきました。アメリカ、中国、ベトナムにも拠点を構え、グローバル連携も積極的に推し進めています。」

シス研のミッションは大きく3つある。1つ目は、研究開発業務。ただし、単なる基礎研究ではなく、3年後にビジネスとなる研究開発を目指すことが特徴で、昨今はDX推進に資する技術領域に力を入れて取り組んでいると、原氏は説明した。そして、2つ目は事業支援だ。

「シス研の業務全体における約4割は、実際の事業案件に携わっています。実案件のフィールドで研究成果を適用しそのリアルなフィードバックを研究員自身で得ることで、直接お客様のニーズを肌で感じ、次の研究課題に繋げていきます。」

3つ目は、人材育成。社内のエンジニア育成をサポートしたり、産学連携で東京大学、一橋大学、お茶の水女子大学などの講座に講師を派遣している。

技術発展の加速で、アンビエントコンピューティングが現実に近づく

続いて登壇した笹尾和宏氏は、ICT領域における技術発展の変遷について紹介した。

「ICT分野は進歩が早く、指数関数的に性能が向上しています。最新のiPhoneに搭載されているプロセッサは1秒間に11兆回計算することができますし、自動運転に使われるNVIDIA製のプロセッサは、1秒間に1000兆回も計算できます。10年前と比べると、10倍から1000倍ほどにまで性能が向上しています」

ストレージにおいては、2000年にはSDカード規格で容量は2GBだったのが、SDHC、SDXC、SDUCと規格が変わっていくにつれ、現在は128TBにまで増大。通信においては、動作に必要なエネルギーがいかに減っているかを、笹尾氏の自宅にあるセンサーを例に紹介した。1分ごとに温湿度、照度を計測し電波で送信するワイヤレスセンサーが、ボタン電池1個で4年は動作が続くそうだ。

「ハードウェアだけではありません、ソフトウェア、アルゴリズム領域でも、同じく技術は進歩しています。画像認識AIは、2013年には1枚認識するのに数十秒かかっていましたが、2018年には桁が変わり、数十ミリ秒で検出できるようになりました」

※「R-CNN」「YOLOv3」はどちらも画像認識系のAIモデル

笹尾氏は、ハード・ソフト両方が搭載されたマイコンモジュール「M5Stack」も紹介。物体を認識し、1秒間で8000億回もの演算を行うことができるこのエッジデバイスは、3000円ほどと、驚くべき安価になっているという。

そしてこのように技術進歩が、まさにアンビエントコンピューティングが必要な世界を生んでいると強調した。

「デスクトップパソコンが中心の時代は、人が何らかのアクションを起こしてコンピュータを操作していました。しかし、デバイスがモバイル、ウェラブルと物理的に小さくなっていくにつれ、人が操作することが難しくなってきました。その結果、コンピュータ側で、いま何が起きているのかを理解し、人にアプローチしていく。このようなアクションが必須になっています」

アンビエントコンピューティングの概念そのものであるが、実際、笹尾氏はテクノロジー界隈でも、このような議論が最近のトレンドだと指摘。Googleのイベントで発表された内容を原文より紹介した。

Googleによれば、デバイスはバックグランドに溶け込み、AIやソフトウェアと連携し、ユーザーを常にサポートする。これが、アンビエントコンピューティングである。GAFAが開発しているスマートスピーカーやメガネ型デバイスは、まさにそれを体現したデバイスの一種であると、笹尾氏は付け加えた。

「実際、スマートスピーカーやウェアラブルデバイスはどこにあっても、あまり気になりませんよね。でも、私たちの動きや声のデータを取得し、最適なサポートをしてくれます」

原文：https://blog.google/products/devices-services/made-by-google-2019/

アンビエントコンピューティングが浸透した社会では、人とデジタル（コンピューティング）のコミュニケーションや相互作用を議論、拡張することが必要であり、同概念を「アンビエントインテリジェンス」と紹介。ユビキタスコンピューティング、ユビキタスコミュニケーション、ユーザー適応型のインターフェイスが3要素である、と続けた。

同概念は2000年代に入ってから活発に議論されており、中でも、xR、IoT、AI関連技術、ロボット技術などを複合的に連携させることで、人とコンピュータとの関係を変化させうる。特にxRにおいては、アンビエントコンピューティングの重要な要素だと説明し、以降のセッションで深堀りしていった。

NSSOLにおけるxR研究開発の歩みと進化

シス研では、xRの研究開発を2008年からスタート。まずは改めてxRについて、笹尾氏は次のように語った。

「まずは、人の感覚や状況をさまざまなデバイスを用いてセンシングします。そのデータをもとに、必要な情報をタイムリーに人の五感に、デバイスを通じて提供します。具体的には、映像、音声などです。その結果、その人にとって世界の見え方や感じ方が変化する技術です」（笹尾氏）

AR、MR、VRなど様々な領域があるが、現代はxRがまったくアシストしない世界は存在しないし、不可能だと笹尾氏。作業訓練や事前検証をコンピュータ上でCGを使って再現したり、空間上にVRとして浮かび上がらせるなど、利用が進んでいると説明する。

スマートグラスやARグラスなど、いわゆるメガネ型デバイスの開発においては、2008年に研究開発に着手。当初はメーカーと共同開発で進めたという。

スマートグラスは、2010年よりアメリカのVuzix社と共同開発。スマートグラスによって両手が使えるようになる利点を活かし、現場作業の効率化や、現場の点検作業を遠隔地から熟練者が指示する。あるいは作業状況の記録や確認など、現場における助手のような使われ方を想定した研究開発に取り組んでいた。実用期に入った昨今では、当初の想定以上の使われ方もされるようになってきた。

「遠隔指示の点では変わりませんが、コロナ禍を機に、これまでのような製造現場だけではなく、監査業務などオフィスワークに近い領域でも利用したいといったお問い合わせをいただくようになりました。これまで現地で立ち会わなければならなかった仕事が、スマートグラスの活用によって遠隔からでも的確に実施できることができる点が評価されています」

ARの活用では、複数枚のスライドを空中に浮かせて複数人で閲覧できるようにすることで、それぞれの人が前後のスライドも含め自由に確認できるようにする研究、VRでは、熟練者ならではの体の動きをバーチャル的に再現し、その様子に自らの体の動きを合わせることで、効率的に技術の継承ができるという研究開発を行っている。

また、パターンマッチングだけではオン・オフの判断が難しいとされる立体的な形状を持つスイッチの状態認識に AI（深層学習）技術を組み合わせることで、スマートグラスを介して作業をアシスト・記録する研究開発が紹介された。

そのほか、特別な光学素子を活用することで、スマートグラスなどのデバイスを装着することなく、空中に映像を結像させるとともに、超音波を活用することで、触覚フィードバックもできる研究開発なども手がけている。

xRとロボットの研究開発は似ている

続いて、笹尾氏は実際にこれまで研究開発してきたロボットについて紹介した。

「コンピュータが得意なところ、人が得意なところを組み合わせる点では、xRとロボットは研究領域が近いと言えます。シス研でもいくつかのロボットを研究開発しています」

まずは、VRを利用したロボットの遠隔操作だ。技術スタックとしては、マイクロソフトが開発したKinectを設置、動きをリアルタイムでモーションキャプチャーし、5Gで飛ばしている。同ロボットを活用すれば、危険な現場に対しては遠隔から動作をリアルに再現できる。

また、テレイグジスタンス技術を使った、人形ロボット遠隔操作システム「FACTORYⅢ」、ANAと共同開発している、空港内を歩き回るPepperも紹介した。Pepper自体の自律移動の機能は簡易的なものにとどまるが、HoloLensを装着することで空港のような複雑な環境においても位置を認識。自律移動を可能にしている。

シス研では、最新テクノロジーを活用した研究開発だけではなく、市販されている「くまのぬいぐるみ」を使って会議のファシリテートを行うというユニークな取り組みも行っている。くまのぬいぐるみと、参加者の位置や音声を認識するセンサーなどが連携し、会議をファシリテートしていく。実際好評で、すでに何百という会議で使用されている。

同じく、会議の進行を促進するという研究開発では、発声者の声を怒りなどの特徴を消して、再生するような取り組みも行っている。

FACTORYⅢ：https://www.nssol.nipponsteel.com/future/stories/5g-factory-004.html
くま会議：https://www.nssol.nipponsteel.com/future/stories/eijyokuma.html

冒頭で原氏も紹介したように、NSSOLシス研の研究開発における特徴を、改めて笹尾氏は次のように紹介した。

「私たちの特徴は、研究成果を社内に閉じていないことです。事業部を通じたお客様はもちろん、社会に対しても展開していくことで、課題を解決することが目的だからです。実際、課題解決を実現する技術を日々の研究開発で培っており、これまでの経験からかなりの引き出しがあると、自負しています」

このようなスタンスの結果として、製品やソリューションが生まれていく。実際、現場で働く現場作業員の体調管理や、先に紹介したような遠隔支援などを実現する2つの製品「安全見守りくん」「ARPATIO(アルパティオ)」を笹尾氏は紹介した。

Human-Centric──主役はあくまで“人”

続いて、2019年に設立されたHCMIコンソーシアムが紹介された。HCMIとは、Human-Centric Manufacturing Innovationの略で、人間中心の製造革新を意味する。HCMIコンソーシアムは、NSSOLのほか、産総研、三菱電機、沖電気が共同で立ち上げおり、社内で閉じることなく、社会や外部との協力、協創を実現した組織の代表例でもある。今後日本が迎える労働人材の不足や、変種変量生産といったニーズに応える生産ラインに対し、AIやロボットを活用することで、最適化するための実証実験などを行っている。

笹尾氏は最後に次のような言葉で、セッションを締めた。

「人とコンピュータそれぞれが得意な領域を組み合わせていくことで、様々な形態のアンビエントコンピューティングの活用例が生まれていくでしょう。重要なのは、最終的に人は感情で動く生き物であるということです。アンビエントコンピューティングの研究開発が進み、社会実装されたとき、みんながハッピーになること。それが私の望みであり、研究はあくまで人ありきだと考えています」

【Q＆A】参加者から寄せられた質問を紹介

セッション後は、参加者から寄せられた質問に笹尾氏が回答した。

──この領域で研究をスタートさせたきっかけは何か？

笹尾：普段から多くの領域にアンテナを張ったり、実際にデバイスなどに触れることを意識して研究開発を行っていますが、xRデバイスは、そのなかのひとつでした。シス研には多くのお客様が見学に訪れるのですが、あるお客様が「業務に使えそうだね」と反応をしてくれたことがきっかけで、本格的に研究開発に着手しました。その後徐々に、特定サービスというよりも、状況を見ながらソリューションを開発していきました。

──実現できなかった、実装できなかったアイデアや技術はあるか

笹尾：2007年頃、AR技術を使ってあるアニメ作品の世界観を実現しようと試みたのですが、できませんでした。でもここ数年の技術進歩や、HoloLensなどのスマートグラスを活用すればいろいろなアイデアが実現すると期待しています。

まだ価格が高い、開発の複雑さなどの制約がありますが、そのハードルが下がれば一気に実現が近づくと思いますし、まさにこれからがそのタイミングだと感じています。

──社会実装に向けたワーキンググループなどはあるか

笹尾：最近 Google, Amazon, Apple 等が参画している、スマートホームの規格「Matter」が発表されました。国内の大手企業でも、家電やIoT機器をつなぐ仕様のフレームワークを協働で構築していこうという動きがあります。

──SFに登場するようなAIモデルは、アンビエントコンピューティングにおいて価値があると考えるか

笹尾：SFのAIといっても様々あると思いますが、人との相互作用の観点から参考になる点は多いですし、SFが当たり前になっていく、あるいは、そうなるように取り組んでいくのはとても楽しいですね。

日鉄ソリューションズ株式会社
https://www.nssol.nipponsteel.com/

日鉄ソリューションズ株式会社の採用情報
https://www.nssol.nipponsteel.com/recruit/careers/