電通国際情報サービス（ISID）がHoloLens2を活用した教育システムや遠隔VR開発事例を紹介【xR編】

アーカイブ動画

ISID全社横断組織「Xイノベーション本部」の研究開発活動

オープニングを務めたのは、ISIDのXイノベーション本部xRビジネスデザイン部の中川氏。Xイノベーション本部は新規領域の研究開発や製品開発、事業部に向けた技術支援などをおこなっている。

「Xイノベーション本部はセグメントやテクノロジー、業界、企業、地域などの枠を越え、クロスさせながらイノベーションを起こしていく部署」と中川氏は解説する。

これまで複数の部署に分散していたオープンイノベーションや先端技術開発、新規事業開発を担うチームを結集させ、先端技術の研究開発活動を行う組織。その研究成果を活かす新規事業の開発はもちろん、事業部が新しい技術で困っていることに対する支援も行う。

11月にはXイノベーション本部の中に、xRビジネス強化を目的とした全社横断バーチャル組織「エンタープライズxRセンター」が設置された。その目的は「同社で製造業向けのxRで培ってきた知見を他業種へも展開し、教育、遠隔支援などのソリューションを提供するため」と中川氏は話す。

同組織ではxR実現のためのコンサルティングサービスおよびシステム構築、xRソリューションの開発・提供、さらには電通グループとの協業による新たなソリューション開発や新規ビジネス創出も行っていく。

株式会社電通国際情報サービス Xイノベーション本部　xRビジネスデザイン部　中川洸佑氏

遠隔VRコミュニケーションシステムとは？

最初のセッションは、Xイノベーション本部オープンイノベーションラボ（以下、イノラボ）の岡田氏による「遠隔VRコミュニケーションシステムの開発と幻肢痛遠隔VRセラピーの取り組み」。イノラボでの研究活動について語られた。

岡田氏が所属するイノラボは2011年に設置。所属メンバーだけではなく、コラボレーションメンバーと共に試作・実証を通して、国内外の企業はもとより、国籍や世代、業種・業界を超えている。

「企業における知の探求とあるべきオープン・コラボレーションモデルを追求。3～4カ月を一区切りとしてプロジェクトを回しながら、社会実装や新規事業創出に取り組んでいる」（岡田氏）

所属メンバーは19人。岡田氏はVRを使うことで物理や空間の制約を解消し、コミュニケーションの新たなパラダイムを作る取り組みなど、「空間テクノロジスト」として活躍している。

株式会社電通国際情報サービス Xイノベーション本部　オープンイノベーションラボ岡田敦氏

今回紹介された「全身トラッキング型VR遠隔コミュニケーションシステム」も遠隔で人と人をつなぐことを主眼にしたもの。実空間でトラッキングした体の情報をVR空間に反映させ、異なる地点間にいる人の細かな動きを相互に伝え合うことを可能とするシステムだ。

それぞれの場所にヘッドマウントディスプレイと全身トラッキングシステム、PCのトラブルを用意。VR空間上で現実空間の人の体の動きが反映され、それぞれの人はヘッドマウントディスプレイを通してその動きを見ることになる。

「自分の体と相手の体を被せるなど、VR空間ならではの交わり方ができます、また自在に相手の位置関係を変えることも可能です。手や体の動きを遠隔で見ることができるので、技術伝承に活用するなど、イノラボ内で様々なテーマで取り組んでいます」（岡田氏）

幻肢痛患者が抱えている課題

これらの活動の中で出会ったのが、VRによる幻肢痛のセラピーを行っている株式会社KIDSの猪俣一則氏である。猪俣氏自身、幻肢痛に悩まされていた当事者。その悩みを解決したいと思い、VRを使ったリハビリテーションシステムの開発に取り組んだ。

幻肢痛とは、大人になって手足を切断された患者の8割に現れる痛みである。幻肢痛は手腕や足の切断後に失ったはずの手足が存在（幻肢）するように感じられ、その幻肢が痛く感じる現象である。四肢切断患者の80％以上に表れるとされている。

しかも、その痛みが現れるタイミングや強さは人によって異なり、中には筆舌に尽くしがたいほどの痛みに襲われる人もいる。そうした痛みを緩和するため、これまでは鏡を用いた療法で対処してきた。

体の真ん中となる位置に鏡を置き、その鏡に失っていない方の手足を映し、それを幻肢に重ねる。その状態で一定の動きを繰り返すことで、脳が失った方の手や足はあると錯覚させ、痛みを緩和していく。

だが、幻肢の位置も人によって異なる上、幻肢痛のリハビリテーションを行える人が少ないという問題があった。そこで、猪俣氏が注目したのはVRシステムによる神経痛リハビリ治療。その方法を取り入れ、開発したのが幻肢痛VRリハビリシステムである。

同システムは肩・肘・手首、5本の指、すべてを赤外線（kinectv2）でリアルタイムに計測し、反対の幻肢側に出力してリハビリを行う。

例えば、右手を失っている人であれば、左手の動きをヘッドマウントディスプレイの上部に付いているLeap Motionを使ってその動きを右手の動きとして再現する。VR空間の中でこれらの動きをしているのが自分であると認識できる仕組みも用意している。

この仕組みを用いたセラピーは、国際的な評価指標を使った調査が行われており、即時的にも長期的にも効果があることが証明されている。

しかし、猪俣氏が開発したシステムは、VR空間上にいるのは患者一人。セラピストはその横にいて指導することになるため、場所が制限されてしまう。また、患者は「どう動かせばいいかわからない」、セラピストは「動きが見えにくい」などの問題があった。

だが、全身トラッキング型VR遠隔コミュニケーションシステムを使えば、セラピストと患者の双方がVR空間の中に存在し、自在の位置関係で対話できる。「手をこう動かして」といった指示が楽になる。もちろん、セラピストと患者は同じ場所にいる必要はない。

全身トラッキング型VR遠隔コミュニケーションシステムで解決できること

幻肢痛患者は近畿や九州エリアに集中している。一方で、VRを使ったリハビリを行える人は東京など主要都市に数えるほどしかいない。

そこで、患者とセラピストの位置関係を任意に変更できる特徴を持つ全身トラッキング型VR遠隔コミュニケーションシステムを応用したプロトタイプを作成し、実証実験を行った。

実証実験では、疼痛リハビリテーションに関する臨床研究の専門家である畿央大学の大住倫弘准教授にも協力してもらい、東京と畿央大学のある奈良を結んでセラピーを実施した。

畿央大学の研究室には幻肢痛患者と大住准教授、ISIDのメンバーはセラピストである猪俣氏の研究室（東京）でサポートを行った。

同実験で使ったデバイスはAzure Kinect、Leap Motion、Oculus Quest。また実際の体験画面はMicrosoft Teamsで共有した。今回の実証実験のフィードバックも得ている。

「参加した患者から『痛みが和らいだ』という感想もあり、印象は良かった。何回かVRでセラピーを行った後であれば、遠隔での実施に効果がありそう」（岡田氏）

幻肢痛の痛みや場所は人によって異なる。例えば手を失った人の中には、肩から手が生えていたり、体の中から手があるように錯覚するケースもある。VRであれば自在にその場所をコントロールできる機能を実装しているので、様々なケースに対応できるのも良い点だ。

そのほかにも、「一人でやるよりも楽しいと感じた」「痛みの感覚から離れやすかった」「セラピストを育てるための訓練システムとしては十分に使えそう」「脳卒中による半身不随になった患者に対するリハビリやエンターテイメントとしても可能性がある」などのコメントを寄せられた。

「システムをより簡単に、いつでもどこでも使えるようにしたい。VRならではの体験の高度化、幻肢痛に限らない応用を検討し、最終的には技能伝達での活用も進めていこうと考えています」（岡田氏）

HoloLens2を活用した教育システム構築の舞台裏

続いて、中川氏が登壇。「HoloLens2を使った作業者教育システムの取り組み」に関するセッションを行った。

HoloLens2を使った取り組みは、明電舎との共同プロジェクト。明電舎は発電機など社会インフラ、各種産業向けの電気機器を製造・販売しているメーカーである。

明電舎は昨年、新しい教育センター「Manabi-ya」を設立するにあたり、本格的にAR教育の仕組みを作りたいとISIDに相談。「当時はHoloLens2の発表はあったが、まだデバイス自体は発売されていなかった」と中川氏は振り返る。

HoloLens2はマイクロソフトが提供するメガネ型のARデバイス。現実空間を認識して、3Dデータを重ねて表示できる。最大の特徴はハンドトラッキングやアイトラッキングが基本装備されていることである。

なぜ、明電舎はARを活用した教育システムを構築したいと思ったのか。従来、自社のプロダクトのメンテナンスに関する学習を座学で行っていた。

「テキストやビデオの教材でも学習はできるが、ARを使ったコンテンツなら実際に体感する感覚で勉強することができる。楽しさを感じることで、学習の効率も上がるのではないかとお客様と話していました」（中川氏）

HoloLens2を活用した教育システムで実現したいこと

新しいAR教育システムで実現したいポイントは3つある。第一のポイントは教育シナリオを作成し、シナリオに沿ったAR体験ができること。アプリの中にシナリオに体験できる機能を埋め込むのだが、最初に作ったシナリオしか体験できない仕組みでは、新しい機材が出てきた際にアップデートできない。

そこで、データベースと連携させ、データベースに3Dモデルとシナリオを定義したJSONファイルを配置することで、シナリオを追加できる仕組みを構築した。シナリオに必要な動きをアプリ側で決定し、JSONの中でコマンドのように定義し、それを組み合わせていくのである。

「例えば特定のパーツを回転させる、強調表示させる、ユーザーに対して移動指示するなどの動きを決める。それを呼び出すコマンドをJSONで実装し、並べることでシナリオを動的に追加できる仕組みを作りました」（中川氏）

また、シナリオに沿った学習モードと選択式のテストモードを準備し、学習コンテンツはもちろん、テストコンテンツとしても活用できるようにした。

第二のポイントは、手や目線の動きを活用したコンテンツであること。

「HoloLens2を活用することで、各シナリオの3Dモデルに対して、手の動き、目線の動き、音声を組み合わせて記録することで、教育コンテンツを作成できます。作成した記録はシナリオの3Dモデルに紐付いてサーバに保管されるため、受講者は好きなタイミングで再生できます」（中川氏）

第三のポイントは、教育受講履歴の記録である。シナリオ実施後、ID、かかった時間など受講履歴を社員情報と紐付けてデータベースに記録。さらに、明電舎が使用している機器予約システムと連携させ、どのHoloLensを誰がどの時間に使うのかを把握できる。

フローを図にすると次のようになる。

ちなみに、明電舎ではVuforia Studioを使った教育システムも活用している。Vuforia Studio製のコンテンツと本システムのコンテンツを含む一覧がブラウザで表示される仕組みを用意し、AR教育の入り口としている。

今回のプロジェクトでは、ISIDだけではなく、HoloLensに強いパートナー「ハニカムラボ」も参加。すでに研修センター『Manabi-ya』に配備され、活用されている。

参加者からの質問が続々寄せられたQ&Aタイム

セッション後、参加者から寄せられた質問に答えるQ&Aタイムが設けられた。

Q.幻肢痛はどのくらいの患者数か。幻肢痛に注目された理由について知りたい。

岡田：正確な患者数は不明。猪俣さん自身も、幻肢痛だと気づいたのが5年前。昨年、日本で発生した交通事故数は約37万件。そのうち約3万件が重傷事故。多くの人が潜在的に悩んでいると思われる。

幻肢痛に注目したのは猪俣さんとイノラボのメンバーが出会い、リハビリが楽しくできる方法がないか相談されたこと。リハビリしながらVRでの体験を活用できたら面白いと考えた。

Q.1つのシナリオを作るのにかかる時間。JSONファイルのサイズについて。

中川：今回の動画でお見せしたシナリオはフルで体験すると約10分。JSONファイルのサイズは17キロバイト、行数は400行ぐらい。どの機能を盛り込むかによってシナリオのサイズや作成時間は変わってくるが、最初は時間がかかると考えている。

どう動かすかのコマンドは決まっている。慣れてくると時間は短縮できるが、個人的にはより簡単に開発できる仕組みを検討したい。

Q.HoloLens2のMicrosoft Dynamics365との違いは何か。また、実際に研修で使う場合はCADから変換したHoloLens2で扱う場合、3Dデータを使うと思うが、データ容量削減などの工夫はあるのか。

中川：Dynamics365が提供するのはRemote AssistやGuides。Remote Assistは複数のユーザーをつなぎ、教育をする際のサポートはできるが、シナリオに沿って自習するためのソフトウェアではない。

Guidesは教育コンテンツや手順書を作れる仕組みだが、3Dモデルなどのリッチなコンテンツを配置したり、アイトラッキングデータを活用することはできない。

3Dモデルに関しては明電舎側で体制を作って対応してもらっている。明電舎は3Dデータを軽くしたり、CADデータを参考にしながら3Dモデルを作る知見があるので、そのモデルを本システムで利用している。Azure Remote Renderingのようなクラウドを使って重いデータを表示する機能はないが、現状では問題ない。