ISIDが「五感拡張デバイス」「遠隔幻肢痛セラピーシステム」などの社会課題を解決する開発事例を大公開

アーカイブ動画

AIを活用して人間の疲労を克服するウェアラブルデバイス開発

大西様
神戸大学　大学院　
工学研究科電気電子工学専攻　助教　大西鮎美氏

最初に登壇した大西氏の専門分野は、ウェアラブルコンピューティング。「身体に装着できる電子デバイスの開発とその応用分野で、さまざまな研究に取り組んでいる。今回のイベントに呼ばれるきっかけとなった研究が、疲労を克服するウェアラブルデバイス開発である。

五感拡張デバイスが疲れに応じてサポートしてくれる研究や、スマートシューズの開発とその応用、多人数表出センシングによる遠隔と対面授業の比較、多種類センサによるスキル評価などの研究も進めている。

このような取り組みにより、大西氏は2022年12月15日、MITテクノロジーレビュー主催の世界的なアワードの日本版「Innovators Under 35」でISID賞を受賞。「今回の登壇はこれがきっかけとなった」と大西氏は振り返る。

大西氏が取り組んでいる「疲労時五感：疲労時の五感能力変化の基礎調査と五感拡張装置開発」は、JST（科学技術振興機構）の2021年度のACT-X（戦略的創造研究推進事業）に採択された研究である。

「五感に関係するウェアラブル研究の現状は、五感能力の拡張や五感の状況に合わせて動くシステムの開発が行われています」（大西氏）

例えば、高機能補聴器は環境に応じた音量調整をするが、正確に現状の五感を予測できていないと使いづらく、常に少しずれた制御する状態が続くと、不快感や危険な状況を引き起こしてしまうという課題があった。

「精神的・肉体的疲労が五感能力に影響を与えるのではないかと考え、そういった人側の状態を補正項に入れた、五感拡張デバイスの開発を目指しています」（大西氏）

1-1

既存のシステムは環境情報から五感の状態を推定した調整機能に対し、大西氏が提案するのは、疲労時の五感を推定して調整機能を持つデバイスである。

目的は疲労時の人間の五感の変化（疲労時五感）の感覚特性を解明して、疲労に応じて五感を拡張する装具を開発することである。

「ユーザーが疲労している時も、元気な時と同様な能力に一時的になれるようにして、安全なところまで行けたら、休みを促すというようなもの。五感の変化は機械学習を用いた疲労時五感の推定により制御しています」（大西氏）

この研究は、2つのパートで成り立っている。1つは、AIを用いた疲労時五感推定手法の確立である。まず研究の第一歩として、疲労時五感の発生要因を調査している。一定のワークロード（走る、計算するなど）における五感の情報を収集している。

1-2

この研究のポイントは、フィジカル、メンタルの疲労が「どう五感に影響を与えているのか」を明らかにするところ。そこで「センサー値→疲労→五感変化率と推定を行うモデル」を構築している。

「今、実施している実験内容は、一定の負荷を与える統制環境での五感の計測に加え、成果発表会の2週間前と前日という実環境で、計測を進めています。疲れた時に見た目で分かる人もいるなど、個人差が大きい計測結果になりました」（大西氏）

明応順応を支援するウェアラブルデバイスの開発はこのプロジェクトの具体的な取り組みの一つ。以下のようなデバイスで、暗いところでLEDの光で順応させてから明るい場所に移動し、移動した瞬間に遮光フィルムで少し視界を暗くして明るさに順応させる。

また逆もしかりで、明るいところから移動するときは遮光フィルムで暗くし、暗さへの順応を早めるというデバイスで、研究開発を進めている。

1-3

ウェアラブルコンピューティング領域における社会実装につながる研究

大西氏は、これまでもウェアラブルコンピューティング領域において、社会実装につながるさまざまな研究を行ってきた。パナソニックとアシックスと神戸大学による、共同研究無電源センシングシューズの開発もその一つだ。

ウェアラブルデバイスのクリティカルな問題の一つが「充電」である。その充電問題を着地衝撃による発電により解決。そこで得た電力でセンシングし、そのデータをスマートフォンに送ることができるシューズである。

「ウェアラブルデバイスをインソールに入れていましたが、コスト的な問題で現実的ではないと考え、現在は圧力センサーではなく、発電素子で発電した波形から人の行動を認識することに取り組んでいます」（大西氏）

歩いている路面の種別を充電の手間なく取得し、その発電情報から路面種別を推定することで、バリアフリーマップの作成に役立てることを考えているという。

「アスファルトや砂利道、芝生、階段の上り下り、坂道の上り下りなど、7種類の路面を自動検出する研究です」（大西氏）

1-4

次に大西氏が紹介したのが、筋電センサーを用いたふきん絞りの評価である。どの絞り方が一番、効率良く絞れるのかをセンシングして評価する。

また、授乳中のスマートフォン（スマホ）操作とぐずりの関係の研究では、授乳中に母親がスマホを触ると、赤ちゃんがぐずるという定説に対して、センサーデータで確かめる実験も行っている。

「こうすべきという明確な結論は出ていませんが、実験ではスマホを持っている時と持っていないときで姿勢が少し違っていました．このような研究を行っていくことで幅広い方に新しい技術を使ってもらえるようにしていければと思っています。」（大西氏）

1-5

ASD（自閉スペクトラム症）の人など、表情認知が困難な人のために、相手の表情を装着者に知らせる「表情認識メガネ」の研究開発にも携わった。

「感覚過敏を持っている人も多いので、激しい刺激にならないようデバイスを設計するために、国立リハビリセンターの先生に相談しました。ウェアラブルデバイスの重さ、小型化にもこだわりました」（大西氏）

多人数の会話センシングでは、対面授業と遠隔授業の違いを調査することで、より良い授業を目指してもらうための研究を行った。対面の人、遠隔リアルタイムの自分の顔出しがある、ない人と3群にわけ、各受講者の集中力や覚醒度をセンサーデータから比較する。

覚醒度が最も高かったのは対面、最も低かったのは遠隔顔出しなしだったという。「とにかく90分の授業を計測ミスなしに終わらせるのが大変だった」と大西氏は述懐する。

最近、行った研究の一つが「ICTを活用した避難訓練」。避難経路の決定から非難の仕方まで、子どもたちの判断で行わせる新たな授業モデルの実証研究である。子どもたちの様子はウェアラブルカメラや心拍センサーで取得し記録。それを分析し、避難がうまくいったかどうか、エビデンスベースの振り返り授業を行ったという。

「映像があると、リッチな振り返りができることに気づけたという感想を子どもたちからもらえました。そういう感想から、ウェアラブルカメラが役立つことが確認できました」（大西氏）

1-6

イノラボが取り組むVRを用いた遠隔幻肢痛セラピーシステムとは

岡田様
株式会社電通国際情報サービス　オープンイノベーションラボ
HCIグループ　プロジェクトマネージャ　岡田敦氏

続いて登壇した岡田氏が所属するイノラボは、ISIDの全社横断R&Dの推進組織として、業種や業界を越えた外部パートナーとのコラボレーションによる新たな価値創造に取り組んでいる。イノラボは電通グループで最も先駆的な動きをする組織の一つである。

「社会課題の解決に向けて、先端テクノロジーと潜在的なニーズを掛け合わせ、アジャイルなプロセスで社会実装と実証を行い、既存事業の延長線上にはない新しいビジネスを形作ることを目指しています。現在、14人のメンバーが外部の専門家とコラボレーションしながら、さまざまな研究を進めています」（岡田氏）

2-1

岡田氏は通信会社で大容量メディアの伝送の研究に従事した後、イノラボに参画。現在、宅配ロボットの遠隔コミュニケーションデバイスの開発やVRを用いたコミュニケーションなどテレイグジスタンス領域の研究に従事している。

岡田氏が今回紹介したのは「遠隔VR幻肢痛セラピーシステム」。幻肢痛とは成人してから事故や病気で手足を失った人が、失った四肢に激しい痛みを感じる現象である。

「事業部のメンバーから『クライアントの中に幻肢痛を患っている人がいるので、テクノロジーでなんとか解決したい』と、相談されたのが開発のきっかけとなりました」（岡田氏）

2-2

幻肢痛の患者は国内に数万人いるが、発生メカニズムはまだ解明されていない。これまでの幻肢痛の療法としては、鏡を用いた方法が一般的だった。しかし人によって痛みが異なり、誰にでも有効ではないこと、患者は全国にいるがリハビリテーションができる人が少ないことが問題だった。

そこで、近年注目されているのが、幻肢をVRで再現し、VR空間で幻肢を動かしてセラピーする方法である。2015年、自身も幻肢痛で悩んでいたKIDS代表の猪俣氏が開発したVRセラピーシステムは、VR上に患者が一人で作業し、セラピストが患者の横で指導する。「もっとセラピーを楽しくしたい、いろんな人にも使ってもらいたい」と考え、猪股氏と二人三脚で構築したのが「遠隔VR幻肢痛セラピーシステム」である。

2-3

同セラピーシステムは全国に散らばる幻肢痛患者に対し、VR空間でセラピストとあたかも対面しているような形でコミュニケーションできるシステムである。距離の制限はなし。同時に複数の人がセラピーに参加でき、セラピストと患者だけではなく、患者同士もVR空間で繋がり、セラピーを実施することができるのだ。

「ISIDのソリューションとして、さまざまな会社に提供する取り組みを進めています」（岡田氏）

ヘッドマウントディスプレイのみで自宅でケアできるスタンドアロン版も構築しており、遠隔検証成果をVR医学界で発表。海外でのプレゼンなども広がっている。

2-4

もう一つ、岡田氏が関わった取り組みとして紹介されたのが、東京大学の暦本研究室と共同開発したIoA（Internet of Abilities）を具現化する遠隔コミュニケーションデバイス「TiCA」である。

TiCAとZMPが開発した宅配ロボット「CarriRo Delivery」と組み合わせ、2018年に東京・品川港南エリアでロボット活用の社会実験を実施した。

「約350メートルのルートを、TiCAを装備したCarriRo Deliveryが自律走行し、カップコーヒーを目的地まで届けるという実証実験です。自律走行ロボットがどう役立つかを検証する研究でした」（岡田氏）

2-5

質問が飛び交い、盛り上がったパネルディスカッションとQ&A

岡田氏の発表の後、まずは岡田氏と大西氏によるパネルディスカッションが行われた。

岡田：経歴に「だるまさんがころんだ」のデモを担当とありますが、これはどのようなデモなのでしょうか。

大西：鬼以外のプレイヤーがお腹に加速度センサーを装着し、鬼であるコンピュータが機械判定するゲームです。このゲームの難しさは「納得度」です。

岡田：納得度については最初から考えていたのですか。

大西：イベントで小さい子どもたちに遊んでもらったときに、最初のターンでプレイヤー全員、一発アウトになってしまったのです。それにより、人間が思うセーフ同様、納得度が大事だと思いました。例えば人間であれば一度止まっていれば、その後笑って動いたとしてもセーフとなります。でも、機械ではアウトになるので。

岡田：その納得度から経歴が始まっているのは面白いですね。またスマホ操作とぐずりの関係の研究では、乳児の精神的な変化を見ることも、面白い着想だと感心しました。

大西：お母さんは赤ちゃんの泣き方によって、ある程度原因が分かったりします。ただ、赤ちゃんにセンサーをつけてもらうのは、高いハードルでした。

岡田：疲労の研究でもそうですが、センサーで取得できる変化だけではなく、体験者の気持ちにフォーカスしたものが多いですね。

大西：技術を使って、人をサポートするところに興味を持っています。だから必ず誰にとって役に立つのかを考えます。例えばスマートシューズも、フォームの改善に役立てるものとするなら、無電源にする。ところが、私が開発しているスマートシューズは履くだけで人の役に立つことができる。ボランティア的な利点も持っている研究です。

岡田：これまでのユニークな研究のアイデアは、どこから生まれてくるのでしょう。

大西：全ての研究は「やってみよう」から始まっています。アイデアはすべて自分で出しているわけではなく、研究室内でディスカッションして出しています。面白くないアイデアは「面白くない」と言ってもらえる議論の場があります。

岡田：イノラボとの共通点は、研究の中に利他精神があること。そしていろんな仲間とシェアする環境があること。それが新しい発想、社会実装につながっていくのでしょうね。

続いては、参加者からの質問に答えるQ&Aタイムに突入した。いくつか紹介したい。

Q．疲労時五感の個人差はどれくらいあるのか。季節によっても変わるのか。

大西：調査中ですが、個人差はかなりあると考えています。男女でも差はあるし、季節によっても疲労は変わります。タイプごとのモデルを作ろうと考えています。

Q．遠隔VR幻肢痛セラピーシステムの開発における、イノラボ側のサポートの具体的な内容について

岡田：イノラボ側ではメタバースの開発、遠隔で利用できるシステム構築開発のサポートをしており、そのシステム開発・構築にかかるコストも負担しています。なぜなら、将来的に遠隔でつながることは、様々な領域・業界で展開されていくという仮説を持っており、このシステム開発で得たノウハウや知見が、今後のISIDのビジネスに適用できると考えているからです。大西さんとも連携しながら、社会課題の解決に取り組んでいきたいと思います。

大西：ISIDさんからも声をかけていただき、新しいプロジェクトが始まるきっかけになっています。これからも自動化の先にいる人を幸せにする研究に携わっていきたいと思います。