最近SpotInstanceとKubernetesで遊びはじめた野島です。

平成最後のTech-On、Tech-On MeetUp#05についてレポートしていきます。前回に引き続き今回も「TECH PLAY SHIBUYA」での開催となり、約80名もの方にお集まりいただきました。

今回のテーマは「xR」、xRと様々な技術の組み合わせによる新たな価値提供や課題解決についてお話いただきました。

(司会者追記：今回は私がカレー好きなこともあり、掛け合わせる→カレーのトッピング！　と思い浮かんでしまったので登壇者紹介もカレーにちなんだ内容にしてみました。かなり強引でしたが。。笑）

VRの現状と未来

最初の発表はナーブ株式会社の多田さんの発表です。
VR内見といった、カレーにソースを掛け合わせるが如く購買体験という味をキリッと引き立たせるサービスの紹介を通し、「VRの現状」そして、「VRの未来」について語っていただきました。

提供サービス

• 「もしも」が見えれば人の暮らしはもっと豊かに
• どこでもストアというVRで不動産の内見をできるサービスを提供
• ショッピングセンターに設備を置きサービス提供し、担当者ともリモートでやりとりできる

VR/AR時代の情報量

• ナーブのVRの定義は「情報」
• VR/AR時代は提供できる情報量が違う
• 専門家とそうでない人の間の情報のギャップをVRで見せ解決する

今後の動き

• 現在はコンテンツの蓄積が完了したとこと
• 今後はチャネルと認知の拡大に向け舵を切っていく

技術面

• 特許を複数取得
  VRで送信するデータの送信手法
  バーチャル空間に家具を置く
  ...etc
  
  
• 課題
  購買情報のデータが膨大すぎてDBがパンク
  本番用DBに直接アクセスしていたため、障害が本番で発生
  
  
• 解決法
  RedashとDBの間にTresureDataを挟むようにした
  レスポンスの時間が8分の１以下に
  DBがパンク寸前の状態でもレスポンスが帰ってくるように

新サービス

• VRトラベルAd
  VRをアド事業にも展開
  視線の移動などから購買時にどこを見ているのかなどが解析可能
  Hivemallを使って機械学習しデータを解析する

お話を聞いて

VRを使った内見や広告の話を聞いて、今後のVRビジネスの展望が楽しみになりました。
技術面では、データ量の増加によりDBのアクセス速度が大きな問題になっているとのことでしたが、TresureDataを間に挟み込むというシンプルな方策で解決で劇的な効果を得たところに感激しました。
私も技術的な問題を解決する時シンプルで効果的な手段をとっていこうと思います。

　○スライドは後日公開いたします。

xR × 施設型エンターテイメント

2番目の発表はティフォン株式会社の村上さんとShaoさんです。

xRを用いた施設型エンターテイメントという、カレーに蜂蜜をかけるが如く、両者の良いところが活かされたサービスについて、運営/技術面での課題や解決法についてお話いただきました。

提供サービス

• MRを使った体験型施設ティフォニウムを運営
• 体験できる場所
  お台場
  渋谷
• 体験できるアトラクション
  『コリドール（Corridor）』（ホラー・アトラクション）
  『フラクタス（Fluctus）』（ファンタジー・アトラクション）
  

技術面（Corridor）

＜アトラクションの概要＞

• 洋館の中を探索するホラー・アトラクション
• 4.5m x 8.5mの空間をバックパックPCを背負って歩き回る
• HMD内蔵のカメラで画像を取得し、アプリ内のCGと合成して表示

＜初期の課題と解決法＞

• HTC VIVEの内蔵カメラは開発当時のバージョンでは奥行きを認識できなかったため、壁に隠れて見えないはずの人が見えてしまう
  ⇒　プレイヤー同士が離れないように、リングを持ってもらうようにした
• 広い空間で自由に歩ける状態になると、現実の部屋の壁にぶつかる
  ⇒　足元に魔法陣で順路を表示し誘導するようにした
• エレベータで移動し背後の扉が開いたあと、それに気づかず振り返ってくれない
  ⇒　プレイ開始時にスタッフがプレイヤーと共にエレベーターに乗り、操作を一通り説明する

＜サウンドについて＞

• 渋谷店オープン時にサウンド面を強化した
• ダイナミックレンジを広げてより現実の音量感に近づけた
  
• リバーブ設定を調整し、没入感をあげた
• イナゴの音をよりリアルにした
  

ユーザを満足させるための工夫

• 映像合成用の部屋のバックカラーは紫とし、施設のイメージと合うようにした
• 部屋の広さは余裕をもって広めにし、壁にぶつかることがないようにした
• 待ち時間にも飽きさせないように、PVを流したりなどした

運用にあたってのTips

• ノウハウは意識して貯める
• ハードウェアトラブルが多いため、機材の予備はストックしておいた方が良い
• スタッフにはなんども体験させるなど、教育は必須。しかし時間がかかる

お話を聞いて

MRを使ったエンターテイメント施設の紹介を聞くと、わくわくし自分も行ってみたくなりました。
技術面では映像面での他にサウンド面でも力を入れており、VRは映像技術だけでなく、サウンドなどのその他の部分も重要な様相になると気づきハッとしました。

発表資料

XR x ComputerVision

3番手はKDDI 水田さんの発表です。AI、ComputerVision、xRを組み合わせ現実世界を拡張してバーチャルキャラクターとコミュニケーションする仕組みと、そこから生まれたインサイトやビジネスニーズなど、カレーにとんかつをいれるかのようなおいしそうな話をしていただきました。

作っているもの

• 携帯3キャリアの中では1番早くから取り組んでいた
• xRを使ってキャラクターと話したり踊ったりできるサービス
• ARの中にVR空間を表示する
• 体験価値を向上する新しいコミュニケーションを作る
• スマートグラスなどの新しいデバイスも利用

マーケット

• 既存のあらゆる体験がマーケットになる
• 既存の体験にどのような追加要素を載せるか

課題

• 歩きスマホ
  デバイスの改良で解決
• コンテンツの共有
  クラウドを利用することで解決、通信のレイテンシの削減が追加の課題

ユースケース

• バーチャルキャラクターガイド
• 美術館でバーチャルキャラクターが観光地の案内をする
• 音声は合成音声、動作は組み込みで後ろ側に人は一切いない
• アプリはUnitiy、ARCoreを利用
• 英語人材の少ない地域へ派遣し、外国人観光客対応をアシスタント
• 最近は低年齢の子供を対象にした機能を開発
• 使用者の年齢を認識し、年齢に合わせた文字の表示や案内内容を変更

キャラクターAI

• キャラクターと会話ができる
• 常時話しかけ、会話ができるようになっている
• 電気をつけてと言ったら電気をつけたりする
• 時間や場所によって挨拶をかえたり、人間らしさを追求
• 機嫌が悪くなったりするなど、感情も持たせている
• 生々しい反応をするが、使ってもらった感想は好評だった

お話を聞いて

AI、ComputerVision、xRを組み合わせた会話や案内などの仕組みのお話を聞き、仮想世界におけるキャラクターの可能性を感じ取りました。マーケットは既存のあらゆる場所に存在するとのことなので、今後はどこでどんなサービスとして世に出てくるんだろうとわくわくしました。

AR今昔 〜セカイカメラから10年、最新テクノロジーでARはどうなる？

約10年前にリリースされたARと位置情報を組み合わせたアプリである「セカイカメラ」、カレーに生卵をかけるように今や当たり前となった組み合わせですが、これが最新技術ではどのようになるのか、今後どのようになっていくのか、その歴史を見続けたスピーカーの視点でご紹介します。

ARの位置付け

• クラウド、モバイルが登場、普及して、AIが商用になりつつある
• VR/AR/MRも同様で、その素養の上で、ビジネスとして成り立つようになってきた

2009年のAR

• セカイカメラリリース
• 現実世界の場所にエアタグという仮想的なタグをつける
• いろんな場所に来た証拠を残すことができる
• 当時使った技術：Java, NDK, C++, OpenGL ES, AWS EC2, S3, PHP
  
  

　＜課題＞

• マネタイズがうまくいかなかった
• エアタグに広告を入れようとしたが、フィルタリングがうまくいかなかった

2019年にセカイカメラを作るとしたら

• 利用技術：ARCore Sceneform, ARCore Cloud Anchors, Java, Kotlin, Firebase Authentification, Firebase Cloud Firestore, Geo Firestore
• ARCoreを使うと画像の重ね合わせが簡単にできる
• Android Studioで3Dモデルのインポートが簡単にできる
• 当時大変だった部分が簡易化されて作りやすくなっている
• Unityはやはり外せない、使うといろいろな部分を簡単に作れる

今後の技術について

• Googleが奥行きセンサー無しで画像の奥行きを測る技術を研究中
  不確実な話だが、これができれば普通のカメラで奥行きを意識したARを実装できる
• 機械学習によるAR
• InstaSaber：丸めた紙を画像認識し、ARでライトセイバーを表示
• Wanna Kicks：足を画像認識して好きな靴を履ける

結論

「あのセカイは普通になる！」

お話を聞いて

当時有名だったセカイカメラを通してARの昔、今、今後についてお話いただきました。
当時と現在の利用技術の違いをみてみると、フレームワークやクラウドサービスの発達は著しいものだと気づかされました。
もはや誰でも簡単にARアプリを作れる時代になりつつある今、今後どんなアプリケーションが出てくるのか期待したいです。

発表資料

会場の雰囲気

セッション終了後の懇親会も50名以上の方に参加いただきました。

参加者同士でのディスカッション、講演者に気になったことを質問など、参加者、講演者、スタッフの区切り無くできたてのカレーのような熱い雰囲気となっておりました。

最後は恒例のTの字での記念撮影を行いました！

関連記事・イベント参加者のブログ記事