G-gen の山崎です。当記事は、Google Cloud Next '26 in Las Vegas の3日目に行われたライトニングトークセッション「 Humanoid robots in pediatric care 」のレポートです。 G-gen Tech Blog では、現地でイベントに参加したメンバーや、日本から情報をウォッチするメンバーが、Google Cloud Next '26 に関連する記事を発信します。 blog.g-gen.co.jp セッションの概要 現在の高齢化社会における課題 ケアワーカーの人員不足 小児医療の現場における課題 高齢者介護の現場における課題 ヒューマノイドロボット Miroki の特徴 人中心のデザインと導入要件 ハードウェアインターフェースと安全性 医療および介護現場での導入事例 小児医療での利用 高齢者介護施設での利用 Google の AI 技術との統合 質疑応答 質問1 : 物理的な力が必要なタスクへの対応 質問2 : 感情の知覚 質問3 : ロボットのデザイン 質問4 : システム構築における課題 ブースでの実機レポート セッションの概要 Enchanted Tools 社の Firas Farraj 氏により、小児医療および高齢者介護の現場で活躍するヒューマノイドロボット「 Miroki 」と Google の AI 技術との統合について紹介されました。 現在の高齢化社会における課題 ケアワーカーの人員不足 現在の高齢化社会において、介護および医療業界は深刻な負担を強いられています。 高齢者、子供をケアするケアワーカー（介護・医療従事者）への負担は増大し続けており、2030年までに世界中で現在より 2,000万人 のケアワーカーが必要になると予測されています。 施設は人材の採用に苦労しており、人員不足の解決が急務となっています。 小児医療の現場における課題 小児医療の現場に目を向けると、毎年 40万人 の子供たちががんと診断されており、そのうちの 3分の1以上 が放射線治療を必要としています。 これまで経験したことのない新しい状況と慣れない環境での治療は、子供たちに大きな恐怖を与えます。 彼らには、時間をかけてそばに寄り添い、守ってくれるケアワーカーの存在が必要です。しかし、ケアワーカーは日々の膨大な業務に追われており、一人ひとりの子供に対して十分な時間を割くことは困難です。 高齢者介護の現場における課題 高齢者介護の現場においても状況は同様であり、高齢者介護施設のスタッフは毎年 40% が離職しているという事実が示されました。この高い離職率は、施設運営における知識の喪失や採用コストの増加など、ビジネスにとって非常に厳しい影響を及ぼします。 このような業界の課題を解決するため、ロボットが実行可能なタスクを担い、ケアワーカーを支援するアプローチが求められています。 ヒューマノイドロボット Miroki の特徴 人中心のデザインと導入要件 Enchanted Tools 社が開発しているヒューマノイドロボット Miroki は、これまでの産業用ロボットとは全く異なるコンセプトで設計されています。Firas Farraj 氏は、人の生活空間にロボットを導入するためには、以下の3つの要素が不可欠であると述べました。 信頼（Trusted） ロボットが常に安全に稼働し、100%の確率でタスクを遂行する。 有用性（Useful） 単に見た目が良いだけでなく、実際に現場で役立つ機能を持っている。 愛着（Loved） 利用者が「そばにいてほしい」と感じるデザインである。 もしロボットが威圧的なデザインや、70 kg もある巨大な機械であった場合、子供や高齢者のそばに置いておきたいと思う人は多くありません。 そのため Miroki は、魅力的で親しみやすいキャラクターとしてデザインされています。単なる実用性だけでなく、人を中心とした環境においては感情的なつながりを作り出すことが必要です。 ハードウェアインターフェースと安全性 ロボットが環境内のあらゆる物体を100%の成功率で操作することは、2026年4月現在のロボット工学の技術レベルにおいては困難です。 この課題を解決し、ロボットに何ができて何ができないかを利用者に明確に伝えるため、Enchanted Tools 社はロボット専用のハンドルとアクセサリーのエコシステムを開発しました。 Miroki は、この専用ハンドルが取り付けられた物体のみを安全に操作できるように設計されています。これにより、利用者はハンドルの有無を見るだけで、Miroki ができることを直感的に理解できます。 また、特殊な移動システムを採用しており、柔軟かつ静音性が高く、人のすぐそばで安全に稼働できるように設計されています。 医療および介護現場での導入事例 小児医療での利用 フランスのモンペリエにあるがん研究所では、小児がんの放射線治療において Miroki が導入されています。放射線治療室は地下壕のような構造になっており、治療中は患者以外は立ち入ることができません。治療自体に痛みはありませんが、巨大な機械が患者の周囲を動き回る空間は、子供たちにとって非常に恐ろしいものです。 これまで、恐怖心を和らげるために子供たちには事前に鎮静剤が投与されていました。そのため、本来は 10分 で済む治療プロセスが 1時間以上 かかっていました。 現在では、事前に子供と Miroki の間に関係性を築いた上で、治療室に Miroki が同席する取り組みが行われています。Miroki がそばにいることで子供たちは安心し、鎮静剤を使用せずに治療を受けることができるようになりました。この結果、1回のセッション時間が 50分 から 25分 へと半減し、同じ時間枠で2倍の数の子供たちをケアできるようになりました。 高齢者介護施設での利用 高齢者介護の環境において、Miroki はケアワーカーの業務を多角的に支援しています。具体的なタスクとしては、受付、高齢者向けの朝の体操の進行、記憶力ゲームの実施、食事トレイの運搬補助、グループ活動全般の支援などです。 Miroki がこれらの業務をサポートし、スタッフに寄り添うことで、スタッフと入居者双方の生活の質を向上させています。初期の導入結果では、スタッフと入居者の間で 80% の満足度が得られています。スタッフの満足度を高く保つことは定着率の向上につながり、課題である40%という高い離職率を低下させるための重要な要素です。 Google の AI 技術との統合 Enchanted Tools 社は、Google DeepMind 社と緊密に連携し、ロボットのアーキテクチャに Gemini を統合しています。 参考 : Google DeepMind 音声認識および対話機能には Gemini Live の音声機能が使用されており、自然なコミュニケーションを実現しています。また、周囲の環境を認識し理解する機能には Gemini Robotics が使用されています。 参考 : Gemini Live 参考 : Gemini Robotics セッション内のデモ動画では、利用者が「メガネをなくしてしまった」と伝えると、Miroki がエリアをスキャンしてメガネを発見し、さらに本を読むための居心地の良い場所を提案する様子が紹介されました。音声だけでなく状況を視覚的に捉え、複数のタスクを連続して支援する能力が示されました。 質疑応答 本セッションの後半では、参加者と登壇者による質疑応答が行われました。 質問1 : 物理的な力が必要なタスクへの対応 質問 高齢者介護において、患者や入居者を持ち上げたり移動させたりするような、物理的な力が必要なタスクへの対応はどのようになっているか。 回答 2026年4月現在、まだその段階には到達していないが、現在の技術の加速を考慮すると、2〜3年のタイムラインで物理的タスクにも対応できるようになると予測している。技術の進歩に合わせてケアワーカーを全面的に支援できるように機能を拡張していく方針だ。 質問2 : 感情の知覚 質問 誰かが怒っている、悲しんでいるといった感情の知覚についてどこまで進んでいるのか。 回答 感情の検出には、視覚分析、声のトーンや表現方法の分析、そして発話されるテキストの分析という3つのモダリティを使用している。Gemini のマルチモーダル機能により、人が感情を表現している場合は十分に把握可能となる。人が感情を表現していない場合は、非言語的なシグナルを読み取る必要があるため、難易度が高い。 質問3 : ロボットのデザイン 質問 なぜロボットがキツネのような見た目をしているのか。 回答 ロボットのデザインを人の外見に近づけすぎてしまうと、人ができることはすべてできるはずだと利用者が認識する可能性があるため、人とペットの中間のような、これまでにない新しいキャラクターをデザインした。 質問4 : システム構築における課題 質問 システムに Gemini を組み込むことによって直面した課題はあるか。 回答 Google DeepMind 社の素晴らしい働きにより、モデルのパフォーマンスに関する課題は発生していない。一方で、モデルをクラウド上で実行するため、ネットワークの通信環境が悪い環境下では課題が残っている。将来的にはオフライン環境下においても十分なパフォーマンスを発揮できるようにしたい。 ブースでの実機レポート セッション終了後、会場内の Enchanted Tools 社の展示ブースに立ち寄り、Miroki の実機を見ることができました。 展示ブースでは、スムーズに移動しながら展示ブースに訪れた人々と自然な会話を行う姿を見ることができ、ハードウェアの工夫と AI 技術の統合が実用的なレベルに達しつつあることを感じました。 山崎 曜 (記事一覧) クラウドソリューション部 元は日系大手SIerにて金融の決済領域のお客様に対して、PM／APエンジニアとして、要件定義〜保守運用まで全工程に従事。 Google Cloud Partner Top Engineer 2025 選出。 Google Cloud 全 13 資格保有。 フルスタックな人材を目指し、日々邁進。 Follow @Akira_Yamasakit

1. はじめに 突然ですが、VS Codeの拡張機能を作ったことはあるでしょうか。 今まで私は、何か難しそうだという理由から、全く作ろうと考えていませんでしたが、生成AIの進歩によってお手軽に作れることを知って、最近いくつか試しに作っています。 今回は、「VS Code の Webview でどこまで動くのか？」 という疑問から、VS Code 拡張機能の描画性能について着目し、ごく簡単にではありますが、Web ブラウザの場合との比較検証をテトリスを動かすことで実施してみました。 また、VS Code標準のUIではなく、描画の自由度がより高いWebview[1]を使うことにしました。

G-gen の山崎です。当記事は、Google Cloud Next '26 in Las Vegas の1日目に行われたブレイクアウトセッション「 Real-time multimodality: Building seamless experiences with the Gemini Live API 」のレポートです。 G-gen Tech Blog では、現地でイベントに参加したメンバーや、日本から情報をウォッチするメンバーが、Google Cloud Next '26 に関連する記事を発信します。 blog.g-gen.co.jp セッションの概要 Gemini Live API の概要と特徴 自律的エージェントのプラットフォーム Gemini Live API を支える3つの柱 Affective dialog とコンテキストの記憶 Gemini Live API の新機能の紹介 Live Avatar（2026年4月現在、プライベートプレビュー） Live Avatar のデモ 企業の導入事例 Shopify : サポートアシスタント「Sidekick」 Citibank : 次世代金融ウェルスアドバイザー Otto : e コマースにおける対話型アドバイザー スクウェア・エニックス : 「真の相棒」としての AI セッションの概要 本セッションでは、 Gemini Live API のプロダクトリードを務める Fabien Mathey 氏や Google の Wendy Yin 氏が登壇し、Gemini Live API の基本機能や、新機能である 「Live Avatar」 の発表を行いました。 さらに、事例紹介として、Shopify、Citibank、ドイツの e コマース大手 Otto、そして株式会社スクウェア・エニックスの取り組みが紹介されました。特にスクウェア・エニックスからは「ドラゴンクエスト」シリーズの生みの親である堀井 雄二氏が登壇し、ゲームと AI の融合がもたらす未来のビジョンについて語られました。 Gemini Live API の概要と特徴 自律的エージェントのプラットフォーム 2026年4月現在、Gemini Live API は Gemini Enterprise Agent Platform 上で稼働しています。このプラットフォームは、単に AI に「指示」を出す段階から、タスクを「委任」する段階への移行を促すものです。 AI が知能を持つだけでなく、真の自律性を持つエージェントとして機能し、チームメンバーと同等の独立性と信頼性をもって行動するためには、人間が AI と対話するための全く新しい手段が必要であり、それを実現するのが Gemini Live API です。 参考 : Introducing Gemini Enterprise Agent Platform, powering the next wave of agents Gemini Live API を支える3つの柱 Gemini Live API は、以下の3つの特徴があります。 オーディオ（音声） 高品質で双方向の音声通話を提供します。会話が流暢であるだけでなく、ユーザーが AI の発言を途中で遮る（ Barge-in ）ことも可能です。これにより、人間同士が対話しているかのような自然な会話が実現します。 ビジョン（視覚） Gemini Live API は、画像、ライブビデオストリーム、画面共有など、AI に提供された視覚情報をリアルタイムで処理し、状況を理解します。 エンタープライズ対応 本番環境にアプリケーションを展開するために不可欠な、高いセキュリティ、スケーラビリティ、そして信頼性を提供します。 Affective dialog とコンテキストの記憶 セッション内では、Gemini Live API の リアルタイム処理能力 を示すデモが行われました。最初のデモでは、AI に英語で詩を読ませている途中で発言を遮り、「フランス語で教えて」と要求しました。AI はユーザーから主導権を奪うことなく、瞬時に言語をフランス語に切り替えて詩を読み上げました。 続いて Affective dialog のデモが披露されました。ユーザーが「来週は私の誕生日で、100人の友達を招待したから盛大なパーティーになる」とワクワクしたトーンで話しかけると、AI も明るい声で応じます。しかし直後に、ユーザーが「実は全員に断られて一人になってしまった」と悲しそうなトーンで伝えると、AI はその声のトーンの変化を途中で検知し、瞬時に共感を示すようなトーンへと変化しました。リアルタイムの会話に応じて感情的なトーンを調整するこの機能は、AI との対話をより人間らしいものにします。 さらに、 コンテキストの記憶 機能についても紹介されました。会話の冒頭でカメラを通じてユーザーが提示した配送ラベルを AI が視覚的に認識します。その後、カメラからラベルを外した状態で「先ほどの配送ラベルの番号は何だったか」と尋ねると、AI は正確な番号を回答しました。Gemini Live API は、単に音声を聞くだけでなく、ビデオストリーミングを通じて得た視覚情報をセッション全体を通して記憶に留めることができます。 Gemini Live API の新機能の紹介 Live Avatar（2026年4月現在、プライベートプレビュー） 本セッションで、ライブビデオ生成機能を備えた Gemini 3.1 Live API が紹介されました。 このアップデートにより、新たに Live Avatar 機能が追加され、高品質な音声対話のエクスペリエンスに加えて、リアルタイムでユーザーを見つめ、流暢で自然な表情で反応するエージェントを構築することができます。 Live Avatar のデモ ジョンソン・クリニックという仮想の診療施設の予約受付を行う Live Avatar のデモが行われました。 アバターは仮想の受付担当者として振る舞い、患者のフルネームや生年月日を正確に聞き取ります。その後、対面か遠隔診療かの希望、症状、希望する医師といった条件をヒアリングし、空いている予約枠を提示し、予約を完了させました。 企業の導入事例 Shopify : サポートアシスタント「Sidekick」 E コマースプラットフォームを提供する Shopify は、加盟店向けのアシスタントである「Sidekick」を Gemini Live API で強化しました。 デモでは、加盟店がドメイン設定タスクを実行するにあたって、Sidekick に音声で質問すると、AI が画面の UI をベースに手順を段階的に音声で案内し、加盟店の作業をリアルタイムにサポートしました。 Citibank : 次世代金融ウェルスアドバイザー 金融機関である Citibank は、Gemini Live API と Live Avatar を搭載した次世代のウェルスアドバイザー・モバイルアプリ「Citi Sky」を発表しました。 デモでは、顧客の譲渡性預金が来週満期を迎えるという状況下で、アプリ内の Live Avatar が、複数の選択肢を音声と画面で提示し、顧客からの回答を受けると、その場で更新手続きを完了させました。 Otto : e コマースにおける対話型アドバイザー ドイツの e コマース大手 Otto からは、プロダクト責任者の Richard Brunner 氏が登壇しました。 Otto は「Otto, good decision（Otto、良い決断）」というブランドポジショニングを掲げており、オンラインショッピングでの検索を「顧客にシステムを理解させる」ものから、「システムが顧客のコンテキストやニーズを理解し、良い決断を支援する」ものへと再定義しました。 デモでは、「完璧なコーヒーメーカーを探している」と話しかけたユーザーに対して、AI が「手早く淹れたいか、淹れる過程を楽しみたいか」といったユーザーが求める条件を自然な会話で深掘りし、ユーザーの好みに合った商品を提案する様子が示されました。 Otto はテキストベースのチャットボットも並行して構築を行い、そのテスト結果によると、テキストベースのチャットボットではシステムとユーザーの間の平均対話ターン数が「4回」であったのに対し、音声対話では「11回」に増加しました。 これは、音声対話によるエンゲージメントの飛躍的な向上を示しており、より深いアドバイザリー体験の提供に成功したと述べました。 スクウェア・エニックス : 「真の相棒」としての AI セッションの最後には、株式会社スクウェア・エニックスより「ドラゴンクエスト」シリーズの生みの親である堀井 雄二氏が登壇しました。 堀井氏は「人生はロールプレイングゲーム（RPG）である」という哲学を持ち、画面の向こうにいる一人一人の顔を浮かべながら、どうすれば面白いと思ってもらえるか、どうすれば驚いてもらえるか、そればかりを考えてきたと語りました。そして今、AI という新しい魔法の道具に巡り合い、ゲームと AI を融合させることで、ユーザー1人1人の言葉や行動に AI が心をあるかのように寄り添い、理解し合える世界が作れるのではないかと述べました。 デモ映像では、ドラゴンクエストの代表的なモンスターをベースとした「スラミィ」が登場し、プレイヤーからの問いかけに答える様子や、画面上のプレイヤーの外見をスラミィが視覚的に認識し、自発的に話しかける姿が披露されました。 堀井氏は、AI との冒険の旅が、あなたの人生の本当の力になるとし、それこそが、堀井氏が Google Cloud、ゲームを愛する全ての人と一緒に作り上げたい新しいロールプレイングゲームの姿であると語りました。 山崎 曜 (記事一覧) クラウドソリューション部 元は日系大手SIerにて金融の決済領域のお客様に対して、PM／APエンジニアとして、要件定義〜保守運用まで全工程に従事。 Google Cloud Partner Top Engineer 2025 選出。 Google Cloud 全 13 資格保有。 フルスタックな人材を目指し、日々邁進。 Follow @Akira_Yamasakit