アプトポッドの技術ブログ

全255件

2026/08/21

日々進歩するAIの自分を凌ぐ優秀さを目の当たりにして早くすべての仕事を奪ってくれないかなと思っているみなさん、こんにちは、ソリューションアーキテクトの伊勢です。 AIは文章を書き、画像を作り、コードも書くようになりました。次は、現実世界を認識して自分で考え、身体を動かす「フィジカルAI」の番です。ただし、ロボットを夏休みの自由工作で作るには、少々お小遣いが足りません。そこで今回は、AIに頭脳を、iPhoneに目と耳を、ヒトに足を担当してもらいます。ヒトはAIの指示どおりにチェックポイントを周り、ゴールを目指します。コースは世界一の乗降者数を誇る巨大ターミナル、新宿駅です。果たしてヒトはフィジカルAIに進化するのでしょうか。はじめにフィジカルAIとはオリエンテーリングとは REST APIのアップストリームとは iPhoneショートカットとは作ってみた全体構成地図プラグイン：intdash REST Plugin 設定画面送受信履歴 iPhoneショートカットデータ送信データ取得やってみた Data Visualizerで振り返るおわりにはじめにフィジカルAIとはフィジカルAIは、現実世界を認識し、推論し、行動するAIシステムを指します。ロボットや自動運転車のように、センサーから得た情報をもとに判断し、現実世界へ働きかける仕組みです。 www.nvidia.com 今回は役割を次のように分担します。フィジカルAIの役割今回の担当現実世界を認識する iPhoneカメラ状況を考えて次の行動を決めるサーバーサイドAI 現実世界で行動するヒトロボットのボディを用意する代わりに、私が歩きます。言い換えると Human in the Loop のLoop部分がずいぶん大きく新宿を一周します。オリエンテーリングとはオリエンテーリングは、地図を読みながら指定されたチェックポイントを順番に巡り、ゴールを目指すスポーツです。 日本オリエンテーリング協会 選手は地図に記されたコースと目標物の情報から、現在地や進む方向を判断します。今回はこの地図を読む／次の行動を決める／目標物を確かめるをAIへ任せます。舞台は新宿駅東口から歌舞伎町、新宿御苑、新宿駅南口・西口を経て都庁へ向かう全11ポイントのコースです。 1 自律稼働するフィジカルAIを模して、AIから送られてくる指示だけを頼りに進みます。 REST APIのアップストリームとは AIとヒトの間にintdashを挟みます。 intdashにおけるアップストリームは、デバイス側からプラットフォーム側へデータを送信する方向のストリームです。今回はiPhoneから写真を送り、別のエッジからAIの指示・目標物画像・写真の判定結果を返します。 REST APIによるアップストリームは、HTTPで手軽にデータを送信でき、低頻度データの送信や簡単な検証に向いています。 tech.aptpod.co.jp iPhoneショートカットとは複数の操作を組み合わせて自動化できるApple純正アプリです。カメラで撮影した画像をAPIへ送信したり、APIから受け取った結果の表示を画面上で組み立てられます。 AIがアプリを作ってくれる時代とはいえ、専用アプリで収集データを追加するのはそれなりの開発コストが発生します。今回は複数データの収集を素早く試すため、ショートカットから利用できるプラグインアプリとして実装しました。既存機能を活用して実装コストを抑えられます。 2 作ってみた全体構成今回の構成は次のとおりです。全体構成図 AIがルートマップを読み、各区間の移動指示と目標物画像を準備 intdashを経由して、次のチェックポイント番号・移動指示・目標物画像をiPhoneへ送るヒトが指示に従って歩きいて現地で写真を撮る iPhoneから現地写真をintdashへ送る AIが目標物画像と現地写真を照合する一致すれば次のチェックポイントへ進み、不一致なら再挑戦するサーバー側ではPythonプログラムでAI中継処理を動かしました。このプログラムがintdashとAIをつなぎ、ルート案内、写真照合、チェックポイント進行、休憩・再開を管理します。要するにAIが「次はあっちです」と言い、私が歩き、AIが「そこです」と判定します。地図ルートマップにはコース、チェックポイント、目標物の写真をまとめています。オリエンテーリングのルートマップ地図画像は最初に一度だけAIへ渡します。 AIは全区間の移動指示を生成し、各チェックポイントの目標物を切り抜きます。生成したルート情報と画像は保存し、レース中は再利用します。 AIは地図をかなり読んでくれましたが、高架道路の上下関係や階段の進行方向などは、画像だけでは判断しにくい部分があります。そこで確認済みの情報は補足テキストで渡し、地図の読み違いを減らしました。地図はOpenStreetMapをもとに、オリエンテーリング国際仕様を参考に作りました。 3 地図データ © OpenStreetMap contributors を利用しています。 4 プラグイン：intdash REST Plugin iPhoneの「ショートカット」からintdash REST APIを使えるようにするため、SwiftUIでプラグインアプリを試作しました。 5 巡回地点で写真などを送りたいという要望があり、試しに作ったものです。アプリにApp Intentsを組み込み、ショートカットから呼び出せるようにしました。送信する数値・文字列・画像を送信リストへ追加する複数のデータを同じ時刻でまとめて送信する最新の計測から指定したデータを取得する計測を完了する対応する値は int64 、 float64 、 string 、JPEGです。そのため、位置情報、歩数、気温、住所、音声認識結果、写真など、ショートカットが扱えるさまざまな情報をintdashへ渡せます。設定画面接続先情報、送信エッジUUIDなどを指定します。プラグインの設定画面送受信履歴計測の作成・完了、データID、値、サイズ、通信時刻、成否を確認できます。ログはJSONとして書き出せるので、「ショートカットは動いたように見えるけれど、実際に何を送ったのか」を後から追えます。プラグインの送受信履歴画面 iPhoneショートカットショートカット側では、iPhoneの標準機能とプラグインを組み合わせます。データ送信現地写真に加えて、緯度・経度・高度、住所、歩数、移動速度、気温、湿度、体感温度、バッテリー残量、音声メモを送信できるようにしました。送信したい項目を並べ、最後に「データ送信」を1つ置きます。ショートカットがデータを集めて、プラグインがintdashと通信します。 iPhoneショートカットのデータ送信データ取得 AI側からは、次のチェックポイント番号、移動指示、目標物画像、写真判定、判定信頼度、判定理由を受け取ります。 JPEGも実行結果として表示できるため、次の目標物を確認できます。 iPhoneショートカットのデータ取得やってみたそれでは、人力フィジカルAIを起動します。 AIが最初の指示と目標物画像を送信し、ヒトが歩き始めます。チェックポイントに着いたと思ったら写真を撮影し、AIへ送ります。 AIは目標物と写真を照合し、一致と判断すれば次の指示を返します。似ているけれど違う場所では先へ進めません。人間の「たぶんここでしょ」に対して、AIの方が几帳面です。途中で「暑いのでちょっと休憩したい」と音声メモを送ると、AIは写真判定を止め、休憩と水分補給を案内します。「休憩が終わった」と送ると、現在の移動指示と目標物画像をもう一度送って再開します。 6 スタートからゴールまでの様子を動画にしました。 youtu.be 動画の台本案もChatGPTをベースにしています。 AIに指示されて歩く動画を、AIと相談しながら編集しました。 7 Data Visualizerで振り返るレース中に送受信したデータを同じ時間軸に並べて確認できます。 intdash Data Visualizerのレース全体画面画面には、大きく分けて次のデータを表示しています。担当表示データわかることヒト+iPhone 緯度・経度・高度どこを移動したかヒト+iPhone 歩数・移動速度いつ歩き、いつ止まったかヒト+iPhone 気温・湿度・体感温度どのような環境だったかヒト+iPhone バッテリー残量ゴールまで持ちそうかヒト+iPhone 現地写真・音声メモ何を見て、何を伝えたか AI チェックポイント番号・移動指示何をさせようとしたか AI 目標物画像何を探させたか AI 写真判定・信頼度・判定理由なぜ次へ進めたか AIが送った目標物画像と、ヒトが撮った写真を並べると照合の流れがわかります。撮影写真照合NG 撮影写真照合OK 信頼度と理由も残しているため、AIが判断した根拠を後から確認でき、途中で何が起きていたかをデータとして振り返れます。おわりに今回は、AIにルートマップを読ませてオリエンテーリングをしてみました。 AIは次の目的地を考え、目標物を示し、現地写真を判定します。 iPhoneは周囲の情報を集め、指示を表示します。そしてヒトは歩きます。ヒトはフィジカルAIに進化したのでしょうか。残念ながら、私の脚力は一切アップデートされませんでした。ただし、AI、スマートフォン、通信基盤、そしてヒトを組み合わせることで「認識・推論・行動」のループを現実世界で回せました。今回ヒトが担当した部分をモビリティやロボットへ置き換えると、巡回点検のようなシステムへつながります。現地から写真やセンサーデータを送り、遠隔のAIが判断し、次の行動を返す。今回の自由工作は、その小さな模型です。フィジカルAIを活用するのに、必ずしも最初から立派なロボットを用意しなくてもよいのかもしれません。まずは手の中のスマートフォンと、自分の身体からはじめられます。もっとも、次回までには歩くところも奪ってほしいところです。実際のオリエンテーリングは、人が密集していない開けた場所で安全に行われます。乗降者数世界一の駅近辺でスプリントレースを開催するのは危険ですので、おやめください。今回は周囲の状況を確認し、交通ルールを守って歩行しています。 ↩ 拡張機能 App Intents を組み込んでショートカットから呼び出せるようにしています。 ↩ つまり、猛暑日の新宿一周を事前にもう一回行ったということです。 ↩ 地図と位置説明は、 International Specification for Control Descriptions 2018 日本語版および International Specification for Orienteering Maps 2017-2 日本語版を参考にしています。ただし、作りやすさとAIの読み取りやすさを優先してカスタマイズしており、仕様に則っていない部分があります。 ↩ 本ツールは試作であり、現在、公開や提供の予定はありません。 ↩ 熱中症警戒アラートが出ている日に屋外を2時間歩き回るのは危険です。実施する場合は気象情報と体調を確認し、危険を感じる前に中止してください。この記事の試行条件を再現しないでください。 ↩ 動画のテロップは白がヒト、グリーンがAIの発言です。途中からグリーンばかりになるのは、主体がAIに切り替わっていく演出です。 ↩

OpenStreetMap, 人工知能, サーバーサイド, API, ロボット, ChatGPT, モビリティ, 組み込み

アプトポッド の技術ブログ

コンテンツ

アプトポッドの技術ブログ