AIワークショップ（ねこ検出器をtinyMLで作ろう）

はじめに

tinyMLをご存知でしょうか？　今非常にホットな話題としてメタバースやブロックチェーン、自動運転などがありますが、tiny Machine Learningという分野がAIの分野でとても注目されはじめています。

安価なマイコンで機械学習（今は推論がメイン）を行う一連の取り組みがtinyMLです。モデルサイズは数kB〜と、普通の機械学習ではありえないほど小さいです。マイコンを使うメリットは、まず金銭コストがあります。安いので使い捨てや、そこらじゅうにばらまいたりするのも可能でしょう。次に消費電力です。1mW程度でも動くので、電池駆動で年単位で推論を行うデバイスを作ることも夢ではなくなります。あとは小型なので色々なモノに組み込める、さらには動いているプロセスが最小なのでシステムとして堅牢など、色々ありますね。

身近な例だと、「アレクサ」「Ok, google」や「Hey siri」はみんなtinyMLの推論によって実現されています。ご存知でしたか？

ハンズオンの内容

そこで今回、tinyMLのモデルをクラウドで作成し、マイコン（Arduino Nano 33 BLE Sense）にデプロイし、カメラを接続して画像認識を行う、という勉強会を企画しました。具体的には、50枚の猫の画像、50枚の犬の画像、50枚の部屋の画像を用いてクラウドでtinyMLのモデルを作り、マイコンにデプロイして推論を実行してみる、となります。

実際の動作の様子は以下をご覧ください。
https://youtu.be/dFs0cVuMqCo

なお、当日はArduino Nano 33 BLE SenseとOV7675カメラをおひとり様1台ずつ無料でお貸し出しします。

ハンズオンは約40ページのテキストに沿ってすすめていただく形になります。

イベントを行おうと思ったいきさつ（長いので飛ばしてokです）

私自身、少し前まで音声系のAIスタートアップ企業に在籍し、AIプロジェクトに身を投じてきました。そこで日々感じていたのは、学習をクラウド上の強いマシンで行うのは理解できるが、推論をCPU/GPUパワーリッチな汎用的かつそこそこ値段のするエッジデバイスで行うということが、プロジェクトの性質によってはコスト的（金額および消費電力の両方）にいかに非現実的であるか、ということでした。

例えば異音検知を行う場合、学習のプロセスはマイク→オーディオケーブル→オーディオインターフェース→エッジデバイス→WiFi→クラウド→モデル作成、などとなります。一方推論のプロセスはクラウド→WiFi→エッジデバイスにモデルをデプロイ→マイクからの音声で推論、などとなるわけですが、マイク、ケーブル、オーディオインターフェース、エッジデバイスを何セットも用意すると、それだけで途方もない金額になり、さらに大量のデータをネットワークに流すコスト、クラウドでの学習のコスト、などを加味すると、ビジネスとして成り立つのか怪しくなる気がしていました。

そんな中、2020年の夏にEdge Impulseというアメリカのスタートアップが提供しているサービスを利用し、マイコン向けに小さな異音検知MLモデルをクラウドで作って数千円のマイコン（マイク付き）にデプロイしたことがありました。この時は人間のせきを検知させようと思ってやってみてうまく検出はできなかったのですが（以下の動画をご参照ください）、それでも大変な衝撃を受け、夜も眠れなくなりました。そこでEdge Impulseの使い方を日本語ドキュメントにまとめて社内に展開したところ、一部のAIリサーチャーからは同じように夜も眠れなくなったと言われました。

ST IoT Discovery Kit (STM32搭載マイコン)+Edge Impulseによるせき検出
動画はこちら

何がそんなに衝撃的だったかといえば、Edge Impulseのシステムが当時私が在籍していたスタートアップが構想＆構築していた異音検知システムのクラウドサービスに酷似していたこともあるんですが、彼らは産業用PCや安価な例だとラズパイのようなものではなく、数千円、下手したら数百円のマイコン用に数kBのモデルをクラウドで作成してエッジにWiFi経由でデプロイする、そういうサービスをもう完成させていたことでした。

せめて推論は半導体マイク搭載の安いマイコンでできたらいいのになぁ。そう思っていたところに、プラットフォームサービスまで含めてもうやっているスタートアップがあった、それがEdge Impuseで、さすがシリコンバレーだなぁ、と感銘を受けたのでした。

IoTとの関連

IoTは儲からない、というのが世の中の常識になって久しいですが、これはIoTのデバイスがそもそも高いし、それらはただセンサーデータを垂れ流すだけで推論はしない、もし推論できても高すぎて話にならない、そんなところだと思います。しかしIoTデバイスがマイコンを搭載したものになって安価になり、さらにtinyMLによって推論までできる超低消費電力＆小型のスマートIoTデバイス化したらどうでしょうか？　今とは景色が全く異なってくると思います。

対象となる方

• tinyMLに興味のある方
• Edge Impulseに興味のある方
  
  

持ち物

• ノートPC（PCはお貸し出し可能ですが、ご自身のPCを使用されたい場合）
  
  

オフライン開催場所

エセナおおた 2F 学習室
JR大森駅から徒歩8分の施設です。

タイムスケジュール

順番と内容は変わる可能性があります。

IoTラボのワークショップ一覧

ワークショップにはジャンルと番号（やさしい順に100番台から）がついています。
リクエスト開催も可能です。ぜひお問い合わせ下さい。

拡大画像

ジャンル

IoT（電子工作、クラウド、プログラミングすべて含む）
CS（クラウドとプログラミング）
EECS（電子工作とプログラミング）
ME（工作）
AI（機械学習）

ワークショップ

電子工作系
EECS 101　はじめての電子工作ワークショップ（パーツショップでは聞けない基礎の基礎）
EECS 103　電子工作ワークショップ(Raspberry Pi Pico編）
EECS 104　電子工作ワークショップ(Arduino編）

ラズパイ
EECS 102　はじめてのラズパイ入門ワークショップ
IoT 102　はじめてのラズパイPico W入門ワークショップ
EECS 103　電子工作ワークショップ(Raspberry Pi Pico編）
IoT 202　AWS IoT入門ワークショップ（ラズパイとAWS IoTでデータの送受信をしよう）
EECS 301 　ラズパイ(Raspberry Pi)で ラズベリーパイ(Raspberry Pie)を焼こう）

IoT
IoT 101　IoT初級レクチャー
IoT 102　はじめてのラズパイPico W入門ワークショップ
IoT 201　AWS IoT入門ワークショップ（センサーデータをAWSに送信しよう）
IoT 202　AWS IoT入門ワークショップ（ラズパイとAWS IoTでデータの送受信をしよう）
IoT 302　スマートホームワークショップ（IoT防犯システムを作ろう）
IoT 307　スマート機器ワークショップ（Web会議向けON AIRサインを作ろう)
IoT 501　AWS IoT中級ワークショップ（AWSで通知システムを構築しよう）
IoT 502　AWS IoT中級ワークショップ （AWSで死活監視システムを構築しよう）
IoT 601　スマートホームワークショップ(Alexa対応赤外線リモコンを作ろう)

3Dプリンター
ME 101　はじめての3Dプリンターワークショップ（3D CADソフトで3Dモデリングしてその場で3Dプリントしよう）

AI
AI 101　AIワークショップ（ねこ検出器をtinyMLで作ろう）

家電改造
EECS 301 　ラズパイ(Raspberry Pi)で ラズベリーパイ(Raspberry Pie)を焼こう）
IoT 701 　家電改造IoTハンズオン（Alexa対応扇風機を自作しよう）

過去のワークショップ
CS 201　Alexaスキルハンズオン(Amazon Echo実機を使ったスキル開発）
IoT 203　みんなのIoTハンズオン（クラウド扇風機を作ろう）
IoT 301　スマートホームワークショップ（WiFiスマートプラグを作ろう）
IoT 303　スマートホームワークショップ（IoT火災検知システムを作ろう）
IoT 304　スマートホームワークショップ（AWS対応赤外線リモコンを作ろう）
IoT 305　スマートホームワークショップ（ESP32とAWSでスマートロックを自作しよう）
IoT 306　スマート機器ハンズオン（冷蔵庫プラグ抜けアラームを作ろう）
IoT 401　Alexaスキルハンズオン（Echo実機からマイコンESP32を操作しよう）
IoT 402　Alexaスキルハンズオン（Alexa対応ハロウィーンランタンを作ろう）
IoT 403　Alexaスキルハンズオン（Alexa対応大気チェッカーを作ろう）
EECS 501　みんなのArduinoハンズオン（Arduinoで低温調理器を作ろう）
CS 501　M5Stack Core2 x AWS IoT EduKitもくもく会
IoT 602　AWS Amplifyハンズオン（認証付きWebアプリからMQTTでESP32を操作しよう）
IoT 901　Alexa対応電子レンジを作る会【ハッカソン】
CS 902　DeepRacerハンズオン＆走行会

お問い合わせ先

support@iotlab.me
050-7128-6590