見えないモノを見つけ出せ！光学素人の普通のSEが、「スペクトルイメージング」に挑戦した話

アーカイブ動画

スペクトルイメージング挑戦のきっかけ

原田氏は、NECソリューションイノベータの松本センター（長野県松本市）から全国の拠点とコミュニケーションを取りながらソフトウェア開発業務に従事している。

現在は、大きく二つの業務に従事している原田氏。一つは組み込み機器向けのファームウェア開発や、スマホ向けアプリケーション開発に携わっている。もう一つは、組織横断で行われる共創活動だ。

地域連携・産学連携を行いながら、新たな価値を提供するための共創活動『ろぼてプロジェクト』にもコンセプト段階から参加。実証実験時のデモ環境の構築、利用者アンケートのイラスト作成などを担当している。

また、組織横断活動として、グラフィックファシリテーション、グラフィックレコーディングなど、社内におけるグラフィック活用の啓蒙活動も行っている。

そんな通常の業務ではまったくスペクトルイメージングと絡むことがなかった原田さんが、スペクトルイメージングに関心をもったきっかけは、社内の技術共有の会議の中で、肉の鮮度がわかる「ハイパースペクトルカメラ」の話を聞いたことだ。

ハイパースペクトルカメラについて興味を持った原田さんは、調べてみることにした。ハイパースペクトルカメラとは、光を波長毎に分光して撮影するカメラ。非常に簡単に言うと、普通のカメラよりも、たくさん色がわかるカメラである。

100バンド以上の波長情報が取得できるため、従来のRGBカメラでは困難な色情報や物質の材質を知ることができる。例えばプラスチックの種類の判別も、通常のRGBカメラで判別するのは難しいが、ハイパースペクトルカメラで撮影すると、ポリプロピレンなのかポリスチレンなのか、多くの波長情報から素材を判別できるのだ。

実際に撮影すると、1ピクセルに対してRGBカメラでは3点のみの情報の取得となるが、ハイパースペクトルカメラでは1ピクセルに対して100以上の色が取得できる。原田氏は「普通の写真ではわからないことがわかるようになる」非常にすごい技術だと思ったという。

実際、ハイパースペクトルカメラはどのようなところで使われているのか。先述した肉の鮮度チェックのほか、食品系では異物が混入されていないかという確認にも使われている。

「例えばコーヒーフロートのクリームの中に紛れ込んだプラスチックの検出に利用されたり、美容・医療系では血管の検出に利用されています。詳しくは『ハイパースペクトルカメラ　事例』で検索してみて下さい」（原田氏）

ハイパースペクトルカメラを調べていくうちに、さらに興味を深めた原田氏は、「何かに使えないか」とハイパースペクトルカメラの活用用途を漠然と考えるようになっていた。

そんなとき、社内で若手向けの新規事業創出コンテスト「I'm HERO Program」が開催されることとなった。「I'm HERO Program」は現場に宿るビジネスの種を見つけ、成長させる投資制度。業務に関係のないことでもOK、上司の承認も不要で、アイデアと本人の意欲を重視されるコンテストである。しかも申請書はスライド2枚のみとお手軽だ。

「これはチャンスだと思い、ハイパースペクトルカメラを使って何かできないかを妄想することにしました」（原田氏）

ハイパースペクトルカメラのアイデアが新規事業コンテストで採用

原田氏が妄想したネタは2つ。1つは、ハイパースペクトルカメラを使うと人間の目に見えないモノが見えるので、見えない塗料で着色したら、目に見えないタグが作れるのではというもの。

もう一つは、ハイパースペクトルカメラがもっと安価になれば、いろいろなところに使えるのではというもの。ハイパースペクトルカメラは高機能なので1台数百万円するなど価格が高い。そこで撮影対象を絞ることができれば、特定の波長情報だけを見れば良くなるので、別の方法で代用できるのではと考えたのである。

「撮影対象を絞ることで安価を実現するという検討は、大学などでも研究されています。専門的な機材とか知識もあまりない中でこのようなことを妄想してみました」（原田氏）

このようなカメラを実現して、どんなものに活用できるのか。

「あまり出したくないけど、特定の人には知ってほしい、普段は見えなくてもいいが必要な時だけ見えてほしいものに使えるのではと考えました」（原田氏）

例えば、デザイン性の高いモノへの表示、個人情報の表示、アレルギー情報や病歴の表示、ブランド品の偽造防止などである。原田氏は、このアイデアをまとめて新規事業創出イベントに応募した。

選考の結果、原田さんのアイデアは活動として採用されることになったのである。プレゼンテーションを聞いた聴講者からは、「幅広い用途への活用を期待できるアイデア」「景観を壊さない、使う人が気を遣わなくてもいい、プライバシーに配慮できるなど、素晴らしい効果がある」など、嬉しいコメントがたくさんあったという。

妄想を検証してみた、その結果は……？

活動がスタートすることになり、準備が始まった。また会社からもいくつものサポートが提供された。仮説検証のための機材調達の支援や検討メンバー（商材企画チームや知財チーム）のアサイン、事業部幹部による活動に対するフィードバック、立命館大学山本教授との産学連携などがその代表例だ。

活動は「妄想1の検証」「妄想2の検証」「その後」という3つのステップに分けて実施。ファーストステップの妄想1の検証では、使えそうな波長域を見つけることを目的にハイパースペクトルカメラ撮影実験を実施。セカンドステップでは安価に実現するための仕組みを見つけるために、塗料、フィルタを選定する。

サードステップではファースト、セカンドステップの結果を受けて、実際に使えるかどうかを試すために、試作品の作成、実証実験などを行っていくことにした。この3ステップについて調査や実験を含めて、約2カ月半で進めている。

「ハイパースペクトルカメラについては、NECの研究所が所有していたものを借りることができたので、調達に時間をかけずに進めることができました」（原田氏）

妄想1の検証では、選出した13種類の透明塗料を白い布に塗布し、撮影環境を変えながら、ハイパースペクトルカメラで撮影。撮影データのスペクトル情報を調査するだけではなく、特徴的な分布があるかを調べることに加え、段ボールの中（ボックス内）、室内、太陽光の当たる屋外と撮影環境による影響についても確認した。

「結果としては、ハイパースペクトルカメラでは青色の透明蛍光塗料を塗ったものは違いがわかりましたが、それ以外の塗料については特徴的なスペクトル分布が確認できず、違いがわかりませんでした」（原田氏）

今回の結果から次のことが考察された。蛍光塗料の場合は、吸収光（紫外線など）を受け取って別の波長（放出光）を出す。今回の蛍光塗料は、420nm付近を吸光し、440nm付近を放出する。その差がスペクトル上で現れた可能性がある。

また、明るい色の下地では変化がわかるが、暗い色の下地になるにつれて変化がわかりにくくなっていた。「下地の色も大事なことがわかった」と、原田氏。

青色の透明蛍光塗料以外についても撮影したが、今回は違いが分からなかった。今回使用したハイパースペクトルカメラは撮影できる波長のレンジが決まっており、400nm～1000nmまで。つまり400nmよりも短い波長のモノはレンジから外れてしまうため、違いがわかりにくくなってしまったのではと考察できる。

青色の透明傾向塗料は使えそうだが、塗料を塗ったことによる差は見られなかった。思っていたよりも、下地の影響が大きいこともわかった。

「これらの結果より、いろいろな場所で使えると思った一方で、考えが少し甘かったことを認識しました。光学を学んでいる人であれば、この結果は当たり前と思われるかもしれませんが、知識のない状態から始めた私にとっては、新たな学びとなりました」（原田氏）

次に行ったのは「撮影対象を絞れば安価にできるのでは」という妄想2の検証である。妄想1の結果を踏まえると、透明蛍光塗料（青）であれば、420nmと440nmの区別がつけばよい。そこで、市販のWebカメラとマルチバンドパスフィルタでわかるのではと考え、実験をすることにした。

今回用意したマルチバンドフィルタの周波数は407、494、576nm。撮影対象は透明蛍光塗料プリンタで印刷した用紙で、撮影用カメラはiPhone7のカメラを使用した。

結果は「こちらもうまくいかなかった」と原田氏。iPhoneカメラの撮影素子の感度とマルチバンドフィルタの波長設定が甘かったのか、フィルタを通しただけでは変化はわからなかったという。また妄想1で使用した布でも検証したが、結果は同じだった。

今回、妄想1と妄想2とも、原田氏が妄想したとおりの結果は得られなかったが、「素人ながら実際にハイパースペクトルカメラをレンタルしたり、色を塗って検証できたのはいい経験となりました」と原田氏。

今後は他の塗料を試したり、検出のためのアルゴリズムを検討したりなど、まだやれることはたくさんあるので、知識と妄想を強化して次のアプローチを考えていきたいと誓った。

失敗を許容する文化、トライできる環境がある

今回の活動を通して、原田氏は「社内にトライできる環境がある」ことに気づかされたという。ビジネス化まで進めることはできなかったが、それによって上司からとがめられることもないだけではなく、「次の挑戦を待っている」と、応援の言葉をかけられた。

「失敗を許容してくれる文化と挑戦を促す仕組みがあることを改めて感じることができました。またNECソリューションイノベータでは自分から発信していると、誰かが情報をくれるという文化もあります。今回のテーマは、普段SEをしている自分では触れることのなかった領域なので、刺激になりました。これからも次につなげられるよう勉強し、挑戦を続けたいと思います」（原田氏）

NECソリューションイノベータでは、今後も今回のようなイベントを開催する予定だ。「関心を持たれた方はぜひ参加してください」と原田氏は呼びかけ、セッションを締めた。

【Q＆A】有識者も参加し、活発化した質問タイム

セッション終了後、Q&Aタイムが始まった。さまざまな質問が寄せられたが、抜粋して紹介する。

──ハイパースペクトルカメラは可視光を使ったのか。近赤外線でないと識別は難しいのでは？

今回使用したハイパースペクトルカメラは、400nmから1000nmという可視光域の波長を撮影できるカメラでした。近赤外光についてはできていなかったため今後検討していきたいと思います。

──塗料の検出のために、機械学習によるマッチングなどの方法は取られなかったのか。

通常、ハイパースペクトルカメラを使ってモノの材質などを識別する際は、機械学習を使うことがよくあります。ですが今回は妄想1の撮影結果から機械学習による識別が実用的にできるだけの変化が見られなかったため、機械学習によるマッチングは対象外としました。また時間的な制約もあったため難しかったということもあります。

──ハイパースペクトルカメラによる実測値は1ピクセルの情報を出力するのか。ノイズの影響もあって基本的には面で情報を出力していそう(カメラなので2Dかなと)。

今回使用したハイパースペクトルカメラは面で情報を出力しています。1ピクセルごとに約200波長分のスペクトル情報が含まれています。

──実験自体は一人で進められたのか。

実験自体は基本的には一人で行っていましたが、撮影実験には私以外にも1名、協力してもらいました。ハイパースペクトルカメラの利用シーンの検討は、チームメンバーと進めており、活動自体は複数人で進めています。

メンバーはアイデアが採用されたとき、一緒にやりたいと申し出てくれた人たち。結果的には、いろいろな部署からハイパースペクトルカメラに興味を持つ人が集まってくれました。

──通常の業務をこなしながらだと思うが、一日何時間くらい取り組めたのか。

今回の活動は予算としても組み込んでいただいており、上司からも活動に専念してくださいと言われていたので、大体半日ぐらいの時間を使って進めることができました。

──今回うまくいかなかったとのことだが、今後この取り組みはどのように活かしていく予定なのか。何か構想があれば聞きたい。

今回の活動を通して、ハイパースペクトルカメラ自体の知識を深め、ハイパースペクトルカメラの強み、弱みを知ることができました。今後はそれを生かしたテーマで進めていこうと考えています。

例えばハイパースペクトルカメラは、光の干渉やモノの水分量の測定、物質のマッチングに強みを発揮します。一方で、水分量の測定では暗い下地に対して弱かったり、物質のマッチングでは同じ分子構造の場合、識別が難しいといった面があります。その点を踏まえ、今後の取り組みについては、新しいテーマを考えていきたいと考えています。