拡張された波長帯で画像情報を最大化

ハイパースペクトルイメージング (HSI )とマルチスペクトルイメージング (MSI) は、専用のビジョンシステムを用いて、可視スペクトルを除いた電磁スペクトルの拡張領域から特別な画像情報を取得する2つの相関する技術です (Figure 1)。

Figure 1: 可視波長のスペクトルは電磁波全体のごく一部であり、HSIやMSIではその他の波長を利用して、より多くの情報を収集することができる。

この2つの技術は、似ているようでいて微妙に異なり、それぞれのアプリケーション分野で有益です。この2つの技術は、優れた画像情報を提供する一方で、使用されるシステムの照明やフィルター、光学設計は非常に複雑です。

イメージング技術

一般的なマシンビジョンシステムでは、可視スペクトル (400～700nm) の光のみを使用し、ほとんどのマシンビジョンセンサーは550nm近傍に感度のピークがあります。センサーの感度は量子効率曲線で求めることができ、特定のセンサーについて、特定の波長の光子を電気信号に変換する効率を示すものです。しかし、一般的なシリコンセンサーでは、UVおよびIR波長域で量子効率が低下します (Figure 2)。

Figure 2: RGBカメラの量子効率曲線は、赤、緑、青の感度の重なりを示す。

HSIおよびMSI技術は、特殊なイメージングレンズとマシンビジョンセンサーを利用し、可視光の標準的なビジョンシステムよりもはるかに広い範囲の電磁スペクトルの対象物や環境に関する画像詳細情報を収集します。この特殊なセンサーは、シリコンとは異なる基板材料から製造されるため、製造コストは著しく高くなります。波長2600nmまでのイメージングには、インジウムヒ素 (InAs)、ガリウムヒ素 (GaAs)、インジウムガリウムヒ素 (InGaAs) などの材料が使用されますが、近赤外 (NIR) から中波赤外 (MWIR) までの波長のイメージングには、水銀カドミウムテルル (MCTまたはHgCdTe)、インジウムアンチモン (InSb) 焦点面アレイ、インジウムガリウム (InGaAs) 焦点面アレイ、マイクロボロメーターなどが使用されます。これらの特殊なセンサーは、必要な感度と解像度を得るために、より大きな画素サイズと精密なキャリブレーションを必要とします。¹

こうしたセンサーは特殊な材料で作られていますが、従来のマシンビジョンセンサーとほぼ同様に機能し、注意すべき点はほとんどありません。マシンビジョンのカメラセンサーは、出力されたグレースケールの配列から2D画像を構築し、一般に物体の選別、測定、位置決めなどの特徴認識を行うために使用されます。従来のセンサーでは、光学フィルターや画素に入射する光の波長を制限するベイヤーパターン (RGB) フィルターを使用しなければ光の波長を区別することができません。² これは、近接する画素内外の波長情報から画像を構築するソフトウェアです。HS画像では、画素は (ピクセルグリッド内の) 座標位置と信号強度に関するすべての同じ情報を取得します。しかし、従来の画像では2Dのグレースケール配列であったものが、波長を加えた3Dの配列、すなわち立方体になります (Figure 2)。

Figure 3: MSIとHSIの違いは、それぞれ波長情報を離散的に表現するか、連続的に表現するかの違いである。

上のFigure 3から 、センサーアレイの各画素ごとに波長情報を収集していることがわかります。MSIとHSIの違いは、波長情報の表し方です。MSIは波長情報を個別の帯域にグループ化し、HSIは波長の連続性で表現します。そのため、この2つの技術はほぼ同じですが、HSIのほうがMSIよりも高い波長分解能を持ちます。こうした点からも、この2つの技術には、それぞれ異なる環境において優位性を示します。HSIは、連続スペクトルの微妙な信号の違いに敏感なアプリケーションに最も適しています。このような微妙な違いは、より大きな波長帯をサンプリングするMSIシステムでは見逃してしまう可能性があります。処理する波長数が少なければ全体の処理時間も短くなるため、特定の波長帯を選択的に拒絶したり捕捉したりすることは、HSIにとって有利になります。

波長の情報を得るために、主に4つの取得モードがあり、それぞれにメリットとデメリットがあります。ウィスクブルーム方式は、1つの空間座標に対して一度にスペクトル情報を取得する点走査法であり、最高レベルのスペクトル分解能が得られますが、対象領域をX軸とY軸の両方で走査する必要があります。このため、全体の処理時間が大幅に増加します。¹ プッシュブルーム方式は、一度に一列の画素を取り込み、全領域が得られるまで走査するラインスキャン方式です。この方式を採用することで、小型化や軽量化、操作の簡略化が可能となります。しかし、この方式では露光時間が正確であることが重要となります。露光時間を誤ると、一部のスペクトル帯域でサチュレーションが正しくない画像が作成されます。平面走査方式は、2Dの領域全体を走査し、複数の画像キャプチャーを使用して深さ方向のスペクトルを作成します。この走査方式では、センサーやシステムの移動は必要ありませんが、走査中に対象物が動かないことが重要です。4つ目は、最近開発されたシングルショット (スナップショット) 方式という取得方法です。この方式では、1回の撮影 (ショット) を切り取り (スナップ)、1回の積分時間でHSデータ・キューブ全体を収集します。¹ この方式は、HSIの将来にとって有望ですが、低い空間分解能によって制限されるため、さらなる開発が必要です。¹

Figure 4: 4つの撮影モード： (A) ポイントスキャン (ウィスクブルームモード)、(B) ラインスキャン (プッシュブルームモード)、(C) プレーンスキャン (エリアスキャンモード)、(D) シングルショットモード。

アプリケーション

無人航空機 (UAV) や人工衛星による地表のリモートセンシングや空撮など、さまざまなアプリケーション分野でHSIやMSIの活用が広がっています。HSIやMSIの撮影では、地球の大気や雲を貫通して、遮るものがない状態で地上を見ることができます。そのため、このイメージング技術は、人口動態の監視、地質活動の観察、遺跡の調査などに最適です。さらに、HSIとMSIの両技術は、森林破壊、生態系の劣化、炭素循環、不規則な気象システムに関する環境パターンの監視と研究にも使用されています。研究者は画像データを使用して、気候変動や人間が自然に与える影響に対抗するために役立つ、地球規模の生態系に関する予測モデルを作成することができます。³

また、医師はHSIとMSIの情報により、皮膚をスキャンし、がんを含む細胞の異常を非侵襲的に検出することができます。これは、ある特定の波長が他の波長よりも肌の奥まで浸透するためです。このイメージング技術により、医師は患者による症状についての説明から病状を推測する必要がなくなりました。さらに、これらのイメージングシステムは、スペクトルデータを自動的に記録し、解釈することができるため、診断を迅速化し、診断から治療までの時間を短縮し、より良い治療結果を得ることができます。⁴

他にも、農業、食品の品質と安全性、調剤などの業界がHSIおよびMSIから恩恵を受けています。⁵ 農家では、ドローンやトラクターに取り付けたスペクトルイメージングシステムを使用して畑を広範囲にスキャンし、作物の成長、植物の健康状態、土壌の状態、農薬などの化学物質の散布状況、有害な伝染病や感染症の有無を分析することが可能です。このデータによって、農家は土地の利用を最適化し、生産量を最大化することができます。これらの技術は、Figure 5やVideo 1に示されているように、自然林の健全性を判断する際にも同様に有効です。

Figure 5: これら3つの画像は、木々の森の中を通る小川を撮影したもの。一番左の画像は、標準的なカラー画像。中央の画像は、可視光線以外の赤外波長のみから生成された。一番右の画像は、最初の2枚の画像の波長情報から作成した疑似カラー画像で、樹木の健康状態や人工物の有無などを確認することができる。画像提供： Benjamin Margulies

Video 1: 植物群の健康状態をより詳しく知るために、Figure 5で示されているような異なるスペクトルの画像をどのように組み合わせるのかを解説。

HSIやMSIの今後の開発では、これらのイメージングシステムをよりコンパクトに、より低価格に、より使いやすくすることを目指しています。この技術をより身近に、あらゆる産業で使いやすくすることで、より多くのアプリケーションに使用されるようになることは間違いないでしょう。

参考文献

1. Hyperspectral Imaging: A Review on UAV-Based Sensors, Data Processing and Applications for Agriculture and Forestry.
2. Schelkanova, I., et al. “Early Optical Diagnosis of Pressure Ulcers.” Biophotonics for Medical Applications, 2015, pp. 347–375., doi:10.1016/b978-0-85709-662-3.00013-0.
3. Unninayar, S., and L. Olsen. “Monitoring, Observations, and Remote Sensing – Global Dimensions.” Encyclopedia of Ecology, 2008, pp. 2425–2446., doi:10.1016/b978-008045405-4.00749-7.
4. Schneider, Armin, and Hubertus Feußner. Biomedical Engineering in Gastrointestinal Surgery. Academic Press, 2017.
5. Imaging in Dermatology, 2016; Chapter 16 – Hyperspectral and Multispectral Imaging in Dermatology.