センサーとレンズ

ナイキスト周波数での撮像

高度なレンズ選定の公式 1で定義されているナイキスト周波数と呼ばれるもので撮像することは良い考えのように思われます。しかしながら、ナイキスト限界における撮像は、観察する細部が正確に1画素上で捉えられることを意味するので注意が必要です。イメージングシステムが1/2画素分シフトすると、対象となる細部は2つの画素間にまたがるため、完全にぼやけた画像になります。この理由から、ナイキスト周波数での撮像は推奨できません。サブピクセル補間が使用されないと仮定すると、ナイキスト周波数の半値で撮像することが一般的に推奨されます。これにより、観察対象の細部が最低2画素で常に捉えられるようになるからです。

時折不適切に実行されてしまう別の推定に、レンズが使用されるセンサーのナイキスト周波数で実質的な (>20%) コントラストを持たない限り、そのカメラでの使用には適さないというのがあります。これは正しくはありません。前述のように、ナイキスト限界での撮像は良策とは言えず、いくつかの問題を引き起こすことになるからです。レンズが特定のカメラセンサーに適しているかどうかを判断するためには、システム全体を見る必要があり、アプリケーションに依存することが多くなります。次のセクションでは、ナイキスト周波数で、また及びその近辺で使用された場合にイメージングシステムに何が起こり、システム全体の解像度にどのような影響を与えるかについて解説します。

カメラセンサーとイメージングレンズ間の相互作用を理解することは、マシンビジョンシステムを設計・導入していく上で極めて重要です。この関係の最適化は見落とされることもしばしありますが、システム全体の解像力性能に及ぼす影響は少なくありません。カメラとレンズの不適切な組み合わせは、イメージングシステムに無駄な費用を費やすことにも繋がります。全てのアプリケーションにおいて、どのレンズとカメラを用いるべきかを決定することは、残念ながら、常に容易な作業とはなりません。新たな製造対応力を駆使して数多くのカメラセンサーが日進月歩で開発・製造される現在、カメラとしてのドライブ性能が常に進化を続けています (またこれを追随する形でレンズも進化を続けています)。この新たなセンサーの出現は、レンズがそれに対応していくための数多くの課題を突き付け、カメラとレンズの正しい組み合わせをわかりづらくさせています。

課題の一つに、画素の大きさが小さくなりつづけているという現実があります。画素サイズの小型化は、システムレベルの高解像化を一般に意味しますが、使用するオプティクスを慎重に考慮した後でも、常にそうなるとは一概に言えません。システム内に光の回折がなく、光学収差の全くない完全な世界では、解像力はセンサーの画素サイズと被写体の撮像エリアのサイズから単純に求まります (詳細は解像力を参照)。端的に言うと、画素サイズが小さくなるとシステムの解像力は向上します。被写体のディテールがより小さな画素に対応して細部をより解像できるようになるため、解像力が向上するのです。但しこれは、カメラセンサーが物体を検知する際にノイズや他のパラメータを全く考慮に入れていない、過度に単純化したモデルと言えます。

課題の一つに、画素の大きさが小さくなりつづけているという現実があります。画素サイズの小型化は、システムレベルの高解像化を一般に意味しますが、使用するオプティクスを慎重に考慮した後でも、常にそうなるとは一概に言えません。システム内に光の回折がなく、光学収差の全くない完全な世界では、解像力はセンサーの画素サイズと被写体の撮像エリアのサイズから単純に求まります (詳細はセクション 2.2 の解像力を参照)。端的に言うと、画素サイズが小さくなるとシステムの解像力は向上します。被写体のディテールがより小さな画素に対応して細部をより解像できるようになるため、解像力が向上するのです。但しこれは、カメラセンサーが物体を検知する際にノイズや他のパラメータを全く考慮に入れていない、過度に単純化したモデルと言えます。

レンズにも解像力のスペックはありますが、センサーのそれと同様に理解していけるほど単純ではありません。なぜなら、センサーの画素のような具体的な大きさのパラメータがレンズにはないからです。しかしながら、レンズにはそれを通して撮像する際、センサーの各画像に対応する物体細部のコントラスト再現性 (変調伝達関数 or MTF) を最終的に決定づける2つのファクターがあります：回折と収差です。回折は、光が開口を通過するどんな時にも生じ、コントラストの低下を引き起こします (詳細はエアリーディスクと解像限界を参照)。収差は、現実世界の性能で解説している通り、どんなイメージングレンズにも起こるエラーで、収差の種類に依存して画像情報をほやかしたり、異なる位置にします。F4以下の明るいレンズでは、光学収差は最も頻繁にシステム内に生じ、回折限界によって規定される｢完璧な結像性能｣から離れていきます。大抵の場合、レンズは公式 1で規定される理論的なカットオフ周波数 ($ \small{\xi_{\small{\text{Cutoff}}}} $) で単純に機能しなくなります。

この公式をカメラセンサーに関連付けると、画素の周波数が高くなるほど (画素サイズが小さくなるほど)、コントラスト性能は低下していきます。どのレンズでもこの傾向を常に追随します。しかしながら、これは現実世界のレンズの性能を考慮に入れていません。どれだけ厳しい公差で設計・製造されたレンズであっても、レンズの収差の影響があり、現実世界の性能は設計上の性能、即ち名目上とは異なります。現実世界のレンズの性能が名目上のデータに対して実際にどうなのかを推定するのは難しいことですが、特定のレンズとカメラセンサーがマッチしているかを見極めることはラボ内のテストで可能です。

(1)$$ \xi _{\small{\text{Cutoff}}} = \frac{1}{\lambda \times \left( f / \# \right) } $$

(1)

$$ \xi _{\small{\text{Cutoff}}} = \frac{1}{\lambda \times \left( f / \# \right) } $$

レンズがあるセンサーに対応しているかを理解する一つの方法に、USAF 1951のバータイプターゲットを用いた解像力テストがあります。バータイプの解像力ターゲットは、レンズ/センサー間のマッチング度を評価するのに、スターターゲットよりも優れた方法です。なぜなら、正方形 (や長方形)サイズのセンサーの画素形状に合わせやすいからです。以下の例は、同じ高解像力50mmレンズを3種類の異なるセンサーでライティング条件を同じにして撮影した時のテスト画像です。どの画像も、レンズの名目上で光軸上のMTF曲線 (青線) で比較しています。光軸上の曲線だけをプロットしたのは、コントラストを計測する際の関心領域 (ROI) エリアをセンサー中央部の小さなエリアにしたためです。Figure 1aは、50mmレンズを1/2.5型サイズのON Semiconductor社製MT9P031センサー (ピクセルサイズは2.2µm) に用い、0.177Xの光学倍率で撮像したときの性能を表します。

A comparison of nominal lens performance vs. real-world performance for a high-resolution 50mm lens on the (a) ON Semiconductor MT9P031 with 2.2μm pixels, the (b) Sony IXC655 with 3.45μm pixels, and the (c) ON Semiconductor KAI-4021 with 7.4μm pixels. The red, purple, and dark green lines show the Nyquist limits of the sensors, respectively. The yellow, light blue, and light green lines show half of the Nyquist limits of the sensors, respectively.

Figure 1: 高解力50mmレンズの名目上と現実世界のレンズ性能比較： (a) 2.2µmの画素サイズをもつON Semiconductor製MT9P031センサー上、(b) 3.45µmの画素サイズをもつSony製IXC655センサー上、(c) 7.4µmの画素サイズをもつON Semiconductor製KAI-4021センサー上。赤・紫・深緑の各線は各センサーのナイキスト限界を、また黄・水色・薄緑の各線はナイキスト限界の半値をそれぞれ表す。

解像力の公式 1を用いて計算すると、センサーのナイキスト周波数 (ξSensor) は227.7$ \small{ \tfrac{\text{本}}{\text{mm}}} $になり、システムが理論上撮像できる物体の最小サイズが0.177Xの倍率時に12.4µmになります (解像力の公式 1を置換して)。

(2)$$ \xi _{\small{\text{Sensor}}} = \frac{1000 \tfrac{\large{\unicode[Cambria Math]{x03BC}} \normalsize{\text{m}}}{\text{mm}}}{ 2 \times 2.2 \large{\unicode[Cambria Math]{x03BC}} \normalsize{\text{m}}} \cong 227.7 \tfrac{\text{本}}{\text{mm}} $$

(2)

$$ \xi _{\small{\text{Sensor}}} = \frac{1000 \tfrac{ \mu {\text{m}}}{\text{mm}}}{ 2 \times 2.2 \mu {\text{m}}} \cong 227.7 \tfrac{\text{本}}{\text{mm}} $$

これらの計算から、コントラスト性能がゼロになる周波数を理解しておかなければなりません。Figure 6.8aの下段側の画像は、USAF 1951 ターゲット内の2つの3バーチャートを撮像したものです。左側の画像は1本のバーを描写するのに2画素分を用いて撮像しているのに対し、右側の画像は1画素分を用いて撮像しています。センサーのナイキスト周波数 (227$ \small{ \tfrac{\text{本}}{\text{mm}}} $) のところでは、ターゲットを8.8%のコントラスト性能でしか撮像できていません。これは、信頼できる画像システムに対して推奨される20%の最小コントラスト性能よりも低い値です。なお物体のディテールのサイズが倍の大きさの24.8µmに増えれば、コントラスト性能は3倍近くになります。経験則では、ナイキスト周波数の半分の大きさのところでは、イメージングシステムのコントラスト性能は信頼に足る高いものとなります。

(3)$$ \xi_{\small{\text{Object Space}}} = \xi_{\small{\text{Sensor}}} \times m = 227 \tfrac{\text{本}}{\text{mm}} \times 0.177 \cong 40.3 \tfrac{\text{本}}{\text{mm}} \cong 12.4 \large{\unicode[Cambria Math]{x03BC}} \normalsize{\text{m}} $$

(3)

$$ \xi_{\small{\text{Object Space}}} = \xi_{\small{\text{Sensor}}} \times m = 227 \tfrac{\text{本}}{\text{mm}} \times 0.177 \cong 40.3 \tfrac{\text{本}}{\text{mm}} \cong 12.4 \mu {\text{m}} $$

イメージングシステムが解像することのできない物体のディテールは、確実なもので12.4µmの大きさとなり、解像力が示すことは正反対の結論となります。数学的には物体側のディテールはシステム対応力内に収まるためです。この矛盾は、イメージングシステムが特定の解像力に対応できるかを見極めるのに一つの計算や近似式を用いるだけでは不十分であることの裏付けとなります。加えてナイキスト周波数の計算は、システムの対応解像力の根幹を決定するための絶対的尺度ではなく、システムが持つであろう限界を知るための目安にすぎないという事実です。8.8%というコントラスト性能は、精度を考慮する上において低すぎます。条件内の小さな変動要因が、コントラストを解像不可能なレベルにまで容易に下げてしまうからです。

Figure 1bと1cは、MT9P031上のそれと同じ画像ですが、使用したセンサーはSony ICX655 (画素サイズは3.45µm) とON Semiconductor KAI-4021 (画素サイズは7.4µm) です。どちらも解像力性能を見るのに、左側の画像は1本のバーを描写するのに2画素分を用いて撮像しているのに対し、右側の画像は1画素分を用いて撮像しています。これらの3つの性能比較の大きな違いは、Figure 1b と 1cのどちらの画像コントラストも20%以上あり、ナイキスト周波数における解像が (一見して) 信頼できる点です。もちろん、Figure 1aで用いた2.2µmのものと比較すると、解像可能な物体のディテールは大きくなります。しかしながら、2.2µmのピクセルサイズにおけるナイキスト周波数での撮像は十分とは言えず、物体のわずかな動きが2つの画素間で所望するディテールをシフトさせ、物体を解像不能にさせます。なおピクセルサイズが2.2µmから3.45µmに、そして3.45µmから7.4µmへと大きくしていくと、物体のディテールのサイズを倍にした時のコントラスト性能の向上率は緩やかになっていきます。ICX655 (ピクセルサイズは3.45µm) ではコントラスト性能が2倍以下になり、KAI-4021 (ピクセルサイズは7.4µm) では更に小さな向上率になります。

Images taken with the same lens and lighting conditions on three different camera sensors with three different pixel sizes. The top images are taken with four pixels per feature, and the bottom images are taken with two pixels per feature.

Figure 2: ピクセルサイズの異なる3種類のカメラセンサーを同一レンズ、同一照明条件で撮像した時の画像。上側の画像は1本のバーを描写するのに4画素分を用い、対する下側の画像は2画素分を用いて撮像

Figure 1における重要な違いの一つに、名目上のレンズMTFと現実世界の実際の画像のコントラストの違いがあります。Figure 1a右側のレンズのMTF曲線は、227$ \small{ \tfrac{\text{本}}{\text{mm}}} $の周波数で24%程度のコントラストが本来得られるべきなのですが、実際のコントラストは8.8%にしかなっていません。この違いを生む2つの主要因がセンサーMTFとレンズ公差です。殆どのセンサーメーカーは、センサーに対するMTF曲線を公開していませんが、レンズのMTF曲線と似た形状の曲線を描く特性がセンサーにも実際はあります。システムレベルでのMTFは、システムを構成する部品個々のMTF特性全てによる生産物となるため、システムの全体解像力性能をより正確に予測するために、レンズとセンサー両方のMTF特性が必要になります。

また上述の通り、レンズの製造公差を加味したMTF特性も名目上のそれとは異なります。これらのファクター全てが組み合わさり、システムに予測する解像力性能に変化を与えます。公開されるレンズのMTF曲線がシステムレベルでの解像力性能を正確に表している訳ではありません。

Figure 2の画像からわかる通り、システムレベルで最も高いコントラストが得られるのは、大きなピクセルサイズを用いて撮像した画像です。ピクセルサイズが小さくなると、コントラストがかなり低下します。マシンビジョンシステムにおける最小コントラスト値を20%に設定することは、良質なベスト・プラクティスの一つです。20%よりも小さくすると、温度変動や照明のクロストークによって生じるノイズ変動の影響が相対的に大きくなりすぎるからです。Figure 1aにある2.2µmのピクセルサイズと50mmレンズを用いて撮像した画像は8.8%のコントラスト性能しかなく、2.2µmサイズに対応する物体側ディテールの画像データとしては信頼度が低すぎます。レンズがシステム中の制限因子になってしまっています。2.2µmよりも更に小さなピクセルサイズを持つセンサーは確かに市場に存在し、人気もありますが、そのサイズになってしまうとレンズを個々の画素レベルにまで解像させるのはほぼ不可能に近いです。これが意味するところは、システムレベルの解像力性能を予測するために解像力で解説した数々の公式は、このピクセルサイズになってしまうと実質無意味で、上記に紹介した画像と同様の画像を取得することは不可能ということです。しかしながら、こうした小さすぎる画素にはまだ使い道があります – レンズが全体の画素を解像できないことがその使い道をなくすことには繋がりません。ブロブ解析や光学文字認識 (OCR) といった特定アルゴリズムにとっては、レンズが個々の画素レベルにまで解像できるかよりも、どれだけの数の画素が特定の状態に該当しているかをカウントする方のが大事になります。より小さな画像を使うとサブピクセル補間を避けることができるため、計測の精度も向上します。加えて、ベイヤーフィルターの付いたカラーカメラに切り替える際は、解像力損失の影響が少なくなります。

別の重要なポイントは、1本のバーを描写するのに1画素から2画素へと増やすと、特に小さなピクセルサイズにおいてコントラスト性能が相当量改善されることです。周波数の大きさを半分にすることで、解像可能な最小物体サイズは実質倍の大きさにはなってしまいますが、1画素レベルにまで下げることに固執する場合、レンズの倍率を2倍にして実視野の大きさを半分にすることが効果的です。こうすることで、対応するディテールのサイズを倍にしてそこに多くの画素を割り当てられるため、コントラスト性能を相当量大きくすることができます。なおこのソリューションのデメリットは、全体の視野サイズが小さくなってしまうことです。イメージセンサー側からすれば、最良な対応策はピクセルサイズを同じにして解像力性能を維持しながら、センサーフォーマットを倍の大きさのものに変えることだと言えます。一例として、2.2µmのピクセルサイズを持つ½型センサーを1Xの光学倍率で使用した画像システムは、2.2µmのピクセルサイズを持つ1型センサーを2Xの光学倍率で使用した画像システムと実視野サイズや空間解像力性能が同じです。但し2Xのシステムでは、コントラスト性能が理論的に倍の大きさになります。

センサーサイズを倍にする対策は、残念ではありますがレンズに別の問題を与えることになります。イメージングレンズの大きなコストドライバーの一つに、設計されたセンサーフォーマットサイズがあります。大判センサー用の対物レンズは、より多くの光学部品で構成され、同センサーに対応するため各部品のサイズを大きくし、かつシステム公差をより厳しくしていく必要があります。上記にあげた例をそのまま続けると、例え同じ限界解像力スペックを持たなかったとしても、1型センサー用にデザインされたレンズは1/2型センサー用にデザインされたそれの5倍近い費用がかかることがあります。

前のセクション次のセクション Next Section