Pixel mixture (画素混合)

English



画素混合とは?

近年,ディジタルカメラは数百万画素の画素数を有している. また,スチルカメラであっても,動画撮影機能は必須の機能である. しかしながら,数百万画素の画素を30[fps]などのビデオレートで読出すことは非常に難しい. そのため,数百万画素のデータをビデオレートで読み出せる程度にデータ量に削減する必要がある.
画素混合とは,データ量を削減させるための技術である. 右図は,ベイヤー配列を有する画像素子に対して,9画素混合を適応する場合の例である. それぞれ,色のついた9画素が混合(平均化)されて,1つの画素値として出力される. 従って,読出す画素数は全画素読出しに比べて,1/9になる. 読出し速度で考えれば,9画素混合により読出し速度は9倍になる. 実際,この9画素混合は,現在市販されているディジタルカメラにも利用されている技術である.
また,右図からもわかるように,9画素混合によって等価的に受光面の面積が9倍になると考えられる. そのため,高感度撮影といった応用にも利用されている.
画素混合の欠点は,当然ではあるが画素数が減少すること,空間解像度が低下することである.



近傍画素混合

画素混合は,空間解像度が低下してしまうことが問題であった. そこで,我々は近傍画素混合と呼ぶ,新しい画素混合を提案している. 近傍画素混合のポイントは,混合する画素の範囲を最小化していることである. つまり,右図のように,9画素混合の場合では混合する画素は隣接する3×3の範囲の9画素である. 一方,従来の画素混合では,混合する画素は5×5の範囲に広がっている. この違いにより,提案の近傍画素混合では,従来の画素混合と比較してそれほど解像感は低下しない. また,提案の近傍画素混合においても,9画素を混合しているため,従来の画素混合と等しく読出し速度を向上させることができる.

原画像 通常画素混合 近傍画素混合(提案)



組合せ画素混合

組合せ画素混合とは,新しい種類の画素混合であり,新しい種類の撮像系の提案である.下図に示すように,組合せ画素混合では,一度の撮影で,9画素混合画像と間引き読出し画像が生成される. このように,一度の撮影で,画素混合に関して異なる性質を有する画像を複数枚出力するという考え方は非常にユニークである.
PSF(点広がり関数)の観点では,周波数帯域の広いPSFによる撮影(間引き読出し)と周波数帯域の狭いPSFによる撮影(画素混合)が同時に実現されている. また,エイリアシングの観点からは,エイリアシングの影響の強い画像(間引き読出し画像)とエイリアシングの影響の弱い画像(画素混合画像)が同時に生成される. さらに,感度の観点からは,低感度撮影(間引き読出し)と高感度撮影(画素混合)が同時に行われていると考えることもできる.

組合せ画素混合のブロック図

ここでは,組合せ画素混合の1つの応用として,超解像処理を考える.超解像処理は,位置合わせ処理と再構成処理の2つの処理から構成される.位置合わせ処理にとってはエイリアシングの影響は好ましくない.一方,再構成処理にとっては,エイリアシングの影響を利用して高解像度画像を再構成している. 従って,組合せ画素混合の出力である,画素混合画像と間引き読出し画像を上手に利用することにより,効果的に超解像処理を行うことが可能である.具体的には,下図のように,画素混合画像を位置合わせ処理に利用し,間引き読出し画像を再構成処理に利用する.
このように組合せ画素混合と超解像処理を応用することにより,通常の動画撮影では組合せ画素混合の出力である画素混合画像を表示し,かつ細部を確認したい場合は上記超解像処理を適用することで,詳細な高解像度静止画像を得ることができる.

組合せ画素混合を利用した超解像処理


超解像処理結果比較
通常画素混合画像 通常画素混合画像を利用した
超解像処理結果
組合せ画素混合を利用した
超解像処理結果



発表論文

特許




このページの先頭へ