近年,ディジタルカメラは数百万画素の画素数を有している.
また,スチルカメラであっても,動画撮影機能は必須の機能である.
しかしながら,数百万画素の画素を30[fps]などのビデオレートで読出すことは非常に難しい.
そのため,数百万画素のデータをビデオレートで読み出せる程度にデータ量に削減する必要がある.
画素混合とは,データ量を削減させるための技術である. 右図は,ベイヤー配列を有する画像素子に対して,9画素混合を適応する場合の例である. それぞれ,色のついた9画素が混合(平均化)されて,1つの画素値として出力される. 従って,読出す画素数は全画素読出しに比べて,1/9になる. 読出し速度で考えれば,9画素混合により読出し速度は9倍になる. 実際,この9画素混合は,現在市販されているディジタルカメラにも利用されている技術である. また,右図からもわかるように,9画素混合によって等価的に受光面の面積が9倍になると考えられる. そのため,高感度撮影といった応用にも利用されている. 画素混合の欠点は,当然ではあるが画素数が減少すること,空間解像度が低下することである. |
画素混合は,空間解像度が低下してしまうことが問題であった. そこで,我々は近傍画素混合と呼ぶ,新しい画素混合を提案している. 近傍画素混合のポイントは,混合する画素の範囲を最小化していることである. つまり,右図のように,9画素混合の場合では混合する画素は隣接する3×3の範囲の9画素である. 一方,従来の画素混合では,混合する画素は5×5の範囲に広がっている. この違いにより,提案の近傍画素混合では,従来の画素混合と比較してそれほど解像感は低下しない. また,提案の近傍画素混合においても,9画素を混合しているため,従来の画素混合と等しく読出し速度を向上させることができる. |
原画像 | 通常画素混合 | 近傍画素混合(提案) |
ここでは,組合せ画素混合の1つの応用として,超解像処理を考える.超解像処理は,位置合わせ処理と再構成処理の2つの処理から構成される.位置合わせ処理にとってはエイリアシングの影響は好ましくない.一方,再構成処理にとっては,エイリアシングの影響を利用して高解像度画像を再構成している.
従って,組合せ画素混合の出力である,画素混合画像と間引き読出し画像を上手に利用することにより,効果的に超解像処理を行うことが可能である.具体的には,下図のように,画素混合画像を位置合わせ処理に利用し,間引き読出し画像を再構成処理に利用する.
このように組合せ画素混合と超解像処理を応用することにより,通常の動画撮影では組合せ画素混合の出力である画素混合画像を表示し,かつ細部を確認したい場合は上記超解像処理を適用することで,詳細な高解像度静止画像を得ることができる.
組合せ画素混合を利用した超解像処理
超解像処理結果比較
通常画素混合画像 | 通常画素混合画像を利用した 超解像処理結果 |
組合せ画素混合を利用した 超解像処理結果 |