TOP  >  学位論文  >  露光分割と画素追跡による動きぶれのない画像撮影

露光分割と画素追跡による動きぶれのない画像撮影

画像撮影において露光時間にカメラや被写体が動くと,カメラのセンサ上で光の収束点が変動して動きぶれが発生する.露光時間を短くすると動きぶれは小さくなるが,センサで感知される光の量の揺らぎに起因するショットノイズが増大する.本研究の目標はショットノイズを増やすことなく動きぶれを抑えて画像を撮影することである.レンズやセンサの移動による光学的手ぶれ補正は多くのカメラに搭載されているが,これは特殊な光学系ハードウェアを必要とする.また光学的手ぶれ補正は被写体の動きに対処できないため,手持ちカメラで歩行者を撮影する場合などには有効でない.本研究では露光分割による動きぶれのない画像撮影のための手法を提案する.この手法では露光時間を分割して連続撮影した複数の短露光画像を,画素追跡によって位置合わせしつつ統合する.位置合わせを伴う統合はソフトウェアで行うため,光学系に特殊なハードウェアを加える必要はなく,連続撮影機能のある従来のカメラを用いることができる.また画素単位の位置合わせにより,カメラの手ぶれと被写体の動きに同時に対処できる.
特殊なハードウェアを必要としない従来手法としては,動きぶれのある画像を復元する逆畳み込みがある.これは空間的に一様な動きを仮定するため,背景から独立に動く被写体の動きには対処できない.提案手法と同じく露光分割に基づく手法もいくつか提案されている.これらはいずれも位置合わせにおいて空間的あるいは時間的に一様な動きを仮定しており,手ぶれに伴う画像平面上の回転などの動きには対処しきれない.またこれらの研究では露光分割の原理を理論的に明らかにしていない.複数の画像を統合することによる手ぶれ補正機能のある民生用カメラも存在するが,その詳細は公開されていない.
露光分割の原理は露光短縮と画像統合によってそれぞれ動きぶれとショットノイズを抑えることにある.露光時間を短縮して撮影した画像には動きぶれが少ないが,ショットノイズが大きい.しかしその確率的性質により,同じシーンの画像を複数枚統合すればショットノイズは抑えられる.また画像を正確に位置合わせして統合すれば,シーン中の各点からの光を画像平面上の一点に反映することができるため,動きぶれは生じない.従って短露光画像を位置合わせしつつ統合することで,動きぶれとショットノイズの両者を抑えた画像を得ることができる.
提案手法においてはまず,ある総露光時間をいくつかに分割して複数の短露光画像を連続撮影する.分割数はカメラのノイズ耐性とシーンの明るさに応じてできるだけ大きくする.次に撮影した画像の間で画素の軌跡を推定する.ここでは最先端の画素追跡手法の一つであり,オクルージョンを検出して追跡を止めることができるLDOFトラッカ (large displacement optical flow tracker) を用いる.そして推定した軌跡を使って撮影された画像を位置合わせし,それらを統合して一枚の画像を得る.ここでは追跡によって対応付けられた一連の画素の輝度値を総和して,統合後の画素値とする.オクルージョンによって全画像からは値を得られなかった画素の値は相対的に小さくなるので,スケーリングすることによって補正を行う.
提案手法の有効性を示すため,露光分割を行わない総露光時間での撮影,総露光時間を短縮して行う撮影,ブラインド逆畳み込み(blind deconvolution) 手法,および提案手法を比較する実験を行った.まず各手法の結果を定性的な見た目と定量的なピーク信号対雑音比について比較するため,統制されたシーンにおいて実験を行った.さらに実際の撮影を想定したシーンにおいても実験を行い,結果を比較した.両実験において提案手法では他手法よりも優れた結果が得られ,その有効性が示された.ただし提案手法では画素追跡にかなりの計算時間が掛かることが分かった.
今後の課題は提案手法の画素追跡における計算時間を短縮することである.それにはLDOFトラッカよりも効率的な画素追跡のアルゴリズムを開発する必要がある.