内容梗概
[English | 論文 | 美濃研の研究 | 美濃研究室 ]


オプティカルフローによる時系列画像からのイメージモザイキング可能フレームの抽出


オプティカルフローにより時系列画像から射影変換行列を求めることなく、イメージモザイキングが可能なフレームを抽出する手法を提案する。

ビデオのブラウジングでは映像を全て見るには時間がかかるため、多くのフレームを合成した1枚の静止画を示すと効率がよい。

イメージモザイキングとは複数の画像を継ぎ目なく合成して1枚の大きな画像を生成する技術である。一般に、ビデオカメラで撮影して得られた時系列画像中ではイメージモザイキングが可能なフレームが限られる。理論上、イメージモザイキングが可能であるためには、2枚の画像間の射影変換行列が一意に定まらねばならない。このことは、カメラの運動の種類または撮影対象が制限されることを意味する。撮影対象を自由にする場合、カメラ運動の種類は焦点中心の回転運動など、オプティカルフローの大きさが撮影対象までの距離によらないようなものに限られる。また、カメラを自由に動かす場合、撮影対象が単一平面上にのっている必要がある。時系列画像中でこの条件を満たすフレームはその一部であるので、そのようなフレームを抽出するためにはイメージモザイキングの可否判定を行う必要がある。一般に時系列画像のフレーム数は膨大なので、可否判定を高速に行うことが必要となる。

従来はイメージモザイキングの可能な画像だけを処理対象としており、可否判定を行わずに射影変換行列を求め画像を変換し合成を行っていた。画素比較法は、画像間の重なり部分の誤差を評価することで可否判定を行うが、イメージモザイキングの処理の最終段階まで実行しなければならない。

本稿では、オプティカルフローによるイメージモザイキングの可否判定法を提案する。オプティカルフローはイメージモザイキングの処理にも利用できるので、提案手法でイメージモザイキングが可能と判定されたフレームについてのみ処理を続けることができる。よって、画素比較法よりも可否判定と判定後の画像系列の合成を高速に行うことが可能となる。

イメージモザイキングの可能なカメラ運動を考え、その中でオプティカルフローの特徴に規則性があるカメラ運動モデル5種類を可否判定の対象とした。このカメラ運動モデルは、画像平面と平行な平面上の平行移動、焦点中心の回転運動、ズーム、光軸に沿った前後移動、光軸回りの回転運動の5種類である。可否判定は、与えられた時系列画像中で連続する2枚の画像間のオプティカルフローを分析し、これら 5種類のカメラ運動モデルに該当するかどうかを検証することで行う。

5種類のカメラ運動モデルの有効性と提案手法が可否判定から合成画像の生成までの処理を画素比較法より高速に行えるかどうかを調べるために、3種類の実験を行った。 1つ目の実験では、 5種類のカメラ運動モデル通りにカメラを動かして得られた時系列画像を用いて、提案手法で正しく可否判定できるかどうかを検証した。その結果、5種類のカメラ運動モデルで平均して、時系列画像の87%を正しく判定できた。 2つ目の実験では、提案手法の方が画素比較法よりも処理時間が短くなる条件を考察した。イメージモザイキングの可否判定と合成それぞれにかかる計算時間を測定した結果、イメージモザイキングが不可能なフレームが時系列画像中に0.1%よりも多く含まれていれば処理時間が短くなることが分かった。 3つ目の実験では、ビデオカメラの運動を制限せずに撮影した時系列画像を用いて5種類のカメラ運動モデルの有効性について検証した。実際に画像を合成し画素比較法で可否判定を行うと、時系列画像中の69%についてイメージモザイキングが可能であった。その69%の中で、提案手法によりイメージモザイキングが可能であると判定した割合は、 83%であった。以上から、提案手法は画素比較法よりも処理時間が短く、かつ画素比較法に近い判定能力があることが示せ、その有効性が確認できた。


学位論文のページに戻る