内容梗概
[English | 論文 | 美濃研の研究 | 美濃研究室 ]


講師追跡撮影画像を基準とした講義室の広視野画像合成手法


大学等の教育機関において講義をアーカイブしe-learningのコンテンツとして配信する試みが増加している. e-learningのコンテンツとして講義アーカイブが配信される際には,利用者は,講義の映像を視聴することにより遠隔地で行なわれている講義の情報を得る. このとき,ある時刻におけるアーカイブ映像の利用者の注目対象は,アーカイブ映像の利用者それぞれで異なる. 一方で,従来配信されていたアーカイブ映像では,映像の被写体とその解像度は映像の配信者が決定していた. そのため,全てのアーカイブ映像の利用者の,注目対象とその詳細さに対する要求を満たすことはできなかった.

本研究では,アーカイブ映像の利用者の要求を満たすために,アーカイブ映像の利用者が要求する注目対象を全て含み,それぞれに対して十分な解像度をもつ画像を獲得することを考える. このような画像が得られれば,画像中から注目対象を任意に選択でき,また,画質を劣化させることなく注目領域を拡大できる. 本研究では,上記のような画像として,講義室の後方中央の視点から講義室の講師方向を撮影した広視野画像の獲得を目標とする.

広視野画像を獲得する方法としては,複数枚の画像を合成する方法(イメージモザイキング)があげられる. 撮影しているシーンが三次元空間上で平面上にある場合には,平面射影変換という手法を用いてある画像を異なる画像の画像空間へと射影することにより,画像を合成することができる. 本研究で対象とする講義室の大半の部分も平面で構成されていることから,本研究では平面射影変換を用いた広視野画像の獲得を考える.

しかし,平面射影変換には,対象とする平面上にない物体を含む画像を射影変換した時に平面上にない物体の領域で画像が歪んでしまうという問題がある. 従来では,講師と背景を同時に撮影し,撮影された画像上の物体が全て黒板やスクリーンなどの背景の平面上にあるものとして,画像全体に射影変換を行なっていた. そのため,画像の講師領域に歪みが生じ,その結果,複数枚の画像を合成した際に複数の講師の像が生成されてしまう,という問題が生じていた.

そこで本研究では,講師と講義室の背景部分をそれぞれ異なるカメラで撮影し,背景を撮影した画像を講師を撮影した画像へと射影変換することで,画像を合成する際の講師領域での歪みの発生を防ぎ,自然な広視野高解像度画像を合成する手法を提案する.

まず,講師をパン,チルト,ズームの可能なカメラを用いて,講師の全身が含まれるような構図で追跡撮影することで,講師部分に歪みのない画像を獲得する. ここで,黒板やスクリーン等の講師以外の注目対象を,平面の集合で近似されると仮定する. このとき,講師以外の注目対象のみを含んだ画像には平面射影変換を適用することができるため,複数台の固定カメラを用いて講師以外の注目対象を撮影した画像から,講師以外の注目対象を含んだ広視野背景画像を合成することができる. 広視野背景画像を講師追跡撮影画像の画像空間へと射影変換し,広視野背景画像に対して講師追跡画像を優先して合成することで,歪みのない広視野画像を合成する.

広視野背景画像を合成するために,講師追跡撮影カメラの基準姿勢を定め,固定カメラ画像と基準姿勢における講師追跡撮影画像との間の平面射影変換行列Hを,それぞれの画像間の特徴点の対応を手動で与えることにより計算する. Hを用いて,広視野背景画像を講師追跡撮影カメラの画像空間上に獲得することで,広視野背景画像全体を一つの射影変換行列Mを用いて講師追跡撮影画像の画像空間へと射影することができる. 次に,広視野背景画像と講師追跡撮影画像を合成するために,射影変換行列Mを推定する. 射影変換行列Mの推定は,事前に講師追跡撮影カメラの姿勢を適当数サンプリングし,それぞれのサンプリング姿勢に対して事前に射影変換行列を与え,現在の姿勢の近傍のサンプリング姿勢における射影変換行列を用いて線形補間することにより行なう.

本稿ではまず,提案した手法により推定されたMの精度を評価するため,講師追跡撮影画像の画像空間へと射影された広視野背景画像と講師追跡撮影画像との,対応する特徴点間のユークリッド距離を評価した. 対応点間のユークリッド距離は10画素程度と,強校正を行なうことにより計算したMを用いて射影変換した場合のユークリッド距離と比較して同程度となり,本手法の有効性が確認できた. 次に,実際の講義室における広視野画像の合成例を示した. 合成された画像上では講師像やその他の領域において歪みの発生がなく,複数の講師像が生成されるという問題は解消されている一方で,Mの推定誤差により,広視野背景画像と講師追跡撮影画像とのずれが生じている. また,合成された画像中から注目領域を抽出し,その領域における高解像度化を確認した.


学位論文のページに戻る