内容梗概
[English | 論文 | 美濃研の研究 | 美濃研究室 ]


運動法則に基づいた映像からの運動モデル獲得


映画制作においてCGを用いた視覚効果が盛んに取り入れられるようになっている. 物体の運動を分かりやすく,迫力のあるものにする視覚効果として, その速度や回転,軌跡などの運動状態を強調したエフェクトの付加が挙げられる. 例えば,映画「少林サッカー」では,ボールの速度,回転を 進行方向と逆方向に尾を引いて渦巻く炎のCGによって強調している. 「マトリックス」では,バレットタイムと呼ばれるシーンで次々と打ち出される弾丸が空気の壁を引き裂くように進んでいく様子をCGにより視覚化し,軌跡を強調している.

このような視覚効果を実映像内の物体に付与するためには 対象物体の運動状態を獲得する必要がある. そこで本研究では物体の運動状態をその物体の運動を撮影した映像から推定することを目的とする. 映像から直接得られる運動状態としてカメラ画像上での平面位置及びその変化がある. しかし,3次元の位置や姿勢のような運動状態は映像からは直接得られない.

そのような直接得られない運動状態を推定する一般的な手法として, 形状モデルのマッチングによる映像からの運動推定がある. これは,対象に関する知識として物体の3次元形状モデルを持ち, 映像の各フレームにおける物体像と形状モデルの投影像の特徴点の平面位置が一致するように, 形状モデルの平行移動,回転移動を行うことによって物体の3次元位置及び姿勢を推定する手法である. この手法では,3次元位置や姿勢のような直接観測できない運動状態の推定に, 直接観測できる運動状態である物体の投影像の特徴点の平面位置を用いている. マッチングによって物体の姿勢が推定できると,そのフレーム間変化から物体の回転を推定できる. しかし,テクスチャのない球体のように特徴点を抽出することが困難な物体に対しては マッチングに失敗するため姿勢推定を行えない問題がある. また上手く特徴点が抽出でき,位置,姿勢を正しく推定できる対象においても, 映像のフレーム間隔が十分小さくなければ回転を正しく推定できない問題もある.

これに対し本研究では,物体に関する知識として運動法則を取り入れ,運動推定に用いることにする. 物体の運動状態は時間変化するが,その変化は運動法則に従っており, 周囲の環境が既知であれば 一組の物体固有の特性,環境固有の特性,それら相互の関係による特性,及び運動状態の初期条件によって統一的に扱える. 運動法則に基づき任意の時刻の運動状態を決定するこの特性の組を運動特性と呼ぶことにする. そこで本稿では運動法則と運動特性を取り入れたモデルを運動モデルと呼ぶことにし, この運動モデルを用いて運動推定を行う手法を提案する. 運動モデルは映像内の物体の運動を観測し,その運動を再現できるよう運動特性の値を調整することで獲得する. 運動法則を取り入れることにより運動を連続的に捉えられるため, 映像の時間解像度に関係なく運動状態が推定できる.

本稿ではボールの剛体運動を取り上げ,ボールの運動モデルを映像から獲得し, 運動推定を行うことで本手法の有効性を検証する. 運動モデルは,運動法則として重力,空気抵抗,揚力,摩擦のある非弾性衝突を考え, 運動特性として抗力係数,反発係数,動摩擦係数,初期位置,初速度,初期角速度を推定する. 観測結果として入力するのは映像の各フレーム画像における物体の平面重心位置とその時刻の系列とし,この系列を軌跡と呼ぶことにする. モデルの獲得は運動モデルを用いたシミュレーションにより, 入力された軌跡が再現できるような運動特性を推定することによって行う. 運動特性の推定には入力された軌跡とモデルにより再現された軌跡の差を評価関数としてPowell法によりその最小化を行う.

実験はまずシミュレータによって得た軌跡を入力として運動推定を行った. その結果,映像内のボールの運動の軌跡から運動モデルを獲得でき, それを用いて運動を推定することができた. この推定結果は入力された映像に対して運動状態を強調するCGを重畳するという目的の上では十分正確であり, これにより本手法の有効性が検証された. 次に実映像からボールの軌跡を抽出し,運動推定を行った. この実験では推定した軌跡と実際の物体の軌跡との残差が大きく, 推定結果の実際の値との比較も行っていない. そのため,実映像への本手法の適用は今後の課題とする.


学位論文のページに戻る