TOP  >  学位論文  >  現実物体を介した形状の異なる仮想物体の操作

現実物体を介した形状の異なる仮想物体の操作

バーチャルスタジオは,実写の説明者(以後,演者と呼ぶ)の映像と CGで作成した仮想背景や3次元のCGモデル(以後,仮想物体と呼ぶ)とを合成した映像を視聴者に提供するシステムである. このバーチャルスタジオにおいて,説明者が仮想物体を直接手で操作することができれば,視聴者に対してより分かりやすい説明ができると考えられる. しかし,通常バーチャルスタジオにおいて,演者はCGの仮想物体を直接見たり,操作の感覚を得たりすることができず, 演者は仮想物体と自分の姿が合成された映像をフロアモニタで確認しながら,仮想物体の位置や形を認識しなければならない. このため,仮想物体操作は決して容易ではない. これに対して,演者に現実物体を介して仮想物体を操作させることで対処する従来研究が提案されている. この研究では,バーチャルスタジオ内において現実物体を用意し,演者はそれに対し移動操作や回転操作を行う. この演者が操作する現実物体を,合成映像上で現実物体と同じ位置・姿勢の仮想物体に置き換えることで, 演者があたかも仮想物体を直接操作しているかのような映像を作成する. このように,演者に物体の視覚情報と操作感覚の情報を提供し,演者が物体を正しく認識できるようにしている. しかし,従来研究では,現実物体と仮想物体とを全く同形状にしており, 扱う仮想物体ごとにそれと同形状の現実物体を用意しなければならない. また,映像の途中で仮想物体の形状を変化させることができないため, CG特有のエフェクトを利用できるというバーチャルスタジオでの仮想物体の利用の利点を失うことになる. 本研究では,バーチャルスタジオにおいて,仮想物体と必ずしも同形状でない現実物体を介した仮想物体の操作を実現する. これにより,仮想物体の運動・変形といったCG特有のエフェクトを利用可能な仮想物体の操作を行うことが可能になる. しかし,仮想物体と必ずしも同形状でない現実物体を仮想物体に置き換えると, 仮想物体と演者の手との前後関係が正しく描画されないことがあるという問題が生じる. 仮想物体と同形状の現実物体を扱う場合であれば, カメラから見た現実物体と演者の手の前後関係と,仮想物体と演者の手の前後関係は常に一致するので, 現実物体が映っている領域にCGの仮想物体を重畳すればよい. 一方,現実物体と仮想物体との形状が異なる場合は,それらと手との前後関係が常に一致するとは限らない. したがって,単に現実物体の領域にCGの仮想物体を重畳してしまうと, 合成映像において仮想物体を操作する演者の手と仮想物体との前後関係に不整合が生じることがある. この問題に対処するために,姿勢変化が可能な手の3次元モデル(以降,手モデルと呼ぶ)を導入する. 撮影映像から世界座標系における演者の手の位置と姿勢を推定し, それと同様の位置・姿勢の手モデルを用意する. この手モデルと仮想物体とのカメラに対する前後関係を判定し, その判定結果をもとに整合性のとれた合成映像を作成する手法を提案する. 具体的にはまず,撮影画像から世界座標系における現実物体の位置・姿勢を推定し, その姿勢と同じ姿勢をさせた仮想物体を現実物体と同じ位置に配置する. 現実物体の位置・姿勢は,現実物体の特徴点の3次元位置の情報とその特徴点の撮影映像上における見えから推定する. 次に,演者の手の姿勢推定を行う. これは,演者が現実物体を操作している撮影画像と, あらかじめデータベースに登録されている様々な姿勢を取った手の画像とを照合して, 最もよく合う姿勢を選ぶことにより行う. その後,演者の手の位置推定を行う. これには,推定した演者の手の姿勢と同じ姿勢をさせた手モデルを用いる. 世界座標系において,カメラの向きに対して垂直な面の方向(X-Y方向)にそって手モデルを動かし, それをカメラに投影した画像を生成する. その画像と撮影画像から演者の手の領域だけを抽出した画像とを比較して適合度を計算する. その適合度が最も高い手モデルの位置を世界座標における演者の手のXY位置として決定する. さらに,カメラの向きの方向(Z方向)にそって手モデルを動かし, 現実物体の近傍でかつ,現実物体と最も重ならない位置を探索し, その位置を世界座標における演者の手のZ位置として決定する. このようにして推定された演者の手の位置・姿勢と同じ位置・姿勢の手モデルと, 現実物体と同じ位置・姿勢の仮想物体との,カメラに対する前後関係を判定し, その判定結果をもとに合成映像を作成する. 提案した手法に基づいて作成したシステムを使用し, 実際に仮想物体と形状の異なる現実物体を介して,演者が仮想物体を操作した映像を作成した. その映像が,前後関係に不整合のないものであることを確認・評価した.