内容梗概
[English | 論文 | 美濃研の研究 | 美濃研究室 ]


バーチャルスタジオでの仮想物体操作のための棒状実物体の位置・姿勢推定


本研究では、バーチャルスタジオにおいて現実物体によって仮想物体を操作することを目指し、 操作に用いる現実物体の位置・姿勢推定を行う。

映像撮影の分野ではバーチャルスタジオと呼ばれるシステムが近年多用されている。 バーチャルスタジオを用いると、 視聴者には現実世界と仮想世界が区別なく融合した映像が提示することが可能となる。 しかし、実際のスタジオ内では、 現実物体の視認・操作が可能であるのに対し, 仮想物体の視認・操作は現実物体と同様には行えないため、 演者には現実世界と仮想世界が融合しているように感じられない。 このため、 現在、あたかも演者が仮想物体を現実物体と同様に操作しているような映像を作成する場合には、 あらかじめ決められた仮想物体の動きに合わせて演者が演技するか、 演者の動きに撮影技術者が仮想物体を合わせるといったことが行われているが、 いずれも演者が実際に仮想物体を操作しているわけではないので、 自然な演技にみせることは難しい。

この問題を解決するためには、 演者に対しても、仮想物体を現実物体と同様に視認・操作できる仕組みを提供する必要がある。 視認の問題は、拡張現実感(AR)の手法を導入し、 透過型ウェアラブルディスプレイを用いて仮想物体を提示することで解決できる。 一方、操作の問題はARの手法の導入は適切ではない。 スタジオ撮影において、仮想物体操作を現実物体と区別なく実現するには、 仮想物体を現実物体と同様,棒や容器などの現実物体を用いて操作できるようにしなければならない。 このためには操作に用いる現実物体の3次元位置と姿勢の推定が必要である。

一般にこのような処理には、 位置センサ、ステレオ視、オプティカルフロー、3次元形状モデル等を利用することが考えられる。 スタジオ撮影では,撮影用カメラに位置センサや他のカメラが映ることは望ましくないため、 位置センサやステレオ視を利用する場合には,位置センサやカメラの設置場所には制限がある。 また、現実物体は、手で操作される際にその一部が見え隠れするため、 ステレオ視やオプティカルフローの利用のために特定の特徴点を継続して追跡することは困難である。 さらに,操作に用いる現実物体の選択自由度を考慮すれば, 物体の厳密な3次元形状モデルを必要とする手法は望ましくない。

しかし一方で、スタジオ撮影という条件では、 少なくとも1台のカメラが演者の撮影した画像の取得に利用でき、 また、その画像に写り込まない位置ならば 超音波式位置センサの設置も可能である。 演者の袖の中に超音波式位置センサのビーコンを隠せば、 ワイアレスで手首の位置・姿勢情報が得られ、 視聴上も問題とならない。 さらに、演者が仮想物体に操作を加える際に 現実物体を把持する手形状は、 目的に応じて特定のものに限定されると考えられるので、 手と把持される現実物体との位置関係に仮定を設けることができる。

そこで本研究では カメラ一台と位置センサを併用して得られた情報に、 手首、掌、物体の位置関係の制約を利用することによって、 現実物体の位置と姿勢を求めた。 位置センサから得られた手首の位置・姿勢に加えて、 画像から得られる手領域の質量中心の情報、 実際の手の大きさから定まる手首と掌の中心点の位置関係、 手首、掌、物体の位置関係に関する仮定、 画像上での物体領域の制約を 順次適用し、把持された物体の位置・姿勢を推定した。 手首、掌、物体の位置関係を仮定するに当たっては、 ロボティクスやリハビリテーションの分野で行われてきた、 把持形体の分類法を参考とした。

本稿では、位置・姿勢推定を行う現実物体として最も形状が簡単で、 かつ指示などに利用されることの多い棒状物体を取り上げ、 その具体的手法を実装した。 手法の有効性を検証するために、 バーチャルスタジオにおいて、 ペンなどの棒状の日用品の先端にビーコンを取り付けて 実際の先端位置を得ながら指示動作を行い、 推定値と比較する実験を行った。


学位論文のページに戻る