内容梗概
[English | 論文 | 美濃研の研究 | 美濃研究室 ]


バーチャルスタジオにおける現実物体を利用した仮想物体の直接操作


 映像コンテンツ制作においてコンピュータグラフィックス(CG)の利用が普及してきている.映像コンテンツにCGを用いると,様々な物体表現や特殊効果を用いた多様な映像が作成可能となる.講師が視聴者に対して説明を行う教育用映像を考えた時,説明対象にCGを用いることによって,より理解しやすい教材の作成が可能となる.

 CGの仮想物体と現実物体の合成映像を作成するためのシステムとして,バーチャルスタジオがある.しかし,従来のバーチャルスタジオでは,仮想物体を背景に登場させることしかできなかった.これに対し,教育用映像でCGを説明対象として用いる場合,講師がCGの仮想物体を直接操作し,自由に動かすことが求められる.そこで,バーチャルスタジオにおける仮想物体の直接操作を実現することが本研究の目的となる.

 この目的を達成するためには五つの課題がある.まず,映像に登場する仮想物体はデータ上の存在であるため,バーチャルスタジオ内の演者は直接仮想物体を見ることも,触れることもできない.このような状況では演者の操作の動きは自然なものにならず,演者は仮想物体をうまく操作できない.よって,演者に仮想物体を視認させる課題と演者に対して仮想物体の触感を与える課題に対処しなければならない.次に,演者の操作に合わせた仮想物体を合成するために,演者が仮想物体に与える操作を検出することが必要となる.これに対してまず,演者が説明対象を操作する動作に合わせて,合成する仮想物体を並進・回転させる必要がある.これを実現するため,演者が行う並進・回転操作を検出することが課題となる.さらに,仮想物体特有の操作として,演者の意図に応じて特殊効果を発生させることを考える.このような操作を可能にするために,演者の合図となる動作を検出することが課題となる.最後に,仮想物体の重畳領域を検出する課題がある.従来のバーチャルスタジオでは仮想物体の登場は背景に限られていたため,演者と仮想物体の前後関係は一定であり,重畳領域の検出が容易であった.しかし,演者が仮想物体を把持しながら操作する映像では,演者が仮想物体で隠れたり,仮想物体の一部が演者の手によって隠れたりする状況が起きるため,演者と仮想物体との前後関係が複雑となり,重畳領域の検出が難しい.

 バーチャルリアリティの分野では様々なセンサを用いることで,以上に述べた個々の課題に対処した研究がいくつかある.しかしバーチャルスタジオの制約として映像を見る視聴者の存在があるため,センサ機器が映像に映り込まないことが要求される.

 本研究では以上の仮想物体操作に関する課題に対して,仮想物体と同形の現実物体を用いる手法を提案する.スタジオでは演者が現実物体を把持しながら操作し,視聴者に提示する映像では演者が操作する現実物体を仮想物体に置き換える.この手法によって,演者が直接手で把持しながら仮想物体を並進・回転させ,仮想物体に対する特殊効果を発生させる映像が実現できる.ただし,演者は操作対象に対する指示動作によって仮想物体に対する特殊効果の種類や発生タイミングを合図することとする.

 この手法では,仮想物体の視認と触感の課題に関して,演者に見ることも触れることも可能な現実物体を用いることで解決できる.演者の仮想物体に対する並進・回転操作の検出の課題に対しては,操作対象となる現実物体の位置姿勢を検出することで対処する.現実物体の位置姿勢は演者の並進・回転操作を直接反映しているため,演者の動きに合った仮想物体の提示が可能となる.現実物体の位置姿勢の推定は,操作対象に貼ったマーカの位置を撮影映像中から検出することで実現する.また,特殊効果発生のための演者の指示動作検出にも,位置姿勢推定に用いたマーカを用いる.通常,スタジオ撮影では演者が常に操作対象をカメラに向けるため,カメラに向いている面に貼られているマーカは全て見えていると仮定できる.演者がマーカを指示している場合には,指でマーカが隠れるため,そのマーカは撮影映像から検出できない.指で隠れたこのマーカを検出することで,演者による指示動作の検出を実現することができる.仮想物体の重畳領域の検出の課題に対しては,撮影映像中における現実物体の領域を用いて対処する.現実物体領域の検出は,現実物体を単色とすることで領域抽出を行うことで実現する.

 本手法を用いて実際に仮想物体操作映像を作成した.操作現実物体はマーカを貼った白色の球形物体,重畳する仮想物体は地球のCGとした.現実物体を介して仮想物体の並進,回転と特殊効果発生の操作が可能になったこと,映像合成において演者と仮想物体の前後関係の整合性を保つことを確認した.


学位論文のページに戻る