内容梗概
[English | 論文 | 美濃研の研究 | 美濃研究室 ]


グラフィックデザインミーティング映像に対するインデキシングのための紙操作認識


本研究では,印刷物の製作過程で開かれるデザイナと依頼者間のミーティング映像の中から議論の対象となる個々の印刷物の案に関わるシーンを検索するための映像インデキシングに向けた,紙の識別と紙に対する操作認識手法を提案する.

パンフレットなど印刷物のデザインをデザイナに依頼する場合, デザイナ側と依頼者側は各々の要望や提案を述べるためにしばしば双方のメンバーでミーティングが開かれる. そして製作する印刷物のイメージが両者の間で共有され始めると, ミーティングではデザイナが案を印刷して提示し, 依頼者側がその案に対して意見や提案を行うようになる. このような形のミーティングを案のバージョンを更新しながら繰り返すことで,両者が印刷物のデザインを完成させていく. ここでは,このような形態のミーティングをグラフィックデザインミーティングと呼ぶことにする. このようなミーティングの状況が映像に保存されていれば, 後でミーティングの内容を確認する際に有用であると考えられる.

グラフィックデザインミーティングではデザイナが提示した案を中心に議論がなされる. 案である紙が複数枚ある場合, 参加者が見やすい位置に議論を行う紙を『動かす』操作がある. また,案にある写真などを特定するために, 議論している紙をしばしば『指さす』操作が行われる. さらに,案の詳細な検討などを依頼するときにその紙を『渡す』操作が行われることが多い. このようにこれらの操作は議論の対象となっている紙と関係していると考えられる. このためグラフィックデザインミーティング映像の中から, 議論の対象となる個々の印刷物の案に関わるシーンを検索するためのインデックスとして,紙に対する操作が有効であると考えられる. 紙に対する操作をグラフィックデザインミーティング映像から時系列の画像を用いて検出することを考える.

一般に紙に対する操作の認識は,紙が容易に変形し色を仮定することが出来ないため難しい. 本研究では,ミーティングが机上で行われることを前提として用いた紙操作の認識手法を提案する. 紙操作の認識ではまず,物体が紙であるか否かの識別を行い, 次にシステムが紙と識別した物体に対する操作を認識する. 紙の識別では,机上に置かれた紙は薄く,机と同一平面上にあるという制約を用いた識別手法を提案する. 操作の認識では,まず紙の状態,紙と手の関係を定義する.そして操作をそれらの遷移ととらえることによって定義し,またその認識をおこなう手法を提案する.

紙の識別では,まず机上に置かれた物体について紙であると考え薄いと仮定する. この仮定のもとでは2台のカメラで撮影されたその物体の画像領域をそれぞれ机平面に射影した場合,各カメラから射影された領域はほぼ一致する. そこで射影領域の重なる割合が閾値より高い物体を紙とし, 割合が閾値より低い物体を紙以外のものとする. この射影による紙の識別を行うためには机平面に対して浅い角度で撮影する必要がある.

次に操作の認識を行うために紙の状態として『机上にある』,『動いている』を, 紙と手の関係として『把持』をそれぞれ考える. この紙の状態と,紙と手の関係はそれぞれある瞬間において一意に決まり,映像の各フレームで定まる. ここで扱う操作は単純であるので紙の状態と,紙と手の関係の時系列を, 操作前の段階,操作中の段階,操作後の段階の3つの段階に分割することで定義できる. つまり,操作の各段階に属している紙の状態と紙と手の関係を, 各操作固有の条件として定めることによって操作を定義する. 逆に操作を認識するにあたっては,状態と関係をカメラ画像から取得し, 各操作について各段階の条件を満たす状態と関係の系列を探す. 条件を満たす系列が見つかればそれが操作の過程であるため,操作を認識することが出来る.

実験により紙の識別手法と操作認識手法の有効性について評価した. 紙の識別手法については,まず紙に対して射影領域の重なる割合を調べた. そしてそれを用いて危険率1%で実際の紙をシステムが紙と識別する閾値を設定した.その閾値を用いて紙以外の物体をシステムが紙でないと識別することが出来るかを調べ,その識別率によって本手法の有効性を評価した. 操作の認識では,実際に撮影した映像からシステムが操作を認識できることを確認した.


学位論文のページに戻る