内容梗概
[English | 論文 | 美濃研の研究 | 美濃研究室 ]


自動撮影カメラワークの検証と撮影カメラ制御の補正法


近年、講義撮影などにおいて自動撮影の研究が行われつつある。 自動撮影においてどのような撮影を行うかは、 絵コンテのように画像上の2次元情報として書き下せる カメラワークによって定義できる。

パン・チルト・ズーム制御可能なカメラによる自動撮影では、 撮影対象の3次元情報を用いて所定のカメラワークが達成されるよう 制御を行うが、撮影対象の位置測定におけるノイズやカメラ制御に 含まれる不確定要素など複数の段階における外乱要因により、 そのカメラワークが必ずしも実現されているとは限らない。

そこで本研究では、自動撮影のもとで所定のカメラワークが実現されているか どうかの検証と撮影カメラ制御の補正を行う。 自動撮影の最終結果は画像の系列として出力されるため、 画像情報に基づく検証とそれによるカメラ制御の補正を行うことで 所定のカメラワークに対してより忠実な画像の系列を得ることが できるようになる。

本研究においては、講義撮影など室内での人物の自動撮影を想定し、 撮影カメラは位置が固定された単一のパン・チルト・ズーム 制御可能なカメラであるとし、また、 撮影対象は一つであり、その位置と速度は未知であるとする。 実現すべきカメラワークは撮影の状況に応じて既に決定されているものとする。

カメラワークとしては様々なものが考えられるが、 位置が固定された単一のパン・チルト・ズーム 制御可能なカメラによって一つの対象を撮影している場合、 カメラワークは画像上の撮影対象に対する、位置、大きさ、および その時間微分成分と、 背景に対する速度とからなる カメラワーク状態変数で定義できる。

カメラワークの検証のためには、 カメラワーク状態変数の現在の値が 推定可能であることが必要である。 撮影対象の画像上の位置や大きさなどを決定するためには、 画像上で撮影対象の存在する領域が分からなくてはならない。 すなわち、対象領域と背景領域との分離が可能である必要がある。 これは一般的には形状や色など撮影対象に対する知識なしには困難である。

本研究では 対象に対する知識がない場合でも、撮影対象が1つであるという カメラワークに対する制約があれば、 対象領域と背景領域の分離と カメラワーク状態変数の現在値 の推定が可能であることに着目する。 これは、撮影対象が1つであれば画像上で異なる運動をしている領域は たかだか背景領域と対象領域の2領域であるため、オプティカルフロー を用いて各領域の分離を行うことができるからである。 オプティカルフローは画像上の動き情報を持っているから、 オプティカルフローから対象領域や背景領域の速度、 対象領域の拡大・縮小率を求めることができ、 対象領域と背景領域の分離が可能であれば撮影対象の位置、大きさを 求めることも可能である。

計測されたオプティカルフローには、ノイズ等によるはずれ値の存在と 2種類の異なる運動をする領域の存在という2つの問題がある。 これらの問題に対応した上で、領域速度や大きさ変化を推定するためには ロバストで、かつ2種類の異なる領域速度、大きさ変化を推定することが可能な 推定手法を用いる必要がある。 そこで本研究ではM推定を用いる。

カメラワークを検証したのち、カメラワーク状態変数の予測を行い、 所定のカメラワークとの差を補正する カメラ制御パラメータを求める。 予測については、位置と速度の両方のパラメータが観測されることを考慮にいれ、 それらの擦り合わせを行うために離散時間の繰り返し処理に適した フィルタリングであるカルマンフィルタを用いる。

本手法の有効性を示すために2つの実験を行った。 まず、カメラワークが既知である画像の系列を入力として与え、 カメラワークの検証が正しく行えることを確認した。 続いて、カメラワークを指定した撮影を行い、 目標のカメラワークが達成されるように カメラワークの検証と撮影カメラ制御の補正処理が実現できる ことを確認した。


学位論文のページに戻る