TOP  >  学位論文  >  同一人物内での部位の重なり度合に応じた異なる部位検出器による受講者画像からの姿勢推定

同一人物内での部位の重なり度合に応じた異なる部位検出器による受講者画像からの姿勢推定

本研究では,講義映像から受講者の姿勢系列を獲得することを目的とする. 姿勢系列とは,姿勢を観測した時刻全体について,時刻順に姿勢を並べたものである. また姿勢とは,頭頂部,首,肩,肘,手首といった人体の部位の位置の組であり, 姿勢を獲得することを姿勢推定という. 振る舞いは,姿勢系列から特定の時間について抽出したものに意味づけを行ったものと定義される.

受講者の姿勢系列は,振る舞い分析に活用することができる. 受講者の振る舞いを分析することで,各受講者の各時点での講義への参画の度合や集中度が分かり, それに基づいて授業改善を行おうとする取り組みが行われている. このような目的で,従来は人手で講義映像中の受講者の振る舞いを書き出していたが, 人手の場合は分類基準の統一が困難であるため,自動で受講者の振る舞いを獲得する仕組みが必要とされている.

講義室の前面上方にカメラを設置し, そこから得られるカメラ映像から姿勢推定を行う. ここで,受講者映像中では,同一人物内での部位の重なりが頻繁に見られる. 同一人物内での部位の重なりを,自己オクルージョンという. 従来の姿勢推定手法には,自己オクルージョンによって 正解から大きく外れた姿勢推定が行われる傾向がある. 本研究では,データマイニングに使える受講者姿勢情報を得ることが目的であるので, 獲得した受講者の姿勢を統計的に利用することとなる. したがって,正解から大きく外れた姿勢推定が行われることは望ましくない.

そこで本研究では, 同一人物内での自己オクルージョンの度合に応じて受講者画像をいくつかのクラスに分類し, それぞれに適した部位検出器を用いて姿勢推定を行う手法を提案する. 自己オクルージョンが生じた受講者画像を姿勢推定する場合, 多くのバリエーションの姿勢に対応できる1つの部位検出器で姿勢推定を行うと, 正解とは異なる姿勢を無理に当てはめてしまうことがある. 講義室環境で発生する自己オクルージョンにはいくつかのパターンがあり, あるパターンでの自己オクルージョンが生じた場合,発生した部位の位置が制限される. そのため,発生した自己オクルージョンの度合によってクラスを分類することで, 姿勢のバリエーションを限定することができ,正解から大きく外れた姿勢推定が行われることを防ぐ. 正解から大きく外れた姿勢推定が行われることを防ぐことで,結果的に姿勢推定の精度の向上にもつながる.

提案手法で部位検出器を切り替えるためには, 与えられた受講者画像における受講者の自己オクルージョンの度合を判定する必要がある. ここで, 部位の隠れを判定することにより自己オクルージョンの度合を判定するには部位検出が必要であるが, 適切な部位検出を行うには自己オクルージョンがどのように生じているかを把握している必要があり,循環依存が生じる. 本研究では,多数の受講者画像を観察して得られた知見に基づき, 部位検出とは異なる方法によって,自己オクルージョンの度合と相関が高い分類を行う. 具体的には,講義室環境で生じる自己オクルージョンのパターンとして 「頭が前腕部を隠す」,「頭が首の前面を隠す」,「前腕部が胴体の前でもう一方の前腕部を隠す」, という3つを定める. どのパターンが生じているかの判定基準には, 「受講者が顔を上げているか」,「受講者の両腕の前腕部が胴体の前にあるか」, という2点を定め, 3つのクラスへの分類を行う.

実験では,実際の講義映像に提案手法を適用した. 提案手法では,正解との平均誤差の大きさが受講者画像の分類を行わない場合と比較して2/3程度となった. さらに,縦300ピクセル,横240ピクセルの受講者画像について, 推定結果と正解との誤差が20ピクセル以内となる割合が少なくとも20%程度向上した. この結果から,部位の重なり度合に応じた複数の部位検出器を, 受講者画像に応じて切り替えて姿勢推定する提案手法の有効性を示した. さらに,受講者の姿勢推定結果から部位の位置の分布を可視化した. これにより,受講者の振る舞いの違いを表現でき,状況把握に適用可能であることを示した.

本研究では自己オクルージョンへの対処を行ったが,物体や他の受講者によって姿勢推定の対象となる受講者の一部が隠れた場合には 適切に対処できない. このような隠れに対処することで,より多くの受講者に対して姿勢推定を行うことができる. また,本研究では一枚の受講者画像からの姿勢推定を行ったが, 姿勢同士の時間の連続性を考慮した姿勢推定手法と組み合わせることで姿勢推定性能がさらに向上することが考えられる.