TOP  >  学位論文  >  調理作業から目を離せないタイミングの自動検出手法

調理作業から目を離せないタイミングの自動検出手法

本研究では,映像通信を介した遠隔地の教師が,音声情報と映像提示により生徒に対して作業方法を教示するというタスクにおいて,生徒の作業を妨げずに教示を行うことのできるタイミングを自動検出する手法を検討する.教師の話しかけに対して生徒は画面に目を向けがちなので,作業から目を離せないタイミングでの話しかけにより生徒の作業の妨げが起こる.そこで,遠隔地から調理法を教示する実験を行い,収録映像を解析した.その結果,作業から目を離せないタイミングには,生徒が「次に行う作業のために手を配置する」動作を行っていることが分かった.これは,生徒は調理台といった作業空間を完全に把握しているわけではないため,作業を行うには作業対象の位置や物体の形状を目で確認することが必須であったからであると考えられる. 次に,「次に行う作業のために手を配置する」動作が,収録映像中にどのような特徴として現れるかを解析した.収録映像中の目を離せないタイミングのうち72.14%が「物体の移動のために手を伸ばす」動作と「包丁で食材を切るために手を配置する」動作であったことから,この2 種類の動作に注目した. 最後に,それら2 種類の動作を,調理映像から自動検出する手法を検討した.一般家庭のキッチンのように,環境を統制することが難しい状況における動作検出は一般的に困難なタスクである.よって種々の既存手法を適用し,検出結果を比較することで,本研究の目的にはどのような手法が有効であるかを考察した.その結果,手領域を正確に抽出することは重要であり,前景領域抽出に広く用いられているgrabcut より照明変動に対処したTexCutの方が高い精度を得ることが分かった.更に,作業を行っている手を捕捉するためには両手それぞれの動きを把握することも重要であり,手領域の正確な抽出は非常に高い貢献度を持つ.また,調理者の不規則な動きや調理者自身による手の隠れなど,モデル化を困難とする種々の要因を明らかにした.