TOP  >  学位論文  >  {容器と調理者の手との位置関係を考慮した「かき混ぜる」行動の認識}

{容器と調理者の手との位置関係を考慮した「かき混ぜる」行動の認識}

{近年,情報通信技術の発展に伴い,レシピの内容に関するアドバイスを提示する形で調理作業を支援するシステムの研究・開発が進められている.レシピには,料理に使われる食材の名前と,その食材に対する操作(以下ではこの操作を``調理行動''と呼ぶ)の名称の対が,``単位作業''として列挙されている.従来の調理支援システムの多くでは,上述の``単位作業''が予め定められた順序で行われるとの仮定のもと,次に行われるべき単位作業に関するアドバイスが調理者からの入力に応じて提示される.しかし実際の調理では各単位作業が常に既定の順序で行われるとは限らない.このような状況でも適切にユーザを支援できる調理支援システムを実現するためには,ユーザが今どの単位作業を行っているかを認識したり,次に行われる単位作業を予測したりする処理が必要となる.このような処理を実現する際には,その基盤技術として,食材を認識する処理と調理行動を認識する処理が重要となる.本研究では,このうち調理行動の認識に焦点を当てる. 調理中もっとも頻繁に行われる行動の1つとして「かき混ぜる」行動がある.この行動は,一般的に料理の完成度に大きな影響を与えてしまうものである.このため,「かき混ぜる」行動を自動的に認識しこの行動に関する支援を行うことは有用と考えられる.以上のことから,本研究では,調理を観測して得たデータから「かき混ぜる」行動を認識する処理の実現を目標とする.ここで,「かき混ぜる」行動とは「ボウルや鍋,フライパンなどの容器に手や箸などの道具を入れて容器内の食材を撹拌する」行動であると定義する. 「かき混ぜる」行動を含む調理行動の認識を試みた研究は従来よりいくつか存在しているが,これらの研究で提案されている手法には,本来「かき混ぜ」ていない場面で「かき混ぜる」行動を認識してしまう,という形の認識誤りが生じやすいという問題があった.この問題は,従来手法が「かき混ぜる」行動に特有の性質を利用した認識手法とはなっていないことに起因していると言える.そこで本研究では,「かき混ぜる」行動に特有の性質として,(A)調理者の手が容器の内部もしくはその真上に存在する,(B)調理者の手や道具および容器内の食材が容器の縁より低い位置で継続的に運動する,の二つをとりあげ,これらを利用して「かき混ぜる」行動の認識を試みることで,上述の問題に対処する.これらの性質を利用するためには,容器とその付近に存在する物体の間の上下方向に関する位置関係を観測する必要がある.本研究では,調理台上面の上方に距離センサを設置し,これにより得られた距離画像を用いて上述の位置関係を観測する. 具体的な認識手法は次の通りである.まず,「かき混ぜる」際に使われるような容器は一般に円形であることから,円検出手法を用いて距離画像から容器を検出する.次に,検出された容器とほぼ同じ位置に調理者の手が存在しているか否かを,容器の外縁付近に相当する領域の高さに基づいて判定する.ここまでの処理は距離画像列中の各フレームごとに実行する.その後,容器と手がほぼ同じ位置に存在すると判定されたフレームが一定時間以上続いている区間(性質(A)が継続的に満たされる区間)を抽出し,これを「かき混ぜる」行動が行われている区間の候補とする.最後に,各候補区間において容器内で調理者の手や食材が継続的に運動しているか否か(性質(B)が満たされているか否か)を,容器の縁より低い位置で値が変化している画素の個数に基づいて判定する.これにより性質(B)が満たされていると判定されたことをもって,その区間で「かき混ぜる」行動が行われていると認識する. 提案手法により「かき混ぜる」行動がどの程度認識できるのかを確かめるために実験を行った.距離画像列の取得にはKinectセンサを用い,これによりサラダの調理風景を観測した.本実験の結果,実際に性質(A)が満たされている区間とそれに対応する候補として抽出された区間との重なりは,平均90\%以上であった.また,候補として抽出された区間に対して,提案手法による「かき混ぜる」行動の認識結果は,人間による認識結果と完全に一致した.このことから,提案手法は「かき混ぜる」行動の認識手法として有効であると考えられる. ただし,提案手法により「かき混ぜる」行動が行われていると認識された区間の中には,その区間中の一部において「かき混ぜる」行動が行われていないケースも見られた.この問題への対処は今後の課題の一つである.例えば,容器内における調理者の手や食材の運動をより詳細に解析することで候補区間をさらに分割し,「かき混ぜる」行動が行われている区間を絞り込む,などの対処法が考えられる.}