TOP  >  学位論文  >  i;キッチン構成に不変な調理者の位置情報に基づく調理動作推定

キッチン構成に不変な調理者の位置情報に基づく調理動作推定

近年,一般家庭の主婦がwebサイト上に自身の考案したレシピを掲載する例が増えている.このレシピテキストに映像を付与することにより,わかりやすいレシピを作成可能である.そこで本研究では,一般家庭において調理者がキッチンに設置したカメラにより調理を撮影し,その映像を自動で編集することにより,見たい場面の映像セグメントだけを抜き出して再生することを可能とするアプリケーションの実現を目指す. このような映像編集を支援するシステムの実現のため,本研究では「切る」「混ぜる」などの主要な調理動作を推定することを目標とする.ここで,「洗う」はシンクでのみ行われ,「切る」は調理台の上でのみ行われるように,設備と調理動作には強い関係がある.しかし,例えば「皮をむく」は主に調理台で行われるが,途中シンクとの往復がある場合もある.このような例のため動作をしている設備のみから行われている調理動作を判定することはできない.そこで,本研究では隠れマルコフモデルにより,設備間の動作履歴に基づく確率的な調理動作の推定を行う. 動作推定のため,本研究ではあるキッチンで設備間の移動履歴を学習する(以後,これを教師キッチンと呼ぶ).この際,調理観測映像から調理者の設備間の移動履歴を抽出するために,以下の2つの問題を解決しなければならない.まず1つ目の問題は,全てのキッチンでシンクやコンロの真上などにカメラを設置できるとは限らず,また設置位置やアングルも様々であることである.このため,映像におけるキッチンの設備の領域と,その設備上で動作を行ったときに映像中で変化が起こる領域(動作領域)が異なる.よって,実際の調理観測映像を分析することで,動作領域を求める必要がある.また2つめの問題は,キッチンのデザインが家庭ごとに異なることである.このため,映像中におけるキッチンの設備の位置が一意ではない. 1つめの問題に,本稿では以下のように対処する.調理動作は主に設備付近で行われるため,調理者の動作位置には偏りが見られる.そこで本手法では,調理者が動作している位置をプロットし,これをクラスタリングする.得られた各クラスタが,いずれかの設備に対応する動作領域となる.この際には,クラスタ数をデータごとに自動で決定するX-meansを用いる. 調理中に各設備が利用される時間帯では,それぞれの設備でその利用される頻度に偏 りが見られる.例えば,切断加工などの下ごしらえを主に行う調理台は調理の前半に,加熱処理などの仕上げを主に行うコンロは調理の後半に多く利用される.そこで2つ目の問題には,次のようにして異なる調理観測映像間の動作領域を対応付けることで対処する.教師キッチンで観測した映像について,各動作領域で動作が観測された時間帯の偏りを計算することで,各設備が利用される時間帯の傾向を事前に取得する.この時間的な偏りを表現するものとして,本手法では時間ヒストグラムを用いる.他の映像についても,各動作領域に対して同様に時間ヒストグラムを計算する.教師キッチンで観測した映像の動作領域の時間ヒストグラムと比較し,最も近い動作領域同士を対応付ける.これにより,異なるキッチンで得られた映像についても教師キッチンで学習した移動履歴を用いた動作推定が可能となる. 以上の提案手法を評価するために,以下の実験を行った.カメラの数や位置,設備の配置のしかたが異なる2つのキッチンにおいて本手法を適用した.まず,動作位置のクラスタリングを行い,設備に対応した動作領域を得られたか,キッチンの画像と照合することにより調べた.次に,教師キッチンで得られた映像の動作領域と,他の映像の動作領域の対応付けを本手法によって行い,キッチンの画像と照合することにより正しい対応付けが行われたかどうか調べた.これによって,コンロについては高い精度で対応付け可能であることが分かった.動作推定の精度は,次のようにして評価した.キッチンで得られた6回分の調理映像のうち,5回分の映像を教師キッチンで得られた映像とし,各フレームごとの調理動作を手動で付与し,これを基に調理動作のモデルを構築した. この調理動作モデルを用い,残り1回分の調理映像について調理動作の推定を行うクロスバリデーションによる評価を行った.これにより,「切る」「洗う」「混ぜる」 について高い精度で推定できた. 今後の課題として,調理台とシンクの対応付け精度の向上,また「皮をむく」「水を 入れる」の推定精度の向上が挙げられる.また,本稿においては,筑前煮に対してのみ評価を行っている.しかし,料理によって調理行程は異なるため,様々な料理に対して本手法の検証が必要である.またキッチンの種類についても,本稿では2種に対してのみ検証を行っている.より多くの種類のキッチンに対して,本手法を検証する必要がある.