TOP  >  Thesis/Dissertation  >  荷重センサによる調理中の繰り返し動作の区間および位置の推定

荷重センサによる調理中の繰り返し動作の区間および位置の推定

近年,観測データに基づいて自動的にユーザの行動を理解し,支援するシステムが研究されている. 観測データ中のいつからいつまで,どこで重要な行動があったかを特定することは,ユーザの行動をシステムに理解させる上で重要である. 調理の場合では,作業の進行は常に食材に対する加工動作により行われる. どの食材にどのような加工が行われたかを自動的に理解させるためには,まず食材加工動作の区間とその動作が起こった位置が重要となる.

加工動作では「こねる」,「切る」,「混ぜる」,「のばす」といった同じ動きが複数回繰り返される動作が多い. このような動作を「繰り返し動作」と呼ぶ. 本稿では,繰り返し動作に着目し,その発生区間および位置の推定を行うことを目的とする.

このために,荷重センサを用いて繰り返し動作の区間および位置の推定を行う. 天板の下に荷重センサを設置すれば,繰り返し動作中に調理者が天板を押す力を直接観測することができる. そのため,容易に重要な動作が行われている区間の候補を絞り込むことができるという利点がある.

荷重センサを用いた従来手法として,「置く」・「取る」という二種類の動作を対象とした手法が提案されている. この手法では,動作はそれによって増減する天板上の物体の総荷重の変化から検出され,動作の位置は物体の重心から求められる. しかし,繰り返し動作では天板上の物体の総荷重が変化しないため,この手法を適用することはできない.

これに対して本研究では,物体の総荷重の変化ではなく,動作に起因する荷重値の変化から動作の位置推定を行う. 衝突による天板の振動などに起因する,位置推定に悪影響を与える信号中の成分が平滑化フィルタによって除去できるという性質を利用して頑健に位置推定を行う. また,繰り返し動作中には特徴量が似た信号が繰り返し現れる. この性質を利用して,繰り返し動作区間を推定する. 荷重センサから得られる特徴量としては以下の三つを用いる. 一つ目は総荷重で,天板にかかった荷重の総量を表す. 総荷重を用いれば,「こねる」動作のようなほぼ等しい大きさの力が繰り返しかかる動作を抽出できる. 二つ目は重心位置で,動作が起こった位置を表す. 三つ目は重心位置の変化で,推定された重心位置の動きを表す. 二つ目と三つ目は動作中にかかる荷重の重心位置に関する特徴であり,「のばす」動作のような往復する動きや,左手で食材を抑えている状態で右手で食材の同じような位置に何度も力を加えるような動きを抽出することが期待される. ただし,動作が行われる場所はその都度変わり得るため,観測空間の絶対位置ではなく,相対位置で評価する必要がある. このため,繰り返し判定を行う観測データを近傍の時刻における重心位置の平均を減ずることで相対化した「位置」と,単に直前の観測時刻の重心位置を減ずる「位置の変化」の2種類の特徴を用意し,比較を行った.

実験では,様々な種類の加工動作が行われる水餃子に対して実際に調理を行い,提案手法の評価を行った. 総荷重,重心位置,重心位置の変化を用いた場合の再現率はそれぞれ88.6%,87.4%,83.9%,適合率は87.6%,76.4%,80.0%となった. また,位置推定の精度は67.0%となった. さらに,動作の種類ごとにどの特徴量を用いれば区間が精度よく推定できるのかを確認した. 水餃子の調理では,皮を「こねる」,ニラを「切る」,具を「混ぜる」,皮を「のばす」という繰り返し動作が現れる. このうち,皮を「こねる」,具を「混ぜる」動作では,どの特徴量を用いても精度よく区間推定ができた. ニラを「切る」動作では総荷重と重心位置の変化を,皮を「のばす」動作では重心位置を用いた場合に区間推定が精度よく行われた.

この他,動作の繰り返しが信号中に明確に表れ難い白菜と鶏肉に対する切断加工動作を行い,繰り返し動作の区間および位置がどの程度精度よく推定できるのかを確認した. 総荷重,重心位置,重心位置の変化を用いた場合の再現率はそれぞれ,白菜を「切る」動作で86.0%,58.5%,89.0%,鶏肉を「切る」動作で60.0%,17.3%,61.0%となった. どちらの食材に対しても総荷重と重心位置の変化を用いた場合に区間推定が精度よく行われた.

実験により,全体的には総荷重を用いた場合に最も良い結果が得られることが判明した. また,動作によって適切な特徴量が異なることが判明した. 今後の課題としては,提案手法により抽出した繰り返し動作の区間に対する動作認識が挙げられる.