内容梗概
[English | 論文 | 美濃研の研究 | 美濃研究室 ]


調理加工に起因する振動音を用いた食材識別


調理は日常的に行なわれる複雑な作業であるので、 調理者の状況に応じて適切なアドバイスを行なうようなシステムがあれば便利である。 このようなシステムを実現するためには、レシピ中のどの食材に対して調理を行なっているのかを 識別することが必要となる。調理において、最も基本的な加工の一つは「切る」であるので、 本研究では、調理者が「切る」という加工を施す際、その対象がレシピ中のどの食材であるのかを識別する ことを目標とする。

従来、調理者が扱っている食材を識別する際には、カメラにより調理を観測した映像から抽出した食材の 視覚的特徴を用いてきた。しかし、調理では視覚的特徴のよく似た食材が同時に複数使われる場合も多く、 識別がうまくいかない場合も少なくない。

これに対して、調理台を伝播する振動音は 包丁が食材の表面を裂き、内部を通過する際に発生する振動を含むことから、食材の 内部構造や大きさによって変化すると考えられる。そこで、 食材を「切る」加工に起因する振動音波形から、食材固有の特徴を選出し、食材を 識別する手法を提案する。

振動音を通常のマイクで取得したのでは、声や換気扇の音など、 食材を切ることで生じる振動音とは無関係の音による影響が避けられない。 そこで、まな板を置く作業台を振動が伝達しやすい硬化ガラスにし、 その裏にコンタクトマイクを貼り付けることで、 振動音を直接取得する。

まず、切れ込み時の振幅及び、衝突時の振幅 が食材の堅さを反映していると考え、様々な堅さの食材についてこの値の分布の仕方を調べた。 その結果、同じ食材でもこれら2つの値は広く分散しており、他の食材との重なりが大きく、 この2つの特徴量だけでは食材の識別は困難であることがわかった。

次に、包丁が食材内部を通過している間の波形として、包丁がまな板に衝突する直前の部分に注目した。 包丁がまな板に衝突した時刻を、振動音波形に閾値を設けることにより検出し、 その直前0.2秒間分を分析用セグメントとして抽出した。 様々な種類の食材を切る振動音から得られた分析用セグメントに対して スペクトログラム分析を行ない比較したところ、 食材の種類に依存した特徴が低周波部分に現れていることがわかった。 できるだけ次元数が少なく、識別能力の高い特徴ベクトルを選定するため、 様々な周波数解像度でスペクトログラムを計算し、低周波部分を特徴ベクトルとして抽出し、 食材の種類の識別能力を調べた。その結果、 周波数解像度128で取得したスペクトログラムの低周波部8次元の 全時刻における平均ベクトル及び、分散ベクトルを結合し、16次元の特徴ベクトルとして採用したものが この条件を満たすことがわかった。

以上で述べた観測特徴による食材の識別性能を調べるため以下のような実験を行なった。 まず、食材ごとに複数個の個体を用意し、各個体を切った際の振動音波形から、 分析用セグメントの集合を抽出する。 次に、各分析用セグメントを上で述べた16次元の特徴ベクトルに変換し、 SVM(Support Vector Machine)を用いて特徴空間を食材の種類ごとに分割することで識別機を構成した。

まず、多くのレシピに登場する代表的な食材であるキャベツ、人参、キュウリ、玉葱、 ピーマン、ジャガイモ、トマトについて本手法により識別を行なった。 抽出した分析用セグメント全てにより学習した識別機を用いた場合は 各食材とも75.0%以上の識別率であった。 さらに、未知の分析用セグメントの識別能力を調べる ため個体ごとに交差検定を行なった。この結果、 トマトの識別率は平均17.8%と低かったが、他の食材については平均52.9%以上で正しく識別できた。 また、個体から抽出された一連の分析用セグメント集合の中で識別結果の多数決をとり、 食材を決定すれば、 トマト以外の食材は平均88.9%の精度で識別できることがわかった。

次に、映像等により食材の候補が絞りこめた場合を想定し、同系色の食材の組み合わせである ジャガイモと玉葱の組、キュウリとピーマンの組を取り上げ、識別実験を行なった。 この結果、 各食材とも81.4%以上の識別率を示した。 これにより、本手法と、映像を併用することにより、識別率を向上させることが可能であることが示された。

より多くの個体について識別率の変化を観測することで、 より頑強な識別機を構成していくことが今後の課題である。


学位論文のページに戻る