美濃研究室 > 学位論文 > 適応的背景変更による食材の領域と色の抽出

適応的背景変更による食材の領域と色の抽出

調理者がレシピに基づき行う調理行動を認識し,調理の状況に基づき適切なタイミングで次の操作のガイドや,調理に関する助言をするといった支援を行うシステムの実現を目指している。このような支援を行うには,調理者が扱っている食材を実時間で認識する必要がある。そこで,調理者自身や調理器具などによるオクルージョンが生じないよう,調理台の上方から調理台に向けてカメラを設置し,調理台上を観測することにより,観測画像から食材の領域と色を抽出することを考える。

背景が既知であるという状況で前景の物体領域を観測画像中から抽出するには,背景差分がしきい値以上の領域を前景と判定する手法が用いられるのが一般的である。その際,青色の食材は少ないことから,背景色に青色を用いるのがよい。しかし調理では,手や食材の影が調理台の天板や食材に映ることにより観測画像中の背景色が変化したり,背景色と似た食材を調理したりする場合があるため,背景を青色にしても正確な領域を抽出することは難しい。

そこで本研究では,調理台天板下に液晶ディスプレイを埋め込み,カメラで観測した画像に応じて背景色を変更することにより,食材領域を抽出する手法を提案する。本システムでは上からの照明による手や食材の影は,調理台に埋め込まれたディスプレイの光により打ち消されるため背景色が変化することがない。また,各食材領域を含む領域の背景色を適切に変更することにより,前景と背景の色差が明確になるため,背景差分における誤差を削減することが可能となる。

これは,次のような手順により実現する。まず,ディスプレイに青色を投影し,背景差分によっておおまかな食材領域とその代表色を抽出する。次に,その代表色に応じて,その食材領域を含む周囲の背景色を変更する。前景と背景の色差を明確にするため,背景色は代表色のHSI 空間中での補色とした。複数の食材に対し,青色背景で抽出された食材領域と本手法で抽出された食材領域を比較した結果,本手法を用いることで,領域の誤差が13.1%削減された。

次に食材の色を抽出する手法について述べる。食材の色の抽出においては,背景が明るい場合,背景色が食材に映りこんでしまい,食材の色相とは異なる色が観測されてしまう一方,背景色が暗いと,背景からの光がなくなるため,エッジ部分が暗くなってしまい,食材領域全体から食材色を得ることができなくなるといった問題点がある。そこで,背景色の明度を段階的に変えていったときの観測画像中の食材領域の色分布の変化を計測することで,食材領域のうち最も広い範囲より,照明の明るさによらないその食材固有の表面特性を反映した色情報を抽出する手法を提案する。

背景色の彩度が高いと,背景色が物体に映り込んだ場合色相に大きく影響を与えるため,背景色は彩度を0% とした。このときディスプレイの発光は白色の面光源とみなすことができ,上方からの照明が十分当たらない暗い食材領域を照らす照明として利用できる。しかし食材に照射すべき適切な光量は食材によって異なり,一意に決定することができない。通常,観測画像中における食材領域の色は内部と輪郭部分で変わらないことから,食材領域の輪郭部分への照射が不十分である場合や,逆に照射が強すぎて白とびしている場合は,食材領域の明度の分散は大きくなると考えられる。そこで,背景色の明度を変えながら,食材領域の明度分散が最小となる背景色の明度を探索し,そのときの食材領域の色を採用することで,照明が不足あるいは過剰であることによる色相の誤差を抑えた。たまねぎ,さといも,ピーマンに対し,本手法と,背景を食材領域の代表色の補色として色を抽出したときとを青いアクリル板を用いた固定背景を用いて抽出した色と比較した結果,背景の明度が,たまねぎは73%,ピーマンは14%と,59%の差があったので,食材ごとに背景の明度を変更することがよいとわかった。

上で述べた二つの提案手法を実装し,実際の調理を再現した状況において,たまねぎ,トマト,なす,ピーマンの領域抽出を行った。青色固定背景色で抽出した食材領域に比べ,本手法により抽出した食材領域ではピクセル誤差率が平均で14.2%から4.4%まで削減された。また,周囲の背景を食材領域の代表色の補色にしたまま食材領域の色を抽出する場合に比べ,食材領域の明度分散が最小となる色を食材の周囲の背景に表示することで,15 名の被験者のうち最も多くの人が正しい色であると答えた画像との色相のヒストグラムの差を評価したところ,その差が39.0%から17.7%まで削減された。

今後の課題は,本手法によって抽出した食材の領域と色を用いた認識手法を提案することである。