TOP  >  学位論文  >  カメラと荷重センサの統合による机上物体に対するハンドリング開始・終了時刻の検出

カメラと荷重センサの統合による机上物体に対するハンドリング開始・終了時刻の検出

近年,音声や映像などを利用してリアルタイムで作業を支援する様々なシステムが研究されている.このような支援システムが作業の中で自然に行われる動作を介して直感的に操作できれば,ユーザへの負担は少なく有用である.作業中に自然に行われる動作として,机上の物体を取ったり置いたりする「ハンドリング」に注目する.
ユーザが調理や組み立てなどの作業を行う際にリアルタイムでどの物体が取られたり置かれたりしたかを検出できれば,ユーザの次の作業を予測して支援を行うことができる.このことから,物体が取られたこと,置かれたことをスイッチとしてシステムへの入力操作に利用できれば,自然に行われる動作を介した直感的なインタフェースの実現が期待される.本稿では,観測データに基づいて机の上に置かれた各物体に対して個別に置かれたこと,取られたことをリアルタイムで検出することを目的とする.
このような目的に関連する代表的な従来手法として,カメラを用いた手法と荷重センサを用いた手法がある.カメラを用いた従来手法では,カメラから対象物体を観測することで対象物体の位置やハンドリングの有無を判定する.人間は,視覚的な情報から多くの状況を理解できる.このように,カメラから得られる画像には豊かな情報が含まれており,幅広く利用されている.しかし,対象物体に遮蔽があった場合,カメラで対象物体が観測できなくなる.そのため,対象物体が取られたり置かれたりしたことは,少なくとも,遮蔽が終了した後にしか検出できない.従って,カメラのみを用いた手法では遮蔽時にリアルタイムで物体が取られたこと,置かれたことを検出することが困難となる.
荷重を用いた従来手法では,荷重センサを机に設置し,机の天板に垂直方向にかかる力を計測する.物体が取られたり置かれたりすることで荷重センサにかかる荷重の増減から対象物体が取られたり置かれたりしたことを判定する.荷重は一次元の情報であるため,画像と比べて処理が容易である.しかし,物体が複数同時に取られたり置かれたりした場合に,それらに応じた荷重の増減が合算されて観測されてしまう.そのため,ある二つの対象物体が同時に取られたり置かれたりした際の荷重変化と,他の対象物体が取られたり置かれたりした際の荷重変化とが類似してしまうことがある.この場合,どの物体が取られてどの物体が置かれたかを荷重の増減のみで判断することは困難となる.
本稿では,カメラと荷重センサから得られる情報を統合した確率モデルを適用することで,カメラにおける遮蔽,荷重センサにおける複数同時移動の問題に対処する.カメラでは物体に遮蔽が無い限り,複数の物体が同時に取られたり置かれたりしてもそれらを別々に検出することができる.荷重センサでは物体が複数あったとしても,少なくとも一つ以上の物体が取られたり置かれたりしたことはリアルタイムで検出できる.従って,これらのセンサから得られた情報を統合することで,カメラや荷重センサ単体では難しかった状況に対処できると期待される.また,確率モデルを利用することで,たとえ,遮蔽中に,かつ,複数の物体が取られたり置かれたりした場合でも,遮蔽終了時にカメラ側の情報から対象物体の位置をリカバリすることができる.
実験では,カメラや荷重センサ単体ではハンドリングの開始・終了時刻の検出が困難な状況,及び,実際の机上作業に対して提案手法を適用した.前者の実験では,遮蔽中に複数の物体が同時に移動しても,それらを分けて検出できることを確認した.また,対象物体の位置が推定できていることを確認した.
実際の机上作業に関する実験として,まず,ペーパークラフトを作成する作業に対して提案手法を適用した.提案手法が実際の作業に対して物体が取られたり置かれたりしたことをどの程度正しく検出できるのかを確認した.この結果,物体が置かれたこと,取られたことに対する再現率はそれぞれ64.3%(9/14回),30.0%(3/10回)となり,適合率はそれぞれ34.6%(9/26回),14.3%(3/21回)となった.また,被験者に調理作業を行ってもらい,作業の一部に対して提案手法を適用した.この結果,物体が置かれたこと,取られたことに対する再現率はそれぞれ58.3%(7/12回),56.3%(9/16回)となり,適合率はそれぞれ29.2\(7/24回),47.4%(9/19回)となった.物体の移動以外に起因して検出された荷重変化が確認されたが,そのうちの63.0%(17/27回)を正しく棄却できた.物体が取られたり置かれたりしたことの検出の正しさをより良くするために,ハンドリングによって起こる荷重変化とその他の要因によって起こる荷重変化とを分けるようなアルゴリズムが必要であることが分かった.