美濃研究室 > 学位論文 > 画素の構造を考慮した背景画像生成による物体領域抽出

画素の構造を考慮した背景画像生成による物体領域抽出

実験や調理など複雑な手順の机上作業に対しては,作業の進捗に応じて支援を行うことが有用である.こうした作業の支援には,吹き出しや矢印を用いた直示的な教示情報の提示が有効である.このような直示的な提示を行うため,机上に液晶ディスプレイを埋め込み,机上の物体の位置・形状に応じた情報提示の実現を目指す.机上の物体の位置・形状を把握するため,机上を上方からカメラで観測し,カメラ画像から物体領域の抽出を行う.

物体領域の抽出にはカメラの観測画像と背景画像との差をとる背景差分法を利用することを考える.背景となるべき机上にはディスプレイが埋め込まれているため,情報提示に応じて見え方が変化する.その変化は支援情報の提示内容に依存するため,あらかじめ背景画像として用いる画像を用意しておくことは出来ない.そこで本研究では,背景画像として支援情報を提示したディスプレイのカメラからの見え方を推定し,観測画像との差をとることで物体領域を抽出することを目的とする.

プロジェクタによって表示した画像の歪みや色をカメラによって観測した画像に基づき補正することを目的とした従来研究のProjector-Camera Systemに関する研究では,カメラの観測画像とプロジェクタにて表示した画像との対応関係の獲得を行ってきた.しかし投影や撮像のモデルが粗雑であったため,補正に必要な対応関係は十分得られていたが,推定した画像と実際の背景画像との間には違いが生じており,背景差分には不十分な精度であった.

そこで本研究では,従来のプロジェクタ・カメラ間の対応関係の獲得手法をディスプレイ・カメラ間に適用し,さらに従来の投影・撮像のモデルにディスプレイとカメラの画素の構造を導入したうえで画像を推定することにより,ディスプレイをカメラで観測した画像を精度よく推定できる手法を提案する.こうして得られた画像を背景として用い,背景差分をすることによって物体領域を抽出することが可能となる.

あらかじめ用意した背景画像での背景差分結果を正解とし,従来手法で変換した画像と提案手法で変換した画像とでそれぞれ背景差分を行った.その結果,従来手法よりも不要な部分が平均で80.36%減少した.