時系列観測情報の統合による仮想的観測視点増加
本研究では，電子博物館のための高精度3次元コンテンツ作成を対象として，有限台数のカメラを用いての仮想的な無限台数のカメラ環境の構築を考える．
手法の概要を図1に示す．空間的には設置できるカメラの台数は有限である．しかし，時間的に対象物体を観測し続けることは無限に可能である． そこで， 物体が運動することによる対象とカメラの相対位置の時間的な変化を，カメラ位置の空間的な変化とみなして， 観測するすべてのフレームのすべてのカメラの画像情報を統合する．これにより，有限台数のカメラを用いての仮想的な無限台数のカメラ環境の 構築を考えることができ，高精度な3次元形状復元を実現する．
図1 : 視体積の時系列統合
運動推定のために必要となる特徴点を，余分な領域を含む視体積から安定して抽出する手法に本研究の特色がある． 各フレームでの視体積の表す3次元形状は，物体形状が占める領域以外に余分な領域を含んでおり，安定して特徴点を得ることは困難である．
我々はこれに対し，視体積に特化した特徴点抽出手法を提案する．提案手法では，各フレームで得られる視体積に画像の情報を逆投影し，特徴点を得る． 抽出の様子を図2に示す．視体積に画像の逆投影を行ったときに，それぞれのシルエットの境界要素となる画素を通る視線上に唯一存在するボクセルは， 視体積上の余分な領域ではなく，物体形状上の点であることが保証される．なぜなら，そのボクセルが物体上に存在しないときには， そのボクセルが特徴点に抽出される原因となる境界要素の画素は欠損するべきであり，画像は違うものになるはずであるからである．
図2 : 特徴点抽出
まず，提案手法の精度を評価するために，シミュレーションデータを用いた実験を行った． 3次元データには，形状が既知である恐竜の形状を用いた． 抽出された特徴点と，これを元に運動追跡を行い，視体積を時系列で統合した結果を示す．
|
|
|
|
| 40000フレームでの視体積 | 1フレームでの視体積 | 抽出された特徴点 | 18フレーム分の情報を統合した視体積 |
図3 : シミュレーション実験 |
恐竜の腹部の残余領域が減少し，背部の角度のある部分がなだらかになっていることが確認できる．
次に，提案手法が実環境でも有効であることを示すために， 実環境で計測した画像を用いて時系列画像の統合を行った． 物体の観測には19台のカメラを持つ4πシステムを用いた． 対象物体は上から細い糸で吊るし，揺らすことで微小な運動を与えた． シルエット欠損の影響を考慮して，すべての視錐体に含まれていなくても18台以上のカメラの視錐体に含まれていれば 視体積の要素に含めるという方法を採用した．
|
|
|
|
| 対象物体(写真) | 1フレームでの視体積 | 抽出された特徴点 | 5フレーム分の情報を統合した視体積 |
図4 : 実環境実験 |
時系列情報の統合により1フレームで得られる視体積よりも再現性の高い形状を復元できている．
研究テーマ
- 時系列観測情報の統合による仮想的観測視点増加(豊浦)