内容梗概
[English | 論文 | 美濃研の研究 | 美濃研究室 ]


e-learningシステムにおける学習者の顔情報表示のための画像合成


現在のe-learningシステムを単純なWebベース学習と比較したときの最大の特徴は,学習ログを残すことができるという点である.学習ログには,各学習者の教材へのアクセス時間や設問の解答状況が保存されており,教師は各学習者の学習進捗状況を把握することができるようになっている.しかし,この学習ログで残されるものは学習進捗状況のみであり,学習の様子,すなわち表情や視線の情報は残されない.現実の講義においては,教師は学習者の表情や視線を見て,どのように講義を進行するかを定めており,これらは教師にとって重要な情報であるといえる.表情や視線が教師にとって重要である点は,e-learningシステムにおいても同様であると考えられる.そこで本研究では,e-learningシステムで学習している学習者の表情・視線の情報を学習ログとして管理し,教師の要請に応じてそれらを提示するシステムを提案する.

学習者の学習時の表情は,大きくは変化しないと考えられるため,そのような表情を機械が認識することは困難である.また,学習者の視線,すなわち教材に対する注視位置を追跡するためにはアイマークカメラ等の特殊な機器が必要であるが,このような機器を装着することは,e-learningシステムで学習中の学習者にとって負担が大きい.そこで本研究では,学習者の表情や注視位置が教師自身に判別できるような画像を提示することを提案する.特に注視位置に関しては,注視している部分の教材内容も判別できるように,教材の画像も提示する.そして,これらの画像を用いて,学習者の表情と視線の情報を学習ログとして利用することのできるシステム,いわば“顔の見えるe-learningシステム”の構築を目指す.

表情が判別できる画像としては,学習者の顔を撮影した実写の画像をそのまま利用する.一方,注視位置が判別できる画像としては,学習者の顔とモニタ画面との位置関係が分かるような画像,すなわち,両者が共に写されている画像を用いればよい.しかし,このような画像を撮影する際,視点をモニタ画面の両脇や斜め前方に置くと,注視部分の教材内容がひずんで見えるため,視点はモニタ画面に正対する位置に置く必要がある.また,学習者の顔が横方向や斜め方向から観測される位置に視点を置くと,画像上で学習者の視線方向が一方向に偏り,教師がその変化を感じにくくなるため,視点は学習者の顔にも正対させるべきである.以上の条件を満たすものとして,モニタの裏側からモニタ画面を透かして学習者の顔を観測したような画像を用いる.

このような画像は当然実写では得られないので,本研究では,モニタ枠の外側に設置されたステレオカメラ画像から仮想視点顔画像を生成し,その顔画像と教材の画像を重畳することで,モニタの裏側からモニタ画面を透かして学習者の顔を観測したような画像を合成する.具体的には,まず,学習者の顔の中心とモニタ画面の中心を結んだ直線上に仮想視点を置く.さらに,教材の提示されているモニタ画面を底面,学習者の顔中心を頂点とする錐体に従ってモニタ画面を一旦相似縮小し,このモニタ画面を通して見た顔画像を生成することで,学習者の視線方向とモニタ上の注視位置の関係を保存したまま,顔画像に対する教材画像の大きさを補正する.

この視点からの学習者の正面顔画像は,次のように合成する.あらかじめ学習者の顔を多面体で近似した3次元モデルを用意しておき,その上でステレオカメラで撮影した2枚の学習者の顔画像から,両目と口の中心位置を抽出し,その3次元位置を求める.これらの3次元位置に合わせて,用意したモデルの姿勢を定め,これを入力画像に逆投影し,モデルの各面に入力画像の対応する部分をテクスチャとして貼り付ける.これを上記の視点位置から観測し,画像を生成する.こうして生成された正面顔画像上で,相似縮小したモニタ画面が投影される領域に,教材の画像を,視線方向と注視位置の関係性が保存されるよう,左右反転させて重畳する.最後に,教材画像が左右反対にならないようにするため,もう一度画像全体を左右反転させる.

提案した合成画像から,学習者の注視位置がどの程度判別できるのかを調べるために,e-learningシステムにWebCTを用いて被験者の顔画像を実際に撮影し,教材のページごとにその顔画像を並べた画面と,提案手法を用いて合成した画像を表示した画面とを作成した.そして,合成画像に写されている被撮影者が教材のどのオブジェクト(図・文章・数式)を見ていると思うかについて,5人の被験者に回答を求めた.その結果,一つの図や一段落の文章を単一のオブジェクトと見た場合には,75%から80%の正解率を得た.今後は,教材・顔間の距離推定に関するファクタを検討する必要があろう.


学位論文のページに戻る