TOP  >  学位論文  >  少ないサンプルの学習による受講生姿勢のタグ付け支援

少ないサンプルの学習による受講生姿勢のタグ付け支援

近年,授業内容の改善・向上を目的としたファカルティ・ディベロプメント(FD) の義務化に伴い,アンケートによる理解度調査や受講生映像の分析による講義評価が盛んに行われている.特に,講義評価の指標として受講生がどのような態度で講師の話を聞いているのかを示す振る舞いが注目されている.

受講生の振る舞いを分析するためには,振る舞いを分類・記録する必要がある.従来,受講生の様子を撮影した受講生映像から人手により振る舞いの分類・記録を行っていたが,これは大きな負担となっていた.そのため,計算機を用いることで振る舞い分類・記録を支援するシステムが求められている.

受講生の振る舞いの分類・記録を支援する手法として,受講生映像から受講生の姿勢を自動的に識別し,振る舞いに分類して,記録する手法が提案されている.この手法では,受講生の顔や体幹,手などの部位の位置により姿勢を定義し,ある特定の姿勢系列が現れる区間を,振る舞いとしている.姿勢の識別では,まず,受講生映像から受講生の部位を抽出する.次に,得られた部位の画像内での位置の組み合わせを分類することで,姿勢を求めている.この際,部位抽出の誤りを低減するために,部位間の空間的な制約と姿勢間の時間的な制約を用いて,精度向上を図っている.この手法では,空間的および時間的制約を用いることで,部位抽出結果をそのまま姿勢識別に用いる場合に比べて,精度が向上しているが,姿勢識別の精度自体は,低かった.これは,受講生ごとに現れる姿勢が異なることや,カメラと座席の位置関係の違い等を考慮せずに,受講生全体について一律に制約を与えていたことが一因と考えられる.

そこで,本研究では,より精度の高い振る舞い情報を得るために,半自動な姿勢識別を用いて映像中の各受講生への姿勢タグ付けを支援する手法を提案する.受講生映像中の各受講生から少数の学習サンプルを抽出して,それらを用いて各受講生に特化した姿勢識別器を構築する.各受講生に対して特化した識別器を構築することで姿勢識別の精度が向上することが期待される.また,識別器の構築に用いる学習サンプルは人手で処理しなければならないが,少数であるため全ての映像を人手で処理するよりも作業コストが少ない. これを実現するためには,各受講生の取る姿勢の傾向を反映した「代表的」なサンプルを抽出する必要がある.具体的には,抽出されたサンプルは,「その受講生の取るすべての姿勢を網羅していること(網羅性)」,「同じ姿勢を取っている時に得られる特徴量の違いを反映していること(多様性)」および「なるべく少数のサンプルであること(限定性)」の3 つのポイントに着目した.

本研究では,これらの条件を満たすサンプルを抽出する手法として,「均等サンプリング法」「変動量重み付けサンプリング法」「クラスタリングサンプリング法」および,これらを組み合わせた手法について検討・実験評価・考察した.

「均等サンプリング法」は,時間方向に一定間隔のデータを学習サンプルとする手法である.「変動量重み付けサンプリング法」は,一定時間区間の特徴量の分散を変動量と定義し,変動量の大きい時間区間からより多くのサンプルを抽出する手法である.「クラスタリングサンプリング法」は,まず,特徴量のクラスタリングにより,類似した特徴量をもつデータからなるクラスタを作成し,クラスタごとにサンプルを抽出する手法である.均等サンプリング法は網羅性が高く,変動量重み付けサンプリング法は多様性が高いと考えられるが,これらとクラスタリングサンプリング法を組み合わせることで,同じサンプル数のもとで,2 つのポイントをより満たす学習サンプルが得られると考えた.

実験では,講義で撮影した受講生映像に映っている受講生に対して,上記の5種類の手法を適用し,姿勢識別の正解率を比較した.その結果,平均精度で評価したところ,均等サンプリング法が安定してよい精度を示すが,サンプル数が少ないときは,クラスタリング+変動量重み付けサンプリング法の精度が高くなることが分かった.

90 分の講義映像に対して、どれだけ少数の学習サンプルが必要かを評価するために,実際に,多数の受講生の姿勢タグ付けに本手法を適用することが今後の課題である.