内容梗概
[English | 論文 | 美濃研の研究 | 美濃研究室 ]


講義状況とネットワーク帯域に適応する講義映像伝送方式


映像をコンピュータネットワークを介して遠隔地に伝送することが盛んになっている。インターネットなど、映像伝送に使われるコンピュータネットワークの多くは、できるだけ送信側から受信側にデータを届けるように努力はするが確実に届ける保証はしないという、ベストエフォート型ネットワークである。ベストエフォート型ネットワークでは有効な帯域をあらかじめ知ることが難しくネットワークに有効帯域を超えた量のデータを送信すると、送りきれないデータが破棄されたり、データが到着する時間に遅延が生じたりして、映像に含まれる画像が乱れる、あるいは音声が途切れるといった問題が生じる。

従来研究ではそのような問題を避けるために、映像データを階層化し、優先度をつけて伝送する手法が提案されている。この手法ではネットワークの中継点であるルータは映像データのうち優先度の高い階層から送信し、有効な帯域が狭くなれば優先度の低い階層は送信されなくなる。例えば、映像データを周波数帯域に分解し、低周波数帯域を含む階層には高い優先度を、高周波帯域を含む階層には低い優先度をつける。有効な帯域が狭ければ粗い画像の動画が伝送され、有効な帯域が広くなるにつれて徐々に鮮明で細やかな画像の動画が伝送されるようになる。

このように映像データを階層化する手法では、周波数帯域における低周波帯域のように、統計的性質から一般的に重要度が高いと考えられる情報を含む階層に対して、高い優先度をつける。 しかし、例えば遠隔地に講義の映像を伝送するのであれば、講師が目立った動作をせずに話をしている状況では音声情報が重要であり、話をせずに教材に文字を書いてる状況では文字情報が重要であるといったように、あきらかに映像中の情報の重要度の順位が異なっている。映像伝送の目的が定まっていれば、それに応じた映像伝送がなされるべきで、従来手法のように情報の重要度を目的に関わらず一律に定める手法では不十分である。

よって本論文では、講義映像の伝送を例として、講義状況と帯域に適応する映像伝送手法を提案する。提案手法では、まず講義状況を「教材を解説」「板書」「動作を伴う発話」「発話のみ」「発話・動作無し」の五種類に分類する。そして、それぞれの状況に応じて、文字情報、動作情報、音声情報という三つの講義情報に重要度を定める。それぞれの講義情報を伝えるためには、音声情報には音質、文字情報には画質、動作情報にはフレームレートというような映像伝送上のパラメータがある基準値以上であることが必要である。そこで、提案手法では重要な講義情報に影響するパラメータをその基準値以上に保って伝送する。

これらのパラメータは映像データの生成量と関係するので、重要度が高い情報に影響するパラメータを優先し、重要度が低い情報に影響するパラメータを抑制することで、映像データの生成量を制御して送信データ量を有効な帯域に適応させる。

しかし、講義状況と有効な帯域によっては、重要度が高い情報のパラメータを基準値以上に保つと映像データの生成量が帯域を超えてしまう。そこで、提案手法ではこのような場合には、帯域に収まりきらない映像データをバファリングして、時間をかけて送信する。受信側では再生待ちして必要なデータが揃うまで受信データをバファリングし、必要なデータが揃ってから再生する。この送受信のバファリングによって遅延が増大するが、提案手法ではそれをあえて許容する。しかし、無限に遅延が増大することを許容するわけではなく、重要な情報がないと考えられる講義状況で、遅延が生じている時間分だけその状況下で生成した映像データを破棄する。このことによって、遅延を補償することができる。

以上のような提案手法を適用するために、本研究室の従来研究の成果を用いて、必要な講義室のデータを取得して、状況認識を行うシステムを作成した。 実際に模擬講義を行ったところ実装したシステムは82.0\%の割合で人間による 状況の判断と 同じ状況を出力した。よって本システムは講義時間中の大半にお いて妥当な状況を判断しているといえる。認識された状況に従って、帯域が 3Mbpsである時の本提案手法のシミュレーションを行なったところ、再生の遅れ は最大で20秒であったが、最終的には0秒となった。本手法を適応しない 5MbpsのMPEG-2映像データを3Mbpsの帯域で伝送した場合をシミュレーションす ると、一秒間に平均14.8フレームが欠損し、72\%のデータが無効となる。本手 法を適用した時のフレームレート、画質の最高値は生成データ量が5Mbpsである 映像データと同等の値であるので、 本提案手法は有効であるといえる。


学位論文のページに戻る