| 研究概要 |
(1)教師の声の有無を検出し,教師動作の推定の精度を向上させた.
講義の自動撮影を行なう場合,教師の動作に応じて撮影対象を変化させ,それを学生が判読できるように撮影する必要がある.そのため,講義を行なう教師の動作推定はできるだけ正確に行う必要がある.前年度に行った教師の動作の推定は画像処理だけを用いて行っていた.しかし,見た目だけでは同じ動作と思われるものでも実際は異なる動作をしていることがあり,それが原因で撮影対象を間違って推定することがあった.本研究では,教師が発する声の有無を検出し,音声処理結果と画像処理結果を融合することで,教師動作の推定精度を向上させた.
(2)教師の発話から指示語などの位置を表す言葉を抽出し,それに応じた説明対象の推定法を構築した.
複数の教師の講義中の発話を調査し,指示語などの位置を表す言葉の使用頻度を計測した.また,その言葉が使用された際の説明対象の位置(教師との相対位置)を調査した.この調査結果をもとにして,講義の状況を推定する上でキーとなる言葉の選定を行った.ここで選定した特定の単語を抜き出すための手法として,本研究では,ワードスポッティング技術を使用した.講義映像を観察して作成したルールに則り、抽出された語彙と画像情報を協調利用することで、教師がどこを説明しているかを判断し、説明対象をより正確に推定する手法を構築した.
(3)講義自動撮影システムのプロトタイプを実現し,実際の講義に適用して評価した.
これまでに構築した画像処理の手法と音声処理の手法を有機的に組み合わせて講義自動撮影システムのプロトタイプを作成した,プロトタイプはLinux上で動作する.提案手法を評価するために,プロトタイプを使って実際の大学の学部の講義の撮影実験を行なった.この撮影した講義を学生に見せてアンケート調査を行った.その結果,本手法が有効であることが確認できた.
|
