|
聴覚障害者が健常者の中に混じって講義などを受講する場合、支援者が講義者の話したことをパソコンで入力してスクリーンに提示することで情報保障を行うPC要約筆記が行われている。現在、遠隔PC要約筆記を行う際は、通信環境の問題などから文字を読み取る程度の拡大率で映像を送る場合、黒板が一画面に収まらない。そのため、板書を読み取るときは、要約筆記者が、カメラを自分で制御している。これは、要約筆記者に大きな負担がかかり、また、要約筆記が行われるまでの遅延が増大する。そこで、本研究では、教師の行動を推定し、要約筆記者に必要となる映像を映すようにカメラを制御するシステムを研究した。
本システムでは、取得した画像に対して、背景差分を利用して教師・板書領域を抽出し、教師領域内について肌色・髪抽出を行い、頭・手領域を袖出する。また、仮想的な黒板を作成し、そこに書き消しを行うことで、過去に書かれた板書を検出する。これらの特徴をもとに、板書動作・手振り動作を検出して、教師の動作を推定する。推定した動作を利用して、最終的にカメラの撮影範囲を決定する。
実際の講義風景において評価を行ってみたところ、説明動作検出では、教師が説明している時間の73%が、本システムによって検出された。また板書領域の誤検出をしたもののうち、仮想黒板への書き消しにおいて、誤って書き込みを行ったのは全体の4%であり、遠隔PC要約筆記を行うにおいて有効な撮影が行えると考えられる。
|
