|
聴覚障害者が講義を受講する際に，講師の声をパソコンでタイプして文字として表示する「パソコン要約筆記」が行われている．しかし，講義では写真やグラフ・表，数式など，文字として表現しづらい情報も重要である．このような講義で使われる視覚コンテンツを自動的に切り出し，入力者の簡単な操作によってそれらを要約文の中に挿入することにより，入力者の手間を省き，かつ，よりわかりやすい要約文を作成する要求がある．そのため，まず本研究では，講義映像中から指示対象物をリアルタイムで抽出するシステムを作成した．そして，指示対象物を要約筆記者に提示し，要約筆記文中に直接埋め込むことができるシステムを作成した．
講義映像中から指示対象物をリアルタイムで抽出するシステムは，講義の音声と映像をコンピュータに取り込み，画像処理によって講師の指示動作を検出し，その指示対象を抽出した．音声認識により講師の指示語発話を検出し，指示語発話を伴う指示対象を抽出するシステムを開発した．指示対象物を要約筆記者に提示し，要約筆記文中に直接埋め込むことができるシステムは，大きく分けて二つの部分からなる．一つが上部の画像提示部で，もう一つが下部のテキスト入力部である．まず，講義映像内から抽出された指示対象物を，画像提示部に表示させる．表示された画像は，それぞれの対応するファンクションキーを入力することで，テキスト入力部に挿入することができる．つまり，このエディタを使用することで，今まで多くの労力を必要とする作業であった数式等の入力を，簡単なキーボード操作により，画像として要約筆記文中に挿入することが可能となる．
要約筆記文作成システムを用い，要約筆記実験及び，その評価を行った．その結果，システムの画像挿入の機能を使用して行った要約筆記の方が，使用しない場合に比べ，要約筆記文の作成環境が改善されている傾向が見られた．
|
