| 研究概要 |
大学の講義において,聴覚障害者のための情報保障の1つとして遠隔パソコン要約筆記が行われている.これは,講師音声と講義映像を遠隔地にいる要約筆記者に送り,その情報を基に作成された要約筆記文を講義室内の受講生(聴覚障害者)に提示するものである,これにより遠隔の入力者は,必要な視覚情報をもれなく参照することができ,正確な要約文を入力することが可能となる.特に指示語が指し示す対象を音声情報処理,映像情報処理の技術を統合することによって抽出する方法を考案し,実際のシステムに実現した.
本研究では,スライドを用いた講義で講師は指示棒で指示をすることを前提とし,指示動作及びその指示対象の抽出を行った.指示動作の抽出では,指示動作時の指示点が点・直線・楕円といった特徴的な軌跡を描くことに着目し,指示点の軌跡から指示動作の分類を行った.そして指示語と指示動作の統合を従来手法に基づいて行った.そのとき指示された講義スライドの図字領域を抽出し,その領域上に指示点の軌跡を描いたものを指示対象とした.実際の講義映像を分析した結果,指示発話は指示開始の1.5秒前から,指示終了の間に行われるという知見を得た.これを,指示発話と指示動作の統合に利用した.指示対象の抽出実験の結果,再現率85.7%,適合率84.8%を得た.さらに,本手法で抽出した指示対象を要約筆記者に提示する支援法の評価を行った.評価実験では,指示語を含む発話内容に対して,講義映像のみよりも講義映像に指示対象を加えて提示したほうが,指示語が適切に言い換えられて要約文に現れた数が多かった,また,要約筆記者へのアンケートでは,指示語に対応する指示対象を提示する機能や,それを基に指示対象を要約文に埋め込む機能が期待されているという結果を得た.
|
