2005 Fiscal Year Annual Research Report
聴覚障害者のための音声同時字幕システムにおける最適情報呈示に関する研究
| Project/Area Number |
17700601
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
黒木 速人 東京大学, 先端科学技術研究センター, 科学技術振興特任教員(特任助手) (00345159)
|
|---|
| Keywords | 教育工学 / ユーザインタフェース / 障害者支援 / 音声認識 / 字幕 / ノンバーバル情報 / 情報工学 / 認知科学 |
|---|
| Research Abstract |
聴覚障害者の情報保障手段として音声認識認識を用いたリアルタイム字幕システム(音声同時字幕システム)の研究を行っている.現状では精度100%の字幕の提供は困難であり,字幕には誤認識単語などの間違いが含まれた不完全な文章になる.精度100%の字幕の提供は重要であるが,より重要なのは伝達する内容の理解を100%に近づけることである.そのためには,不完全部分を補うための情報を最適に呈示することが重要になる.そこで本課題では,次の2点に関して取り組むこととする.1.不完全な文に対し話者の顔などのノンバーバル情報の活用による効果とその最適表示の方法,2.文字自体に付加情報を持たせることによる効果とその最適表示の方法.
H17年度は項目1.に関し,以下のようにさらに小分類し取り組んだ.(1)ノンバーバル情報として顔のどの領域を提示するのが良いか,(2)ノンバーバル情報と字幕との呈示タイミングをどう制御するのが良いか.
(1)に関しては,不完全文からなる字幕のみの呈示(字幕のみ)をコントロールデータとして,不完全文に対し話者の発話時の顔全体映像を付加した場合(字幕+顔)と同様の口元近接映像を付加した場合(字幕+口元)とで比較した.完全文(正解文)に対する回答文の正答率を文理解の向上の指標として健聴者と聴覚障害者に対し実験を行った結果,いずれの被験者群においても正答率は,字幕のみ<字幕+顔<字幕+口元となる傾向を示した.このことからノンバーバル情報を付加することで文理解が向上することがわかった.
(2)に関しては,ノンバーバル情報として話者の発話時の顔全体映像を用い,ノンバーバル情報に対して不完全文の呈示に時差(-5秒〜+5秒)を設けた試料に対し,いずれの組合せ(時差)が文理解の向上に貢献するかを比較した.先の実験と同様に回答文の正答率を健聴者と聴覚障害者で求めた結果,いずれの被験者においても正答率は,時差なし(±0秒)ではあまり向上が認められず,字幕先行側に1秒ずらした場合(-1秒(字幕先行1秒))が比較的高くなる傾向を示した.また顔先行側に対して字幕先行側が高くなる傾向を示した.このことから顔情報に対し字幕情報を先行呈示することが文理解の向上に寄与することが示唆された.
|
