| 研究概要 |
音声認識を用いたリアルタイム字幕呈示システムの研究を行っている.現状では精度100%の字幕の生成は困難であり,字幕には誤認識を含む不完全な文章になる.しかしながら重要なのは伝達内容に対する理解を100%に近づけることであり,そのためには不完全部分を補うための情報を最適に呈示することが重要となる.
本年度は,次の2つの小項目に関し初期検討を行った.
不完全な文に対し話者の顔などのノンバーバル情報の活用による効果とその最適表示の方法
1ノンバーバル情報として顔のどの領域を呈示するのが良いか.
2ノンバーバル情報と字幕との呈示タイミングをどう制御するのが良いか.
1では,不完全文からなる字幕のみの呈示(字幕のみ)を基準として,不完全文に対し話者の発話時の顔全体映像を付加した場合(字幕+顔),同状態における口元近接映像を付加した場合(字幕+口元)の3種で比較した.完全文(正解文)に対する回答文の正答率を文理解の向上の指標として健聴者と聴覚障害者に対し実験を行った結果,いずれの被験者群においても正答率は,「字幕のみ」<「字幕+顔」<「字幕+口元」となる傾向を示した.このことからノンバーバル情報を付加することで文理解が向上する傾向が確認された.聴覚障害者における傾向では統計的有意差が確認された.
2では,ノンバーバル情報として話者の発話時の顔全体映像を用い,ノンバーバル情報に対して不完全文の呈示に時差(-5秒〜+5秒)を設けた試料に対し,いずれの時差が文理解の向上に貢献するかを比較した.先の実験と同様に正答率を聴覚障害者と健聴者で求めた結果,正答率は時差なし(±0秒)ではあまり向上が認められず,字幕先行側に1秒ずらした場合(-1秒(字幕先行1秒))が高くなる傾向を示した.また字幕先行側に外れるほど正答率が単調増加する傾向を示した.これらの傾向は,少ない被験者ながら聴覚障害者・健聴者を問わず確認された.
|
