2008 Fiscal Year Annual Research Report
聴覚障害者のためのリアルタイム字幕呈示システムにおける最適情報呈示に関する研究
| Project/Area Number |
19700627
|
|---|
| Research Institution | Tsukuba University of Technology |
|---|
Principal Investigator |
黒木 速人 Tsukuba University of Technology, 障害者高等教育研究支援センター, 特任助教 (00345159)
|
|---|
| Keywords | 教育工学 / ユーザインタフェース / 障害者支援 / 音声認識 / 字幕 / ノンバーバル情報 / 認知科学 / 情報工学 |
|---|
| Research Abstract |
音声認職を用いたリアルタイム字幕呈示システムにおいて, 現状では精度100%の字幕の生成は困難であり, 字幕には誤認識を含む不完全な文章になる. しかしながら, 重要なのは最終的な伝達内容に対する理解を100%に近づけることであり, そのためには不完全部分を補うための情報を内容理解の阻害なししに最適な状態で呈示することが重要となる.
本年度は, 2つの大項目の中の1つに関して, 小項目を2つ設定し, 各々の検討を行った.
1. 不完全な文に対し話者の顔などのノンバーバル情報の活用による効果とその最適表示の方法
(1) ノンバーバル情報として顔のどの領域を呈示するのが良いか.
(2) ノンバーバル情報と字幕との呈示タイミングをどう制御するのが良いか.
(1) では, 不完全文からなる字幕のみの呈示(字幕のみ)を基準として, 不完全文に対し話者の発話時の顔全体映像を付加した場合(字幕+顔), 同様に口元近接映像を付加した場合(字幕+口元)の3種で比較した. 完全文(正解文)に対する回答文の正答率を文理解の向上の指標として健聴者と聴覚障害者に対し実験を行った結果, いずれの被験者群においても正答率は, 「字幕のみ」<「字幕+顔」<「字幕+口元」となる傾向を示した. このことからノンバーバル情報を付加することで文理解が向上する傾向が統計的有意差として確認された.
(2) では, ノンバーバル情報として話者の発話時の顔全体映像を用い, ノンバーバル情報に対して不完全文の呈示に時差(-5秒~+5秒)を設けた試料に対し, いずれの時差が文理解の向上に貢献するかを比較した. (1) の実験と同様に正答率をそれぞれの被験者群で求めた結果, 正答率は時差なし(±0秒)ではあまり向上が認められず, 字幕先行側に1秒ずらした場合(-1秒(字幕先行1秒))が高くなる傾向を示した. また字幕先行側に外れるほど正答率が単調増加する傾向を示した. これらの傾向は, 何れの被験者群においても統計的有意差として確認された.
|
Research Products
(5 results)
