2009 Fiscal Year Annual Research Report
聴覚障害者のためのリアルタイム字幕呈示システムにおける最適情報呈示に関する研究
| Project/Area Number |
19700627
|
|---|
| Research Institution | Tsukuba University of Technology |
|---|
Principal Investigator |
黒木 速人 Tsukuba University of Technology, 産業技術学部, 准教授 (00345159)
|
|---|
| Keywords | 教育工学 / ユーザインタフェース / 障害者支援 / 音声認識 / 字幕 / ノンバーバル情報 / 認知科学 / 情報工学 |
|---|
| Research Abstract |
音声認識を用いたリアルタイム字幕呈示システムにおいて,現状では精度100%の字幕の生成は困難であり,字幕は誤認識を含む不完全な文章になる.しかしながら,重要なのは最終的な伝達内容に対する理解を100%に近づけることであり,そのためには不完全部分を補うための情報を内容理解の阻害なしに最適な状態で呈示することが重要となる.
現在までに,大項目の中の3つに関して検討を行った.
1.不完全な文に対し話者の顔などのノンバーバル情報の活用による効果とその最適表示の方法
(1)ノンバーバル情報として顔のどの領域を呈示するのが良いか.
(2)ノンバーバル情報と字幕との呈示タイミングをどう制御するのが良いか.
(3)ノンバーバル情報と字幕の同時呈示の際の認知的な同期精度(ヒトの時間ずれの検知限)
(1)では,不完全文からなる字幕のみの呈示(字幕のみ)を基準として,不完全文に対し話者の発話時の顔全体映像を付加した場合(字幕+顔),同様に口元近接映像を付加した場合(字幕+口元)の3種で比較した.いずれの被験者群においても正答率は,「字幕のみ」<「字幕+顔」<「字幕+口元」となる傾向を示した.
(2)では,ノンバーバル情報に対して不完全文の呈示に時差(-5秒～+5秒)を設けた試料に対し,いずれの時差において文理解が向上するかを比較した.正答率は,時差なし(±0秒)ではあまり向上が認められず,字幕先行側に1秒ずらした場合(-1秒(字幕先行1秒))が高くなる傾向を示した.また字幕先行側に外れるほど正答率が単調増加する傾向を示した.
(3)では,話者の顔情報と不完全字幕の呈示時差を意図的に設け,その呈示時差を被験者が検知できるかどうかを定量的に計測することを試みた.その結果,傾向は各被験者に依存する傾向を示したが,概ね呈示時差0～+2秒の間に許容限があると推察される結果を得た.
|
Research Products
(3 results)
