2011 Fiscal Year Research-status Report
聴覚障害者のための字幕システムにおける字幕とノンバーバル情報の呈示法に関する研究
| Project/Area Number |
23501096
|
|---|
| Research Institution | Tsukuba University of Technology |
|---|
Principal Investigator |
黒木 速人 筑波技術大学, 産業技術学部, 准教授 (00345159)
|
|---|
| Project Period (FY) |
2011-04-28 – 2015-03-31
|
| Keywords | ヒューマン・インタフェース / 障害者支援 / 高等教育支援 / 教育工学 / 認知科学 |
|---|
| Research Abstract |
音声認識を用いたリアルタイム字幕呈示システムにおいて，現状では精度100%の字幕の生成は困難であり，字幕は誤認識を含む不完全な文章になる．しかしながら，重要なのは最終的な伝達内容に対する理解を100%に近づけることであり，そのためには不完全部分を補うための情報を内容理解の阻害なしに最適な状態で呈示することが重要となる．そこで本課題では，現在までに行ってきたシステムの字幕生成過程における精度向上のみならず，字幕呈示過程においてもヒトが阻害なく情報補完・統合が行えるように，システムの字幕呈示過程における性能向上の検討を行うことを目的とする．具体的には，誤認識を含む不完全文と発話時のノンバーバル情報を呈示させる際に，どの様な顔の部位や情報間の呈示タイミングなどと言った，誤認識文・ノンバーバル情報の複数情報の呈示に関する最適な方法を探る検討を行う．今年度は「不完全な文に対し話者の顔などのノンバーバル情報の活用による効果とその最適表示の方法」の中の「ノンバーバル情報として呈示する最適領域」を中心に研究を実施し，以下のような成果を得た．不完全文からなる字幕のみの呈示(字幕のみ)を基準として，不完全文に対し話者の発話時の顔全体映像を付加した場合(字幕＋顔)，同様に口元近接映像を付加した場合(字幕＋口元)の3種で比較した．完全文（正解文）に対する回答文の正答率を文理解の向上の指標として健聴者と聴覚障害者に対し実験を行った結果，いずれの被験者群においても正答率は，「字幕のみ」＜「字幕＋顔」＜「字幕＋口元」となる傾向を示した．このことからノンバーバル情報を付加することで文理解が向上する傾向が統計的有意差として確認された．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
今年度の研究目標として掲げた「ノンバーバル情報として呈示する最適領域」に関して実験を遂行し，結果の分析を終了した．今年度は結果の分析のみを当初の計画としていたが，これらの結果を査読論文として投稿し受理され公開まで至った．以上より，今年度の達成度としては当初の計画以上に進展していると言える．
|
| Strategy for Future Research Activity |
今年度は年度計画以上の成果を得たと言えるので，次年度は計画通り「ノンバーバル情報と字幕との呈示タイミングの制御における最適情報呈示」に関し，次年度以降は「ノンバーバル情報と字幕との呈示タイミングに時差がある条件下における情報取得方法」「ノンバーバル情報と字幕との呈示タイミングに時差がある条件下のヒトの時間ずれの検知限の把握」のそれぞれに関し，実験遂行および成果発表・成果論文化の作業を順次行っていく予定である．
|
| Expenditure Plans for the Next FY Research Funding |
当初の計画通り，次年度の「ノンバーバル情報と字幕との呈示タイミングの制御における最適情報呈示」の実験遂行に必要な機材を購入すると共に，連携研究者との研究打ち合わせのための旅費，実験実施における実験補助者に対する謝金，論文投稿料を計上している．
|
