2012 Fiscal Year Research-status Report
聴覚障害者のための字幕システムにおける字幕とノンバーバル情報の呈示法に関する研究
| Project/Area Number |
23501096
|
|---|
| Research Institution | Tsukuba University of Technology |
|---|
Principal Investigator |
黒木 速人 筑波技術大学, 産業技術学部, 准教授 (00345159)
|
|---|
| Keywords | ヒューマン・インタフェース / 障害者支援 / 高等教育支援 / 教育工学 / 認知科学 |
|---|
| Research Abstract |
音声認識を用いた字幕呈示システムにおいて，精度100%の字幕の生成は技術的に困難であり，呈示される字幕には誤認識が含まれ，不完全な文章になる．ここで重要なのは情報取得者の内容理解度を100%にすることであり，そのためには字幕のみで情報呈示を行うことに拘る必要はない．呈示する複数の情報から総合的な理解度を100%にすることが重要となる．しかしながら，呈示する情報の組み合わせ方など呈示方法に依っては内容理解を阻害する可能性がある点に注意する必要がある．本課題では，本システムが呈示する情報において，音声認識結果である誤認識を含む不完全文と，話者の発話時のノンバーバル情報を呈示させる際に，ヒトが阻害なく情報補完や情報統合が行える最適な情報呈示方法の研究を実施する．
今年度は，「字幕と話者の発話時の顔情報における複数情報の最適呈示方法の探索」の中の「ノンバーバル情報として呈示する呈示順序および呈示時差」を中心に研究を実施し，以下のような成果を得た．
不完全文に対し話者の発話時の顔全体映像に意図的に時差を設けた呈示試料(字幕先行5種，同時呈示1種，顔先行5種)を作成し，完全文（正解文）に対する回答文の正答率を文理解の向上の指標として，健聴者と聴覚障害者に対し実験を行った．結果，いずれの被験者群においても正答率は，字幕先行＞同時呈示＞顔先行となる傾向を示した．この結果から，字幕先行条件において，なぜ回答文の正答率が向上するのか，つまり今回の実験で設定した字幕先行・ノンバーバル情報後行の呈示条件において，被験者はどの様に情報取得を試みているのかを視線追従装置などの実験設備で確認する必要が新たに生じた．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
不完全文に対し話者の発話時の顔全体映像を意図的に時差を設けた呈示試料における実験は完了したが，その結果から得られた，本実験の時差条件における被験者の情報取得方法を確認するための実験試料の作成および実験装置の設定等の準備が遅れている．
|
| Strategy for Future Research Activity |
今年度の実験から新たに得られた，本実験の時差条件における被験者の情報取得方法を確認するための実験には，新たな実験試料の作成と共に，視線追従装置の様な特殊な実験装置が必要となる．この実験を実施することで，被験者が不完全文と発話情報の複数情報からどの様に情報取得しているか，言わばバーバル・ノンバーバルの複数情報からヒトはどの様に情報取得をしているかと言った認知に関する基礎的な知見が得られると考えられる．早期に実験準備を行い，実験遂行，成果発表・成果論文化の作業を行っていく予定である．
|
| Expenditure Plans for the Next FY Research Funding |
当初の実験計画から得られた知見の発展的課題である「特定の時差条件における被験者の情報取得方法を確認するための実験」の遂行に必要となる実験機材や，試料作成に必要となる準備機材を購入すると共に，連携研究者との研究打ち合わせのための旅費，実験実施における実験補助者に対する謝金，論文投稿料を計上している．
|
Research Products
(1 results)
