2016 Fiscal Year Annual Research Report
Development of The User-centered Caption System based on Eye-tracking Data Analytics of Deaf Students
| Project/Area Number |
25282063
|
|---|
| Research Institution | Osaka Ohtani University |
|---|
Principal Investigator |
大倉 孝昭 大阪大谷大学, 教育学部, 教授 (50223772)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
中野 聡子 大阪大学, 学内共同利用施設等, 講師 (20359665)
金澤 貴之 群馬大学, 教育学部, 教授 (50323324)
|
|---|
| Project Period (FY) |
2013-04-01 – 2017-03-31
|
| Keywords | 非言語情報 / 字幕 / 聾学生 / 手話 / 情報補完字幕視聴システム |
|---|
| Outline of Annual Research Achievements |
情報補完字幕視聴システムを用いて、非言語情報が補完された字幕と補完機能を視聴者が選択する方式の有効性を検証した。複数大学の聾学生21名に協力を得た。実験では「コント」（約2分）を提示し、 (A)補完情報なし、(B)話者交代情報（話者別色付けと吹き出し）、(C)話者交代情報＋文字色による強調、(D)話者交代情報＋文字サイズによる強調、(E)話者交代情報＋イラスト、(F) 補完情報すべて有り、の6種類の字幕に限定して被験者に評価を求めた。その結果、(B)(D)(E)(F)の情報補完字幕は(A)に較べて、話者交代が分かり易く、話の流れ、おもしろさのツボ、臨場感が伝わりやすいという評価が出た。なお補完情報の視聴者選択機能は、21名中20名に支持された。
次に、(A)補完情報なし，(F)補完情報すべて有り を用いて行った視線計測実験からは、補完によって字幕領域への視線停留時間が増大する群と増大しない群に分かれ、聾者の字幕視聴が一様でないことが明らかになった。
さらに、聾学生の情報選好パターンについて考察を進めた。6種類の字幕の順位評価データの主成分分析から、第1（画像の効果）、第2（色の効果）、第3（文字サイズの効果）の3主成分が抽出された。色の効果の因子量が高かった被験者群では、文字色変更機能を自分で選択したいという要望と有意な関連が認められた。また、日常の言葉の理解において手話と日本語のいずれが得意かという特性と、視線停留時間の関連について検討した結果、手話で理解したり考える方が得意，または日本語と手話が同程度と自認する聾学生は、情報補完字幕への停留時間が長くなる傾向があった。これは、手話を基盤とした言語活動に慣れている聾学生は、表情や動作などの複数の情報を総合的に見る習慣が定着しているために、非言語情報に関心が向い易く、情報補完字幕への視線停留時間が長くなったと解釈された。
|
| Research Progress Status |
28年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
28年度が最終年度であるため、記入しない。
|
