Development of speech balloon subtitles for the hearing impaired to support communication in the classroom

Research Project

Project/Area Number	19K20967
Project/Area Number (Other)	18H05775 (2018)
Research Category	Grant-in-Aid for Research Activity Start-up
Allocation Type	Multi-year Fund (2019) Single-year Grants (2018)
Review Section	:Education and related fields
Research Institution	Chiba University of Commerce (2021-2022) Meiji Gakuin University (2018-2020)
Principal Investigator	Egusa Ryohei 千葉商科大学, 基盤教育機構, 助教 (70826239)
Project Period (FY)	2018-08-24 – 2023-03-31
Project Status	Completed (Fiscal Year 2022)
Budget Amount *help	¥2,470,000 (Direct Cost: ¥1,900,000、Indirect Cost: ¥570,000) Fiscal Year 2019: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000) Fiscal Year 2018: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Keywords	聴覚障害 / 吹き出し型字幕 / 情報保障 / 吹き出し / 字幕 / オラリティ / コミュニケーション
Outline of Research at the Start	本研究では、教室での利用を想定した吹き出し型字幕提示システムを開発し、同システムの情報保障技術としての有効性と限界について実証的に検討する。システム開発においては、特に、吹き出し型字幕の表示位置・吹き出し形状をリアルタイムに決定する機能について重点的に取り組む。これにより、聴覚障害者が教室における学習活動に際して、音声情報を適切に保障される環境の構築を目指す。
Outline of Final Research Achievements	The purpose of this study is to empirically examine the effectiveness and limitations of a subtitle presentation system as an information assurance technology for classroom use. In this study, we evaluated the usability of the user interface of the support system in terms of the display position of the speech bubble type subtitle, assuming a real-world situation in which multiple people are engaged in a discussion. The results suggest that the speech bubble type subtitle supports the reading of information on the speakers or their statements in a multi-person discussion scene in terms of time, compared with the general subtitle format. The results of this study indicate that speech bubble type subtitles are useful as a method of information assurance in multi-person discussion situations.
Academic Significance and Societal Importance of the Research Achievements	近年，学校教育におけるアクティブラーニング導入の推進により，学習者の主体的・対話的で深い学びの実現のために学習者同士のコミュニケーションや課題解決のための話し合いの重要性が高まっている．このような学習環境において，音声の取得に関する障壁は，これまで以上に聴覚障害のある学習者に大きな影響を与える可能性がある．本研究の成果は，このような学習環境の構築において，聴覚障害のある学習者を含めたアクティブラーニングのより良いあり方を検討するにあたって意義のある成果と考える．