聴覚障害者のための字幕主体の映像視聴システムに関する研究

• Project/Area Number: 23K02679
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 09070:Educational technology-related
• Research Institution: Tsukuba University of Technology
• Principal Investigator: 若月 大輔 筑波技術大学, 産業技術学部, 教授 (50361887)
• Project Period (FY): 2023-04-01 – 2027-03-31
• Project Status: Granted (Fiscal Year 2023)
• Budget Amount: ¥3,510,000 (Direct Cost: ¥2,700,000、Indirect Cost: ¥810,000); Fiscal Year 2026: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000); Fiscal Year 2025: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000); Fiscal Year 2024: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000); Fiscal Year 2023: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
• Keywords: 動画閲覧 / オンデマンド教材 / 字幕 / ろう・難聴者 / 聴覚障害 / ウェブアプリケーション / 映像視聴 / 情報保障 / Webアプリケーション

Outline of Research at the Start

本研究では，聴覚障害者の映像視聴を支援するために，字幕を主体とした新たな映像視聴法の提案を目的とする．まず，オンデマンド映像を対象にして，字幕を各文単位で区切った字幕チャンクに対して動画を付与することによって，字幕を読むことを主体とした映像視聴方法を検討する．次に，字幕チャンクに付与された動画を代表する静止画を生成して付与することで，字幕を主体とした静止画ベースの映像視聴方法について検討する．さらに，字幕を主体としたライブ映像の視聴方法についても検討する．
提案法は，利用者のペースでの映像視聴を可能にし，聴覚障害者だけでなくすべての人々にとって新たな映像視聴スタイルになる可能性を秘めている．

Outline of Annual Research Achievements

近年、オンラインで文字通訳をライブで行う方法や、自動音声認識を活用して生成した字幕を付与する方法が一般的になり、ろう・難聴者にとって、映像ベースのイベントや授業に参加、出席しやすい環境が整ってきた。しかし、文字通訳や字幕（以下、単に字幕と呼ぶ）の利用者にとって、映像と字幕を同時に見る負担や、見落としについての課題が指摘され、映像と字幕を見逃さない、見逃してもすぐに補填できる方法が求められてきた。そこで、本研究では字幕を読むことを主体として、映像をそれに付随させる形式で、映像コンテンツを視聴する方法を提案する。
2023年度は、字幕主体の映像視聴を実現するための基礎的なシステムをウェブ上に構築した。字幕データに含まれる各文には、映像のタイムコードによる表示開始時間と終了時間（以後、表示区間とよぶ）が記録されている。この表示区間を1つの単位（以後、字幕チャンクとよぶ）として、字幕をリスト化した。ユーザが字幕リストを読み進めることを基本とするが、字幕チャンクを選択するとその表示区間の動画を再生するようになっており、字幕を主体として映像を視聴できる基本的な機能を実装した。
また、提案法を実装したシステムで構築した教材と、従来型の動画視聴形式の教材の比較実験を行い、利用者の学習行動の違いを中心に解析を行った。その結果、提案するシステムのほうが、自分のペースで能動的に学習を進められ、学習内容の振り返りも容易であることがわかった。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

2023年度は当初の計画どおり、字幕が付与されたオンデマンドの映像に対して、本研究で提案する字幕を主体とした映像視聴方法を実装した基礎的なシステムを構築した。動画と字幕ファイルから、各字幕文の表示時間をもとに、字幕と映像とを対応付けた字幕チャンクを生成した。提案する映像視聴方法は、字幕を読むことを主体として、必要な際に映像を参照するスタイルであるため、各字幕チャンクの字幕文をリストで提示し、字幕チャンクを選択すると、それに対応した表示区間の映像を繰り返し再生するようにした。本システムは、今後の本研究計画を遂行するための基本的なシステムであるため、拡張性を重視した実装を心がけた。
また、提案法の字幕を主体とした映像教材と、従来型の動画視聴形式の教材の比較実験を行った。ここでは、利用者の各字幕文や映像コンテンツの閲覧時間、およびシステムのGUIの操作状況の定量的データと、アンケートによる主観的なデータにより、利用者の学習行動の違いについて解析を行った。提案法のシステムは、新たな映像視聴スタイルであり、利用者によって慣れや、嗜好の違いが見られた。一方で、能動的に字幕を進めたり戻したりできるため、自分のペースで学習する行動が現れることがわかった。これらの成果を公表するために論文としてまとめ、2023年度末に本研究に関連する学会の論文誌へと投稿を行った。

Strategy for Future Research Activity

2023年度に構築した基本のシステムには、字幕チャンクに表示区間の動画を付与し、利用者が字幕チャンクを選択した際に、付与された動画を再生する方法を実装した。現状では、選択された字幕チャンクの動画の繰り返し再生、およびその動画以降を連続的に再生するようになっている。2024年度以降は、当初の研究計画通りに、動画だけに頼らない映像視聴方法を検討する。映像の種類によっては、映像内の動きよりも動いた結果が重要であることも多い。例えば、授業などのコンテンツでは、板書や指示の動きよりも、板書された結果や指示された部分が重要である。そこで、各字幕チャンクにおける静止画の様々な生成方法を考案し、それらの内容の把握しやすさを明らかにする。
また、近年の動画に付与された字幕データとして、自動音声認識により付与されたものが多く存在する。それらに対して、字幕を主体とした閲覧方法を適用した際に、字幕そのものが口語表現であるため、非常に読みづらい字幕文になることが明らかになった。提案法を有効に機能させるためには、字幕の文章をより読みやすくする工夫が必要であることがわかった。
2024年度以降は、当初の計画通り字幕チャンクに付与する字幕主体の映像視聴に適した静止画の検討を行いつつ、字幕の文章を読みやすくする工夫について検討を進めていく予定である。