2019 Fiscal Year Annual Research Report

Development of Design Evaluation System for International Captions and Subtitles (DESICS) for barrier-free audiovisual presentations including films, movies, and TV programs

Research Project

Project/Area Number	16H03217
Research Institution	National Institute of Advanced Industrial Science and Technology
Principal Investigator	大山潤爾国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (00635295)
Co-Investigator(Kenkyū-buntansha)	中島佐和子秋田大学, 理工学研究科, 講師 (40453542) 若月大輔筑波技術大学, 産業技術学部, 准教授 (50361887)
Project Period (FY)	2016-04-01 – 2020-03-31
Keywords	認知支援学 / 認知的バリアフリー / 福祉工学 / 認知心理学 / 視覚ストリーム認知
Outline of Annual Research Achievements	本年度は、昨年度までの映像上における字幕と映像の認知特性に関する研究知見に基づいて、字幕と映像のデータから字幕設計評価に必要な要素情報を抽出する字幕解析技術を開発した。そして、プロジェクトの最終目標であった映像中の字幕デザインを自動的に分析し評価するアプリケーションのプロトタイプを開発した。プロトタイプは、研究代表者がプロジェクトリーダーを務めて作成したわかりやすい字幕の国際標準規格[ISO/IEC 20071-23:2018, Information technology -- User interface component accessibility -- Part 23: Visual presentation of audio information (including captions and subtitles)]に準拠し、かつ、本プロジェクトで明らかにしてきた映像内容と字幕との時空間的関係性と認知特性についての知見から、人の視覚認知特性に基づいて、６つの指標（カットと字幕のタイミングの時間的関係, 映像中の動きのある範囲と字幕の時空間的関係, 映像中の誘目度の高い範囲と字幕の空間的関係, 映像中の顔領域と字幕の空間的関係, 画面全体における字幕配置の空間的関係, 字幕情報量と表示時間の関係）で字幕設計を評価することが可能である。人による評価結果と、開発した字幕自動評価アプリケーションの評価結果の一致度を分析しアプリケーションの性能を確認するために、病院・空港・電車内など、音の出せない状況での字幕付き映像の利用を想定した健常者を実験協力者とした映像字幕評価実験と、聴覚障がい者を実験協力者とした映像字幕評価実験を行った。研究成果はプレスリリースし、実際に字幕や映像を制作する業界に提供していく予定である。
Research Progress Status	令和元年度が最終年度であるため、記入しない。
Strategy for Future Research Activity	令和元年度が最終年度であるため、記入しない。