2018 Fiscal Year Research-status Report
視覚障害者の映像鑑賞における音声合成利用の可能性と新展開
| Project/Area Number |
17K01553
|
|---|
| Research Institution | Akita University |
|---|
Principal Investigator |
中島 佐和子 秋田大学, 理工学研究科, 助教 (40453542)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
大河内 直之 東京大学, 先端科学技術研究センター, 特任研究員 (30361679)
水戸部 一孝 秋田大学, 理工学研究科, 教授 (60282159)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | バリアフリー / 視覚障害者 / 音声ガイド / 音声合成 / 映画・映像 / メディア / タイミング / 聴覚心理 |
|---|
| Outline of Annual Research Achievements |
研究の2年目は，「人間の声（肉声）と合成音声に対する認知特性」のうち，映画本編に流れる環境音に対して，それを説明する音声ガイドの提示タイミングの影響評価から進めた．若年晴眼者8名を対象とした実験の結果，肉声に比べて合成音声を用いた音声ガイドでは，環境音から離れると状況や登場人物の心情理解がしにくくなる傾向が得られた．さらに，音声ガイドの音声周波数に着目し，環境音の音域との干渉を防ぐ手法についても実験した．ヘリコプターの騒音が持続的に鳴り響くシーンを用いたところ，同一話者である認識を保持したまま聞き取りやすい音声ガイドを提示するためには，単に合成音声の音声ガイドの基本周波数をシフトさせるよりも，音声ガイドの周波数成分のうち環境音で疎な周波数帯域に対応する領域のパワーを一部増幅することで，環境音との対比を際立たせる方法が効果的であると示唆された．
これらの聴覚心理実験と並行して，約2時間の新作邦画作品に対して音声合成を用いた音声ガイド化の実証実験を遂行した．視覚障害者，映画製作者，音声ガイド制作者の協力を得て，映画上映およびDVD版に収める肉声と合成音声の二つのバージョンの音声ガイドを制作し，合成音声を用いた音声ガイド制作の具体的課題を抽出した．その結果，音声ガイド制作者が書き上げた台本は従来通り1秒単位で音声ガイド提示タイミングが設定されており，この時間分解能では映画本編の環境音・セリフ・音楽との適切な時間配分による効果的な音声ガイドの提示が困難な場面が多々確認された．このことから，589個ある音声ガイド1つ1つについて聞こえの確認と適宜調整が必要であった．また，話速，イントネーションなどの修正も必要であった．結果として，本実証実験においては，合成音声を用いた音声ガイド制作も肉声と同様に時間と手間がかかり，音声合成の最大の利点である制作コストの削減に至っていないことが判明した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2年目の研究計画のうち「音声合成を用いた映画鑑賞システムの開発」については，初年度に引き続き，順調に開発を進めている．約2時間の新作邦画作品の音声ガイド制作の実証実験を通じて，「音声合成を用いた映画鑑賞すステムの開発」に盛り込むべき要素を具体的に特定することができた．またその改善点の実装も進み，評価を始める段階に至った．また，「人の声と合成音声に対する認知特性」についても，合成音声の周波数調整という観点から，聞きやすい音声ガイドを開発する上での新たな糸口も得ることができた．一方，視覚障害者を対象とした聴覚心理実験は未達な箇所がある．
|
| Strategy for Future Research Activity |
2年目で得た実験結果に基づき，「音声合成を用いた音声ガイド制作ソフト」に新たに，映画本編と各音声ガイドの波形表示機能を開発・搭載し，実証実験の際に修正頻度が最多であった“音声ガイドのタイミング調整”を容易にする．さらに改良したソフトウェアを実際の音声ガイド制作に用いることで，ソフトウェアの有用性と課題を得る．評価の際には，音声ガイド制作者のソフトウェア操作履歴やソフトウェアを用いて制作した台本内容および台本修正履歴などを記録し，構文解析や音響分析を用いて，合成音声の特徴を活かした音声ガイド台本の定量化を試みる．視覚障害者を対象に，ソフトウェアを用いて制作された台本を評価し，合成音声を用いた音声ガイド制作手法についてまとめる．
|
| Causes of Carryover |
2年目も引き続きソフトウェアの開発や若年晴眼者を対象とした予備実験に重点を置いたため，初年度に予定していた視覚障害者を対象とした実験を次年度に移行した．また，「音声合成を用いた音声ガイド制作支援システム」の開発として予定していた支出も，2年目終了時までは，PCやソフトウェア購入に際する大きな出費の必要が生じなかった．そのため次年度使用額が生じた．なお，それらについては次年度の早い段階で使用する予定である．
|
Research Products
(1 results)
