2022 Fiscal Year Research-status Report
Development of technology for producing and editing cinema audio descriptions facilitating novel audio expression in cinema
| Project/Area Number |
22K12330
|
|---|
| Research Institution | Akita University |
|---|
Principal Investigator |
中島 佐和子 秋田大学, 理工学研究科, 講師 (40453542)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
大河内 直之 東京大学, 先端科学技術研究センター, 特任研究員 (30361679)
水戸部 一孝 秋田大学, 理工学研究科, 教授 (60282159)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 福祉情報工学 / 視覚障害者支援 / 映画・映像 / バリアフリー / 音声ガイド / 音声合成 |
|---|
| Outline of Annual Research Achievements |
本年度は，視覚障害者，映画製作者，映画音声ガイド制作者への調査と評価を通じて，研究目的である，「クリエイティブな音声ガイド制作と自動音声ガイド開発の間に繋がりを生み出す」ための具体的な方策を検討した．まず，「音声ガイドの表記ゆれ検出」，「音声ガイドの声質調整」の2点の可能性を議論した．検討の際には，従来のナレーター（肉声）による音声ガイドの制作方法を基準としつつ，音声ガイドへの適用の期待が高い合成音声の特性を重視した．これにより，合成音声を用いた音声ガイド制作の効率化と質の向上を，ユーザーと制作者のすれ違いを起こさずに効果的に取り組める課題を抽出できる．「表記ゆれ検出」については，最初に，プロの音声ガイド制作者によって既存の映画音声ガイド台本に10個程度の表記ゆれを作成し，その台本に対して日本語概念辞書のWordNetや類義語辞書のWeblio，および，自然言語処理モデルBERTを用いて表記ゆれの検出を試みた．結果は，「少女」と「女の子」などの単語レベルでの表記ゆれだけでなく，「畑の横の土の道」と「畑の横の道」など文脈を考慮した表記ゆれ箇所の検出もできたが，分析時間や結果の表示方法などについて課題は多かった．しかし，試作した表記ゆれ検出アプリを用いた音声ガイド制作者へのヒヤリングでは，視覚障害者が混乱を生じやすい音声ガイド文の表記ゆれだけでなく，繰り返し表現や制作者のクセなど，質の高い音声ガイドを制作する上で重要なチェック要素を検出するために活用できる可能性があるとの意見を得た．「声質調整」については，ナレーターの声質は音声ガイドにとって重要である一方で，本研究でターゲットとしている合成の音声ガイドに対しては，人間と同様な声質を必ずしも求めないことが視覚障害者を対象とした調査から確認できた．合成音声で改善すべきは「違和感」であり「自然さ」ではないという重要な視点を得られた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究当初に計画していた「音声ガイドの表記 ゆれ検出」及び「映画的印象を考慮した音声ガイドの声質調整」の具体的な検討は予定通り実施できた．しかし，調査や評価の過程で課題も得られた．そのため，研究目的に到達できるよう軌道修正を試みながら進めている状況である．
|
| Strategy for Future Research Activity |
本年度に得た成果に基づき，「音声ガイドの表記ゆれ検出」については具体的にどのような機能に落とし込んだ上で実装できるか，評価をどのように実施するか，また，「音声ガイドの声質調整」については，視覚障害者の意見や知覚特性をどのようにフィードバックしていくかを検討する予定である．引き続き，当事者への調査や評価を重視しながら，効果的な支援技術の開発を進める予定である．
|
| Causes of Carryover |
本年度も，特に前半は，視覚障害者や映画製作者に対する実験遂行の制約が大きく，これらの実験協力者を対象とした評価の一部を計画通りに進めることができなかった.そのため，次年度に評価実験の残りを移行した.また，実験用のPCの購入を予定していたが，既存のPCを利用することができたため，本年度の購入には至らなかった.これらは，次年度に使用する予定である．
|
