• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Possibilities and Developments in the Use of Speech Synthesis for People with Visual Impairments to Enjoy Movies

Research Project

Project/Area Number 17K01553
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Research Field Rehabilitation science/Welfare engineering
Research InstitutionAkita University

Principal Investigator

Nakajima Sawako  秋田大学, 理工学研究科, 講師 (40453542)

Co-Investigator(Kenkyū-buntansha) 大河内 直之  東京大学, 先端科学技術研究センター, 特任研究員 (30361679)
水戸部 一孝  秋田大学, 理工学研究科, 教授 (60282159)
Project Period (FY) 2017-04-01 – 2023-03-31
Project Status Completed (Fiscal Year 2022)
Budget Amount *help
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2019: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Fiscal Year 2018: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2017: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Keywords視覚障害者支援 / 映画・映像 / 音声ガイド / 音声合成 / ヒューマンインタフェース / 福祉情報工学 / バリアフリー / 視覚障害 / 映画 / 自然言語処理 / 話速変換 / 視覚障害者 / メディア / 聴覚心理 / タイミング / ポーズ / ヒューマンインターフェース
Outline of Final Research Achievements

In response to this global trend, this study explored ways to improve the movie experience for people with visual impairments and to promote the use of audio description (AD) through the use of speech synthesis and speech rate conversion technologies. Comparative experiments between human AD and synthesized AD showed that synthesized AD has advantages such as being audible and causing little discomfort even at high speech rates. It is necessary to exploit these advantages of synthesized speech and accelerate the production of AD. Therefore, AD production software using speech synthesis has been developed, and problems and opportunities have been identified through demonstration experiments.

Academic Significance and Societal Importance of the Research Achievements

視覚障害者を対象とした映画の音声ガイドの聞き取り実験,および,調査からは,視覚障害者の聴覚特性に関する基礎的知見を得ることができた.視覚障害者が日常生活を送る上で合成音声による情報収集は欠かせない.視覚障害者の感覚や意見からは,今後,社会が合成音声などの技術をどのように活用していくか,新しい音声表現の可能性を得る上で重要な視点を得られた.また,音声合成を用いた音声ガイド制作ソフトは,実証実験を通じて課題を抽出し,また,改善したことで,音声ガイド制作現場で利用価値の高い技術となった.

Report

(7 results)
  • 2022 Annual Research Report   Final Research Report ( PDF )
  • 2021 Research-status Report
  • 2020 Research-status Report
  • 2019 Research-status Report
  • 2018 Research-status Report
  • 2017 Research-status Report
  • Research Products

    (11 results)

All 2022 2021 2020 2018 2017

All Journal Article (3 results) (of which Peer Reviewed: 2 results) Presentation (8 results) (of which Int'l Joint Research: 1 results,  Invited: 1 results)

  • [Journal Article] Novel software for producing audio description based on speech synthesis enables cost reduction without sacrificing quality2022

    • Author(s)
      Nakajima Sawako, Mitobe Kazutaka
    • Journal Title

      Universal Access in the Information Society

      Volume: -- Issue: 2 Pages: 405-418

    • DOI

      10.1007/s10209-022-00873-z

    • Related Report
      2021 Research-status Report
    • Peer Reviewed
  • [Journal Article] Preliminary Study on Auditory Perception of Multiple Speech Synthesis with Different Speech Rates to Help Visually Impaired Persons Enjoy Movies2017

    • Author(s)
      Sawako Nakajima, Naoyuki Okochi, Kazutaka Mitobe and Tetsujiro Yamagami
    • Journal Title

      The Proceedings of the 8th International Conference on Materials Engineering for Resources (ICMR2017)

      Volume: - Pages: 415-418

    • Related Report
      2017 Research-status Report
    • Peer Reviewed
  • [Journal Article] 視覚障害者の映画鑑賞支援を目的とした合成音声による音声ガイドの提示タイミングと心理的作用の評価2017

    • Author(s)
      佐々木 怜衣 , 中島 佐和子 , 髙橋 壱成 , 大河内 直之 , 山上 徹二郎 , 水戸部 一孝
    • Journal Title

      電子情報通信学会技術研究報告 (IEICE technical report : 信学技報)

      Volume: 117(502) Pages: 103-107

    • Related Report
      2017 Research-status Report
  • [Presentation] 映画との音量バランスに着目した音声ガイド制作支援手法の提案2022

    • Author(s)
      栗山稜平,中島佐和子,水戸部一孝
    • Organizer
      情報処理学会東北支部研究会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 映画の音声ガイド制作における経験者と初心者の差異2022

    • Author(s)
      栗山稜平,中島佐和子,水戸部一孝
    • Organizer
      第118回福祉情報工学研究会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 映画音声ガイドの聞き取りやすい合成音声の話速と環境音の関係2021

    • Author(s)
      直野剛也,中島佐和子,水戸部一孝
    • Organizer
      第112回 福祉情報工学研究会
    • Related Report
      2021 Research-status Report
  • [Presentation] 音声波形とサムネイル表示を用いた音声ガイド制作アプリケーションの試作2021

    • Author(s)
      栗山稜平,中島佐和子,水戸部一孝
    • Organizer
      第112回 福祉情報工学研究会
    • Related Report
      2021 Research-status Report
  • [Presentation] スペシャル鼎談「みんなで楽しむバリアフリー映画の魅力を語る」ー「猫の恩返しバリアフリー版製作の現場をご紹介しながら」ー2020

    • Author(s)
      森田 宏幸,佐々木 亜希子,大河内直之
    • Organizer
      DPI日本会議
    • Related Report
      2019 Research-status Report
    • Invited
  • [Presentation] 合成音声を用いた映像鑑賞のための音声ガイドの提示方法が与える心理作用について2018

    • Author(s)
      佐々木怜衣,中島佐和子,髙橋壱成,大河内直之,山上徹二郎,水戸部一孝
    • Organizer
      平成30年度情報処理学会東北支部研究会
    • Related Report
      2018 Research-status Report
  • [Presentation] Preliminary Study on Auditory Perception of Multiple Speech Synthesis with Different Speech Rates to Help Visually Impaired Persons Enjoy Movies2017

    • Author(s)
      Sawako Nakajima, Naoyuki Okochi, Kazutaka Mitobe and Tetsujiro Yamagami
    • Organizer
      The 8th International Conference on Materials Engineering for Resources (ICMR2017)
    • Related Report
      2017 Research-status Report
    • Int'l Joint Research
  • [Presentation] 視覚障害者の映画鑑賞支援を目的とした合成音声による音声ガイドの提示タイミングと心理的作用の評価2017

    • Author(s)
      佐々木 怜衣 , 中島 佐和子 , 髙橋 壱成 , 大河内 直之 , 山上 徹二郎 , 水戸部 一孝
    • Organizer
      第94回福祉情報工学研究会(WIT)
    • Related Report
      2017 Research-status Report

URL: 

Published: 2017-04-28   Modified: 2024-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi