Research of development of PC captioning support system and support for the hearing impaired people

• Project/Area Number: 16K01574
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Research Field: Rehabilitation science/Welfare engineering
• Research Institution: Daido University
• Principal Investigator: Takeuchi Yoshinori 大同大学, 情報学部, 教授 (60324464)
• Project Period (FY): 2016-04-01 – 2019-03-31
• Project Status: Completed (Fiscal Year 2018)
• Budget Amount: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000); Fiscal Year 2018: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000); Fiscal Year 2017: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000); Fiscal Year 2016: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
• Keywords: 情報保障 / 聴覚障害 / パソコン要約筆記 / 音声認識 / 福祉情報工学 / ヒューマンインターフェース

Outline of Final Research Achievements

We have conducted research on the development of PC captioning support system. Unfamiliar words for the captionist are detected from the lecturer's speech by automatic speech recognition and presented to the captionist. The captionist can insert presented words into caption by pressing function keys.
We filmed actual lectures taking place at a university for two years. For some of the lecture videos, we conducted detection experiments and obtained more than 80% detection performance.

Academic Significance and Societal Importance of the Research Achievements

パソコン要約筆記において要約筆記者が要約に必要な情報を簡単な操作で入力することができ，高品質な要約文を作成することが可能となる．また，これまでは要約筆記者が事前に講義資料を読み，その中の聞きなれない語を検出していたが，本研究では自動的に抽出しているため，その作業負荷が軽減される．高品質な要約文により，受講者の理解度が向上することが予想される．このことにより，聴覚障害者が教育を受ける環境が改善されると考えられる．

Research Products

• [Journal Article] Detection of Input-Difficult Words by Automatic Speech Recognition for PC Captioning (2018)
  • Author(s): Takeuchi Yoshinori、Kojima Daiki、Sano Shoya、Kanamori Shinji
  • Journal Title: Computers Helping People with Special Needs Volume: 10896 Pages: 195-202
  • DOI: 10.1007/978-3-319-94277-3_32
  • ISBN: 9783319942766, 9783319942773
  • Peer Reviewed
• [Journal Article] Communication Support System of Smart Glasses for the Hearing Impaired (2018)
  • Author(s): Watanabe Daiki、Takeuchi Yoshinori、Matsumoto Tetsuya、Kudo Hiroaki、Ohnishi Noboru
  • Journal Title: Computers Helping People with Special Needs Volume: 10896 Pages: 225-232
  • DOI: 10.1007/978-3-319-94277-3_37
  • ISBN: 9783319942766, 9783319942773
  • Peer Reviewed
• [Presentation] パソコン要約筆記のための音声認識による難入力語の検出と評価 (2018)
  • Author(s): 小島大輝，佐野翔哉，金森信治，竹内義則
  • Organizer: 電子情報通信学会総合大会
• [Presentation] 聴覚障害者のためのARメガネを用いた音声理解支援システム (2018)
  • Author(s): 渡辺大樹，松本哲也，竹内義則，工藤博章，大西昇
  • Organizer: 電子情報通信学会スマートインフォメディアシステム研究会
• [Presentation] 音声認識による難入力語の検出を用いた講義の文字通訳支援システム (2017)
  • Author(s): 池田直史，竹内義則，松本哲也，工藤博章，大西 昇
  • Organizer: 電子情報通信学会福祉情報工学研究会
  • Place of Presentation: 筑波技術大学 春日キャンパス（茨城県・つくば市）
  • Year and Date: 2017-03-10
• [Presentation] 聴覚障害者のためのARメガネを用いた音声理解 (2017)
  • Author(s): 渡辺大樹，松本哲也，竹内義則，工藤博章，大西昇
  • Organizer: 情報処理学会アクセシビリティ研究会