• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Research of the system displays dictated text of simultaneous plural voices by plural speakers

Research Project

Project/Area Number 19K21745
Research Category

Grant-in-Aid for Challenging Research (Exploratory)

Allocation TypeMulti-year Fund
Review Section Medium-sized Section 9:Education and related fields
Research InstitutionTsukuba University of Technology

Principal Investigator

SUZUKI TAKUYA  筑波技術大学, 産業技術学部, 教授 (10553935)

Project Period (FY) 2019-06-28 – 2023-03-31
Project Status Completed (Fiscal Year 2022)
Budget Amount *help
¥4,940,000 (Direct Cost: ¥3,800,000、Indirect Cost: ¥1,140,000)
Fiscal Year 2021: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2020: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Fiscal Year 2019: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
Keywords音声認識 / 字幕 / UI / 支援 / リアルタイム / 同期 / チャット / 聴覚障害 / 学習支援 / 教示支援 / 多人数 / 情報保障 / 複数話者 / 集団
Outline of Research at the Start

聴覚障害者と聴者が混じり集団での学習や会議を行う場での支援は,現時点では聴者に情報発信量を制限させる性質があるものが多い.挙手の上,交代で発言するなどの工夫である.このことが,情報交換の質量を落とすと考えられてしまう場合もあること,また聴覚障害者の心理的負担となり,参加への躊躇など孤立につながりかねないケースも見受けられる.
本研究では,集団において発せられる音声の文字情報化システムを,情報発信量に制限を加えずとも,聴覚障害者が漏れなく内容を取得できるようにするための新たな手法を開発する。また、開発した手法の有効性を検証する.

Outline of Final Research Achievements

The objective of this research was to develop a method to subtitle and receive speech without visual information overload in a situation where multiple speakers are speaking at the same time.
The initial objective of the study defined the hearing-impaired as the main receivers. On the other hand, the developed method emphasizes immediate sharing, and it was found to be effective not only in subtitling by speech recognition, but also in communication mainly through text input. The developed method is still in operation, and is widely used by both hearing-impaired and hearing-impaired people in classes, meetings, and various communication objectives.

Academic Significance and Societal Importance of the Research Achievements

本研究の成果であるアプリケーションは音声認識や翻訳等の機能を内包しており,幅広い活用が可能である.一方,即時共有性を重視したことで,当初重視していなかった文字入力についても,他のシステムにはない特性を有していることが分かった.複数音声を受信負荷の低い状態で聴覚障害者に伝達する目的で開発した手法である一方で,即時共有性は,聴覚障害者による発言,発信時に有効な手法であることが分かるなど,当初想定していなかった知見を得ることができた.現在も運用中であり,当事者意見を反映させ,アップデートを実施している.

Report

(5 results)
  • 2022 Annual Research Report   Final Research Report ( PDF )
  • 2021 Research-status Report
  • 2020 Research-status Report
  • 2019 Research-status Report
  • Research Products

    (4 results)

All 2022 2020

All Journal Article (3 results) (of which Peer Reviewed: 3 results) Presentation (1 results)

  • [Journal Article] Development and Evaluation of UniTalker, an Application for Simultaneous Presentation of Subtitles from Multiple Speakers2022

    • Author(s)
      Takuya Suzuki, Ryoga Murate, Masafumi Nishida
    • Journal Title

      Communications in Computer and Information Science

      Volume: 1580 Pages: 612-619

    • DOI

      10.1007/978-3-031-06417-3_82

    • ISBN
      9783031064166, 9783031064173
    • Related Report
      2022 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Simultaneous Speech Subtitling Systems for Multiple Speakers2020

    • Author(s)
      Takuya Suzuki
    • Journal Title

      HCI 2020. Communications in Computer and Information Science

      Volume: 2020PartIII Pages: 114-120

    • DOI

      10.1007/978-3-030-50732-9_16

    • ISBN
      9783030507312, 9783030507329
    • Related Report
      2020 Research-status Report
    • Peer Reviewed
  • [Journal Article] Simultaneous Speech Subtitling Systems for Multiple Speakers2020

    • Author(s)
      Takuya Suzuki
    • Journal Title

      HCI 2020. Communications in Computer and Information Science(採録確定)

      Volume: -

    • Related Report
      2019 Research-status Report
    • Peer Reviewed
  • [Presentation] 複数音声同時字幕提示ユーザインタフェースの開発と効果検証2020

    • Author(s)
      鈴木拓弥
    • Organizer
      情報処理学会アクセシビリティ研究会第14回研究会
    • Related Report
      2020 Research-status Report

URL: 

Published: 2019-07-04   Modified: 2024-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi