• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

An optimum method of displaying speakers' face images and captions for a real-time speech-to-caption system for the deaf

Research Project

Project/Area Number 19700627
Research Category

Grant-in-Aid for Young Scientists (B)

Allocation TypeSingle-year Grants
Research Field Educational technology
Research InstitutionTsukuba University of Technology

Principal Investigator

KUROKI Hayato  Tsukuba University of Technology, 産業技術学部, 准教授 (00345159)

Co-Investigator(Renkei-kenkyūsha) IFUKUBE Tohru  東京大学, 先端科学技術研究センター, 教授 (70002102)
NAKANO Satoko  東京大学, 先端科学技術研究センター, 特任助教 (20359665)
HORI Kotaro  株式会社ビー・ユー・ジー
Project Period (FY) 2007 – 2010
Project Status Completed (Fiscal Year 2010)
Budget Amount *help
¥3,890,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥690,000)
Fiscal Year 2010: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2009: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2008: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2007: ¥900,000 (Direct Cost: ¥900,000)
Keywordsヒューマン・インタフェース / 障害者支援 / 音声認識 / 字幕 / ノンバーバル情報 / 教育工学 / 認知科学 / 情報工学 / ユーザインタフェース / 高等教育支援
Research Abstract

Our througoing real-time speech-to-caption system that using speech recognition technology with a "repeat-speaking" method showed that the accuracy of the captions is about 97% in Japanese-Japanese conversion. We found the idea to display information of captions and speaker's face movement images with a suitable way to achieve a higher comprehension. The results showed that the mouth movements contribute to improve the comprehension of the captions, and the sequence "to display the caption before the speaker's face image" improves the comprehension of the captions also.

Report

(6 results)
  • 2010 Annual Research Report   Final Research Report ( PDF )
  • 2009 Annual Research Report   Self-evaluation Report ( PDF )
  • 2008 Annual Research Report
  • 2007 Annual Research Report

Research Products

(23 results)

All 2010 2009 2008 2007 Other

All Journal Article (16 results) (of which Peer Reviewed: 10 results) Presentation (2 results) Remarks (5 results)

  • [Journal Article] A Method for Determining the Timing of Displaying the Speaker's Face and Captions for a Real-Time Speech-to-Caption System2010

    • Author(s)
      H.Kuroki, S.Ino, S.Nakano, K.Hori, T.Ifukube
    • Journal Title

      SICE JCMSI Vol.3,No.6

      Pages: 402-408

    • NAID

      10031140034

    • Related Report
      2010 Final Research Report
    • Peer Reviewed
  • [Journal Article] A Method for Determining the Timing of Displaying the Speaker's Face and Captions for a Real-Time Speech-to-Caption System2010

    • Author(s)
      H.KUROKI
    • Journal Title

      SICE JCMSI

      Volume: Vol.3 Pages: 402-408

    • NAID

      10031140034

    • Related Report
      2010 Annual Research Report
    • Peer Reviewed
  • [Journal Article] 聴覚障害学生のための新任教員等の専門講義における情報保障の検討2010

    • Author(s)
      加藤伸子, 他
    • Journal Title

      筑波技術大学テクノレポート Vol.17(2)

      Pages: 7-11

    • Related Report
      2009 Annual Research Report
  • [Journal Article] 遠隔情報保障スタジオのユーザビリティ評価2009

    • Author(s)
      塩野目剛亮, 他
    • Journal Title

      筑波技術大学テクノレポート Vol.17(1)

      Pages: 16-21

    • Related Report
      2009 Annual Research Report
  • [Journal Article] アメリカにおける聴覚障害者のための文字による情報保障技術に関する報告2008

    • Author(s)
      黒木速人, 三好茂樹, 白澤麻弓, 河野純大, 萩原彩子, 磯田恭子, 田中美希, 金澤貴之, 大倉孝昭
    • Journal Title

      筑波技術大学テクノレポート Vol.15

      Pages: 181-185

    • NAID

      40015945029

    • Related Report
      2010 Final Research Report
  • [Journal Article] 聴覚障害者向け音声同時字幕システムの読みやすさに関する研究(1)-改行効果に焦点を当てて-2008

    • Author(s)
      中野聡子, 金澤貴之, 牧原功, 黒木速人, 上田一貴, 井野秀一, 伊福部達
    • Journal Title

      ヒューマンインタフェース学会論文誌 Vol.10

      Pages: 435-444

    • Related Report
      2010 Final Research Report
    • Peer Reviewed
  • [Journal Article] 音声認識技術を利用した字幕呈示システムの活用に関する研究-聴覚障害者のニーズに即した呈示方法-2008

    • Author(s)
      中野聡子, 金澤貴之, 牧原功, 黒木速人, 上田一貴, 井野秀一, 伊福部達
    • Journal Title

      メディア教育研究 Vol.5

      Pages: 63-72

    • Related Report
      2010 Final Research Report
    • Peer Reviewed
  • [Journal Article] 遠隔講義保障におけるリアルタイム字幕作成者を支援するための映像情報提示手法に関する基礎的研究2008

    • Author(s)
      三好茂樹
    • Journal Title

      電子情報通信学会論文誌 J91-D

      Pages: 2236-2246

    • Related Report
      2008 Annual Research Report
    • Peer Reviewed
  • [Journal Article] 聴覚障害者向け音声同時字幕システムの読みやすさに関する研究(1)-改行効果に焦点を当てて2008

    • Author(s)
      中野聡子
    • Journal Title

      ヒューマンインタフェース学会論文誌 10

      Pages: 435-444

    • Related Report
      2008 Annual Research Report
    • Peer Reviewed
  • [Journal Article] 音声認識技術を利用した字幕呈示システムの活用に関する研究-聴覚障害者のニーズに即した呈示方法-2008

    • Author(s)
      中野聡子
    • Journal Title

      メディア教育研究 5

      Pages: 63-72

    • Related Report
      2008 Annual Research Report
    • Peer Reviewed
  • [Journal Article] An Application of Real-Time Captioning System Using Automatic Speech Recognition Technology to College EFL Education for Deaf and Hard-of-Hearing Students2008

    • Author(s)
      R.B.Hoogenboom
    • Journal Title

      Annual Reports of the Faculty of Education Gunma University 57

      Pages: 95-113

    • Related Report
      2008 Annual Research Report
  • [Journal Article] 音声認識技術による字幕運用の課題-音声言語を文字化することの問題-2008

    • Author(s)
      牧原功
    • Journal Title

      群馬大学留学生センター論集 7

      Pages: 33-50

    • Related Report
      2008 Annual Research Report
  • [Journal Article] アメリカにおける聴覚障害者のための文字による情報保障技術に関する報告2008

    • Author(s)
      黒木速人
    • Journal Title

      筑波技術大学テクノレポート 15

      Pages: 181-185

    • NAID

      40015945029

    • Related Report
      2007 Annual Research Report
  • [Journal Article] 音声認識技術を用いた聴覚障害者向け字幕呈示システムの課題-話し言葉の性質が字幕の読みに与える影響-2007

    • Author(s)
      中野聡子, 牧原功, 金澤貴之, 中野泰志, 新井哲也, 黒木速人, 井野秀一, 伊福部達
    • Journal Title

      電子情報通信学会論文誌D Vol.J90-D,No.3

      Pages: 808-814

    • NAID

      110007385883

    • Related Report
      2010 Final Research Report
    • Peer Reviewed
  • [Journal Article] 音声同時字幕システムにおける内容理解の向上を目的とした話者の顔情報の呈示方法2007

    • Author(s)
      黒木速人, 井野秀一, 中野聡子, 堀耕太郎, 伊福部達
    • Journal Title

      ヒューマンインタフェース学会論文誌 Vol.9

      Pages: 205-212

    • NAID

      10019930753

    • Related Report
      2010 Final Research Report
    • Peer Reviewed
  • [Journal Article] 音声同時字幕システムにおける内容理解の向上を目的とした話者の顔情報の呈示方法2007

    • Author(s)
      黒木速人
    • Journal Title

      ヒューマンインタフェース学会論文誌 9

      Pages: 205-212

    • NAID

      10019930753

    • Related Report
      2007 Annual Research Report
    • Peer Reviewed
  • [Presentation] Effective Timing of Displaying Speakers' Face and Captions to Achieve Higher Comprehension2008

    • Author(s)
      H.Kuroki, et al.
    • Organizer
      23rd Annual International Technology and Persons with Disabilities Conference (CSUN2008)
    • Place of Presentation
      Los Angeles, USA.
    • Year and Date
      2008-03-14
    • Related Report
      2010 Final Research Report
  • [Presentation] Effective Timing of Displaying Speaker's Face and Captions to Achieve Higher Comprehension2008

    • Author(s)
      H. KUROKI
    • Organizer
      23rd Annual International Technology and Persons with Disabilities Conference (CSUN2008)
    • Place of Presentation
      Los Angeles, USA
    • Year and Date
      2008-03-14
    • Related Report
      2007 Annual Research Report
  • [Remarks] ホームページ

    • URL

      http://www.a.tsukuba-tech.ac.jp/repo/dspace/

    • Related Report
      2010 Final Research Report
  • [Remarks] 筑波技術大学・機関リポジトリ

    • Related Report
      2010 Final Research Report
  • [Remarks]

    • URL

      http://www.a.tsukuba-tech.ac.jp/repo/dspace/

    • Related Report
      2010 Annual Research Report
  • [Remarks] 筑波技術大学・機関リポジトリ

    • URL

      http://www.a.tsukuba-tech.ac.jp/repo/dspace/

    • Related Report
      2009 Self-evaluation Report
  • [Remarks]

    • URL

      http://www.a.tsukuba-tech.ac.jp/repo/dspace/

    • Related Report
      2009 Annual Research Report

URL: 

Published: 2007-03-31   Modified: 2016-04-21  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi