System Configuration and Technique for Real-Time Captionist to Use Speech Recognition Technologies

2010 Fiscal Year Final Research Report

• Project/Area Number: 19500785
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Single-year Grants
• Section: 一般
• Research Field: Educational technology
• Research Institution: Tsukuba University of Technology
• Principal Investigator: MIYOSHI Shigeki Tsukuba University of Technology, 障害者高等教育研究支援センター, 准教授 (80310192)
• Co-Investigator(Kenkyū-buntansha): KAWANO Sumihiro 筑波技術大学, 産業技術学部, 准教授 (90352567) ; SHIRASAWA Mayumi 筑波技術大学, 障害者高等教育研究支援センター, 准教授 (00389719) ; KUROKI Hayato 筑波技術大学, 産業技術学部, 准教授 (00345159)
• Project Period (FY): 2007 – 2010
• Keywords: ヒューマン・インターフェース / 聴覚障害 / 音声認識 / 即時字幕 / 情報保障

Research Abstract

The captionist (transcriptionist) listens to the teacher and "re-speaks" (repeats exactly what is heard) what the teacher says. The clear and distinct speech is sent to the automatic speech recognition software. These facts indicate that the recognition accuracy of existing ASR technologies could be maintained by using our method. In addition, we developed the supportive system that enables captionists who perform these "Re-speaking" and "Correcting" to perform their activities smoothly and with ease. On the other hand, we proposed a Mobile-type Remote-captioning System. The main characteristic of our system is to use two functions of one mobile phone (e.g. the iPhone 3G/3GS) at the same time. The two functions are to display the captions input by the captionists (data communications) and to call the captionists to transmit the speaker's speech to the captionists (telephone call).

Research Products

• [Journal Article] 聴覚障がい者のためのモバイル型遠隔情報保障システムの提案と情報保障者による評価 (2010)
  • Author(s): 三好茂樹,河野純大,白澤麻弓,磯田恭子,蓮池通子,小林正幸,小笠原恵美子,梅原みどり,金澤貴之,中野聡子,伊福部達
  • Journal Title: ライフサポート vol.22, No.4 Pages: 11-16
  • Peer Reviewed
• [Journal Article] SOFTWARE "SR-LAN2DASH" DEVELOPMENT FOR BETTER TASKING RELATED TO REAL-TIME SPEECH RECOGNITION CAPTIONING (2009)
  • Author(s): Shigeki Miyoshi, Mayumi Shirasawa, Sumihiro Kawano, Kyoko Isoda, Michiko Hasuike, Ayako Hagiwara, Akiko Nakajima, Yasuko Utsuno, Takayuki Kanazawa, Satoko Nakano, Yasushi Ishihara, Masayuki Kobayashi
  • Journal Title: 10th Asia Pacific Congress on Deafness(APCD 2009), Abstract Book Pages: 89
  • Peer Reviewed
• [Journal Article] Support Technique for Real-Time Captionist to Use Speech Recognition Software (2008)
  • Author(s): Miyoshi M, Kuroki H, Kawano S, Shirasawa M, Ishihara Y., Kobayashi M.
  • Journal Title: 11th International Conference ICCHP 2008 Computers Helping People with Special Needs(Springer Berlin/Heidelberg) (ISSN 0302-9743) Pages: 647-650
  • Peer Reviewed
• [Journal Article] 遠隔講義保障におけるリアルタイム字幕作成者を支援するための映像情報提手法に関する基礎的研究 (2008)
  • Author(s): 三好茂樹,河野純大,西岡知之,加藤伸子,白澤麻弓,村上裕史,皆川洋喜,石原保志,内藤一郎,若月,黒木速人,小林正幸
  • Journal Title: 電子情報通信学会論文誌D Vol.J91-D, No.9 Pages: 2236-2246
  • Peer Reviewed
• [Presentation] モバイル型遠隔情報保障システム普及事業 (2011)
  • Author(s): 三好茂樹
  • Organizer: 神奈川県主催,企業とNPOとの交流サロン「モバイル型遠隔情報保障システム普及事業」
  • Place of Presentation: 神奈川県民センター
  • Year and Date: 2011-02-12
• [Presentation] 字幕提示のための『モバイル型遠隔情報保障システム』 (2010)
  • Author(s): 三好茂樹
  • Organizer: ライフサポート学会, 視聴覚障害者バリアフリー技術研究会 講演会(サイトワールド2010)
  • Place of Presentation: 東京都墨田区
  • Year and Date: 2010-11-02
• [Book] 標準言語聴覚障害学 聴覚障害学(ISBN978-4-260-00993-5) (2010)
  • Author(s): 三好茂樹,他
  • Total Pages: 331-333
  • Publisher: 医学書院
• [Book] 音声認識によるリアルタイム字幕作成システム構築マニュアル(日本聴覚障害学生高等教育支援ネットワーク(PEPNet-Japan)「音声認識によるリアルタイム字幕作成システム構築マニュアル」編集グループ ISBN978-4-9904374-4-2) (2009)
  • Author(s): 三好茂樹,他
  • Total Pages: 4-43
  • Publisher: 筑波技術大学 障害者高等教育研究支援センター
• [Book] PEPNet-Japan TipSheet集トピック別聴覚障害学生支援ガイド(ISBN978-4-9904374-0-4) (2008)
  • Author(s): 三好茂樹,他
  • Total Pages: 22-23, 48-49
• [Remarks] 本研究成果をベースとする『モバイル型遠隔情報保障システム』普及事業(事業代表/三好茂樹)が『第7回パートナーシップ大賞』にてグランプリを受賞(2010年11月27日,愛知県名古屋市)
• [Remarks] 字幕通信・表示関連のシステムに関する情報発信を開始(2010年5月31日)
  • URL: http://www.tsukuba-tech.ac.jp/ce/mobile1/index.html
• [Remarks] 音声認識技術による字幕作成のためのマニュアルの公開(2009年11月25日)
  • URL: http://www.tsukuba-tech.ac.jp/ce/xoops/modules/tinyd1/index.php?id=140&tmid=241
• [Remarks] 電子情報通信学会・ヒューマンコミュニケーショングループ賞(HC賞)を受賞(2009年3月24日,島根県松江市)