System Configuration and Technique for Real-Time Captionist to Use Speech Recognition Technologies

• Project/Area Number: 19500785
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Single-year Grants
• Section: 一般
• Research Field: Educational technology
• Research Institution: Tsukuba University of Technology
• Principal Investigator: MIYOSHI Shigeki Tsukuba University of Technology, 障害者高等教育研究支援センター, 准教授 (80310192)
• Co-Investigator(Kenkyū-buntansha): KAWANO Sumihiro 筑波技術大学, 産業技術学部, 准教授 (90352567) ; SHIRASAWA Mayumi 筑波技術大学, 障害者高等教育研究支援センター, 准教授 (00389719) ; KUROKI Hayato 筑波技術大学, 産業技術学部, 准教授 (00345159)
• Project Period (FY): 2007 – 2010
• Project Status: Completed (Fiscal Year 2010)
• Budget Amount: ¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000); Fiscal Year 2010: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000); Fiscal Year 2009: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000); Fiscal Year 2008: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000); Fiscal Year 2007: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
• Keywords: ヒューマン・インターフェース / 聴覚障害 / 音声認識 / 即時字幕 / 情報保障 / 情報保障者 / 同時字幕

Research Abstract

The captionist (transcriptionist) listens to the teacher and "re-speaks" (repeats exactly what is heard) what the teacher says. The clear and distinct speech is sent to the automatic speech recognition software. These facts indicate that the recognition accuracy of existing ASR technologies could be maintained by using our method. In addition, we developed the supportive system that enables captionists who perform these "Re-speaking" and "Correcting" to perform their activities smoothly and with ease. On the other hand, we proposed a Mobile-type Remote-captioning System. The main characteristic of our system is to use two functions of one mobile phone (e.g. the iPhone 3G/3GS) at the same time. The two functions are to display the captions input by the captionists (data communications) and to call the captionists to transmit the speaker's speech to the captionists (telephone call).

Research Products

• [Journal Article] 筑波技術大学における文字による情報保障手法について (2011)
  • Author(s): 三好茂樹
  • Journal Title: 手話通訳問題研究 Volume: No.115 Pages: 30-33
• [Journal Article] 聴覚障がい者のためのモバイル型遠隔情報保障システムの提案と情報保障者による評価 (2010)
  • Author(s): 三好茂樹,河野純大,白澤麻弓,磯田恭子,蓮池通子,小林正幸,小笠原恵美子,梅原みどり,金澤貴之,中野聡子,伊福部達
  • Journal Title: ライフサポート vol.22, No.4 Pages: 11-16
  • NAID: 10029238490
  • Peer Reviewed
• [Journal Article] 聴覚障がい者のためのモバイル型遠隔情報保障システムの提案と情報保障者による評価 (2010)
  • Author(s): 三好茂樹
  • Journal Title: ライフサポート Volume: vol.22,No.4 Pages: 11-16
  • NAID: 10029238490
  • Peer Reviewed
• [Journal Article] 聴覚障害者のための視覚的に伝える講義保障手法の開発 (2010)
  • Author(s): 三好茂樹
  • Journal Title: 第22回バイオエンジニアリング講演会講演論文集 Pages: 308-308
• [Journal Article] 聴覚障がい者のためのモバイル型遠隔情報保障システムに関する評価 (2010)
  • Author(s): 三好茂樹
  • Journal Title: ヒューマンインタフェース学会研究報告集 Volume: Vol.12 No.3 Pages: 1-6
• [Journal Article] SOFTWARE "SR-LAN2DASH" DEVELOPMENT FOR BETTER TASKING RELATED TO REAL-TIME SPEECH RECOGNITION CAPTIONING (2009)
  • Author(s): Shigeki Miyoshi, Mayumi Shirasawa, Sumihiro Kawano, Kyoko Isoda, Michiko Hasuike, Ayako Hagiwara, Akiko Nakajima, Yasuko Utsuno, Takayuki Kanazawa, Satoko Nakano, Yasushi Ishihara, Masayuki Kobayashi
  • Journal Title: 10th Asia Pacific Congress on Deafness(APCD 2009), Abstract Book Pages: 89-89
  • Peer Reviewed
• [Journal Article] 音声認識字幕における円滑な連携作業を実現するためのソフトウェア開発と情報保障者の技能 (2009)
  • Author(s): 三好茂樹, 河野純大, 白澤麻弓, 磯田恭子, 中島亜紀子, 萩原彩子, 蓮池通子, 宇都野康子, 金澤貴之, 中野聡子, 石原保志, 小林正幸, 伊福部達
  • Journal Title: 信学技報 WIT 109(29) Pages: 171-178
  • NAID: 10024746430
• [Journal Article] SOFTWARE "SR-LAN2DASH" DEVELOPMENT FOR BETTER TASKING RELATED TO REAL-TIME SPEECH RECOGNITION CAPTIONING (2009)
  • Author(s): Shigeki Miyoshi
  • Journal Title: 10th Asia Pacific Congress on Deafness(APCD 2009), Abstract Book Pages: 89-89
• [Journal Article] 音声認識字幕における円滑な連携作業を実現するためのソフトウェア開発と情報保障者の技能 (2009)
  • Author(s): 三好茂樹
  • Journal Title: 電子情報通信学会技術研究報告.WIT,福祉情報工学 Volume: 109(29) Pages: 171-178
  • NAID: 10024746430
• [Journal Article] 速記や音声認識技術による情報保障システムと局面毎の情報保障手法について (2009)
  • Author(s): 三好茂樹
  • Journal Title: 第7回生活支援工学系学会連合大会 講演予稿集 Pages: 195-196
• [Journal Article] Support Technique for Real-Time Captionist to Use Speech Recognition Software (2008)
  • Author(s): Miyoshi M, Kuroki H, Kawano S, Shirasawa M, Ishihara Y., Kobayashi M.
  • Journal Title: 11th International Conference ICCHP 2008 Computers Helping People with Special Needs(Springer Berlin/Heidelberg) (ISSN 0302-9743) Pages: 647-650
  • NAID: 120003042422
  • Peer Reviewed
• [Journal Article] 遠隔講義保障におけるリアルタイム字幕作成者を支援するための映像情報提手法に関する基礎的研究 (2008)
  • Author(s): 三好茂樹,河野純大,西岡知之,加藤伸子,白澤麻弓,村上裕史,皆川洋喜,石原保志,内藤一郎,若月,黒木速人,小林正幸
  • Journal Title: 電子情報通信学会論文誌D Vol.J91-D, No.9 Pages: 2236-2246
  • Peer Reviewed
• [Journal Article] Support Technique for Real-Time Captionist to Use Speech Recognition Software; 11th International Conference ICCHP 2008 (2008)
  • Author(s): Miyoshi, M., Kuroki, H., Kawano, S., Shirasawa, M., Ishihara, Y., Kobayashi, M.
  • Journal Title: Computers Helping People with Special Needs(Springer) Pages: 647-650
  • Peer Reviewed
• [Journal Article] 字幕作成担当者のための専門性の高い講義に対応した遠隔地リアルタイム字幕提示システムの開発 (2008)
  • Author(s): 三好茂樹, 河野純大, 加藤伸子, 西岡知之, 内藤一郎, 村上裕史, 皆川洋喜, 白澤麻弓, 石原保志, 黒木速人, 小林正幸
  • Journal Title: 電子情報通信学会技術研究報告 108(332) Pages: 1-8
  • NAID: 10024594769
• [Journal Article] 遠隔講義保障におけるリアルタイム字幕作成者を支援するための映像情報提手法に関する基礎的研究 (2008)
  • Author(s): 三好茂樹, 河野純大, 西岡知之, 加藤伸子, 白澤麻弓, 村上裕史, 皆川洋喜, 石原保志, 内藤一郎, 若月, 黒木速人, 小林正幸
  • Journal Title: 電子情報通信学会論文誌 D Vol.J91-D No. 9 Pages: 2236-2246
  • Peer Reviewed
• [Journal Article] 遠隔講義保障におけるリアルタイム宇幕作成者を支援するための映像情報提示手法に関する基礎的研究 (2008)
  • Author(s): 三好茂樹
  • Journal Title: 電子情報通信学会論文誌D Vol.J91-D No.9 Pages: 2236-2246
  • Peer Reviewed
• [Journal Article] Support Technique for Real-Time Captionist to Use Speech Recognition Software (2008)
  • Author(s): MIYOSHI, Shigeki
  • Journal Title: 11th International Conference ICCHP 2008, Springer Berlin/Heidelbrg, Computers Helping People with Special Needs (ISSN 0302-9743) Pages: 647-650
  • NAID: 120003042422
• [Journal Article] 字幕作成担当者のための専門性の高い講義に対応した遠隔地リアルタイム字幕提示システムの (2008)
  • Author(s): 三好茂樹
  • Journal Title: 電子情報通信学会技術研究報告 108(332) Pages: 1-8
• [Journal Article] 遠隔講義保障におけるリアルタイム字幕作成者を支援するための映像情報提示手法に関する基礎的研究
  • Author(s): 三好茂樹
  • Journal Title: 電子情報通信学会 情報システムソサイエティ 和文論文誌 掲載確定
  • NAID: 110007381117
  • Peer Reviewed
• [Presentation] モバイル型遠隔情報保障システム普及事業 (2011)
  • Author(s): 三好茂樹
  • Organizer: 神奈川県主催,企業とNPOとの交流サロン「モバイル型遠隔情報保障システム普及事業」
  • Place of Presentation: 神奈川県民センター
  • Year and Date: 2011-02-12
• [Presentation] 字幕提示のための『モバイル型遠隔情報保障システム』 (2010)
  • Author(s): 三好茂樹
  • Organizer: ライフサポート学会, 視聴覚障害者バリアフリー技術研究会 講演会(サイトワールド2010)
  • Place of Presentation: 東京都墨田区
  • Year and Date: 2010-11-02
• [Book] 標準言語聴覚障害学 聴覚障害学(ISBN978-4-260-00993-5) (2010)
  • Author(s): 三好茂樹,他
  • Publisher: 医学書院
• [Book] 標準言語聴覚障害学聴覚障害学 (2010)
  • Author(s): 三好茂樹
  • Total Pages: 3
  • Publisher: 医学書院
• [Book] 音声認識によるリアルタイム字幕作成システム構築マニュアル(日本聴覚障害学生高等教育支援ネットワーク(PEPNet-Japan)「音声認識によるリアルタイム字幕作成システム構築マニュアル」編集グループ ISBN978-4-9904374-4-2) (2009)
  • Author(s): 三好茂樹,他
  • Publisher: 筑波技術大学 障害者高等教育研究支援センター
• [Book] 音声認識によるリアルタイム字幕作成システム構築マニュアル(「音声認識によるリアルタイム字幕作成システム構築マニュアル」編集グループ, 日本聴覚障害学生高等教育支援ネットワーク (PEPNet-Japan)) (2009)
  • Author(s): 三好, 他
  • Publisher: 筑波技術大学 障害者高等教育研究支援センター
• [Book] 音声認識によるリアルタイム字幕作成システム構築マニュアル,日本聴覚障害学生高等教育支援ネットワーク(PEPNet-Japan)「音声認識によるリアルタイム字幕作成システム構築マニュアル」編集グループ(ISBN 978-4-9904374-4-2) (2009)
  • Author(s): 三好茂樹
  • Total Pages: 40
  • Publisher: 筑波技術大学 障害者高等教育研究支援センター
• [Book] PEPNet-Japan TipSheet集トピック別聴覚障害学生支援ガイド(ISBN978-4-9904374-0-4) (2008)
  • Author(s): 三好茂樹,他
• [Book] PEPNet-Japan TipSheet集トピック別聴覚障害学生支援ガイド(ISBN978-4-9904374-0-4) (2008)
  • Author(s): 日本聴覚障害学生高等教育支援ネットワーク(PEPNet-Japan)
  • Publisher: 筑波技術大学障害者高等教育研究支援センター
• [Remarks] 本研究成果をベースとする『モバイル型遠隔情報保障システム』普及事業(事業代表/三好茂樹)が『第7回パートナーシップ大賞』にてグランプリを受賞(2010年11月27日,愛知県名古屋市)
• [Remarks] 字幕通信・表示関連のシステムに関する情報発信を開始(2010年5月31日)
  • URL: http://www.tsukuba-tech.ac.jp/ce/mobile1/index.html
• [Remarks] 音声認識技術による字幕作成のためのマニュアルの公開(2009年11月25日)
  • URL: http://www.tsukuba-tech.ac.jp/ce/xoops/modules/tinyd1/index.php?id=140&tmid=241
• [Remarks] 電子情報通信学会・ヒューマンコミュニケーショングループ賞(HC賞)を受賞(2009年3月24日,島根県松江市)
• [Remarks] 携帯電話を活用した聴覚障がい者向け『モバイル型遠隔情報保障システム』
  • URL: http://www.tsukuba-tech.ac.jp/ce/mobilel/index.html