マルチメディア技術を応用した聴覚障害者のための対面対話支援形態に関する研究

2003 Fiscal Year Annual Research Report

• Project/Area Number: 14780118
• Research Institution: Tsukuba College of Technology
• Principal Investigator: 三好 茂樹 筑波技術短期大学, 教育方法開発センター(聴覚障害系), 助手 (80310192)
• Keywords: 字幕 / 聴覚障害 / 音声認識 / リアルタイム

Research Abstract

1.健聴者と聴覚障害者が自然なコミュニケーションを行うための要素技術として音声認識に注目し、この技術を用いた授業を8回実施した。実際の授業環境には様々なノイズが存在し、そのままでは非常に誤認識が多く、自然なコミュニケーションや授業の進行が困難である。しかし、音声認識部へ送る音声情報のS/N比を可能な限り高める工夫により、音声認識技術の能力を最大限に発揮できるような構成を提案することができた。また、極力市販の装置類を使用することで、誰でもシステムを再現できるように配慮した。そして、よりインタラクティブなコミュニケーションを実施するために必要な健聴者(発話者)と発話された音声情報を文字情報に変換するためのシステムとのワイヤレス化を図った。
2.本学(筑波技術短期大学)では、リアルタイム字幕提示システムの開発と運用を、1990年から続けており、本学の授業時の情報保障や学外支援として運用し、現在までのところ230回程度の運用実績がある。このリアルタイム字幕提示システムとは、話者の発話内容のすべてを文字に変換し、即座に聴衆に提示するためのシステムである。これまでに様々な改善を行い、話者のいる講義室等から遠く離れた場所からでも、高度なキーボード入力技能を有する字幕作成担当者が支援を行うことができる遠隔地リアルタイム字幕提示システムと現在なっている。このシステムに音声認識技術を付加することで、速記タイピストのような特殊技能を有さないものでも、発話された言語音のすべてを文字に変換することが可能となる。今回、授業者が手話と音声と併用して授業を実施した。そして、音声認識技術を利用して文字も付加的に提示した。文字列は誤認識文字を多少含んでいたが、これらのような環境にも関わらず文字情報の重要性を示す結果が得られた。本システムは、ブロードバンド環境を活用し、音声や文字などのマルチメディア情報の伝送に活用した。

Research Products

• [Publications] 三好茂樹, 西岡知之, 中瀬浩一: "ワイヤレスシステムと音声認識ソフトを用いた情報保障"ろう教育科学会第45回大会資料集. 9-12 (2003)
• [Publications] Shigeki MIYOSHI, Tomoyuki NISHIOKA, Koichi NAKASE: "A study of a support system using a voice recognition technique for hearing impaired persons at lectures"Proceedings of the Poster Session on Utilization of ICT and Educational Support for Children with Disabilities at The 23rd Asia-Pacific International Seminar on Special Education. 75-78 (2003)
• [Publications] 三好茂樹, 石原保志, 西川俊, 小林正幸: "聴覚障害者のための音声認識技術を活用したルビ付きリアルタイム字幕提示システムによる授業支援"電子情報通信学会技術報告. Vol.103, No.600. 15-18 (2004)