情報バリアフリー支援におけるノンバーバル情報の活用法に関する研究

2002 Fiscal Year Annual Research Report

• Project/Area Number: 14208028
• Research Institution: The University of Tokyo
• Principal Investigator: 伊福部 達 東京大学, 先端科学技術研究センター, 教授 (70002102)
• Co-Investigator(Kenkyū-buntansha): 廣田 光一 東京大学, 先端科学技術研究センター, 助教授 (80273332) ; 福島 智 東京大学, 先端科学技術研究センター, 教授 (50285079) ; 廣瀬 通孝 東京大学, 先端科学技術研究センター, 教授 (40156716) ; 似鳥 寧信 (株)ビー・ユー・ジー, 総合研究所, 研究員 ; 井野 秀一 北海道大学, 電子科学研究所, 講師 (70250511)
• Keywords: バリアフリー / ノンバーバル情報 / 聴覚障害者 / 音声認識 / タクタイルエイド / 表情 / 復唱 / 字幕

Research Abstract

本年度は,聴覚障害者に音声認識装置を介して呈示された不完全な文章(バーバル情報)に,話者の表情や声のリズム,強弱,抑揚などのノンバーバル情報を同時呈示することにより,ノンバーバル情報が情報バリアフりー支援にどのように活かせるかを調べた。
得られた成果は次の通りである。
(1)任意の講演者の声を特定の復唱者が復唱する方法で,見かけ上誰の声でも高い音声認識率が得られるようにし,同時に音声認識結果の文字列を話者の表情などと一緒に大型プロジェクタに投影することで,バーバル情報(文字列)とノンバーバル情報(話者の顔)を同時に呈示する方法が聴覚障害者にとって音声理解に大きく寄与することを示した。
(2)昨年の10月に札幌で行われた障害者インターナショナル世界会議*(DPI:109の国から3000人以上の障害者が参加)で本システムを使用したところ,約95%の正確さで英語および日本語を同時に文字化することに成功し,国内外ともに大きな反響を得た。
(3)さらに,インターネットにより講演者の声と画像を札幌にいる復唱者と修正者に転送する方法で,会議がどこで開かれていても本復唱システムを利用できるようにした。このシステムを横浜市で開かれたユニバーサルデザイン国際会議において使用したところ,国内外から高評価が得られ,システムの購入注文も幾つか現れた。
(4)音声におけるリズム,強弱,抑揚などのノンバーバル情報を指先の触覚に呈示するディスプレイを試作した。これは,16列×2行(32ピン)からなる圧電マトリクスからなり,外部信号をDSPで処理した後,任意の振動パターンで表示できる触覚ディスプレイとなるもので,振動子の駆動部も含めて120グラムの重量で,手のひらに乗る大きさの携帯型にすることができた。
不完全な文字情報にこの触覚ディスプレイを介してノンバーバル情報を同時呈示することにより,明らかに聴覚障害者の音声理解が向上することを確認した。

Research Products

• [Publications] T.Homma, S.INO, H.Kuroki, T.IFUKUBE: "Measurement of Mechanical Characteristics of a Fingerpad's Surface in the Design of a Tactile Display"J.Robotics and Mechatronics. (印刷中). 10 (2003)
• [Publications] 伊福部達: "福祉機器開発プロジェクト,成功のシナリオは?"日本機械学会誌. Vol.105 No.1008. 25-27 (2002)
• [Publications] 伊福部達: "視・聴覚障害支援のための認知科学"認知学会シンポジウム資料. Dec.7,2002. 9-15 (2002)
• [Publications] 加藤士雄, 井野秀一, 伊福部 達, 他: "国際会議における聴覚障害者支援を目的とした音声字幕変換システムの設計"ヒューマンインタフェース学会研究報告集. 4(4). 65-70 (2002)
• [Publications] 高橋はるか, 井野秀一, 伊福部達, 他: "同時復唱を利用した不特定話者の音声認識 -復唱訓練方式について-"日本音響学会研究会資料. 33(1). 7-12 (2002)
• [Publications] 本間 健, 井野秀一, 伊福部達, 他: "触覚ディスプレイの設計を日的とした指先皮膚の機械特性の測定"日本機械学会ロボディクス・メカトロニクス講演会論文集. 2P2-E11. 1-6 (2002)
• [Publications] 伊福部達: "スペクトル解析ハンドブック"朝倉書店. 11 (2002)