マルチメディアの相互補完的協調利用による感覚障害者間の伝達支援に関する研究

2001 Fiscal Year Annual Research Report

• Project/Area Number: 12780140
• Research Institution: Kumamoto National College of Technology
• Principal Investigator: 清田 公保 熊本電波工業高等専門学校, 電子工学科, 助教授 (80186353)
• Keywords: 感覚障害 / 視覚障害者 / 聴覚障害者 / ヒューマンコミュニケーション / コミュニケーションエイド / マルチメディア / 感覚代行

Research Abstract

本研究は,感覚障害者間の双方向コミュニケーションを実現するためのコミュニケーションエイドとなる通信端末インタフェースを開発すると共に,映像・音声・テキストが有意的に結合されたマルチメディア言語の基本設計思想の確立とその有効性を明らかにすることを目的とする.
本研究では,日本版PICと呼ばれる絵図画に音声情報と動作情報を含めたものをマルチメディア言語として新たに定義し,この言語を利用したコミュニケーション支援システムの構築を検討した.提案するマルチメディア言語では,日本版PICを基にPICカードをスキャナーで取り込み画像ファイルとし,これに音声出力用WAVファイル(読み上げファイル),テキスト情報を付加した.この情報ファイルをマルチメディアカードと呼び,視覚障害者と聴覚障害者の両方に共通に利用可能なコミュニケーション言語の基本用語として定義化し,データベースを作成した(現在,登録語1071種).さらに,静止画では表現しにくい動詞を表す用語については動画を採用することを提案し,効果的な速度,コマ数,動作表現法などの評価実験を行い,最適な設定値の選定を行った.このようにして作成したマルチメディアカードには,名詞や動詞,副詞,形容詞など会話に必要な基本用語が登録されており,感覚障害者間の双方向のコミュニケーションを行うのに必要な日常会話に用いられる用語や動作,感情表現,固有名詞などを表すマルチメディアカードの基本言語を確立することができた.しかし,このマルチメディア言語を用いてコミュニケーションを行うためには視覚障害者と聴覚障害者の固有の障害を吸収するために別々のユーザインタフェースが必要となった.そこでマルチメディアカードの選別法として,聴覚障害者には,視覚ベース(絵カード),視覚障害者にはペン入力ベースのユーザインタフェースを構築し,簡単な会話に対しては本言語の有用性を確認した.さらに,双方のコミュニケーションを支援するための擬人化エージェントのサポート効果が非常に有効であるとの知見が得られた.

Research Products

• [Publications] 江崎修央, 清田公保, 引地徹, 中田星児, 山本眞司: "中途失明者向けオンライン日本語入力システム"システム制御情報学会論文誌. Vol.14 No.06. pp.34-pp.39 (2001)
• [Publications] N.Ezaki, K.Kiyota, S.Yamamoto: "Pen-based Electronic Mail System for the blind"Proc.of Intemational Conference on Human-Computer Interaction. Vol.1. pp.450-pp.454 (2001)
• [Publications] 清田公保: "高齢者・障害者のためのヒューマンライフ情報技術"ヒューマンライフ情報技術研究会報告集. HIT.2001. pp.5-pp.15 (2001)
• [Publications] 中山智幸, 清田公保, 合志和洋, 古賀広昭: "擬人化エージェントの発話モデルにおける口唇画像の変化と人の印象に関する研究"電子情報通信学会九州支部大会講演論文集. D-21. p.82 (2001)
• [Publications] 合志和洋, 古賀広昭, 杉谷邦明, 清田公保: "振動モータによる音楽感性コミュニケーションのための基礎技術"熊本県産学官技術交流会講演論文集. 第16回. pp.114-pp.115 (2002)
• [Publications] 中山典子, 清田公保, 藤澤和子, 井上智義: "マルチメディアと視覚シンボルによるコミュニケーション支援技術に関する研究"熊本県産学官技術交流会講演論文集. 第16回. pp.44-pp.45 (2002)