|
情報インフラストラクチャの整備が急激に進み、画像・音声信号等の双方向の通信が可能となりつつある。そこで、ジェスチャーによる対話手段の一種である手話による対話を取り上げ、「人間(聴覚障害者)-知的(手話対話)エージェント-人間(健聴者)系システム」を試作し、実現することを目的として研究を進めてきた。本年度は医療診断などの限られた状況に依存する単語を用いて、インタラクティブ性を重視する手話対話システムを構築し、健聴者と聴覚障害者との柔軟なコミュニケーションを支援するオンラインシステムを実現した。
昨年度までは、下記に示すように1〜3と4に研究を分割し、それぞれ個別に研究を進めてきた。
・手話対話エージェントの研究(山口担当):手話対話エージェントに必要不可欠な、1.手話動作認識、2.手話動作登録・学習、3.手話動作生成の機能を実現する研究をそれぞれ個別に進めてきた。
・手話特徴表現データベースの構築(鎌田担当):従来型の人間が視覚で利用する形式のデータベースを再構築し、上記1の機能へ有効となる4.手話特徴表現データベースの構築を行ってきた。
本年度は、上記1〜3の機能を統合して、一つのインタラクティブ手話インターフェイスにまとめあげた。これにより、手話動作の認識・生成機能を自動的に切替えることが可能となった。本システムでは、医師が話しかけると、その音声入力に対応した手話アニメーションを表示し、患者(聴覚障害者)が手話動作を行うと、その動作の認識結果を文字情報として示す。このように、本システムが手話通訳者に代わって、健聴者と聴覚障害者の間でのコミュニケーションをサポートするようになっている。また、上記の機能1に「手の形状」による単語特定、3に人間にとって見やすい表示を発想する処理を付け加え、4からのデータの移植も行った。その結果、昨年度のシステムよりも良好な結果を得ることができた。
|
