情報インフラストラクチャに基づく手話対話エージェントの試作

1996 年度 実績報告書

• 研究課題/領域番号: 08555094
• 応募区分: 試験
• 研究機関: 宇都宮大学
• 研究代表者: 山口 亨 宇都宮大学, 工学部, 助教授 (40251079)
• 研究分担者: 鎌田 一雄 宇都宮大学, 工学部, 教授 (80016609)
• キーワード: 情報インフラストラクチャ / 手話 / 知的システム / 対話 / エージェント

研究概要

情報インフラストラクチャの整備が急激に進み、画像・音声信号等の双方向の通信が可能となりつつある。そこで、ジェスチャーによる対話手段の一種である手話による対話を取り上げ、1)曖昧情報記号化処理、2)曖昧情報学習処理、3)曖昧情報生成処理や4)手話特徴表現データベースなどの諸課題を解決し「人間(聴覚障害者)-知的(手話対話)エージェント-人間(健聴者)系システム」を試作する。特に、医療診断などの限られた状況に依存する限られた単語を用いたインタラクティブ性を重視する手話対話システムを構成し、聴覚障害者と健聴者との柔軟なコミュニケーションを支援するオンラインシステムを実現する。平成8年度は、本インターフェイスの要素研究(下記の1)〜4)の研究)を個別に実施した。
1.手話対話エージェント(研究代表者山口担当)
1)手話ジェスチャーの認識(単語への変換):ジェスチャーの画像情報は、ミクロな数値情報として計算機に入力される。この実情報としてのミクロ情報を、人間が理解できる言語的な表現、すなわち、「単語」+「質的ニュアンス」のマクロ情報にリアルタイムで変換するための研究を実施した。
2)手話ジェスチャーの登録・学習:前述1)の認識のための知識が不足している場合に対応するため、ユーザが自ら新たな手話ジェスチャーを追加登録できる学習機能を実現した。
3)手話ジェスチャーの生成(単語からの逆変換):逆推論機能、すなわち、マクロ情報である手話表現したい「単語」からミクロ情報である手話ジェスチャーを示す数値情報への状況依存形の変換を実現した。
2.手話特徴表現データベースの構築(研究分担者鎌田担当)
人間が視覚で利用する従来形のデータベースを再構成し、1)の手話ジェスチャーの認識へ有効となる
4)手話特徴表現データベースを、医療現場を想定し構築した。さらに、その特徴データの手話対話エージェントへのダウンロードを簡略化するデータ構造変換機能を付加した。

研究成果

• [文献書誌] T.Yamaguchi: "Intelligent Robot Prototyping Based on Chaotic Retrieval" Journal of Robot Prototyping Based on Chaotic Retrieval. 18巻・4号. 338-344 (1996)
• [文献書誌] X.Lian: "Necessary and Sufficient Condition for Absolute Exponential Stability of Hopfield-Type Neural Netwoks" IEICE Trans.Fundamentals. E79-A巻・7号. 990-993 (1996)
• [文献書誌] 山口亨: "連想記憶を用いたインタラクティブ手話インターフェイスの試作" 日本ファジィ学会誌. 8巻・4号. 901-907 (1996)
• [文献書誌] 佐藤友彦: "階層的知識構造に基づく学習/適応機能を持った知的ロボット" 電気学会論文誌C. 116巻・12号. 1396-1406 (1996)
• [文献書誌] X.Lian: "On the Analysis of Global and and Absolute Stability of Nonliner Continuous Neural" IEICE Trans.Fundamentals. E80-A巻・1号. 223-229 (1997)
• [文献書誌] X.Lian: "On the Global Asymptotic Stability Independent of Delay of Neural Networks" IEICE Trans.Fundamentals. E80-A巻・1号. 247-250 (1997)
• [文献書誌] 片方善治: "マルチメディア応用総覧(第3編第3章第7節)" (株)フジ・テクノシステム(印刷中), (1997)
• [文献書誌] 谷萩隆嗣: "ディジタル信号処理ライブラリー、第9巻、ニューラルネットワークとファジィ信号処理" コロナ社(印刷中), (1997)