情報インフラストラクチャに基づく手話対話エージェントの試作

1997 Fiscal Year Annual Research Report

• Project/Area Number: 08555094
• Research Institution: Utsunomiya University
• Principal Investigator: 山口 亨 宇都宮大学, 工学部, 助教授 (40251079)
• Co-Investigator(Kenkyū-buntansha): 鎌田 一雄 宇都宮大学, 工学部, 教授 (80016609)
• Keywords: 情報インフラストラクチャ / 手話対話システム / エージェント / コミュニケーション / 手話特徴表現

Research Abstract

情報インフラストラクチャの整備が急激に進み、画像・音声信号等の双方向の通信が可能となりつつある。そこで、ジェスチャーによる対話手段の一種である手話による対話を取り上げ、「人間(聴覚障害者)・知的(手話対話)エージェント・人間(健聴者)系システム」を試作し、実現することを目的として研究を進めてきた。本年度は医療診断などの限られた状況に依存する単語を用いて、インタラクティブ性を重視する手話対話システムを構築し、健聴者と聴覚障害者との柔軟なコミュニケーションを支援するオンラインシステムを実現した。
昨年度までは、下記に示すように1〜3と4に研究を分割し、それぞれ個別に研究を進めてきた。
・手話対話エージェントの研究(山口担当):手話対話エージェントに必要不可欠な、1.手話動作認識、2.手話動作登録・学習、3.手話動作生成の機能を実現する研究をそれぞれ個別に進めてきた。
・手話特徴表現データベースの構築(鎌田担当):従来型の人間が視覚で利用する形式のデータベースを再構築し、上記1の機能へ有効となる4.手話特徴表現データベースの構築を行ってきた。
本年度は、上記1〜3の機能を統合して、一つのインタラクティブ手話インターフェイスにまとめあげた。これにより、手話動作の認識・生成機能を自動的に切替えることが可能となった。本システムでは、医師が話しかけると、その音声人力に対応した手話アニメーションを表示し、患者(聴覚障害者)が手話動作を行うと、その動作の認識結果を文字情報として示す。上記の機能1に「手の形状」による単語特定、3発想による人間にとって見やすい表示処理を付け加え、4からのデータの移植も行った。その結果、昨年度のシステムよりも良好な結果を得ることができた。このように、本システムが手話通訳者に代わって、健聴者と聴覚障害者の間でのコミュニケーションをサポートするようになっている。

Research Products

• [Publications] Xue-Bin LIANG: "On the Absolute Exponential Stability of Neural Networks with Globally Lipschitz Continuous Activation functions" IEICE Trans.on INF. & SYST.E80-D巻6号. 687-690 (1997)
• [Publications] Xue-Bin LIANG: "Necessary and Sufficient Cndition for absolute Exponential Stability of a Class of Nonsymmetric Neural Networks" IEICE Trans.on INF. & SYST.E80-D巻8号. 802-807 (1997)
• [Publications] Xue-Bin LIAN: "On the Analysis of Global and Absolute Stability of Nonliner Continuous Neural Networks" IEICE Trans.on Fundamentals. E80-A巻1号. 223-229 (1997)
• [Publications] Xue-Bin LIANG: "On the Global Asymptotic Stability Independent of Delay of Neural Networks" IEICE Trans.on Fundamentals. E80-A巻1号. 247-250 (1997)
• [Publications] Xue-Bin LIANG: "Absolute Exponential Stability of Neural Networks with Asimmetric Connection Matrices" IEICE Trans.on Fundamentals. E80-A巻8号. 1531-1534 (1997)
• [Publications] Zhiziong Xu: "Multiple Rules in a Fuzzy Associative Memory Matrix" Journal of Signal Processing. 1巻3号. 205-210 (1997)
• [Publications] T.Hashimoto: "Model of Knowledge,Emotion and Awareness" The 6th IEEE International Workshop on Robot and Human Communication. 1巻. 326-331 (1997)
• [Publications] T.Yamaguchi: "Chaotic Evolutionary Processing for Intelligent Agents" The 4th Int.Conf.on Neural Information Processing (ICONIP'97). 1巻. 170-177 (1997)
• [Publications] Zhixiong Xu: "Japanese Sign Language Recognition Systemu Using Image Processing" 日本ファジイ学会誌. 10巻1号. 150-156 (1998)
• [Publications] 橋本智己: "Rasmussenモデルに基づく知識獲得" 日本ファジイ学会誌. 10巻2号(印刷中). 印刷中 (1998)
• [Publications] 西本哲也: "手話学習支援システムに関する基礎検討" 信学技報. HCS97-3. 13-20 (1997)
• [Publications] 山西妙子: "専門用語学習のための手話映像辞書の試作" 映像情報メディア学会誌. 51巻6号. 896-902 (1997)
• [Publications] 鎌田一雄: "手話・身振りインタフェース構築の現状と課題" 情報研報. 97巻114号. 31-38 (1997)
• [Publications] 山下真希: "日本手話表現の遷移動作特性に関する一考察" 信学技報. HCS97-24. 17-24 (1998)
• [Publications] 片山善治: "マルチメディア産業応用技術大系(第3編第3章第7節)" フジ・テクノシステム, 1206 (1997)
• [Publications] 谷萩隆嗣: "ニューラルネットワークとファジイ信号処理" コロナ社, 233 (1998)
• [Publications] T.hashimoto: "Welfare Intelligent Robots and its Emotion Oriented Interface Soft Computing in Robotics" Physica-Verlag (Heidelberg)(印刷中),