生体情報を利用したマルチモーダルマンマシンシステムの構築

1994 Fiscal Year Annual Research Report

• Project/Area Number: 06780321
• Research Institution: The University of Tokushima
• Principal Investigator: 苫米地 英人 徳島大学, 工学部, 助教授 (70253226)
• Keywords: マルチモーダル / 音声処理 / ニューラルネット / インタフェース

Research Abstract

理論的な問題解決においては、以下の二点に焦点をあてた。1)制約の超並列処理の枠組みの確立。2)非記号的情報と記号的情報の混在・融合の枠組みの確立。第一点に関しては、現在提唱中の超並列制約伝播の手法を導入した。この手法は、制約記述に情報内容の包摂半順序関係を表す有向グラフを利用し、このグラフの超並列的な伝播により制約処理を行うという特色があった。また、第二点に関しては、ニューラルネットのベクトル空間の状態と超並列制約伝播グラフの活性化状態をベクトルとグラフの変換を利用することにより関連づける手法をとった。また、工学的には特に音声情報と視覚情報の両方を利用するマルチモーダルなシステムを構築した。これには、音声認識と視覚認識に時間遅れニューラルネットと環帰型ニューラルネットをそれぞれ利用することにより、非記号的なマルチモーダル入力を実現した。これらの入力を上記の二手法により記号的な制約と超並列的に融合していくことにより、実時間システムを実現した。

Research Products

• [Publications] Y-S.Lee,H.Tomabechi: "A Shift First Strategy for Generalized LR Parsing" IECE Transaction on Information Systems. E77-D. 1162-1169 (1994)
• [Publications] A-M,Maeda,H.Tomabechi: "Unification-Failure Filter for Natural Language" IECE Transaction on Information Systems. E78-D(発表予定). (1995)