音声情報と画像情報の統合化による概念の獲得に関する研究

1990 Fiscal Year Annual Research Report

• Project/Area Number: 02805045
• Research Institution: Toyohashi University of Technology
• Principal Investigator: 中川 聖一 豊橋技術科学大学, 工学部, 教授 (20115893)
• Co-Investigator(Kenkyū-buntansha): 山本 幹雄 豊橋技術科学大学, 工学部, 教務職員 (40210562) ; 辰己 昭治 大阪市立大学, 工学部, 助教授 (80124733)
• Keywords: 音声情報 / 画像情報 / 概念の獲得 / 学習 / 単語

Research Abstract

本研究では、視覚と聴覚という2つの外的刺激を結びつけて、未知の入力に対する概念の獲得方式を定式化することを目的とし、画像と音声情報より概念を形成するシステムを作成した。
本システムでは、この視覚情報(画像)と聴覚情報(音声)を用いて計算機に物の名前や位置等の概念を学習させる。
視覚情報としてはカメラで取り込んだ図形画像を入力する。そしてその入力画像から、概念形成に必要なパラメ-タを抽出する。今回の実験で形成する概念は、(1)図形の存在性、(2)図形の位置、(3)図形の大きさ、(4)図形の色、(5)図形の形状、の5つのグル-プに分類される、各概念グル-プに対するパラメ-タを抽出する。
聴覚情報として、音声から音声情報を抽出する。方法としては、二つの音声の時系列デ-タ同士のDPマッチングを行ない、それによって算出された最適照合パスおよび照合距離により、類似区間を抽出する。最適照合パスが求まると、以下の基準を満たす区間の論理積をとり共通区間を抽出する。・DPパスの線形性・平均距離・距離の最大値
以上で述べた音声と画像のデ-タから、概念を獲得するアルゴリズムを開発した。つまり、文音声とそれに関連する画像より音声と画像の対応付けから概念を獲得していく。評価実験として、簡単な図形の概念(例えば、三角形、大きい、白い、右に)の獲得実験を行った。16文の音声デ-タとそれに対応する画像を入力して、13個の概念が正しく獲得できた。
結論として、逐次画像と音声を対応付けながら学習を行う事により、ある概念に対応する音と画像特徴が対応付けられ、人間の概念獲得手法の初期段階が計算機上で実現できた。

Research Products

• [Publications] S.Nakagawa,Y.Ueda: "Automatic Extraction of phonotactics based on Hidden Markov Models and Language Identification" Studia Phonologica. 24. (1991)
• [Publications] S.Nakagawa,Y.Hashimoto: "Segmentation of Contimuous Speech by HMM and Bayesion Probability." System and Computers in Japan. 21. 23-32 (1990)
• [Publications] 中川 聖一、中西 宏文、古部 好計、辰己 昭治: "視聴覚情報を用いた言語・概念の獲得" 電子情報通信学会第2種研究会「概念獲得」研究会資料. LA90ー13. 1-8 (1991)
• [Publications] 中川 聖一・鹿野 清宏・東倉 洋一: "音声・聴覚と神経回路綱モデル" オ-ム社, 235 (1990)