音声・画像の視聴覚情報のシンボル記述化による自然言語文法の帰納的学習法の研究

1989 Fiscal Year Annual Research Report

• Project/Area Number: 01550284
• Research Institution: Toyohashi University of Technology
• Principal Investigator: 中川 聖一 豊橋技術科学大学, 工学部, 助教授 (20115893)
• Co-Investigator(Kenkyū-buntansha): 中西 宏文 愛知教育大学, 教育学部, 助手 (90211424) ; 山本 幹雄 豊橋技術科学大学, 工学部, 教務職員 (40210562) ; 辰己 昭治 豊橋技術科学大学, 工学部, 助教授 (80124733)
• Keywords: 音声認識 / セグメンテ-ション / 画像処理 / 線画の理解 / 学習 / 自然言語の文法 / 文法の獲得

Research Abstract

本研究の目的は、音声と画像の視聴覚情報を用いて、我々の日常言語の文法を学習・獲得するモデルを計算機上で実現することである。そのために二つの音声間や画像間の差異や一致を検出するアルゴリズム、音声や画像をシンボルで記述するアルゴリズム、シンボル記述化された音声と画像の対応づけアルゴリズム、これらの対応づけ集合から文法を推論するアルゴリズム等の開発が必要である。まず二つの音声間の差異や一致の検出においては、従来の音声認識アルゴリズムを拡張して、線形時間で実行できるアルゴリズムを開発した。この手法は音声がパタ-ン表現であってもシンボル表現であっても適用できる汎用性のあるアルゴリズムである。
次に音声パタ-ンをシンボル系列に変換するアルゴリズムを開発した。基本的には1つのシンボルに対応する音素と隠れマルコフモデルで表現し、この連結モデルと音声パタ-ンを照合するもので本研究ではマルコフモデルの精密化を図った。これにより、ていねいに発声された音声に対して、約95%の精度で正しくシンボル系列に変換できた。
また、入力線画の理解において既に学習されている“概念"との一致・差異を検出するアルゴリズム、および任意の二つの画像の一致差異を検出するアルゴリズムについて検討した。これらのアルゴリズムは、シンボル記述された同士間の類似度の最大値選択または、類似度の整列問題となり高速化手法が望まれる。このため、自己相以型計算機上でデ-タ数Nに対して、O(N)整列問題を解く並列アルゴリズム、階層型計算機上ではO(log^2N)で選択問題を解く並列アルゴリズムを提案し、有効性を確かめた。
以上のように、本研究の目的に必要な基本アルゴリズムの開発ができた。今後は、これらの基本アルゴリズムの統合により、音声と画像のつき合わせによる同一概念の獲得と文法の学習をすすめて行きたい。

Research Products

• [Publications] 中川聖一: "連続出力分布型HMMによる日本語音韻認識" 日本音響学会誌.
• [Publications] Seiichi Nakagawa: "Speaker independent continuousーSpeech reccegnition by yhonemeーbased word spotting and timeーsynchronous contextーfree parsing" Computer Speech & Language. 3. 277-299 (1989)
• [Publications] 前場隆史: "階層型計算機モデル上の並列選択アルゴリズム" 電子情報通信学会コンピュ-タシステム技術報告. 89ー87. 17-24 (1990)
• [Publications] 菅谷光啓: "自己相似型ネットワ-ク計算機FINー1上での並列アルゴリズム" 電子情報通信学会コンピュ-タシステム技術報告. 89ー88. 25-32 (1990)