2013 Fiscal Year Research-status Report
膨大な知識を有するニューラルネットワーク型自然言語処理システムに関する研究
| Project/Area Number |
24500281
|
|---|
| Research Institution | Keio University |
|---|
Principal Investigator |
萩原 将文 慶應義塾大学, 理工学部, 教授 (80198655)
|
|---|
| Keywords | ニューラルネットワーク / 自然言語処理 |
|---|
| Research Abstract |
平成25年度における課題は「時系列処理により、思考を扱えるネットワークの基本的な枠組みの構築である。思考は時系列的に扱われるものであり、予定通り時系列信号の扱いに優れたESN (Echo State Networks)というニューラルネットワークを用いた研究を行った。
構築したネットワークは、概念ネットワークと時系列ネットワークの2 つのネットワークから構成される。概念ネットワークでは、単語を一つのノードとみなし、ノードを4 つの層に階層的に保存する。４つの層とは、文層、知識層、深層格層、そして辞書層である。ノード間の結合に値を与えることで単語間の意味的構造、概念を保存することができる。時系列ネットワークはESNに複数のワーキングメモリが導入された構造を持ち、文の語順情報を記憶する。ESNのリザーバ（中間層）には複数の時定数を持つ機構が導入され、時系列信号中の長周期成分、短周期成分それぞれに合わせた学習が効率的に行えるようになっている。さらに、ワーキングメモリの導入により語順情報のみでなく入力文の文法情報をネットワークに保持することができる。
さらに構築したネットワークの応用としてファクトイド型質問応答を行った。質問応答では、質問文の単語からWeb検索を行い、得られた文群を用いてネットワークの構築・学習を行う。学習されたネットワークを用いて解答候補を単語列として出力する。後処理を行うことで文としての回答が可能となっている。評価実験により提案ネットワークが100 文のテスト文に対して十分な連想機能を持つことが示された。また質問応答の精度はMRR 値0.55 と従来の人工知能に基づく質問応答システムに接近する結果であった。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
ニューラルネットワークにおいては、時系列信号の扱いは比較的困難である。今年度は、予定通り時系列信号の扱いに優れたESN (Echo State Networks)というニューラルネットワークを用いた。しかし単なる利用では時系列信号をうまく扱うことは困難である。ESNのリザーバ（中間層）に、複数の時定数を持つ機構を導入し、時系列信号中の長周期成分、短周期成分それぞれに合わせた学習が効率的に行えるようにした。さらに人間の記憶機構を参考にしたワーキングメモリの導入など、いくつかの新しい試みがうまく行ったため、時系列信号の扱いが可能になったと考えている。残された課題としては、仮説検証の部分であるが、これは、仮説ニューロン層の付加で26年度に対応していけると考えている。
|
| Strategy for Future Research Activity |
これまでの研究成果を集大成し、ニューラルネットワーク型自然言語処理システムとして完成させることが目標となる。まず、仮説検証の部分として、仮説ニューロン層の付加で対応する。完成版のイメージとしては、入力文章はエピソード記憶部に入り、思考部とニューラルネットワーク形式長期記憶部とのインタラクションにより、連想や思考などの処理が行われる。
システムには実際に文章を入力として与え、それに対して解答を与えるタスクを考えている。一つは、入力文章から解答が論理的にも導き出せる場合である。これは方法論的には異なるが、いわゆる従来の人工知能でも可能な問題である。次は、入力文章のみでは解答不可能で、長期記憶部での膨大な知識を用いて初めて解答可能となるような問題である。未知なる単語に対して、長期記憶部へのアクセスにより知識を得て、それを用いて推論を行う。推論は1度ではなく、仮説･検証を繰り返して、最終的に正しい解答が得られるようなものである。このようなネットワークとなるよう、各ネットワークモジュールの結合方法やパラメータの調整などを行う。また必要に応じて、各モジュールの改良なども行っていく。
|
| Expenditure Plans for the Next FY Research Funding |
平成25年度の研究は、比較的基礎的な面に重点を置いたため現存の機器でほぼ予定通りの成果をあげることができ、予算的には残額が生じた。
平成26年度は最終年度であり、システムを完成させると同時に、応用面にも着目した前述のような評価実験が多くなる。したがって、コンピュータ関係機器への計上が多くなる。同時に、研究成果の発表のために国内外の国際会議や研究会への参加も増加する。
|
