膨大な知識を有するニューラルネットワーク型自然言語処理システムに関する研究

2012 Fiscal Year Research-status Report

• Project/Area Number: 24500281
• Research Category: Grant-in-Aid for Scientific Research (C)
• Research Institution: Keio University
• Principal Investigator: 萩原 将文 慶應義塾大学, 理工学部, 教授 (80198655)
• Project Period (FY): 2012-04-01 – 2015-03-31
• Keywords: ニューラルネットワーク / 自然言語処理

Research Abstract

平成24年度における課題は「言語資源を用いたニューラルネットワーク形式長期記憶部の構築」である。ここでは、複数の膨大な情報量を有する言語データベース（シソーラス）の利用によるニューラルネットワーク長期記憶部の構築が重要な課題である。
高度な情報処理には知識の扱いが不可欠であり、知識表現は従来の人工知能でも重要な研究分野として扱われてきた。申請者は、日本語語彙体系を用い関連する単語間にリンクを張ることによりニューラルネットワーク化し、三段論法などの推論を可能としている。本研究では、より高いレベルでの情報処理を可能とするために、実用レベルをめざした膨大数の単語の意味の考慮を行う。具体的には、人工知能においてニューラルネットワークに近い意味ネットワークをさらに発展させた形での表現をめざしている。そのために膨大な情報量を有する言語データベース（シソーラス）として、日本語WordNet、日本語語彙体系、および京都大学格フレームを用いて、これらの統合を行った。
その結果、1) 日常頻出する固有名詞への対応を行い、概念辞書へWikipedia に登録されている固有名詞を追加することで、扱う事のできる単語量を大幅に増加させた。2) 概念と用言の結合に関して、京都大学格フレームのコーパスを基に概念辞書における概念と用言の結合を行った。3) 名詞カテゴリと用言の結合に関して、名詞概念と用言の結合を基に、名詞概念を汎化させた名詞カテゴリと用言の結合を行った。4) 単語の親密性スコアの付与に関して、概念辞書に新規に追加した単語の中には馴染みが少ない単語について、概念辞書の各単語に親密性スコアを付与することで新規単語の意味のおおまかな推定が可能となった。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

膨大な情報量を有する言語データベース（シソーラス）として、日本語WordNet、日本語語彙体系、および京都大学格フレームを用いて、これらの統合を行った。その結果、1) 日常頻出する固有名詞への対応、2) 概念と用言の結合、3) 名詞カテゴリと用言の結合、4) 単語の親密性スコアの付与、が可能となった。
まず1)に関しては、概念辞書へWikipedia に登録されている固有名詞を追加することで、扱う事のできる単語量を大幅に増加させた。これは、Wikipedia から単語間の上位下位関係を抽出し、その上位下位関係をもとに固有名詞を概念辞書中の適切な概念へと分類し、単語を追加するという手法を用いた。2)に関しては、京都大学格フレームのコーパスを基に概念辞書における概念と用言の結合を行った。その結果、例えば「麺を食べる」のような名詞と用言がつながった文を作成することが可能となった。3)に関しては、名詞概念と用言の結合を基に、名詞概念を汎化させた名詞カテゴリと用言の結合を行った。4)に関しては、Wikipediaには80万を超える記事が存在しているが、概念辞書に新規に追加した単語の中には馴染みが少ない単語も数多く登録されている。そのような単語に対して、概念辞書の各単語に親密性スコアを付与することで新規単語の意味のおおまかな推定を可能とした。

Strategy for Future Research Activity

平成25年度以降においては、時系列処理により、思考を扱えるネットワークの基本的な枠組みの構築を行う。そのために、以下の２点に関してそれぞれのアイデアを用いる予定である。
・思考の時系列的扱い---Echo State Networksの利用---　　Jaegerらによって提案されたESN (Echo State Networks)という新しいニューラルネットワークは、時系列信号の扱いを飛躍的に向上させた画期的なものである。本研究ではこれを、思考過程を模擬するための基本的ニューラルネットワークモジュールとして用いる。つまり、脳における思考を司っていると言われている前頭葉を模擬するニューラルネットワークとなる。さらに異なる時定数を用いることにより、複数のESNを利用し、単語、文章レベルでのネットワークを構築する予定である。
・仮説検証のメカニズム　　仮説検証を扱う優れたニューラルネットワークとしてARTがあり、このメカニズムを思考ネットワークに用いる。これはいわばメタ知識としても振舞う。これにより、思考のパターンのようなものを抽出し、より効率的な思考メカニズムをめざしていく。またARTの上層には抽象化された思考パターンが抽出されると予想している。

Expenditure Plans for the Next FY Research Funding

平成24年度の研究は、比較的基礎的な面に重点を置いたため、予算的には残額が生じた。平成25年度は、応用面にも着目し前述のような研究項目、すなわち思考の時系列的扱いと、仮説検証のメカニズム研究のために、より多くのコンピューテーションパワーを必要とするようになる予定である。そのためコンピュータ関係機器への計上が多くなる。同時に、世界的な研究動向の調査も並行して行うため、国内外の国際会議や研究会への参加も行う。