2008 Fiscal Year Annual Research Report
層状フィードフォワードネットワークによる相関の強い確率分布の学習
| Project/Area Number |
18500178
|
|---|
| Research Institution | Tohoku Bunka Gakuen University |
|---|
Principal Investigator |
藤木 澄義 Tohoku Bunka Gakuen University, 健康社会システム研究科, 教授 (00209032)
|
|---|
| Keywords | ネットワーク / 確率分布 / 機械学習 / 逆XOR問題 / スケーラビリティ / 学習係数の自動調整 |
|---|
| Research Abstract |
相関の強い確率分布の学習問題は,意味の抽出,意味の相関,確率的連想,翻訳,1つの結果から複数の原因の確率的推計などの実用問題に多く見られる.例えば,翻訳には正確な意味の解釈を必要とするが,1つの単語は複数の意味を持ち,1つの単語の意味は周りの文章の影響を受け,他の単語の解釈にも影響する.
申請者らは確率的ユニットからなる層状フィードフォワードニューラルネットワークを用いると,相関の強い確率分布の学習が可能であることを数値計算などで実証してきた.ここでは相関の強い確率分布の学習における確率ユニットからなる層状フィードフォワードネットワークの能力を体系的に研究し,学習能力を向上し,実用問題への応用の可能性を開くことを目的とする.
平成20年度においては,平成18年度及び平成19年度の成果を基に,学習のスケーラビリティの改良を行った.このような相関の強い連想の確率的解釈の実用性において,膨大な数の確率的ユニットの互いに連関を学習する必要があるが,従来の確率的層状フィードフォワードニューラルネットワークにおいては,日常会話における膨大な語彙の収容能力には及ばず,ユニット数が500個程度を越えると,急速に学習が不安定になり,学習能力を失ってしまった,今回,学習係数の自動調整機能を導入することにより,学習のスケーラビリティを大幅に改良し,4,000個を超える数のユニットにおいても学習が可能となり,実用問題へ大きく近づいた.
|
