1999 Fiscal Year Annual Research Report
| Project/Area Number |
11780287
|
|---|
| Research Institution | Tokyo Metropolitan University |
|---|
Principal Investigator |
田中 利幸 東京都立大学, 工学研究科, 助手 (10254153)
|
|---|
| Keywords | 平均場近似 / 確率モデル / ニューラルネットワーク / 情報幾何学 / 情報統計力学 / グラフィカルモデル |
|---|
| Research Abstract |
大規模な確率モデルにおける「非エルゴード性」の出現,およびそれが平均場近似の近似精度におよぼす影響について,ボルツマンマシンを例にとって情報幾何学の立場から理論的な検討をおこなった.ポルツマンマシンによって実現される確率モデルの族に対応する統計多様体は幾何学的に平坦であるという特徴をもつが,モデルの規模を無限大とした極限ではこの平坦さが失われてしまい,それが平均場近似の近似精度に本質的に影響する,という結果を得た.この結果は,平均場近似の適用可能性に対する本質的な限界を示すものであり,実用的に重要であるだけでなく理論的にも興味深いものである.フィードフォワード型のグラフ表現をもつ確率モデル,およびそれらのなかでも特に層状のフィードフォワード構成をもつ確率モデルのそれぞれに対して,変分原理にもとづく平均場近似の定式化をおこなった.Saul,Jordanも同様のアプローチによって平均場近似の別の定式化を報告しているため,本研究で得られた定式化と,Saul,Jordanによって報告されている定式化との比較をおこない,それぞれの得失を検討した.また,得られた定式化およびSaul,Jordanの定式化に対して情報幾何学にもとづく解釈を与えた.統計的推測の問題に対する近似解法としてみると,提案手法は近似の精度が高ければ真の期待値に対して偏りのない推測結果を与えうるのに対し,Saul,Jordanの定式化は近似の精度によらず偏った推測結果を与えることを,幾何学的な解釈にもとづいて明らかにした.
|
-
[Publications] 田中 利幸: "フィードフォワードネットワークに対する平均場近似の定式化"日本神経回路学会第9回全国大会講演論文集. 143-144 (1999)
-
[Publications] 田中 利幸: "層状フィードフォワードネットワークに対する平均場近似"日本物理学会講演概要集. 54・2. 285 (1999)
-
[Publications] Toshiyuki Tanaka: "A formulation of mean-field approximation for layeard feedforward stochastic networks"Proc. Sixth Int. Conf. Nearal Inform. Process. '99. 2. 544-549 (1999)
-
[Publications] 田中 利幸: "確率的に動作する多層フィードフォワード型ネットワークに対する平均場近似"電子情報通信学会論文誌 D-II分冊. J82-D-II・12. 2420-2422 (1999)
-
[Publications] 田中 利幸: "情報幾何学と平均場近似"物性研究. 73・5. 834-841 (2000)
-
[Publications] 田中 利幸: "フィードフォワードネットワークに対する平均場近似の情報幾何"電子情報通信学会技術研究報告(ニューロコンピューティング). (発表予定). (2000)
