統計学,ニューラルネット,機械学習の新しい融合

2001 Fiscal Year Annual Research Report

• Project/Area Number: 13480071
• Research Institution: The Institute of Statistical Mathematics
• Principal Investigator: 江口 真透 統計数理研究所, 統計基礎研究系, 教授 (10168776)
• Co-Investigator(Kenkyū-buntansha): 栗木 哲 統計数理研究所, 統計基礎研究系, 助教授 (90195545) ; 福水 健次 統計数理研究所, 統計基礎研究系, 助教授 (60311362) ; 甘利 俊一 理化学研究所, 脳科学総合研究センター, グループディレクター (80010726) ; 汪 金芳 帯広畜産大学, 畜産管理学科, 助教授 (10270414) ; 南 美穂子 統計数理研究所, 統計基礎研究系, 助教授 (70277268)
• Keywords: 統計学 / ニューラルネット / 機械学習 / 統計推測 / モデル特異性 / ブースティング / ロバスト / 独立成分解析

Research Abstract

今年度は統計学、ニューラルネット、機械学習の新しい融合というスローガンのもと、いろいろな発想、様々な角度からのアプローチが試された。
まず、津田宏治(産総研生命情報科学研究センター)、池田思朗(九州工業大学)、ChristophereSmall(Univ. of Waterloo)、永田昌明(NTTサイバースペース研究所)らを招いて講演をオーガナイズし、統計数理研究所において、公開セミナーを開催した。
甘利、栗木、福水はニューラルネットモデル、ガウシアンミクスチュアーモデルなどに代表される「モデル特異性」について、深い考察を行った。この研究成果の一部は研究集会「統計推測の理論と応用・・・幾何学的方法と特異モデル」において発表された。特に、チューブの方法によって裾確立の評価を行った栗木の論文が、国際雑誌「Annals of Statistics」に掲載されたことは、特筆すべきことであろう。
南、江口は独立成分解析についてロバストな方法論をダイバージェンスを使って提案した.南は8月、Salk Instituteに滞在し、活発なディスカッション、講演を行った。また、研究集会「非線型モデリングと現象解析」(11月28-29日・九州大学国際ホール)においても講演し、この内容を、国際雑誌「Neural Computation」に投稿し、3月に採択が決定した。また、この分野の代表的研究者の1人であるTe-Won Lee博士を招いて、10月に公開講演を開いた。
村田、江口は機械学習の分野で活発に研究されているブースティングの方法を情報幾何の観点から考察している。現時点では論文発表の段階ではないが、良い成果が期待される。江口はこのアイデアの基礎となる論文を国際雑誌「Biometrika」に投稿、掲載予定である。
下平、汪はリサンプリングの研究テーマで研究成果を発表している。

Research Products

• [Publications] M.Minami, S.Eguchi: "Robust Blind Source Separation by beta-Divergence"Neural Computation. (to appear). (2002)
• [Publications] S.Eguchi, J.B.Copas: "A Class of Logistictype Discriminant Functions"Biometrika. (to appear). (2002)
• [Publications] J.B.Copas, S.Eguchi: "Local Sensitivity Approximation for Selectivity Bias"Journal of Royal Statistical Society B,. 63. 871-895 (2001)
• [Publications] H.Kamiya, S.Eguchi: "A class of robust principal component vectors"Journal of Multivariate Analysis. 77. 239-269 (2001)
• [Publications] T.Chen, S.Amari, N.Murata: "Sequential Extraction of Minor Components"Neural Processing Letters. 13. 195-201 (2001)
• [Publications] H.Nakahara, S.Wu, S.Amari: "Attention Modulation of Neural Tuning Through Peak and Base Rate"Neural Computation. 13. 2031-2047 (2001)
• [Publications] S.Amari: "Information Geometry on Hierarchy of Probability Distributions"IEEE Transactions on Information Theory. Vol.47, No.5. 1701-1711 (2001)
• [Publications] Satoshi Kuriki, Akimichi Takemura: "Tail probabilities of the maxima of multilinear forms and their applications"The Annals of Statistics. Vol.29, No.2. 328-371 (2001)
• [Publications] Satoshi Kuriki, Hidetoshi Shimo daira, Anthony J. Hayter: "The isotonic range statistic for testing against an ordered alternative"Journal of Statistical Planning and Inference, to appear. (to appear). (2002)
• [Publications] K.Fukumizu: "Geometry of neural networks : Natural gradient for learning"Handbook of Biological Physics, vol.4 : Neuro-informatics and Neural Modelling.. 731-769 (2001)
• [Publications] K.Fukumizu: "Geometry of Neural Networks and Models with SIngularities"AIP Conference Proceedings 553 DISORDERED AND COMPLEX SYSTEMS. 553. 117-122 (2001)
• [Publications] K.Fukumizu: "Asymptotic Theory of Locally Conic Models and its Application to Multilayer Neural Networks."KnowledgeBased Intelligent Information Engineering Systems & Allied Technologies (KES'2001). 1570-1574 (2001)
• [Publications] Jinfang Wang: "Statistical Disclosure Control Based on Random Uncertainty Intervals"Enabling Society with Information Technology. 244-255 (2001)
• [Publications] S.Eguchi, J.B.Copas: "Recent Developments in Discriminant Analysis from an Information Geometric Point of View"ournal of Korean Statistical Society (The special issue of the 30th aniversary of the Korean Statist. Soc). 30. 247-264 (2001)