2020 Fiscal Year Research-status Report
機械学習理論における特異空間の幾何学的構造とその応用
| Project/Area Number |
18K11479
|
|---|
| Research Institution | Nihon University |
|---|
Principal Investigator |
青柳 美輝 日本大学, 理工学部, 教授 (90338434)
|
|---|
| Project Period (FY) |
2018-04-01 – 2023-03-31
|
| Keywords | 機械学習 / 特異モデル / log canonical threshold |
|---|
| Outline of Annual Research Achievements |
計測して得られた多量のデータ解析手法として，混合正規分布，ボルツマンマシン，階層型ニューラルネットワーク，縮小ランクモデルなど，階層型と呼ばれる学習モデルが利用されている．これらは，パラメータを変えることによって，複雑な確率分布を表現可能なため，画像認識, 音声認識や遺伝子解析などに応用されている．しかし，カルバック情報量が退化するという特異モデルであり，従来の正則モデルに適用される古典的方法では解析できないため，近年，多くの数学的手法による理論研究が始まった．今年度は，特異モデルの一つである1次元混合正規分布の学習係数を求めるため，カルバック情報量から得られるイデアルを求め，学習係数の上界を示した．混合正規分布の場合，論文「Kullback Information of Normal Mixture is not an Analytic Function」(Sumio Watanabe, Keisuke Yamazaki, Miki Aoyagi)によって，カルバック情報量は解析でないことが知られている．学習モデルの各成分のパラメータが，ある真の分布の成分のパラメータの近傍であることを仮定して，カルバック情報量と同じlog canonical thresholdを持つ解析関数の存在を示した．さらに，それらのイデアルを解析することによって，log canonical thresholdすなわち学習係数の上界を求めた．これらの結果は，「一次元混合正規分布の学習係数について」と題して，IBISML2020-48において，渡辺元気，伊藤龍二と共著で発表した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
Vandermonde matrix singularities型特異点のlog canonical thresholdの理論値の研究の他に，今年度はさらに混合正規分布において分散もパラメータとした場合について考察した．これに対応するイデアルは昨年度の結果の場合より複雑さが増し，更なる一般化に対応する．したがって，おおむね研究は順調であると言える．これらは，次のステップにつながる結果であると思われる．
|
| Strategy for Future Research Activity |
今年度は，混合正規分布の場合，学習モデルのパラメータが真の分布のパラメータの近傍であることを仮定し，学習係数導出のための解析関数の存在を示したが，その仮定がない場合でも，評価を厳密化することによって可能ではないかと考えている．来年度は，仮定がない場合に関しても考察し，さらに学習係数の上界だけではなく理論値も求めたい．また，Vandermonde Matrix Type Singularitiesの学習係数の理論値をさらに一般化させるとともに，得られた学習係数の理論値を用いて応用についても考察する．これらの理論値は，真の分布の推定などの解析には，大変重要な値である．理論値が分かっていれば，確率モデルの評価や事後分布を数値的に実現したときに，その実現アルゴリズムが事後分布をどの程度近似しているかどうかなどの，数値計算の正しさを確認する手段ともなる．さらに，学習係数だけでなく，特異揺らぎについても考察する．
|
| Causes of Carryover |
コロナの影響で海外での学術発表の機会などがなかったため，次年度使用額が生じた．今年の結果をまとめ，海外で開かれる国際会議に積極的に参加し発表の機会をもち，研究を深める予定である．近年急速に利用されているZoomなどを利用したオンラインの国際会議にも参加したい．日本数学会，電子情報通信学会，情報論的学習理論と機械学習などの会議にて発表したいと考えている．また，セミナーなどにも参加し，研究討論などを積極的に行う．
|
