| 研究課題/領域番号 |
18K11479
|
|---|
| 研究機関 | 日本大学 |
|---|
研究代表者 |
青柳 美輝 日本大学, 理工学部, 教授 (90338434)
|
|---|
| 研究期間 (年度) |
2018-04-01 – 2023-03-31
|
| キーワード | 機械学習 / 特異モデル / log canonical threshold |
|---|
| 研究実績の概要 |
計測して得られた多量のデータ解析手法として，混合正規分布，ボルツマンマシン，階層型ニューラルネットワーク，縮小ランクモデルなど，階層型と呼ばれる学習モデルが利用されている．これらは，パラメータを変えることによって，複雑な確率分布を表現可能なため，画像認識, 音声認識や遺伝子解析などに応用されている．しかし，カルバック情報量が退化するという特異モデルであり，従来の正則モデルに適用される古典的方法では解析できないため，近年，多くの数学的手法による理論研究が始まった．今年度は，特異モデルの一つである1次元混合正規分布の学習係数を求めるため，カルバック情報量から得られるイデアルを求め，学習係数の上界を示した．混合正規分布の場合，論文「Kullback Information of Normal Mixture is not an Analytic Function」(Sumio Watanabe, Keisuke Yamazaki, Miki Aoyagi)によって，カルバック情報量は解析でないことが知られている．学習モデルの各成分のパラメータが，ある真の分布の成分のパラメータの近傍であることを仮定して，カルバック情報量と同じlog canonical thresholdを持つ解析関数の存在を示した．さらに，それらのイデアルを解析することによって，log canonical thresholdすなわち学習係数の上界を求めた．これらの結果は，「一次元混合正規分布の学習係数について」と題して，IBISML2020-48において，渡辺元気，伊藤龍二と共著で発表した．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
Vandermonde matrix singularities型特異点のlog canonical thresholdの理論値の研究の他に，今年度はさらに混合正規分布において分散もパラメータとした場合について考察した．これに対応するイデアルは昨年度の結果の場合より複雑さが増し，更なる一般化に対応する．したがって，おおむね研究は順調であると言える．これらは，次のステップにつながる結果であると思われる．
|
| 今後の研究の推進方策 |
今年度は，混合正規分布の場合，学習モデルのパラメータが真の分布のパラメータの近傍であることを仮定し，学習係数導出のための解析関数の存在を示したが，その仮定がない場合でも，評価を厳密化することによって可能ではないかと考えている．来年度は，仮定がない場合に関しても考察し，さらに学習係数の上界だけではなく理論値も求めたい．また，Vandermonde Matrix Type Singularitiesの学習係数の理論値をさらに一般化させるとともに，得られた学習係数の理論値を用いて応用についても考察する．これらの理論値は，真の分布の推定などの解析には，大変重要な値である．理論値が分かっていれば，確率モデルの評価や事後分布を数値的に実現したときに，その実現アルゴリズムが事後分布をどの程度近似しているかどうかなどの，数値計算の正しさを確認する手段ともなる．さらに，学習係数だけでなく，特異揺らぎについても考察する．
|
| 次年度使用額が生じた理由 |
コロナの影響で海外での学術発表の機会などがなかったため，次年度使用額が生じた．今年の結果をまとめ，海外で開かれる国際会議に積極的に参加し発表の機会をもち，研究を深める予定である．近年急速に利用されているZoomなどを利用したオンラインの国際会議にも参加したい．日本数学会，電子情報通信学会，情報論的学習理論と機械学習などの会議にて発表したいと考えている．また，セミナーなどにも参加し，研究討論などを積極的に行う．
|
