| 研究課題/領域番号 |
15K16050
|
|---|
| 研究機関 | 豊橋技術科学大学 |
|---|
研究代表者 |
渡辺 一帆 豊橋技術科学大学, 大学院工学研究科, 講師 (10506744)
|
|---|
| 研究期間 (年度) |
2015-04-01 – 2019-03-31
|
| キーワード | レート歪み関数 / ディリクレ過程平均法 / スパース回帰符号 / 一般化事後分布 / 経験ベイズ法 |
|---|
| 研究実績の概要 |
機械学習法の性質を情報理論における圧縮限界から特徴づけ、学習法の設計論を構築するための各部分課題に関し、以下のような成果が得られた。
レート歪み関数は歪み有りデータ圧縮における歪みと圧縮率の間の最適なトレードオフ関係を示す。スパース線形回帰符号は、貪欲法によるスパース推定の考え方を用いた歪み有り圧縮法であり、二乗損失においてレート歪み関数を達成することが証明された。スパース線形回帰符号を、絶対損失の場合に拡張し、二乗損失に特化した従来法を改良した。レート歪み関数を求める確率分布の最適化問題を確率分布の射影として捉える情報幾何学的な解釈を与えた。機械学習手法において柔軟に損失関数を設計する仕組みとして用いられているカーネル法に関し、カーネル法の損失関数のレート歪み関数を評価した。
ディリクレ過程（DP）平均法は、効率的な計算量でクラスタ数の推定が可能なクラスタリング手法として提案された。これまでの研究で得られた一般化したDP平均法について、画像のデータ圧縮および機械学習分野のベンチマークデータに対するクラスタリング性能を評価する実験を行い、最大歪みや外れ値への頑健性をもつ歪み尺度を含む拡張した手法の有効性を示した。
ベイズ推論の学習係数は予測性能を示すものの、その評価は一般には困難である。これまでの研究で、一定の仮定の下、学習係数とレート歪み関数との関係が示された。数値実験により学習係数とレート歪み関数から決まるレート歪み次元との間の関係を検証し、理論解析の仮定が成り立つことを確認した。前年度までの理論解析結果の拡張と合わせて、国際学会での発表を行った。また、ベイズ推論において事前分布の設定法として広く用いられている経験ベイズ法の振る舞いを、ラプラス事前分布の場合に解析した。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
学習法や最適化法の情報幾何学的な解釈は、その動作原理に関する直観的な理解を与え、手法の改善等に重要な知見を与える。レート歪み関数を求める確率分布の最適化問題に対し、情報幾何学的な解釈を行うことができた。柔軟な損失関数の設計が可能なため機械学習法において広く用いられるカーネル関数を用いた歪み尺度について、レート歪み関数の評価を与えることができた。また、スパース線形回帰符号やDP平均法等の実用的な歪み有り圧縮法、クラスタリング法を多様な歪み尺度に応用するための拡張やその有効性の検証に成功している。これまでに得られたベイズ推論とレート歪み理論の関係は、事前分布の設定法として広く用いられている経験ベイズ法とも直接関連することがわかり、当初の計画を拡げる発展をしている。
|
| 今後の研究の推進方策 |
絶対損失の場合に拡張したスパース線形回帰符号化法について、レート歪み関数の達成性を調べる。これまでの研究においてDP平均法の一般化に用いた損失関数とダイバージェンス最小化との関係を詳しく調査する。学習係数とレート歪み次元の関係の解析を進めるとともに、昨年度の方策で残された経験ベイズ法による事前分布の設定法の性能解析を続ける。ベイズ推論の効率的な実現に必要な近似ベイズ推論法について、理論解析を通じた共同研究を引き続き検討する。
|
| 次年度使用額が生じた理由 |
欧州にて開催された国際会議にて、共同研究先の研究グループの動向を確認することができ、別に予定していた研究打ち合わせのための海外滞在の必要がなくなり、未使用額が生じた。次年度に国際学会への参加回数を増やす、もしくは研究打ち合わせのための滞在期間を延ばすことにより、共同研究者との議論の場を十分に確保することを計画している。
|
