2017 Fiscal Year Annual Research Report
| Project/Area Number |
17H04676
|
|---|
| Research Institution | National Institute of Informatics |
|---|
Principal Investigator |
吉田 悠一 国立情報学研究所, 情報学プリンシプル研究系, 准教授 (50636967)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | 定数時間アルゴリズム / テンソル分解 / 確率密度推定 |
|---|
| Outline of Annual Research Achievements |
まず、テンソルのタッカー分解に対する定数時間アルゴリズムを構築した。このアルゴリズムはランクと呼ばれるパラメータを指定すると、そのランクに基づいてテンソルをタッカー分解した際の誤差を定数時間で近似する（分解に用いる行列・テンソル自体は求めない）。本アルゴリズムの一つの応用に「良いランクを高速に決める」というものがある。ランクの選び方によってその後の応用での性能が大きく変わるが、選んだランクが良いかどうかは実際にタッカー分解してみないと分からない。しかしもともとタッカー分解は実行に時間がかかるので、何度もランクを変えてタッカー分解を行うのは避けたい。しかし本アルゴリズムを用いれば、各ランクに対して誤差が定数時間で求まる為、良いランクを素早く決めることが出来る。この成果はThe 31st Annual Conference on Neural Information Processing Systems (NIPS 2017)に採択され、口頭発表が認められた。
次に、確率分布の確率密度が微分不可能な場合に確率密度推定を行うアルゴリズムを構築した。これまでのアルゴリズムはすべて確率密度が微分可能であることを仮定していた。このアルゴリズムの手法と解析には、グラフ理論の道具であるセメレディの正則性補題を用いている。また得られたアルゴリズムの収束レート（確率分布からのサンプル数と確率密度の推定誤差の関係）がタイトであることを示した。この成果は、The 21st International Conference on
Artificial Intelligence and Statistics (AISTATS 2018)に採択されベストペーパーを受賞した。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
テンソル分解は計算に時間のかかる連続最適化問題の典型例であったので当初からの計画に含まれていた。しかし確率密度推定に定数時間アルゴリズムの考え方を用いることができ、そこから統計の文脈でも重要な問題を解く推定手法が得られたのは、全く予期していなかった価値のある成果である。
|
| Strategy for Future Research Activity |
他の連続最適化問題に対しても定数時間アルゴリズムの構築を進めていく。具体的には計算量が大きな問題となっているガウス過程回帰などに取り組む予定である。
また今回提案した微分不可能な確率密度に対する確率密度推定の手法の収束レートはタイトであるが、微分可能な場合のそれに比べて非常に収束レートが悪い。次の課題としては、微分不可能な確率密度がどの様な性質を持つときに収束レートを改善できるかを明らかにすることである。
|
