補助関数法による最適化アプローチの高速機械学習への展開

2014 Fiscal Year Research-status Report

• Project/Area Number: 26540090
• Research Institution: National Institute of Informatics
• Principal Investigator: 小野 順貴 国立情報学研究所, 情報学プリンシプル研究系, 准教授 (80334259)
• Project Period (FY): 2014-04-01 – 2016-03-31
• Keywords: ニューラルネットワーク / 深層学習 / バックプロパゲーション / 補助関数 / 最適化

Outline of Annual Research Achievements

平成２６年度は多層ニューラルネットワークに対する基本的な補助関数を設計した。活性化関数としては、原点対称なタンジェントハイパボリック関数を用い、ルックアップテーブルを利用した２次の補助関数を導出した。また多層構造をもつDNNを学習するために、この補助関数を出力側から入力側へ再帰的に設計することができることを示した。適応的に学習係数を決める従来法と組み合わせることにより、従来法よりも高速で安定な学習が可能であることを実験的に示した。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

研究計画どおり、補助関数の導出による新しい学習則を導出し、信号処理分野のトップカンファレンスであるICASSPにも論文が採録された（ただし出版は平成２７年度）ため、順調に進展していると考える。

Strategy for Future Research Activity

平成２６年度の研究により、多層のニューラルネットワークを学習するための再帰的な補助関数の効率が思ったほど高くなく、層の数が増えると学習速度が落ちる問題があることがわかってきた。よって平成２７年度は主に、この問題を解決することに注力する。具体的には、多変数の補助関数を設計することによって、変数を加法的に分解する際に生じる効率の低下を防ぐことを検討する。

Causes of Carryover

インターンシップの学生が本研究に従事し、インターンシップ終了後も共同研究として本研究を継続しており、研究をサポートしてもらうために予定していたリサーチアシスタントの雇用が不要となったため。

Expenditure Plan for Carryover Budget

平成２７年度に計算環境拡充のための物品費として使用する。