補助関数法による最適化アプローチの高速機械学習への展開

2014 年度 実施状況報告書

• 研究課題/領域番号: 26540090
• 研究機関: 国立情報学研究所
• 研究代表者: 小野 順貴 国立情報学研究所, 情報学プリンシプル研究系, 准教授 (80334259)
• 研究期間 (年度): 2014-04-01 – 2016-03-31
• キーワード: ニューラルネットワーク / 深層学習 / バックプロパゲーション / 補助関数 / 最適化

研究実績の概要

平成２６年度は多層ニューラルネットワークに対する基本的な補助関数を設計した。活性化関数としては、原点対称なタンジェントハイパボリック関数を用い、ルックアップテーブルを利用した２次の補助関数を導出した。また多層構造をもつDNNを学習するために、この補助関数を出力側から入力側へ再帰的に設計することができることを示した。適応的に学習係数を決める従来法と組み合わせることにより、従来法よりも高速で安定な学習が可能であることを実験的に示した。

現在までの達成度 (区分)

2: おおむね順調に進展している

理由

研究計画どおり、補助関数の導出による新しい学習則を導出し、信号処理分野のトップカンファレンスであるICASSPにも論文が採録された（ただし出版は平成２７年度）ため、順調に進展していると考える。

今後の研究の推進方策

平成２６年度の研究により、多層のニューラルネットワークを学習するための再帰的な補助関数の効率が思ったほど高くなく、層の数が増えると学習速度が落ちる問題があることがわかってきた。よって平成２７年度は主に、この問題を解決することに注力する。具体的には、多変数の補助関数を設計することによって、変数を加法的に分解する際に生じる効率の低下を防ぐことを検討する。

次年度使用額が生じた理由

インターンシップの学生が本研究に従事し、インターンシップ終了後も共同研究として本研究を継続しており、研究をサポートしてもらうために予定していたリサーチアシスタントの雇用が不要となったため。

次年度使用額の使用計画

平成２７年度に計算環境拡充のための物品費として使用する。