2015 年度研究成果報告書

補助関数法による最適化アプローチの高速機械学習への展開

研究課題

研究課題/領域番号	26540090
研究種目	挑戦的萌芽研究
配分区分	基金
研究分野	知覚情報処理
研究機関	国立情報学研究所
研究代表者	小野順貴国立情報学研究所, 情報学プリンシプル研究系, 准教授 (80334259)
研究期間 (年度)	2014-04-01 – 2016-03-31
キーワード	深層学習 / 補助関数法 / ニューラルネットワーク / 最適化 / パターン認識
研究成果の概要	タンジェントハイパボリック関数を活性化関数とする２層ニューラルネットワークに対して、ルックアップテーブルを利用した２次の補助関数を導出した。また、多層構造をもつニューラルネットワークを学習するために、この補助関数を出力側から入力側へ再帰的に設計できることを示し、目的値を出力層から入力層側に順次伝播させる目的値逆伝播というアイディアに基づく改良も行った。MNISTの手書き文字データを用いた実験では、従来の適応型勾配法よりも大幅に少ない反復回数で学習が収束することを示した。
自由記述の分野	音響信号処理