学習する対象から情報収集するアルゴリズムの構築とその応用

2016 年度 実施状況報告書

• 研究課題/領域番号: 16K16121
• 研究機関: 国立研究開発法人理化学研究所
• 研究代表者: 早川 隆 国立研究開発法人理化学研究所, 脳科学総合研究センター, 研究員 (30756789)
• 研究期間 (年度): 2016-04-01 – 2019-03-31
• キーワード: 情報量最大化 / 強化学習 / ゲーム理論

研究実績の概要

研究実施計画に従い、学習する対象から情報収集するアルゴリズムの設計を開始した。研究計画に従い、まずはプロジェクト全体の基幹となる理論の整備を行った。特に学習する対象がゆっくり学習する場合には、そのトレンドを読み取り学習する対象に関しての情報を収集するアルゴリズムを導けた。学習対象の学習が早い場合にはこの理論は適用できず、学習対象の学習について何らかの仮定をおいて絞り込む必要があることもわかった。この結果を受けて、まずは学習対象がゆっくり学習する場合についての複数の応用例において数値計算を開始した。応用例として、強化学習・ゲーム理論などの既存の枠組みについて文献的調査を行いつつモデルを設計した。モデルの詳細やふるまいについてはある程度予想された結果が得られているが、理論上うまくいったとしても応用上は計算アルゴリズム次第でうまくいかないこともあることが明らかになった。特に、学習対象の長期的なトレンドをみる際に、過去の情報をいかに記憶して未来に役立てるか、が鍵となることがわかった。この部分を改良するために、リカレント神経回路を用いて過去の記憶を保持するための理論的研究も研究計画に記載した内容と並行して行った。その結果、過去の情報を保持して学習に役立てるためのリカレント神経回路の理論が新たに導け、学習を改良することができた。これを組みこむことで、学習性能が改善されることを一部の例において確認した。

現在までの達成度 (区分)

2: おおむね順調に進展している

理由

基幹となる理論を導き、モデルが設計できているので、当初の研究計画と比べて概ね順調に進展していると言える。研究計画のうち、対象の学習がゆっくりである場合はうまくいっているため、応用研究を予定通りすすめている。また、その応用研究の中でボトルネックになる、リカレント神経回路の理論を得た点で予想以上の進展を得たと言える。一方、対象の学習が早い場合は研究計画通りにはすすんでいない。対象の学習が早い場合は、研究計画以上に問題が複雑であることが明らかになった。しかし当初からうまくいっているケースに注力する予定であったので、差し引きするとトータルでは研究計画は予定通りということになるだろう。

今後の研究の推進方策

まず、本研究計画の部分研究であるリカレント神経回路の理論を研究成果としてまとめて、論文発表を目指している。次に本研究の研究課題のうち、うまくいっているケースである、対象がゆっくり学習している場合について、研究成果をまとめることを計画している。理論部分と簡単な強化学習モデルでの応用に加え、上記リカレント神経回路による記憶効果を実証して論文にまとめることを計画している。それと並行して、引き続き応用研究、具体的には強化学習の逆問題とゲーム理論への応用を数値計算によってすすめる。また、これまではひとまず中断していた、対象の学習が早い場合の学習方法について、さらに仮定をおいて問題を分割してから解くことを計画している。

次年度使用額が生じた理由

当初から計画していた研究のうち、一部の研究が他の部分よりも早く進展しており、そちらに注力した。そのため、研究経費が基金であることと、昨年度支給の研究経費の上限も鑑み、当初昨年度予定していた学会発表を今年度に繰り越すことを計画した。

次年度使用額の使用計画

昨年度実施しなかった学会発表については今年度発表を計画しており、繰越分をそのために使用する予定である。