環境モデル徒弟学習の抜本的高速化技術の開発と実用的対話システムのプロトタイプ構築

• Project/Area Number: 25730128
• Research Category: Grant-in-Aid for Young Scientists (B)
• Allocation Type: Multi-year Fund
• Research Field: Intelligent informatics
• Research Institution: The University of Tokyo
• Principal Investigator: 牧野 貴樹 東京大学, 生産技術研究所, 特任准教授 (20418651)
• Project Period (FY): 2013-04-01 – 2014-03-31
• Project Status: Discontinued (Fiscal Year 2013)
• Budget Amount: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000); Fiscal Year 2015: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000); Fiscal Year 2014: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000); Fiscal Year 2013: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
• Keywords: 強化学習 / 逆強化学習 / 徒弟学習 / LUKE

Research Abstract

初年度の課題は、環境モデル徒弟学習を抜本的に高速化する技術を開発することであった。
環境モデル徒弟学習においては、部分観測マルコフ決定過程の最適解計算を多数回実行する必要があり、計算速度が非常に遅いため、実用的な問題に適用することが不可能であり、高速化が不可欠な問題となっていた。
本研究では、2つの手法、すなわち、方策の事後確率の列勾配計算による高速化と前回の解の再利用による高速化技術を開発し、実際に実装することで高速化を実現することができた。
本研究で開発した技術は、オープンソースソフトウェア LUKE として一般に公開した。また、人工知能学会全国大会などで発表した。

Research Products

• [Journal Article] 実用化する強化学習技術 (2014)
  • Author(s): 牧野貴樹
  • Journal Title: 生産研究 Volume: 66
• [Journal Article] 自然言語処理における逆強化学習・模倣学習の適用 (2013)
  • Author(s): 坪井祐太, 牧野貴樹
  • Journal Title: 計測と制御 Volume: 52 Pages: 922-927
• [Journal Article] パネルティスカッション: 強化学習 @ 2025 A.D. - 10年後の強化学習が目指すもの (2013)
  • Author(s): 牧野貴樹, 澁谷長史, 白川真一
  • Journal Title: 計測と制御 Volume: 52 Pages: 1136-1143
• [Presentation] 部分観測環境のパラメトリック記述に基づく高速モデルパラメータ逆強化学習プログラム (2014)
  • Author(s): 牧野貴樹, 城真範, 合原一幸
  • Organizer: 人工知能学会全国大会
  • Place of Presentation: ひめぎんホール
• [Presentation] Estimation of POMDP Parameters by Apprenticeship Learning (2014)
  • Author(s): Takaki Makino
  • Organizer: Workshop on MDP/POMDP Applications to Medical Data
  • Place of Presentation: 東京大学大学院情報理工学研究科 I-REF棟
  • Invited
• [Presentation] 強化学習をベイズで理解する (2014)
  • Author(s): 牧野 貴樹
  • Organizer: 神経科学と統計科学の対話４
  • Place of Presentation: 統計数理研究所(立川市)
  • Invited
• [Presentation] 機械学習の数学的側面 (2014)
  • Author(s): 牧野貴樹
  • Organizer: ミニワークショップ「機械学習×力学系」
  • Place of Presentation: 東京大学生産技術研究所
  • Invited
• [Remarks] LUKE (Learning Underlying Knowledge of Experts)
  • URL: http://www.snowelm.com/~t/research/software/luke.ja.html