A study of human perceptual-motor learning process using reward estimation in inverse reinforcement learning

2021 Fiscal Year Research-status Report

• Project/Area Number: 20K12576
• Research Institution: Aoyama Gakuin University
• Principal Investigator: 薬師神 玲子 青山学院大学, 教育人間科学部, 教授 (30302441)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: 知覚運動学習 / モデル化 / 潜在学習 / 強化学習 / 逆強化学習 / 視線解析

Outline of Annual Research Achievements

日常生活や仕事、スポーツ等で必要な様々な技能を獲得する過程の解明および学習を促進する手段の開発は古くから心理学の一大テーマであり、近年でも潜在 学習や状況的学習の概念の下で様々な研究が行われている。この種の学習はその過程を言語化することが難しいため、内的な 学習プロセスを検討するにはパフォーマンスの量的測定結果からの推定法が重要となる。
この研究では、機械学習およびロボット制御の分野で開発された「逆強化学習」という計算モデルを利用して、学習者がその学習過程で実際に活用した報酬関数を時系列を追って推定し、この報酬関数の変化と、学習の過程で与えられた顕在的知識(アドバイス) や個人の知識の顕在化(テスト)との関係を検討する。これによって、潜在・顕在過程のインターラクションを含んだ知覚―運動学習の量的モデル化に繋げられると期待できる。
逆強化学習は、パフォーマンス（参加者が押したキーの系列等）から、参加者が用いた報酬を推定しようとするものである。現段階までのところ、研究代表者がこれまでの知覚―運動学習の研究で用いてきた知覚マッチング課題をベースとして、報酬の推定を行うための逆強化学習計算モデルの導出を行い、過去の実験における人間のパフォーマンス記録（キー押し系列の記録）に基づき、学習率等のパラメターを変化させて、推定される報酬の変化や頑健性について検討した。また、ごく少数の参加者を対象として、同課題遂行中にアイトラッキングを行うパイロットスタティを行い、推定された報酬の配分中で重点の置かれた形状パラメターと画像中の注視点の関係について検討を行ない、今後、報酬配分の時間的変化をモデルに組み込む準備とした。

Current Status of Research Progress

4: Progress in research has been delayed.

Reason

COVID-19の感染拡大の影響で、研究開始当初は授業オンライン化や他業務等で研究時間の確保が難しく、基礎的技術の蓄積開始とアイトラッカーの導入が遅れた。また、2021年度前半まで、十分な人数の実験参加者を募っての対面実験の実施が難しく、実験については、ごく少数の人数の参加者を用いたパイロットスタディを行うに留まった。
その後、2021年度８月に体調を崩し、2021年度後半は治療に重点を置かざるを得ず、新たな実験の準備・遂行を中断せざるを得ない状況に陥った（2022年4月より復職し、2022年度は研究遂行可能である）。

Strategy for Future Research Activity

COVID-19の感染状況を睨みながら、計画されていた実験の準備・遂行を進める。報酬関数の複雑さを考慮し、新しい課題としてより単純な軌跡予測及び学習課題を採用し、導出された報酬関数とアイトラッキングの関係をデータ化する。基礎的データを収集したのち、学習の過程で与えられた顕在的知識タイプによって報酬関数に現れる変化を解析する。これらを基に、潜在的知識と顕在的知識との関係を検討する。

Causes of Carryover

2021年度途中（８月から）に体調を崩し、当初予定していた研究活動が行えず、実験準備・遂行・解析のために雇用予定だった研究協力者の雇用や参加者への謝礼が使用できなかった。また予定していた研究発表も、実施できなかった。
2022年度請求額は、2021年度実施予定であった実験及び研究発表を改めて実施するために使用する（実験実施のための研究協力者の雇用・参加者への謝礼、研究発表用経費）。また、より効率的に研究活動行うため、資料整理を行う研究協力者1名の雇用を計画している。このほか、データ解析を効率化するためのソフトウェア 及び保守料ならびに逆強化学習関連書籍代として使用する。