2020 Fiscal Year Annual Research Report

Psychological mechanisms for pursuing unobtainable things: a computational modeling study

Research Project

Project/Area Number	20J13636
Research Institution	Waseda University
Principal Investigator	菅原通代早稲田大学, 文学学術院, 特別研究員(PD)
Project Period (FY)	2020-04-24 – 2022-03-31
Keywords	計算論モデリング / 強化学習モデル / 選択行動 / 固執性 / 追跡行動 / 嗜好性 / アバター
Outline of Annual Research Achievements	ストーカーは、相手から良い反応が返ってこないにもかかわらず同じ対象を追い続け、生涯を創作活動に費やした芸術家が評価されるのは死後であることが多い。なぜヒトは結果の価値を無視して、「手に入らないものを追い続ける」のだろうか。この現象を理解するため本研究では、1）非合理的な行動を続けさせる要因を強化学習モデルの枠組みで実装し、2）この拡張した強化学習モデルを使用して、「手に入らないものを追い続ける」行動の基盤にある認知計算過程を検証することを目的としている。本研究では、「手に入らないものを追い続ける」行動を、良い結果を滅多に返さない（報酬確率が非常に低い）対象を選び続ける行動と定義した。規範的な行動からの逸脱を強化学習モデル内で説明するには、二つの側面からの要因を考えることが重要である。１つは、選択結果から計算される価値更新、もう１つは選択そのものから計算される選択履歴更新である。これら二つの要因は、いずれも条件によっては選択の反復を引き起こす。したがって、行動の背景にある計算過程で、どちらの要因の影響を強く受けているのかを確認するためには、強化学習モデル上でこれらの要因を正しく実装することが重要となる。まず、選択結果と選択そのものの価値更新を含んだハイブリッドモデルの妥当性を、計算シミュレーションで示した。次に、オンライン実験により実際の選択行動データを収集し、反復的な選択行動が、選択結果の価値更新よりもむしろ、選択そのものの影響をより強く受けていることを示した。最後に、既に公開されているオープンデータに対して、ハイブリッドモデルを適用したところ、過去に報告されていた結果が、選択そのものの影響で説明されることを示した。これらの結果から、選択行動の背景にあるプロセスの正しい理解のため、ハイブリッドモデルが有益なツールであることが示され、研究成果は国際紙に掲載された。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 本研究の目的のひとつである、「非合理的な行動を続けさせる要因を強化学習モデルの枠組みで実装する」ことが達成された。次段階の研究に向けて有効性の実証されたモデルを使用する準備が整った点、および研究成果の国際紙掲載という点から、一定の成果があったと言える。
Strategy for Future Research Activity	今後は、有用性が実証されたハイブリッドモデル（拡張された強化学習モデル）を用いて、「手に入らないものを追い続ける」行動の基盤にある認知計算過程を実験的に検証する。また、実験系に改良を加えデータを追加し、規範となる学習理論を深く洞察していく予定である。ヒトを含む動物の行動を記述し、なぜそうなるのかというメカニズムに切り込むためには、古典的な学習理論を基礎とした理論構築が必要不可欠である。本研究で扱うような一見すると不合理な行動は、既存の理論の上に成り立つのか、既存の理論では説明できないのかという問いに答えを出せるよう努める。