Cognitive Modeling based on Structured Learning of Perception-Action Cycle in Unilateral Spatial Neglect

2021 Fiscal Year Research-status Report

• Project/Area Number: 21K17843
• Research Institution: Tokyo Polytechnic University
• Principal Investigator: 大保 武慶 東京工芸大学, 工学部, 助教 (60771889)
• Project Period (FY): 2021-04-01 – 2024-03-31
• Keywords: 半側空間無視 / 知覚行為循環 / 認知モデリング / リハビリテーション / マルチモーダルセンシング

Outline of Annual Research Achievements

本研究では、USN患者の動態を多角的に計測することが可能なマルチモーダルセンシングシステムを構築し、患者の知覚-行為循環の認知的過程をモデル化するための方法を確立することを目的とする。
今年度は、[研究項目1]として、検査課題中の患者の多様な動態を計測するため、視線計測、注視対象物体検出、頭頚部・腕部・体幹姿勢計測を行うためのマルチモーダルセンシングシステムの開発を行った。さらに、没入型ヘッドマウントディスプレイやセンサ内蔵型の積み木を適用し、仮想空間内で没入的に物体操作計測を行う知覚システムの開発を行った。
つぎに、[研究項目2]として、視線検出、注視対象物体の検出、物体操作の計測に基づき、視線方向や注意を向けている対象に関する情報から、被験者の動作出力を予測するためのシステム開発を行った。具体的には、被験者に対して、視野外の左右のいずれか側から提示される注意対象物への探索課題を実施し、提示される注意対象物の出現パターンに応じた被験者の行為について学習・適応の過程や文節化について検討した。一方で、本年度は病院などの臨床現場での実施が難しく、被験者は健常者として予備実験を実施した。予備実験では、注意対象物を左右交互に規則的に出現するパターンと規則性がなくランダムに出現するパターンを用意し、出現パターンの違いによって、被験者の予測に基づく視線分布、頭頚部・体幹姿勢によって方略が異なることが確認できた。さらに、検査課題中において方略が変化していく過程を計測し、モデル化する方法についても議論を行った。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

今年度は、（１）視線検出、注視対象物体の検出、物体操作の計測を行う知覚システムの開発、（２）計測した時系列データに基づき、視線方向や注意を向けている対象に関する情報から、動作出力としての行為を予測する行為システムの開発におけるプロトタイピングや仕様検討が具体的な課題であった。
まず、知覚システムの開発については、当初の予定通り、視線計測、注視対象物体検出、頭頚部・腕部・体幹姿勢の計測ができるシステムを構築できた。また、没入型ヘッドマウントディスプレイを適用することで、仮想空間内において注意対象物を提示する探索課題の作成、把持動作によって仮想空間内の物体操作が可能なインタフェース開発も行った。
つぎに、行為システムの開発では、能動的注意と受動的注意の観点から、規則性をもって注意対象物が提示される能動探索課題、規則性がなくランダムに提示される受動探索課題を作成し、被験者の動作出力の予測に関する検討を行った．各探索課題では、仮想空間内に被験者の手・指の動きと同期した仮想的な手を表示させ、近位空間内の注意対象物に能動的にタッチ可能なハンドタッチモード、手の届かない遠位領域において視線だけで注意対象物の検出を判定可能な視線タッチモードを実装した。予備実験では、健常者18名を各探索課題で2グループに分け、動作出力の計測・分析を行った。実験結果として、能動探索課題では注意対象物に対して視線が予測的に移動するようになる一方、受動探索課題では被験者の周辺視野に注意対象物の出現領域が含まれるように視線や頭頚部の位置・姿勢を定位する傾向が確認できた。一方、今年度は臨床現場での実証実験が実施できず、開発したシステムの適用可能性の検討については今後の課題となった。
以上の進捗状況より、USN患者を被験者とした実験が実施できていない状況であるため、当初の目的・計画よりやや遅れていると考える。

Strategy for Future Research Activity

来年度は、今年度の研究に引き続き、以下の研究項目を実施する。
[研究項目1]マルチモーダルセンシングシステムの開発として、リハビリプログラムを有識者の意見を踏まえながら作成・検討し、近位空間から遠位空間まで、環境との相互作用における患者の身体性を定量的に評価するプログラムを提案する。また、拡張現実感技術を実装可能なヘッドマウントディスプレイを導入し、実環境との相互作用を定量的に計測・評価するための方法についても検討する。
つぎに，[研究項目2]認知モデリングの研究では、患者の意図システムと注意システムの構築を目指す。意図システムの開発では、提示課題に対して被験者のタスクフェーズを推定し、タスクに対する行為を制御するシステムを構築する。また、注意システムの開発では、動作出力から、次に注意を払うべき方向や対象などを予測するシステムを開発する。ここでは、注意の対象から動作出力を予測するだけではなく、意図システムが行為システムを制御し、注意システムが知覚システムを制約することが可能な、USN患者特有の循環的な認知モデルの構築を目指す。また、[研究項目3]構造化学習の研究にて、認知モデルを構成する各サブシステム間の相互依存的な関係を学習するための方法を確立する。
[研究項目 4]実証実験の実施では、病院や施設と連携して実証実験を行うための準備が整ったため、臨床現場での計測・分析を行っていく。具体的には、近位空間および遠位空間における環境との相互作用の違いを検証するため、単純化された複数の探索課題をインタラクティブに提示可能なシステムを構築し、計算論的な認知モデリングを実施していく。

Causes of Carryover

初年度において、システム開発に必要となる没入型HMDおよび解析用計算機の購入は行ったが、病院などでの実証実験を実施することができず、会議・研究打ち合わせもオンラインでの実施となったため、システムの改良に必要な設備備品費および旅費が支出されず、次年度使用額が生じた。
2022年度では、システムを臨床現場に設置してもらい長期的な実験を実施するため、実験用計算機のほか、必要機材の購入を行う予定である。また、実証実験における出張や情報収集、研究成果発表を行うため、国内外の出張旅費を計上する予定である。