• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

視線の文法化による脳機能・脳内病理の推定手法

Research Project

Project/Area Number 22K18423
Research Category

Grant-in-Aid for Challenging Research (Pioneering)

Allocation TypeMulti-year Fund
Review Section Medium-sized Section 62:Applied informatics and related fields
Research InstitutionKobe University

Principal Investigator

長松 隆  神戸大学, 海事科学研究科, 教授 (80314251)

Co-Investigator(Kenkyū-buntansha) 鎌原 淳三  大阪成蹊大学, データサイエンス学部, 教授 (60283917)
廣江 葵  大阪成蹊大学, データサイエンス学部, 助教 (40963228)
竹村 憲太郎  東海大学, 情報理工学部, 教授 (30435440)
中山 実  東京工業大学, 工学院, 教授 (40221460)
滝口 哲也  神戸大学, 都市安全研究センター, 教授 (40397815)
古和 久朋  神戸大学, 保健学研究科, 教授 (60396728)
Project Period (FY) 2022-06-30 – 2026-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥25,870,000 (Direct Cost: ¥19,900,000、Indirect Cost: ¥5,970,000)
Fiscal Year 2025: ¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2024: ¥5,850,000 (Direct Cost: ¥4,500,000、Indirect Cost: ¥1,350,000)
Fiscal Year 2023: ¥13,650,000 (Direct Cost: ¥10,500,000、Indirect Cost: ¥3,150,000)
Fiscal Year 2022: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
Keywords視線計測 / 認知症 / 視線 / 機械学習
Outline of Research at the Start

本研究では、視線の時系列的変化を文法や単語の意味のようなものに捉え(視線の文法化)、それを基に脳機能・脳内病理を推定する新たな学術体系の構築に挑戦する。視線から何かを推定する研究はあったが、全ての推定の共通の基礎となる文法のようなものを捉えた研究はなかった。視線の文法化ができれば、視線による様々な推定(疾病診断、意図推定など)が簡単な転移学習により可能となり、この分野の大きな変革となる。また、本研究では、視線の文法化による脳機能・脳内病理の推定の例として認知症を対象とし、認知機能が低下する前(早期)の認知症兆候の推定を目指す。

Outline of Annual Research Achievements

本研究の目的は、視線の文法化による脳機能・脳内病理推定という新たな分野への挑戦・開拓である。本研究では、視線の時系列的変化を文法や単語の意味等のようなものに捉え(視線の文法化)、それを基に脳機能・脳内病理を推定する新たな学術体系の構築に挑戦する。
昨年度は、250Hzの視線計測装置を用いて、神戸大学医学部付属病院等で患者24名を対象として、5つの課題(プロサッカード、アンチサッカード、滑動性眼球運動、視空間記憶、絵の説明)を実施する際の視線とMMSEスコアの計測を行った。
本年度は、上記データを用いて、gazeNetという視線を固視、サッカード、滑動性眼球運動などに分類するために学習したニューラルネットワークを転移学習することで、他の推定に利用できないかを検討した。はじめに、視線と感情を計測した60人分のデータを用いて、上記ネットワークを転移学習することによる感情の推定を試みた。瞳孔径などを用いずに偶然より高い推定精度を示すことができた。この知見を用いて、より人数の少ない認知症患者の視線を計測したデータについて、gazeNetを転移学習することで、認知症かどうかを推定する手法について検討を行った。プロサッカード、アンチサッカード課題を実施した際のデータを用いて、検討を行った結果、アンチサッカード課題を実施した場合、視線からMMSEスコアを推定できる可能性が示唆された。これについては6月にACM Symposium on Eye tracking research & Applicationsで発表予定である。
さらに詳細なデータを取得できるように実験システムの改善を行った。1000Hzで計測できる視線計測装置(Eyelink)を導入しマイクロサッカードを計測できることを確認中である。脳波計も導入し何人かの被験者で予備実験を行うなど、実験環境を整備しているところである。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

視線の動きに基礎(文法や文脈に応じた単語の意味に相当するもの)が存在すると仮定して研究を行っている。これまでに、感情推定と認知症の推定の二つの領域について、視線を学習したネットワークの転移学習の有効性を確認した。
以上より、おおむね順調に進展していると判断する。

Strategy for Future Research Activity

PETによるアミロイドβの計測は、数例しか取れない可能性があった。別のアプローチとして、すでに計測済みの患者のデータを利用できる可能性があり、そちらのアプローチを検討していく。

Report

(3 results)
  • 2023 Research-status Report
  • 2022 Comments on the Screening Results   Research-status Report
  • Research Products

    (8 results)

All 2024 2023

All Presentation (8 results) (of which Int'l Joint Research: 7 results)

  • [Presentation] Poster: Attempts on detecting Alzheimer’s disease by fine-tuning pre-trained model with Gaze Data2024

    • Author(s)
      Junichi Nagasawa, Yuichi Nakata, Mamoru Hiroe, Yujia Zheng, Yutaka Kawaguchi, Yuji Maegawa, Naoki Hojo, Tetsuya Takiguchi, Minoru Nakayama, Maki Uchimura, Yuma Sonoda, Hisatomo Kowa, Takashi Nagamatsu
    • Organizer
      The 2024 ACM Symposium on Eye Tracking Research & Applications (ETRA)
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] Attempts on detecting Alzheimer’s disease by fine-tuning pre-trained model with Gaze Data2024

    • Author(s)
      Junichi Nagasawa, Yuichi Nakata, Mamoru Hiroe, Yujia Zheng, Yutaka Kawaguchi, Yuji Maegawa, Naoki Hojo, Tetsuya Takiguchi, Minoru Nakayama, Maki Uchimura, Yuma Sonoda, Hisatomo Kowa, Takashi Nagamatsu
    • Organizer
      The 2024 Communication by Gaze Interaction (COGAIN) symposium
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] 視線データの分析による認知症スクリーニングに関する研究2023

    • Author(s)
      前川 侑司, 川口 豊, 廣江 葵, 内村 真紀, 中山 実, 鄭 羽佳, 園田 悠馬, 古和 久朋, 長松 隆
    • Organizer
      電子情報通信学会 信学技報 vol. 123, no. 232, MBE2023-24, pp. 9-14
    • Related Report
      2023 Research-status Report
  • [Presentation] Prediction Procedure for Dementia Levels based on Waveform Features of Binocular Pupil Light Reflex2023

    • Author(s)
      Minoru Nakayama, Wioletta Nowak, Anna Zarowska
    • Organizer
      The 2023 ACM Symposium on Eye Tracking Research & Applications (ETRA)
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] Using Features of PLRs to Chromatic Light Pulse Irradiations of Either Eye to Detect Symptoms of Dementia2023

    • Author(s)
      Minoru Nakayama, Wioletta Nowak, Anna Zarowska
    • Organizer
      The 2023 ACM Symposium on Eye Tracking Research & Applications (ETRA)
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] Estimation of Latent Attention Resources using Microsaccade Frequency during a Dual Task2023

    • Author(s)
      Minoru Nakayama, Takahiro Ueno
    • Organizer
      2023 Symposium on Eye Tracking Research and Applications (ETRA2023)
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] Program Code Navigation Model for Individuals based on LSTM with Co-clustering2023

    • Author(s)
      Ming Sun, Minoru Nakayama
    • Organizer
      2023 Symposium on Eye Tracking Research and Applications (ETRA2023)
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] Latent Attention Resource Estimation of Peripheral Visual Stimuli Using Microsaccade Frequency Modelling2023

    • Author(s)
      Minoru Nakayama, Takahiro Ueno
    • Organizer
      27th International Conference Information Visualisation (IV)
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research

URL: 

Published: 2022-07-05   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi