| Project/Area Number |
23K17462
|
|---|
| Research Category |
Grant-in-Aid for Challenging Research (Pioneering)
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Medium-sized Section 61:Human informatics and related fields
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
北澤 茂 大阪大学, 大学院生命機能研究科, 教授 (00251231)
|
|---|
| Project Period (FY) |
2023-06-30 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥26,000,000 (Direct Cost: ¥20,000,000、Indirect Cost: ¥6,000,000)
Fiscal Year 2025: ¥2,730,000 (Direct Cost: ¥2,100,000、Indirect Cost: ¥630,000)
Fiscal Year 2024: ¥2,730,000 (Direct Cost: ¥2,100,000、Indirect Cost: ¥630,000)
Fiscal Year 2023: ¥20,540,000 (Direct Cost: ¥15,800,000、Indirect Cost: ¥4,740,000)
|
|---|
| Keywords | Vision Transformer / Precuneus / attention / こころ / Transformer / Class token / Attention / デカルト |
|---|
| Outline of Research at the Start |
デカルトが「こころ」の座を脳の中心に位置する「gland H」に置いた。本研究は、最新のAI、「Vision Transformer」のClass tokenが、この「gland H」に相当するという着想に基づいている。まず、視線時系列解析法を用いてVision Transformerの注意が人間に近いことを示し、Vision Transformerを脳のモデルに適した形に改良する。最後に、脳のネットワークの中心である楔前部の抑制効果と、「AIのgland H」の抑制効果を比較し、脳のネットワークの中心に「こころ」が宿る、というデカルトの予想を検証する。
|
| Outline of Annual Research Achievements |
デカルトが「こころ」の座を脳の中心に位置する「gland H」に置いた。本研究は、最新のAI、「Vision Transformer」のClass tokenが、この「gland H」に相当するという着想に基づいている。
まず、視線時系列解析法を用いてVision Transformerの注意が人間に近いことを示すことが第一の目標となる。本年度はVision Transformerを従来の画像のラベルを使った教師付学習法と、ラベルを使うことなく情報量を最大化する自律学習法（ラベルなし蒸留法）でそれぞれ6回学習させ、教師付学習Vision Transformer 6個体と自律学習Vision Transformer６個体を準備した。これらVision Transformer 12個体に、ヒトの視線計測に用いたのと同じ12個のビデオクリップを見せて、注意のピークの時系列を取得し、定型発達のヒト50名の視線時系列との比較を、すでに開発した定量解析法 (Nakano et al., 2010) を用いて行った。その結果、自律学習Vision Transformerは定型発達のヒトと似て、画像中のヒトの顔を適切に「見る」一方、教師付学習Vision Transformerは異なる時系列パターンを示すことが定量的に明らかになった。本成果をまとめた論文を準備中である。
また、並行して、ヒトの楔前部を磁石で抑制して、ヒトの視線時系列にどのような変化が生じるかを調べる実験の準備を行った。
さらに、Vision Transformer を2個使った自己蒸留法を、Vision Transformere1個と小脳を模した予測器だけで実現する方法の実相を開始した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
ViTを教師付学習法と自律学習法のそれぞれで、6回ずつ訓練して、6「個体」ずつを得るという第一段階をクリアして、さらにヒトの視線時系列との比較を行い、教師付学習ではヒトと同じ注意が生じない一方、自律学習では相同な注意が得られることを示すことに成功したから。
|
| Strategy for Future Research Activity |
経頭蓋静磁場刺激法を用いて、楔前部を抑制した際のヒトの視線時系列データを取得し、どのような変化が生じるかを確認する。その上で、ViTの7層以下のclass tokenを抑制した際に8層のclass tokenの注意にどのような変化が生じるのか、を明らかにする。またラベルなし自己蒸留法と同様の結果が得られる学習アルゴリズムの開発に着手する。
|
