| Project/Area Number |
18K19805
|
|---|
| Research Category |
Grant-in-Aid for Challenging Research (Exploratory)
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Medium-sized Section 61:Human informatics and related fields
|
|---|
| Research Institution | Ochanomizu University |
|---|
Principal Investigator |
|
|---|
| Project Period (FY) |
2018-06-29 – 2021-03-31
|
| Project Status |
Completed (Fiscal Year 2020)
|
| Budget Amount *help |
¥6,240,000 (Direct Cost: ¥4,800,000、Indirect Cost: ¥1,440,000)
Fiscal Year 2020: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2019: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2018: ¥3,120,000 (Direct Cost: ¥2,400,000、Indirect Cost: ¥720,000)
|
|---|
| Keywords | 脳内情報解読 / 深層学習モデル / fMRI / 脳内状態推定 / 音声刺激 / 言語刺激 / スパースコーディング / fMRIデータ / 辞書行列 / 意味表現 / 事前学習言語モデル / 脳活動 |
|---|
| Outline of Final Research Achievements |
The purpose of this study is to develop a method for deciphering words, which are higher-order semantic representations recalled in the human brain, and expressing the meaning of words from the state in the brain. As an approach for that, (I) development of an information decoding method in the brain that extracts the brain activity state by language stimulation given by voice as a sentence, and (II) the basis obtained by using sparse coding for the brain activity state. We applied sparse coding to obtain the basis corresponding to the units of brain activity and constructed a regression model that corresponds to word2vec and BERT, which are regarded as embedded vectors of language, and developed a new meaning representation of words that expresses the unit of recognition of the brain as the meaning of language.
|
| Academic Significance and Societal Importance of the Research Achievements |
本研究においては、言語の意味は本来、ヒト脳の中に表現されるものであり、すでに言語となって外に出てきたものの中に意味を求めるのではなく、直接、脳内に表現される意味表象を使った新しい意味表現を構築するものである。これまで我々はヒト脳内を観測することができなかったため、言語が持つ論理的意味や語用論的意味をその表現と文法から捉えていたが、現在、fMRIなどを用いて直接脳内を観測することができ、その技術と脳の外で脳内の意味を表す言語の二つを合わせた新しい意味表現の構築を行なった。開発された脳活動と言語に基づく意味表現手法は、ブレインマシンインタフェースの構築に必要となる脳内情報解読にも大きな役割を担う。
|
