| 研究課題/領域番号 |
21H03535
|
|---|
| 研究種目 |
基盤研究(B)
|
| 配分区分 | 補助金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分61060:感性情報学関連
|
|---|
| 研究機関 | 国立研究開発法人情報通信研究機構 |
|---|
研究代表者 |
西田 知史 国立研究開発法人情報通信研究機構, 未来ICT研究所脳情報通信融合研究センター, 主任研究員 (90751933)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2024-03-31
|
| キーワード | マルチモーダル認識 / 視覚 / 聴覚 / 言語 / 脳融合 / 脳情報空間 / AI / fMRI |
|---|
| 研究成果の概要 |
近年著しい発展を遂げたAI技術だが、脳を模倣または利用したAI技術の開発が重要だというのは多くの研究者の共通認識である。本研究では、研究代表者の開発したAIへの脳融合手法を拡張し、脳計測データを基に構築した数理モデルを介して、各モダリティ（視覚、聴覚、言語）に対応するAIの内部表現を脳情報へ変換したうえで情報統合し、認識へ利用するための手法を開発した。この手法を用いることで、視聴覚入力と言語入力において、AIの推定性能が向上することを示した。また、視聴覚入力を統合した認識問題においてもAIの推定性能の向上が確認でき、開発手法がマルチモーダル認識に有効であることが示唆された。
|
| 自由記述の分野 |
認知神経科学
|
| 研究成果の学術的意義や社会的意義 |
最新鋭のAI技術では、視覚情報を扱う大規模言語モデルのように、マルチモーダル認識を得意とするモデルが登場するようになってきた。ただし、脳はそれらと比べても極めてマルチモーダル認識を得意とする認識システムであり、マルチモーダル認識に脳情報を活用する手法はこれ以降も有効に利用されると期待する。特に、人間の複雑な認知が関わるような認識問題では、脳情報の利用が最適な解法となりうる。したがって、人間の認知を理解し、それに沿ってAIが振る舞うような、人間中心のAI社会を実現する基盤技術として、本研究で開発した脳情報を利用したマルチモーダル認識のための手法が大いに活用されると期待する。
|
