| 研究課題/領域番号 |
21H03535
|
|---|
| 研究種目 |
基盤研究(B)
|
| 配分区分 | 補助金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分61060:感性情報学関連
|
|---|
| 研究機関 | 国立研究開発法人情報通信研究機構 |
|---|
研究代表者 |
西田 知史 国立研究開発法人情報通信研究機構, 未来ICT研究所脳情報通信融合研究センター, 主任研究員 (90751933)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2024-03-31
|
| 研究課題ステータス |
完了 (2023年度)
|
| 配分額 *注記 |
17,420千円 (直接経費: 13,400千円、間接経費: 4,020千円)
2023年度: 5,070千円 (直接経費: 3,900千円、間接経費: 1,170千円)
2022年度: 5,850千円 (直接経費: 4,500千円、間接経費: 1,350千円)
2021年度: 6,500千円 (直接経費: 5,000千円、間接経費: 1,500千円)
|
|---|
| キーワード | マルチモーダル認識 / 視覚 / 聴覚 / 言語 / 脳融合 / 脳情報空間 / AI / fMRI / 脳 / 深層学習 / Masked autoencoder / 人工知能 / 音声 |
|---|
| 研究開始時の研究の概要 |
昨今のAI技術の発展は著しいが、脳の方が得意とする認識問題もまだ多く存在する。複数モダリティ（視覚、聴覚、言語）の情報統合が必要なパターン認識（マルチモーダル認識）もその一つに挙げられる。そこで本研究では、脳計測データからモデル化した脳情報空間を介してマルチモーダル情報を統合し、パターン認識へ利用する脳融合型AIの技術を開発する。これにより、既存AIにおけるマルチモーダル認識性能の大幅な向上を試みる。この技術が実現すれば、マルチモーダル情報があふれる実世界においてAIの適用範囲がさらに広まり、AIの社会実装が促進される。
|
| 研究成果の概要 |
近年著しい発展を遂げたAI技術だが、脳を模倣または利用したAI技術の開発が重要だというのは多くの研究者の共通認識である。本研究では、研究代表者の開発したAIへの脳融合手法を拡張し、脳計測データを基に構築した数理モデルを介して、各モダリティ（視覚、聴覚、言語）に対応するAIの内部表現を脳情報へ変換したうえで情報統合し、認識へ利用するための手法を開発した。この手法を用いることで、視聴覚入力と言語入力において、AIの推定性能が向上することを示した。また、視聴覚入力を統合した認識問題においてもAIの推定性能の向上が確認でき、開発手法がマルチモーダル認識に有効であることが示唆された。
|
| 研究成果の学術的意義や社会的意義 |
最新鋭のAI技術では、視覚情報を扱う大規模言語モデルのように、マルチモーダル認識を得意とするモデルが登場するようになってきた。ただし、脳はそれらと比べても極めてマルチモーダル認識を得意とする認識システムであり、マルチモーダル認識に脳情報を活用する手法はこれ以降も有効に利用されると期待する。特に、人間の複雑な認知が関わるような認識問題では、脳情報の利用が最適な解法となりうる。したがって、人間の認知を理解し、それに沿ってAIが振る舞うような、人間中心のAI社会を実現する基盤技術として、本研究で開発した脳情報を利用したマルチモーダル認識のための手法が大いに活用されると期待する。
|
