2023 Fiscal Year Research-status Report
脳科学の知見にもとづいた表情知覚を増強する拡張現実技術の開発
| Project/Area Number |
23K11298
|
|---|
| Research Institution | National Institute of Information and Communications Technology |
|---|
Principal Investigator |
稲垣 未来男 国立研究開発法人情報通信研究機構, 未来ICT研究所脳情報通信融合研究センター, 研究員 (40596847)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Keywords | 表情 / 感情 / ニューラルネットワーク / 神経科学 / 大脳皮質 / 扁桃体 |
|---|
| Outline of Annual Research Achievements |
顔の表情を知覚する認知能力は、対面コミュニケーションに重要な役割を果たす。脳内では大脳皮質経路と皮質下経路の2つの神経経路が表情処理に関わると考えられているが、詳細は不明な点が多い。そこで本研究では表情を知覚する認知メカニズムの理解とその操作技術の開発を目指す。この研究によって表情知覚の操作技術について基盤となる知見を得ることが期待される。
今年度は2つの神経経路の処理に介入可能な2つの画像処理技術の開発を目標として研究を行った。まずは大脳皮質経路と皮質下経路の表情処理を畳み込みニューラルネットワークを用いてモデル化した。ニューラルネットワークの構築に当たっては脳神経科学の知見を取り入れて生物学的に妥当なモデルを目指した。次に心理学的逆相関法を利用して、ニューラルネットワーク出力層の反応を高めるような画像処理を表情画像に適用した。最後に画像処理後の表情画像を視覚刺激として呈示してヒトを対象とした心理実験を行い、知覚する感情の強さを評定してもらった。心理実験の結果、大脳皮質経路と皮質下経路をもとに考案した2つの画像処理のどちらが効果的であるかは、表情の種類によって異なることが分かった。
これらの結果は表情知覚を増強する画像処理を検討するうえで、対象となる表情の種類に応じて画像処理の内容を変更する必要があることを示唆する。心理実験によって得られた今回の基礎的な評定データは、今後の技術開発に大きく貢献すると期待できる。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
本研究課題実施の1年目である今年度は、ニューラルネットワークを利用した2つの画像処理技術の開発を目指した。当初の予定通りに畳み込みニューラルネットワークを使ったモデル化と、画像処理技術の考案、心理実験による評定データの取得を完了したが、学術論文としての発表には至らなかった。来年度の早期に心理実験の結果を論文として発表することを目標としている。また、研究代表者が年度末をもって他大学へ移籍することにともない、来年度以降に予定しているヘッドマウントディスプレイ実験の準備が、今年度中には思ったように進まなかった。
|
| Strategy for Future Research Activity |
本研究は（1）ニューラルネットワークを利用した2つの画像処理技術の開発、（2）2つの画像処理の重み付けを切り替える仕組みの考案（3）少ない遅れ時間で実装するための改良、という3つのステップで実施することを想定している。1つ目のステップについては、すでに心理評定データまで取得済みなので早期に学術論文として発表する。来年度は2つ目のステップに重点的に取り組む。具体的には、今年度に取得した心理評定データをもとにして最適な重みづけを計算して実装する。固定された重み付けではなく表情に応じて動的に重み付けを変更できる仕組みを一連の画像処理に組み込む。
やや遅れているヘッドマウントディスプレイ実験の準備は、新しい所属先で早期に実験系を立ち上げて遅れを取り戻すことを目指す。準備の遅れが大きく実施が難しいと判断される場合には、ヘッドマウントディスプレイではなく、カメラと従来のモニターを組み合わせた実験系に変更することも検討する。
|
| Causes of Carryover |
研究代表者が年度末で他大学へ移籍するため、新しい実験系の構築に向けた機材の購入を行えなかったことと、学術論文の発表が遅れたことなどから、次年度使用額が生じた。当該助成金は、来年度に新しい所属先での実験系の構築と学術論文の発表のため使用する。来年度分の助成金の使用計画に大きな変更はない。
|
