Synthetic approach to perceptual illusions using cognitive deep learning model with predictive learning
| Project/Area Number |
23K25163
|
|---|
| Project/Area Number (Other) |
22H03909 (2022-2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2022-2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 90030:Cognitive science-related
|
|---|
| Research Institution | Hokkaido University |
|---|
Principal Investigator |
飯塚 博幸 北海道大学, 人間知・脳・AI研究教育センター, 准教授 (30396832)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
山本 雅人 北海道大学, 情報科学研究院, 教授 (40292057)
鈴木 啓介 北海道大学, 人間知・脳・AI研究教育センター, 特任講師 (60516029)
野口 渉 北海道大学, 数理・データサイエンス教育研究センター, 特任助教 (60868082)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥16,510,000 (Direct Cost: ¥12,700,000、Indirect Cost: ¥3,810,000)
Fiscal Year 2025: ¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000)
Fiscal Year 2024: ¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000)
Fiscal Year 2023: ¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2022: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
|
|---|
| Keywords | 認知モデル / 深層学習 / 錯覚 / ラバーハンド錯覚 / 構成論的アプローチ / 予測学習 |
|---|
| Outline of Research at the Start |
本研究では，触覚，視覚，運動（深部感覚）の感覚統合を行う認知モデルを構築し，深層学習を用いた構成論的アプローチを行うことで，従来のアプローチでは迫ることのできなかった，環境との相互作用によって生じる学習経験から，錯覚が創発する原理を構成的に解明することを目的とする．人が環境と相互作用したときに生じる視覚，触覚，体性感覚等の高次元データを収集し，それを使って深層学習モデルに人が行っていると考えらえる感覚の予測学習をさせる．この時の学習条件を様々に変えることによって，錯覚の生起条件を明らかにして，学習経験による錯覚の機序を明らかにする．
|
| Outline of Annual Research Achievements |
初年度においては、錯覚としてラバーハンドイリュージョンに着目した。ラバーハンドイリュージョンでは、固有感覚で知覚される場所とは異なる位置に、偽物の手が視覚的に与えられ、その視覚上で偽物の手に刺激を与えられるのと同時に、本当の手に触覚刺激が与えられる。つまり、視覚と触覚には一貫性があるが、固有感覚だけずれている。このときに、固有感覚での手の位置が偽物の方に少しシフトする固有感覚ドリフトが生じる。この固有感覚ドリフトが、身体所有感の生起とともに生じるとする考えと、身体所有感の生起とは関係なく生じるという2つの対立する考えがある。今年度はこの問題に対して、構成論的アプローチを適用した。
ラバーハンドイリュージョンに関する視覚、触覚、固有感覚をコンピュータ上でシミュレートするために、Unityを使って3次元シミュレーション環境を実装した。人と同等のスケールになるように大きさを決定し、頭部の位置に視覚情報を与えるカメラを配置した。固有感覚は腕が置かれる位置、触覚は物体が接触している度合いを3段階で表現してデータ化した。このシミュレーション環境において、日常我々が得ている感覚刺激と同様に、多感覚で一貫性をもった訓練データを作成した。テストデータとしては、ラバーハンドイリュージョンの実験を模倣した、固有感覚のずれたデータを作成した。
これに伴い、認知モデルの構築も、視覚、触覚、固有感覚の3つの感覚を統合するモデルを構築した。モデル化には深層ニューラルネットワークを使用し、時間的な内部処理を行うことのできるLSTMを利用した。このモデルに対して、前述の訓練データを使用して感覚の予測学習をさせ、テストデータでの予測の変化を調べた。結果として、固有感覚ドリフトを生じさせることに成功した。つまり、ラバーハンド錯覚において固有感覚ドリフトはボトムアップ処理のみでも生じることがわかった。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
申請書の研究計画にもとづき初年度の研究を進めた。初年度には、ラバーハンド錯覚をとりあげ、深層学習を使って認知モデルの構築を行い、錯覚の再現を試みた。構築した認知モデルによるシミュレーションによって、ラバーハンド錯覚の固有感覚ドリフトはボトムアップ処理のみでも生じることがわかった。今年度はボトムアップ処理のみの認知モデルであるが、トップダウン処理を行う認知モデルの構築も進んでおり、おおむね計画通り、進んでいるといえる。
|
| Strategy for Future Research Activity |
初年度においては、開発した認知モデルはボトムアップ処理を中心に行う深層学習モデルであった。今後は、初年度のボトムアップ処理を行う深層学習モデルを拡張することで、トップダウン処理を行う認知モデルの開発を行う。トップダウン処理には、予測符号化理論をモデル化しているPredNetや自由エネルギー原理をモデル化した谷らのニューラルネットワークモデルを用いて実装をしていく。また、ターゲットの錯覚現象も、ボトムアップ処理だけでなく、トップダウン処理が関係している考えられる北澤らの腕交差による主観的知覚順序逆転現象などをとりあげていく。
また、3次元シミュレーションを実装して学習データの収集を行っているが、人やロボットが実環境おいて相互作用を行ったときに生じる現実世界での感覚データの収集を行っていく。現実世界で収集した実際の人の感覚データの利用とトップダウン処理を行う認知モデル構築により現実に近い認知モデルの構築と再現を行っていく。
|
Report
(1 results)
Research Products
(3 results)
