2017 Fiscal Year Annual Research Report
A study on misoperation prevention system by modeling multimodal information processing process of human
| Project/Area Number |
15K00470
|
|---|
| Research Institution | Osaka City University |
|---|
Principal Investigator |
橋本 文彦 大阪市立大学, 大学院経済学研究科, 教授 (30275234)
|
|---|
| Project Period (FY) |
2015-04-01 – 2018-03-31
|
| Keywords | マルチモーダル / 誤操作防止 / 深層学習 / 人間の情報処理 |
|---|
| Outline of Annual Research Achievements |
昨年度までは、本研究者自身の先行研究で得られていたデータを用いてのDeepLearning（以下、DL）モデルの構築およびそのモデルの適否を検証するための被験者実験（視覚および触覚・嗅覚の）用提示刺激の作成と複数の予備的実験を行ってきた。本年度はこれらを統合してモデルから予測されるデータと、現実の行動結果としてのデータを比較するために、改めて視覚と触覚のクロスモーダル情報提示による被験者実験を行った。
実験は、３Ｄプリンタを用いて作成された複雑な形状の立体を用いて、視覚情報の提示・記憶とその対象についての触覚情報での想起、および触覚情報の提示・記憶とその対象についての視覚情報での想起を行うという比較的単純なものであったが、「記憶」した対象情報（視覚記憶や触覚記憶のうち一方の感覚器官でしかない情報）をもとに心的な対象全体を脳内で構成した後に改めて（別の感覚器官を用いて）想起を行う必要があるものであった。
本研究では元々各感覚の「質的差異」の検討は行わず、あくまでも「異なるタイプの（感覚）情報」としてのみ捉えた上で、それらの「統合」過程を解き明かすことを主眼としてきた。このため、本研究であらかじめ構成したＤＬモデルでは、その「質」は表現せず、画像刺激（ピクセル毎にＲＧＢそれぞれの強弱を持ったピクセルの集合）と触覚刺激（（画像刺激とは異なる）ピクセル毎に強弱を持ったピクセルの集合）としてのみ情報を規定したものであった。
実験結果を分析した結果、視覚情報および触覚情報を記憶した後に他方の情報を想起する場合、二種の情報間で単純に直接のリンクが存在すると考えるよりも、いったん「心的立体」が構成されていると示唆するものであった。このことは、例えば一つの触覚情報刺激を提示した後に、二つの異なる角度からの視覚情報を与えた場合に、判断が瞬時に行われることなどから確認された。
|
| Remarks |
当該ページは研究者個人ホームページ内の「研究業績」⇒「科学研究費補助金関連の研究」のページの元に作成されている。
|
