2016 Fiscal Year Research-status Report

A study on misoperation prevention system by modeling multimodal information processing process of human

Research Project

Project/Area Number	15K00470
Research Institution	Osaka City University
Principal Investigator	橋本文彦大阪市立大学, 大学院経済学研究科, 教授 (30275234)
Project Period (FY)	2015-04-01 – 2018-03-31
Keywords	マルチモーダル / 誤操作防止 / 深層学習 / 人間の情報処理
Outline of Annual Research Achievements	本研究では，これまでに被験者実験によって得られた人間のマルチモーダル（複数感覚）情報処理能力の特徴をもとに，各感覚器官から入力される情報を，時間軸に従って行動する異質のエージェント情報として数理モデル化し，このモデルのシミュレーションとそのモデルに基づいた新たな被験者実験の実証結果とを相補的に比較し，人間が誤操作を起こす際の正確な情報処理モデルを作成し，これに基づいて誤操作防止システムを提案することを目的としている．平成２７・２８年度には，上述の数理モデル化を行った．具体的には，各感覚器官からの情報入力を「複数チャンネルからの情報」と見なし，それらチャンネル毎の感覚の違いを「伝達速度」「単位時間あたりの伝達情報量」「情報ブロックの大きさ」「情報処理の並列／直列性」「チャンネル間のリンクの強さ」「チャンネル統合の順序」として捉え，これまでの各感覚器官に対する被験者実験の結果と整合するようにパラメタを設定した．さらに，上記モデルは，当初から想定していたものであるが，これに加えてDeepLearning（深層学習）の考え方を取り入れた．本研究ではもともと，「各感覚の質」までをシミュレートすることは対象としておらず，あくまでも時間差をもって入力される「データ」のモデル化を目指していたものであり，現在までに主に画像処理の分野で発展を見せ，他の感覚器官情報への拡大適用が進んできているDeepLeaningモデルは，本研究で扱っている課題と親和性が高い．そこで，現時点ではそれほどデータ数が多くないが，先行研究等の実験データをDeepLearningの考え方を組み込んだ本研究のモデルに読み込ませて，シミュレーションを行い伝達速度その他のパラメタの設定を行うところまで進んだ．
Current Status of Research Progress	Current Status of Research Progress 3: Progress in research has been slightly delayed. Reason 被験者実験で用いるための触覚・視覚提示用刺激を３Ｄプリンタを用いて作成しているが，目的とする刺激を作成する際に，温度等の条件が厳しく，歩留まりが非常に悪かった（５～１０％程度）ため，被験者の確保が可能な１月下旬頃までに本格的な被験者実験まで至ることが出来ず，予備実験しか行えなかった．その後歩留まりを上げるための条件がわかってきたので，すでに３月末までに提示用刺激の作成は完了しており，平成２９年度には、平成28年度に作成したモデルに基づいた被験者実験を進め，当初計画通りに進捗できる予定である．
Strategy for Future Research Activity	複数の感覚器官に対して同時または短い時間差をおいて刺激を提示した場合に，もともとは異なる「質」を持った（と主観的に感じられる）情報が，同質でしかない脳の中でどのように処理され，ある情報は見落とされ，ある情報は処理が遅延し，ある情報は誤って伝えられるのか，を現在までに検討してきたモデルと，それに対応した被験者実験とを比較しながら進めて行く．本研究に取り入れたDeepLearning モデルは，その技術だけでなく理論的にも日々進歩しており，その最新情報も取り入れながら研究を進めていく予定である．
Causes of Carryover	進捗状況の欄にも記述したとおり、被験者実験で用いるための触覚・視覚提示刺激を3Dプリンタを用いて作成しているが、目的とする刺激を作成する際に温度等の条件が厳しく、歩留まりが非常に悪かったため、被験者の確保が可能な1月下旬頃までに本格的な被験者実験まで至ることができず、予備実験しか行えなかった．このため被験者謝金および国内報告のための旅費を次年度に使用することとした。
Expenditure Plan for Carryover Budget	その後歩留まりを上げるための条件がわかってきたので、すでに3月末までに提示用刺激の作成は完了しており、平成29年度には、平成28年度中に作成したモデルに基づいた被験者実験とモデルの修正の相互確認を進め、当初計画通りに進捗できる予定である。