2022 Fiscal Year Final Research Report

A system to improve interpersonal communication skills of children and persons with developmental disabilities using VR technology

Research Project

PDF

Project/Area Number	18K11416
Research Category	Grant-in-Aid for Scientific Research (C)
Allocation Type	Multi-year Fund
Section	一般
Review Section	Basic Section 61020:Human interface and interaction-related
Research Institution	Konan University
Principal Investigator	Tamura Yuichi 甲南大学, 知能情報学部, 教授 (50311212)
Co-Investigator(Kenkyū-buntansha)	梅谷智弘甲南大学, 知能情報学部, 准教授 (10397630) 中村浩章核融合科学研究所, ヘリカル研究部, 教授 (30311210) 内田勇人兵庫県立大学, 環境人間学部, 教授 (50213442) 大野暢亮兵庫県立大学, シミュレーション学研究科, 教授 (50373238)
Project Period (FY)	2018-04-01 – 2023-03-31
Keywords	Virtual reality / Emotion recognition / Communication skills / Visual cognition / Developmental disability / Head mouted display / Support vector machine
Outline of Final Research Achievements	The purpose of this study is to construct an interpersonal communication support system for individuals with developmental disabilities using virtual reality (VR) technology.The main research objectives and outcomes are as follows: 1. Creation of an omnidirectional real image space within a VR environment.2. Research on methods to quantify the emotions experienced by users. 3. Development of a simulator to facilitate the VR environment experience. To achieve the first objective, we have developed a technology capable of creating a 360° experimental image within the VR space. This technology allows for a comprehensive visual experience for the users. For the second objective, an emotion discriminator has been developed using Support Vector Machines (SVM) to accurately identify the emotions experienced by the subjects. To fulfill the third objective, we have developed a bicycle-based simulator that enables navigation and exploration within the VR environment.
Free Research Field	バーチャルリアリティ
Academic Significance and Societal Importance of the Research Achievements	本研究では次の領域で貢献があったと考える。一つは感情認識の分野である。感情分析の研究は主に表情を使ったものが多く，音声を利用しても映像情報の補完として利用される場合が多かった。本研究では音声情報からのみ感情情報を読み取る手法を提案したことに意義があると考えられる。もう一つはシミューレータの分野においてである。今回，自転車型のシミュレータの開発を行ったが，自転車型移動デバイスは自動車型シミュレータと比較して不安定である。そのため体験者は自らの視覚情報に大きく依存して，操作していることがわかり，視覚情報が幾何的に不自然な場合操作困難になることがわかった。本件については継続して研究を進めていく。