2018 Fiscal Year Research-status Report
VR技術を利用した発達障害児・者の対人コミュニケーションスキル向上システムの構築
| Project/Area Number |
18K11416
|
|---|
| Research Institution | Konan University |
|---|
Principal Investigator |
田村 祐一 甲南大学, 知能情報学部, 教授 (50311212)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
梅谷 智弘 甲南大学, 知能情報学部, 准教授 (10397630)
中村 浩章 核融合科学研究所, ヘリカル研究部, 教授 (30311210)
内田 勇人 兵庫県立大学, 環境人間学部, 教授 (50213442)
大野 暢亮 兵庫県立大学, シミュレーション学研究科, 教授 (50373238)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | 発達障害 / バーチャルリアリティ / 感情認識 / 生体情報処理 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は，バーチャルリアリティ（VR)技術を利用した発達障害児・者の対人コミュニケーション支援システムを構築することである．初年度の目標として全方位映像を利用した空間生成について検討を行い，実際にVR空間で全方位実映像空間を作成することを可能とした．また，被験者の行動計測デバイスとして自転車型の移動デバイスを開発し，本デバイスをVR空間内で利用し，移動することを可能とするシステムを開発した．本研究内容については，学会で口頭発表を行った．
次に，被験者の感情を数値化する手法についての研究を進めた．まず，各種映像（画像）情報を利用した感情分析ライブラリを利用し，感情測定精度に関する比較実験を行った．その結果，ポジティブ感情については高い精度で認識可能であることがわかった．しかしながら，本研究課題はコミュニケーション支援，特に相手にネガティブ感情が生じている場合に注意喚起を行うシステムの構築を目的としているため，ネガティブ感情の精度評価が重要となる．そこで，各種ライブラリについて本精度評価を行ったところ，「怒り」や「悲しみ」といった個々の感情を推定することは難しかったものの，ネガティブな感情があるかどうかについてはある程度計測可能な性能があることがわかった．しかしながら，精度評価を行う過程で，カメラで人を映し，処理する場合には対象者を正面に見ていること，解像度がある程度高い範囲内に対象の人物がいること，大きな頭部の移動が生じていないことが必要となることがわかった．さらには最終的な実装を考えた場合，常にカメラを使用しているいうことが社会的に認められるのかという点で疑念があり，音声を利用した感情分析に移行することとした．以降の詳細については，進捗状況で述べる．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
研究実績に記述した通り，当初は映像情報を利用し，感情分析を行うことを試みたものの，実際は被験者が必ず相手の顔を見ている訳ではない，また，頭部の運動により容易に映像に乱れが生じ，安定した映像を取得することが難しく，結果として感情推定結果精度が悪いということが分かった．これらの技術的な困難さに加え，頭部にカメラを装着し，常に映像を取得するという行為が社会的に認められるかという点で大きな問題があり，研究段階ではまだしも，今後実用実験を進める場合の高いハードルとなることが予想された．この結果，映像を用いた表情による感情認識の研究を進めることは難しいと判断し，音声による感情認識の研究に変更することとなった．初年度の目標は性能評価を行うということで，映像に関しての性能評価は行えたものの，音声については着手したばかりであり，この点でやや遅れているといえる．
|
| Strategy for Future Research Activity |
2年目の当初計画は被験者の行動計測機器による行動を計測しながら生体信号を取得する研究について進める．行動計測にあたっては，歩行による行動と移動体を利用した行動について取り扱うことを検討している．歩行による行動を高いリアリティで体験してもらうためには，最終的に実空間での計測が不可欠となる．一方で移動体を利用した行動については，実空間とバーチャル空間とのインターフェイスは移動体自身となるため，バーチャルリアリティ技術との親和性が高い．そこで研究実績の部分にも記載した自転車を利用した移動インターフェイスを利用した検討を進める．本研究の最終的な目的は発達障害者のサポートシステムであるが，ある程度システムが固まるまでは定型発達者を対象とした実験を推進する．
次に感情分析については初年度の検討の結果，音声情報を利用することとしたが，音声情報による感情分析はいまだ発展途上の状態で，映像情報より遅れているといえる．そこで，既存の提案されているAIを利用した音声による感情分析技術と研究グループで独自開発を進めている音声の時間的推移から感情を推定する手法の双方向から検討を進めていく．
|
| Causes of Carryover |
立体音響マイクの購入を次年度以降に引き伸ばしたため，謝金執行時期が次年度にずれ込んだため，さらには打ち合わせを直接ではなく，ネットワーク上で行ったことなどが理由である．
|
Research Products
(4 results)
