発声データ解析によるｅラーニング学習者の心理状態推定と個別適応支援

2014 Fiscal Year Annual Research Report

• Project/Area Number: 23700980
• Research Institution: Nagoya City University
• Principal Investigator: 宮原 一弘 名古屋市立大学, システム自然科学研究科, 助教 (90315903)
• Project Period (FY): 2011-04-28 – 2015-03-31
• Keywords: 心理状態推定 / 音声認識 / eラーニング

Outline of Annual Research Achievements

本研究は，eラーニングシステムによって学習を行っている学習者の心理状態を簡便かつリアルタイムに推定する手法を開発することである。先行研究においては，アイカメラによる視線方向の検知，体表面電位の計測といった手法があるが，いずれも特殊な装置を用いるものである。近年ではWebカメラによる顔画像やマウスの移動軌跡といった簡便な手法が提案されているが，本研究では，ヘッドセット付属のマイクから得られる発声データを用いた推定を目指した。
まず，日常のPCを利用した作業時やeラーニング学習時の発声データを収集し，ため息，吐息，咳払いといった特徴についての検討を行った。それを基にして発声データを解析するシステムの構築を行ったが未完成である。解析手順は，(1) データからのノイズ除去，(2) 一定レベル値以上の発声が確認できる箇所の切り出し，(3) 周波数スペクトルや特徴量による発声タイプの特定，であるが，具体的には(3)が未完成のままとなった。
併せて学習者の心理状態推定についてモデル構築を行った。学習者の“行き詰まり”や“疲労”といった心理状態を推定するため，以下のデータを基にしたモデルを検討した。(1)発声の種類（ため息，吐息，咳払い），(2)発声の長さ，(3)発声回数の増減，(4)発声時間間隔，これらの組み合わせからモデル構築を行ったが，実際に収集したデータとの照合やそれを実行するモジュールの開発には至らなかった。