感性・生体情報によるマルチメディア学習の評価手法開発と学習効果に関する研究

1999 Fiscal Year Annual Research Report

• Project/Area Number: 10558020
• Research Institution: Tokyo Institute of Technology
• Principal Investigator: 中山 実 東京工業大学, 教育工学開発センター, 助教授 (40221460)
• Co-Investigator(Kenkyū-buntansha): 室田 真男 東京工業大学, 大学院・社会理工学研究科, 助教授 (30222342) ; 西方 敦博 東京工業大学, 教育工学開発センター, 助教授 (60260535) ; 清水 康敬 東京工業大学, 大学院・社会理工学研究科, 教授 (10016561) ; 青柳 貴洋 東京工業大学, 工学部, 助手 (10302944)
• Keywords: 瞳孔面積 / 興味 / 瞬目 / 番組評価 / ニューラルネットワーク / 皮膚温度 / 感性情報 / 生体情報

Research Abstract

本研究では、マルチメディア学習環境における、学習者の表情などの感性情報や眼球運動などの生体情報を計測できるシステムを製作し、学習行動の評価分析方法を開発する。さらに、学習におけるシステム環境の問題点や認知不可について検討し、学習者の支援を行う方法についても検討することを目的としている。
本年度は、以下の3つの内容を検討した。
(1)瞳孔面積計測における瞬目の除去と復元手法の開発:瞳孔面積の計測中に、瞬目が起こると、瞳孔面積値が急変することから、この部分を取り除く必要がある。そこで、MLP型ニューラルネットワークモデルによって、瞬目時の瞳孔面積値を予測するモデルを構成した。これによって、瞬目による欠損を無くし、連続的な瞳孔面積変化を得た。また、モデルの改良を行い、その性能を評価した。
(2)鼻部皮膚温度による学習活動の評価:学習課題時の活動を評価を、サーモグラフィーによって、鼻部の温度を計測した。特に、音環境による影響などを調べた。その結果、音環境においても、安静時よりも有意に低下することと、温度低下量と学習成績の間に相関関係があることを示した。
(3)顔の特徴点による顔表情程度の推定:顔の表情を特徴づける眉、目、口の16の特徴点の動きによって「無表情」、「喜び」、「悲しみ」、「怒り」、「恐れ」などの7表情の分類を行うニューラルネットワークモデルを検討した。このモデルによって、各特徴点の変位から各表情の程度を推定することができることを示した。

Research Products

• [Publications] 荒川裕文,中山実,清水康敬: "数字系列記憶課題における脳波と瞳孔面積の関係"電子情報通信学会論文誌. Vol.J82-D-I. 1217-1221 (1999)
• [Publications] M.NAKAYAMA & Y. SHIMIZU: "Pupillary Response as a Measure of Emotinal Change and Related Subject Indices in Viewing Movies"Abstracts of the 23rd Pupil Colloquium. 13-13 (1999)
• [Publications] 高橋功次,中山実,清水康敬: "音声提示課題が視点移動と瞳孔面積に与える影響"電子情報通信学会総合大会. D-15-37. 298-298 (1999)
• [Publications] 重田和弘,中山実,清水康敬: "立体ディスプレイを用いた文字提示の効果"電子情報通信学会論文誌. Vol.J82-A. 158-167 (1999)
• [Publications] 高橋功次,中山実,清水康敬: "音声課題による視点移動と瞳孔面積への影響"日本教育工学会第15回全国大会. 2aG-01. 377-378 (1999)
• [Publications] 矢川園子,中山実,清水康敬: "音環境における音読速度と音楽的習慣との関係"日本教育工学会第15回全国大会. 2aG-02. 379-380 (1999)