| 研究課題/領域番号 |
21K02872
|
|---|
| 研究機関 | 久留米工業大学 |
|---|
研究代表者 |
小田 まり子 久留米工業大学, 工学部, 教授 (20269046)
|
|---|
| 研究分担者 |
河野 央 久留米工業大学, 工学部, 教授 (60437746)
八坂 亮祐 久留米工業大学, 工学部, 教育研究コーディネーター (20815716)
呉 濟元 久留米工業大学, 工学部, 特任助教 (00913310)
高橋 雅仁 久留米工業大学, 工学部, 教授 (70330975)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2024-03-31
|
| キーワード | 感情認識 / 骨格認識 / 表情認識 / 音声認識 / 拡張現実（AR) / 特別支援教育 / メンタリング / コンピュータ・グラフィックス |
|---|
| 研究実績の概要 |
本研究の目的は、AIの応用技術である表情認識や音声認識、視線抽出、骨格検出(手・体・頭部動作、姿勢変化)により学習者の感情状態・理解度・集中度を分析することにより、学習者に対するリアルタイム・メンタリング(助言・支援)を行う機能を有したARカード教材eラーニングシステムを開発することである。
本年度は、eラーニングで用いるARカード教材の種類を増やすとともに、新たな絵本型AR教材を開発した。タブレット端末やパソコンに接続したカメラからARカードを読み込むとカード上のシンボルや文字が意味するモノ(動物)が3D-CGで表示される。動物のカードの場合は動作カードと一緒に読み込むことにより、その3D-CGの動物が動き出すので、学習者はリアルな3D-CGアニメーションの動作とARカードの文字を見比べながら、シンボルや文字を学習できる。絵本型の教材は、絵本のページを読み取ると、絵本にある鳥が３D-CGオブジェクトとして画面上に表示され、様々な動きをするため、児童生徒は楽しみながら、絵本に書かれた文字の学習ができる。絵本のページの文章を読み上げる機能も設け、学習者の自学自習を支援できる。
また、これまでに特別支援学校で撮影した学習時の児童生徒を対象に、骨格認識、音声認識、表情認識を試みた。実際に、リアルタイムでAIが学習を支援するためには、顔の撮影方法や音声収集方法に注意が必要であることがわかったが、骨格認識では学習時の動作から学習状態か異常状態かを正しく把握できることを確認できた。本研究成果については、2021年度教育システム情報学会全国大会において「感情認識 AI メンタリングによる知的障碍児の eラーニングシステム」というタイトルで研究発表を行った。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
新型コロナウイルス感染症(COVID-19)のため、自由に久留米特別支援学校に入校することが難しく、開発した教材を、実際に児童生徒に利用しながら操作性を確認することができなかった。しかし、これまでに特別支援学校で撮影した、教育支援時の児童生徒の学習時動画を対象に、骨格認識、音声認識、表情認識を試み、AI技術を用いた教育支援の可能性について分析した。また、新たな絵本型のAR教材などを開発を進め、教材の充実化を図った。
令和4年度には、特別支援学校での実証実験を行う予定である。
|
| 今後の研究の推進方策 |
令和3年度、表情認識・骨格認識AIなどの応用技術を用い、知的障碍のある学習者の感情状態、集中度、理解度を非言語情報から推定できることが確認できた。従って、音声言語による表出が困難で学習理解度、学習への興味関心がわかりにくい児童生徒の学習状況の把握に応用できると考える。
今後は、先生役のCGキャラクターがAIメンタリングを行う機能を実現し、学習者が笑顔ならば笑顔を、学習者が怒っていたなら心配した顔を返すなど学習者の感情に合わせて表情を柔軟に変化させて、より繊細なコミュニケーションで、児童生徒の学習を支援できるようする。
|
| 次年度使用額が生じた理由 |
令和3年度はコロナ禍にあり、特別支援学校への入校に制限があり、特別支援学校の児童生徒との、対面での教育実践、実証実験を実施しなかった。そのため、予定していた「AR教材学習用モバイルシステム」や「学習動画撮影用カメラ」「360度カメラ」などを購入しなかった。また、学会発表もオンラインでの参加となり、旅費もかからなかったため、令和3年度の研究費を来年度に持ち越すこととなった。
令和４年度は、設備備品を計画的に購入し、特別支援学校での実証実験を実施したい。
|
