2022 Fiscal Year Research-status Report
An Emotional Recognition AI Mentoring System for Children with Intellectual Disabilities to Support their Self-Study through E-Learning
| Project/Area Number |
21K02872
|
|---|
| Research Institution | Kurume Institute of Technology |
|---|
Principal Investigator |
小田 まり子 久留米工業大学, 工学部, 教授 (20269046)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
河野 央 久留米工業大学, 工学部, 教授 (60437746)
八坂 亮祐 久留米工業大学, 工学部, 教育研究コーディネーター (20815716)
呉 濟元 久留米工業大学, 工学部, 特任講師 (00913310)
高橋 雅仁 久留米工業大学, 工学部, 学長政策顧問 (70330975)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 骨格認識 / 感情認識 / eラーニング / AI / 人工知能 / AIメンタリング |
|---|
| Outline of Annual Research Achievements |
本研究の目的は、AI（Artificial Intelligence:人工知能）の応用技術である骨格検出や感情認識に基づくリアルタイム・メンタリング（助言・支援）機能を有するAR（Augmented Reality:拡張現実）カード教材eラーニング（electronic-learning）システムを開発し、知的障碍を持つ児童生徒の自律的学習を支援することである。学習時における学習者の様子をパソコンに接続されたカメラから取り込み、AIが判断した学習者の集中度や感情状態の推定結果に基づきリアルタイムで学習難易度を調整する。また、CG（Computer Graphics）で実現したキャラクタ（AIメンタ）が次の学習を指示すると同時に、学習者への適切な助言や励まし、集中力が途切れたタイミングでの声掛けなどのフィードバック（AIメンタリング）を行う。
今年度は、学習者の骨格推定により、「立ち上がる」、「横を向く」、「うつ伏せになる」、「上を向く」などの非学習状態と思われる姿勢を抽出し、AIメンターが学習者に「前を向いてください」「座ってください」「疲れましたか」などと注意を促したり、「頑張っているね」などの励ましたりすることを可能にした。
従来の学習履歴（正解率、解答時間）に基づくメンタリングシステムとは異なり、知的障碍のある学習者の感情状態、集中度、理解度を非言語情報から推定するところに本研究の新規性がある。音声言語による表出が困難な児童生徒に対する感情を汲み取った教育も期待できる。支援学校の先生に本eラーニング支援システムのデモンストレーションを行った結果、
学習障害の児童生徒の学習支援になるだろうという意見を頂いた。また、eラーニングを頑張るように支援するだけでなく、体調に合わせて適度に休ませることにも利用できるのはないかといった特別支援学校の教員ならではの意見もいただいた。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
令和3年度も４年度もコロナの影響で、支援学校に立ち入ることが難しかったため、支援学校での導入実験、試験利用が遅れている状況である。特に、表情認識や顔認証を行う際に、マスクをしていることが障壁になり、実験を後にずらしたことが遅れの原因になった。
しかし、教材の開発や、eラーニングにおける集中状態・非集中状態の検出は可能になり、AIメンターが学習状態に合わせた声かけもできるようになるなど、eラーニング支援システムの開発は順調に進んでいる。また、佐賀の中原支援学校の教員に対して、本システムのデモンストレーションを行い、評価をいただくこともできており、令和５年度からは、中原支援学校の授業でも導入を計画している。今後、継続的な利用を通して、学習効果の検証を行う予定である。
|
| Strategy for Future Research Activity |
今後は以下の計画で研究を進める。
①AIメンタリング機能を拡張する。感情認識AIによる学習者の感情状態推定結果と学習集中度、理解度に基づき、メンタリング知識ベース・対話データベースに従ったメンタリングを実現する。② AIメンタ（CGキャラクター）が学習者の感情に合わせて表情や音声（音の強さ、高さ、音色）を変化させ、学習者に助言・励まし・声掛けなどの適切な働きかけを行うことができるようにシステムを改良する。③AR教材の拡充・完成をさせる④バーチャル・メンタ（Vメンタ）制作とAIメンタとの比較実験を行う。AIメンタとの比較実験用に、教員や学習支援者の動きや発話に合わせた動作を模倣するVメンタを制作する。実在のメンタ（指導者・教員）の指導と指導者の動作に合わせたVメンタ、本研究におけるAIメンタによるメンタリングの効果を比較分析する。⑤支援学校教員や研究者がAIメンタリングの妥当性・有効性を評価する。⑥学習成績履歴・集中度（骨格推定）・満足度（表情や言動）からAIメンタリングによる学習効果を分析する。学習者がAIメンタに対して信頼や親しみの感情を持つかどうか、AIメンタリングが知的障碍児の自律的学習を支援できるのかを検証する。⑦研究成果の国内外学会での口答発表や学会誌での論文発表を行う。
|
| Causes of Carryover |
特別支援学校でのeラーニング支援を実施できなかったため、支援学校で利用する器機の購入を遅らせたため、多額の残金が生じている。また、学会や研究会はオンラインでの参加であったため、出張旅費を使う必要がなかった。
|
