An Emotional Recognition AI Mentoring System for Children with Intellectual Disabilities to Support their Self-Study through E-Learning
| Project/Area Number |
21K02872
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 09070:Educational technology-related
|
|---|
| Research Institution | Kurume Institute of Technology |
|---|
Principal Investigator |
小田 まり子 久留米工業大学, 工学部, 教授 (20269046)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
河野 央 久留米工業大学, 工学部, 教授 (60437746)
八坂 亮祐 久留米工業大学, 工学部, 教育研究コーディネーター (20815716)
呉 濟元 久留米工業大学, 工学部, 特任講師 (00913310)
高橋 雅仁 久留米工業大学, 工学部, 学長政策顧問 (70330975)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2023: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2022: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2021: ¥2,470,000 (Direct Cost: ¥1,900,000、Indirect Cost: ¥570,000)
|
|---|
| Keywords | AI / 感情認識 / 表情認識 / 骨格認識 / 文章生成AI / 特別支援教育 / AIメンタリング / eラーニング / 人工知能 / 音声認識 / 拡張現実（AR) / メンタリング / コンピュータ・グラフィックス / 感情・表情認識 / AR |
|---|
| Outline of Research at the Start |
本研究の目的は、AI（Artificial Intelligence:人工知能）の応用技術である感情認識に基づくリアルタイム・メンタリング（助言・支援）機能を有するAR（Augmented Reality:拡張現実）カード教材eラーニング（electronic-learning）システムを開発し、知的障碍を持つ児童生徒の自律的学習を支援することである。
従来の学習履歴に基づくメンタリングシステムとは異なり、表情認識・骨格認識AIなどの応用技術を用い、知的障碍のある学習者の感情状態、集中度、理解度を非言語情報から推定するところに本研究の新規性がある。AIやARを有効活用した点でも有用性が高い。
|
| Outline of Annual Research Achievements |
本研究の目的は、AI（Artificial Intelligence:人工知能）の応用技術である感情認識に基づくリアルタイム・メンタリング（助言・支援）機能により、知的障碍を持つ児童生徒の自律的学習を支援することである。今年度は、人の動きを追従するCGキャラクターを実現し、ヴァーチャルメンター（Ｖメンター）として障碍を持つ学習者を支援する教育支援システムを開発した。児童生徒の障碍について理解のある特別支援学校教師は、教室における児童の様子をカメラで観察しながら遠隔教室で友達役を演じる。児童が授業を受ける教室の机横に設置されたモニター上のＶメンター（CGキャラクター）は教師と同じ動作をするとともに，教師の発話音声は少女の声に変換して再生される。
特別支援学校でVメンターシステムを用いた教育を実践した結果、児童はVメンターに興味を持ち、友達に話しかけるような交流がみられ、その有効性を確認した。しかし、別室で教員がVメンターを操作するには、授業教室の様子をより正確（明瞭）に動画、音声で伝える必要があることが判明した。また、クラスの児童数や障碍の種類によりＶメンターに求められる役割（友達役、教師役等）が変わることがわかったので、Vメンターの役割を変えて利用できるようにし、教育効果の比較・検証を行う必要がある。
最終的には，Vメンターのように教師がCGキャラクターを操作するのではなく，AIが学習者の集中度や感情を把握し、メンタリングを行うAIメンターの完成を目指す。現在までに、学習者の骨格検出により、集中度を把握することはできるようになった。今後、表情認識や感情認識により学習者の感情を把握し、学習者の感情に寄り添った声かけができるようにする。また、音声認識機能や文章生成AIにより、児童生徒と自然な会話をしたり、励ましや注意の声かけをしたりできるように改善を行う。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
本研究は、特別支援学校に訪問し、その教育実践により完成する研究テーマであるが、令和3年度と4年度はコロナ禍にあり、特別支援学校に入ることを制限されたため、研究の進捗に遅れがみられた。特に、本研究では児童生徒の顔の表情から感情を推定することを研究の柱としているため、児童生徒がマスクを外すことができなかった影響が研究に大きく影響し、顔の表情認識による感情推定に基づく声かけの機能を実装が遅れてしまった。
しかし、令和5年度からは定期的に特別支援学校を訪問し、教育実践ができている。学習時における児童生徒の顔を撮影することも可能となり、順調に研究が進み始めた。また、令和5年度からは特別支援学校教員とのディスカッションの時間も十分とれ、対面での学会発表参加もできるようになった。成果論文も順調に発表できている。
それでも、令和3年度、4年度の遅れを取り戻すまでには至らなかったが、令和6年度（1年間）の延長により、十分、本科学研究費による採択課題の研究成果を出せる見込みである。
|
| Strategy for Future Research Activity |
今後、AIの表情認識や感情認識の技術を応用し、学習者の感情推定結果にも基づく、感情に寄り添った声かけができるAIメンターを完成させる予定である。現在までに、学習者の集中度推定結果による声かけはできるようになったので、学習者の表情認識結果や、音声認識機能により学習者の感情を把握し、児童生徒と自然な会話をしたり、励ましや注意の声かけをしたりできるようにする。
また、開発したバーチャルメンターやAIメンターを特別支援学校の授業の中で継続的に利用し、改良を加える。また、両メンターの声かけによる学習者の行動・発言の変化を分析することにより、AIによるメンタリングの教育効果を検証する。現在、授業に導入している特別支援学校だけでなく、近隣の小中学校の特別支援学級にも働きかけ、AIメンターの利用実績を増やし、検証を行いたい。
本科学技術研究費による研究成果を学会発表するとともに、論文誌に投稿する。
|
Report
(3 results)
Research Products
(14 results)
