2023 Fiscal Year Research-status Report
An Emotional Recognition AI Mentoring System for Children with Intellectual Disabilities to Support their Self-Study through E-Learning
| Project/Area Number |
21K02872
|
|---|
| Research Institution | Kurume Institute of Technology |
|---|
Principal Investigator |
小田 まり子 久留米工業大学, 工学部, 教授 (20269046)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
河野 央 久留米工業大学, 工学部, 教授 (60437746)
八坂 亮祐 久留米工業大学, 工学部, 教育研究コーディネーター (20815716)
呉 濟元 久留米工業大学, 工学部, 特任講師 (00913310) [Withdrawn]
高橋 雅仁 久留米工業大学, 工学部, 学長政策顧問 (70330975)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Keywords | AI / 感情認識 / 表情認識 / 骨格認識 / 文章生成AI / 特別支援教育 / AIメンタリング |
|---|
| Outline of Annual Research Achievements |
本研究の目的は、AI（Artificial Intelligence:人工知能）の応用技術である感情認識に基づくリアルタイム・メンタリング（助言・支援）機能により、知的障碍を持つ児童生徒の自律的学習を支援することである。今年度は、人の動きを追従するCGキャラクターを実現し、ヴァーチャルメンター（Ｖメンター）として障碍を持つ学習者を支援する教育支援システムを開発した。児童生徒の障碍について理解のある特別支援学校教師は、教室における児童の様子をカメラで観察しながら遠隔教室で友達役を演じる。児童が授業を受ける教室の机横に設置されたモニター上のＶメンター（CGキャラクター）は教師と同じ動作をするとともに，教師の発話音声は少女の声に変換して再生される。
特別支援学校でVメンターシステムを用いた教育を実践した結果、児童はVメンターに興味を持ち、友達に話しかけるような交流がみられ、その有効性を確認した。しかし、別室で教員がVメンターを操作するには、授業教室の様子をより正確（明瞭）に動画、音声で伝える必要があることが判明した。また、クラスの児童数や障碍の種類によりＶメンターに求められる役割（友達役、教師役等）が変わることがわかったので、Vメンターの役割を変えて利用できるようにし、教育効果の比較・検証を行う必要がある。
最終的には，Vメンターのように教師がCGキャラクターを操作するのではなく，AIが学習者の集中度や感情を把握し、メンタリングを行うAIメンターの完成を目指す。現在までに、学習者の骨格検出により、集中度を把握することはできるようになった。今後、表情認識や感情認識により学習者の感情を把握し、学習者の感情に寄り添った声かけができるようにする。また、音声認識機能や文章生成AIにより、児童生徒と自然な会話をしたり、励ましや注意の声かけをしたりできるように改善を行う。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
本研究は、特別支援学校に訪問し、その教育実践により完成する研究テーマであるが、令和3年度と4年度はコロナ禍にあり、特別支援学校に入ることを制限されたため、研究の進捗に遅れがみられた。特に、本研究では児童生徒の顔の表情から感情を推定することを研究の柱としているため、児童生徒がマスクを外すことができなかった影響が研究に大きく影響し、顔の表情認識による感情推定に基づく声かけの機能を実装が遅れてしまった。
しかし、令和5年度からは定期的に特別支援学校を訪問し、教育実践ができている。学習時における児童生徒の顔を撮影することも可能となり、順調に研究が進み始めた。また、令和5年度からは特別支援学校教員とのディスカッションの時間も十分とれ、対面での学会発表参加もできるようになった。成果論文も順調に発表できている。
それでも、令和3年度、4年度の遅れを取り戻すまでには至らなかったが、令和6年度（1年間）の延長により、十分、本科学研究費による採択課題の研究成果を出せる見込みである。
|
| Strategy for Future Research Activity |
今後、AIの表情認識や感情認識の技術を応用し、学習者の感情推定結果にも基づく、感情に寄り添った声かけができるAIメンターを完成させる予定である。現在までに、学習者の集中度推定結果による声かけはできるようになったので、学習者の表情認識結果や、音声認識機能により学習者の感情を把握し、児童生徒と自然な会話をしたり、励ましや注意の声かけをしたりできるようにする。
また、開発したバーチャルメンターやAIメンターを特別支援学校の授業の中で継続的に利用し、改良を加える。また、両メンターの声かけによる学習者の行動・発言の変化を分析することにより、AIによるメンタリングの教育効果を検証する。現在、授業に導入している特別支援学校だけでなく、近隣の小中学校の特別支援学級にも働きかけ、AIメンターの利用実績を増やし、検証を行いたい。
本科学技術研究費による研究成果を学会発表するとともに、論文誌に投稿する。
|
| Causes of Carryover |
本科学研究費における研究が始まったのは令和3年度であるが、コロナ禍であったため、特別支援学校への入校が難しく、研究の進捗が遅れてしまった。また、研究発表においても、令和3年度から4年度まではオンラインでの発表が多かったため、研究発表旅費が未使用となったため、計画していた旅費が残ることとなった。
令和5年度からは研究発表を行い、旅費を使用したが、未だ、旅費が残っている。今年度は特別支援学校での教育実践を行い、その教育効果を検証した結果を論文にまとめると同時に、成果を発表する計画であり、旅費の残りを使う予定である。
|
