| Project/Area Number |
23K02620
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 09060:Special needs education-related
|
|---|
| Research Institution | Bunkyo Gakuin University |
|---|
Principal Investigator |
長野 祐一郎 学校法人文京学院 文京学院大学, 人間学部, 准教授 (00325870)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
柄田 毅 学校法人文京学院 文京学院大学, 人間学部, 教授 (10383308)
手塚 洋介 大阪体育大学, 体育学部, 教授 (80454578)
大島 和臣 学校法人文京学院 文京学院大学, 人間学部, 非常勤講師 (70988154)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2025: ¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
Fiscal Year 2024: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2023: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
|
|---|
| Keywords | 知的障害者 / 感情 / 人工知能 / 知的障害 / 生理反応 / Affective Computing |
|---|
| Outline of Research at the Start |
本研究では，Affective Computing技術を用いて重度知的障害者の感情状態を把握し，QOL向上と施設支援を目指す。2023年度には，既存測定システムを改良し，ウェアラブル発汗・心拍計測装置を開発。さらに行動・表情をWebカメラで測定する仕組みを開発する。2024年度には，システムの実用性向上を行い，重度知的障害者生活支援施設で認知・学習課題中の生理・行動反応を測定し，感情状態の判別を試みる。2025年度には，開発したシステムをオープンソース化し，他施設での運用やデータ共有を可能にする。これらの研究成果を簡便にまとめ、オープンソース化することで、知的障害者の生活支援に役立てる。
|
| Outline of Annual Research Achievements |
2023年度は、知的障害者の感情状態測定を想定し、様々な実行環境でAIによる非接触計測の可能性を検討した。ソフトウェア環境は、様々なハードウェアでアプリケーションを作成可能なことを重視しゲームエンジンUnityを用いた。主に検討した環境は、1)Unity＋Barracuda、2)Unity＋OpenCV、3)Unity＋Apple ARKitの3種類であった。
環境1)では、Googleの提供するBodyPixとFaceMeshの動作検証を行った。BodyPixは、ウェブカメラ映像から高い精度で身体部位を推定可能であった。FaceMeshは安価なウェブカメラを使って顔の特徴点を推定できる利点はあるものの、顔が横を向いた際に精度が低くなる傾向が認められた。
環境2)では、YuNetV2による顔検出と、OpenCV4.7から導入された表情認識AIの動作検証を行った。前者は顔の位置のみであるのに対し、後者は顔の位置に加え、"angry"、 "disgust"、 "fearful"、 "happy"、"neutral"、 "sad"、 "surprised"の7表情の程度を簡便に評価可能であった。
環境3)では、表情の認識にiPadやiPhoneのプロセッサーを用いるため、運用コストが高くなってしまう問題点があった。一方で、表情の認識精度は他の環境に比べて極めて高く、測定後のデータクリーニングの手間が少なくなる利点が考えられた。また、非常に多くの部位の変化が測定可能である点や、表情だけでなく頭部の姿勢を測定できる点は、大きなアドバンテージであり、より詳細な表情変化を測定する際には、環境3)が適していると考えられた。
総合的に判断し、利用施設で知的障害者の動作を測定するには環境1)のBodyPixが、表情を測定するには環境2)の表情認識AIが適していると考えられた。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
当初の予定では、2023年度は、1）これまで開発してきた低コスト生体反応測定システムを改変し、2）コンピュータービジョンを用いた行動測定システムを組み合わせ、知的障害者の感情状態測定を試みる予定であった。1）に関しては測定を予定している施設において、従来の接触方式による測定が難しいことが想定され、研究の比重をWebカメラを用いた非接触計測へ移行せざるを得ない現状であった。そのため、2）の行動測定システムの開発と検証に多くの時間を費やすこととなった。様々な環境で、行動や表情の非接触計測の可能性を検討したところ、研究内容に適合するニューラルネットを選定できたが、実際場面での測定検証はやや遅れ気味である。
|
| Strategy for Future Research Activity |
2024年度は、2023年度に選定した行動および表情測定AIを、知的障害者施設で利用可能なソフトウェアに落とし込み施設に導入し、実際に測定を行う。測定を通し、施設で運用する際に生じる様々な問題を洗い出し、日常的に運用しやすく、施設の管理者や研究者が結果を把握しやすいシステムの構築を目指す。具体的には行動測定用AIと表情測定用AIのプログラムを同時に動作させ、ローカルエリアネットワーク内でデータ記録用マシンにUDP通信で送り、２名の障害者の行動・表情データを時間的に同期しながら測定するシステムの構築を行う。対象者の身体部位推定を行うBodyPixは、安定した推定を行うためには高いGPU能力を必要とするため、必要に応じて計算負荷を確認しながらバランスの良いシステムの構築を目指す。
また、システム構築と同時に、施設利用者が行う認知・学習課題の開発を行う。開発の目的は、施設利用者同士のコミュニケーション促進である。従来行われていた型はめやパズル課題は市販のものであり、利用者どうしの相互コミュニケーションの制御が難しい側面があった。そのため、本研究では課題の内容を管理者が適宜操作できるように作り変え、２名が同一の課題を行うフェイズや、それぞれ別の課題を行うフェイズを設け、相互コミュニケーションの出現頻度変化を検討する。さらに、認知・学習課題に協力プレイ要素を導入し、そのような要素が利用者の行動や、表情に与える影響の検討を行う。
|
