2023 Fiscal Year Research-status Report
Construction and application of a system for understanding the emotional state of severely mentally retarded persons
Project/Area Number |
23K02620
|
Research Institution | Bunkyo Gakuin University |
Principal Investigator |
長野 祐一郎 学校法人文京学院 文京学院大学, 人間学部, 准教授 (00325870)
|
Co-Investigator(Kenkyū-buntansha) |
柄田 毅 学校法人文京学院 文京学院大学, 人間学部, 教授 (10383308)
手塚 洋介 大阪体育大学, 体育学部, 教授 (80454578)
大島 和臣 学校法人文京学院 文京学院大学, 人間学部, 非常勤講師 (70988154)
|
Project Period (FY) |
2023-04-01 – 2026-03-31
|
Keywords | 知的障害者 / 感情 / 人工知能 |
Outline of Annual Research Achievements |
2023年度は、知的障害者の感情状態測定を想定し、様々な実行環境でAIによる非接触計測の可能性を検討した。ソフトウェア環境は、様々なハードウェアでアプリケーションを作成可能なことを重視しゲームエンジンUnityを用いた。主に検討した環境は、1)Unity+Barracuda、2)Unity+OpenCV、3)Unity+Apple ARKitの3種類であった。 環境1)では、Googleの提供するBodyPixとFaceMeshの動作検証を行った。BodyPixは、ウェブカメラ映像から高い精度で身体部位を推定可能であった。FaceMeshは安価なウェブカメラを使って顔の特徴点を推定できる利点はあるものの、顔が横を向いた際に精度が低くなる傾向が認められた。 環境2)では、YuNetV2による顔検出と、OpenCV4.7から導入された表情認識AIの動作検証を行った。前者は顔の位置のみであるのに対し、後者は顔の位置に加え、"angry"、 "disgust"、 "fearful"、 "happy"、"neutral"、 "sad"、 "surprised"の7表情の程度を簡便に評価可能であった。 環境3)では、表情の認識にiPadやiPhoneのプロセッサーを用いるため、運用コストが高くなってしまう問題点があった。一方で、表情の認識精度は他の環境に比べて極めて高く、測定後のデータクリーニングの手間が少なくなる利点が考えられた。また、非常に多くの部位の変化が測定可能である点や、表情だけでなく頭部の姿勢を測定できる点は、大きなアドバンテージであり、より詳細な表情変化を測定する際には、環境3)が適していると考えられた。 総合的に判断し、利用施設で知的障害者の動作を測定するには環境1)のBodyPixが、表情を測定するには環境2)の表情認識AIが適していると考えられた。
|
Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
当初の予定では、2023年度は、1)これまで開発してきた低コスト生体反応測定システムを改変し、2)コンピュータービジョンを用いた行動測定システムを組み合わせ、知的障害者の感情状態測定を試みる予定であった。1)に関しては測定を予定している施設において、従来の接触方式による測定が難しいことが想定され、研究の比重をWebカメラを用いた非接触計測へ移行せざるを得ない現状であった。そのため、2)の行動測定システムの開発と検証に多くの時間を費やすこととなった。様々な環境で、行動や表情の非接触計測の可能性を検討したところ、研究内容に適合するニューラルネットを選定できたが、実際場面での測定検証はやや遅れ気味である。
|
Strategy for Future Research Activity |
2024年度は、2023年度に選定した行動および表情測定AIを、知的障害者施設で利用可能なソフトウェアに落とし込み施設に導入し、実際に測定を行う。測定を通し、施設で運用する際に生じる様々な問題を洗い出し、日常的に運用しやすく、施設の管理者や研究者が結果を把握しやすいシステムの構築を目指す。具体的には行動測定用AIと表情測定用AIのプログラムを同時に動作させ、ローカルエリアネットワーク内でデータ記録用マシンにUDP通信で送り、2名の障害者の行動・表情データを時間的に同期しながら測定するシステムの構築を行う。対象者の身体部位推定を行うBodyPixは、安定した推定を行うためには高いGPU能力を必要とするため、必要に応じて計算負荷を確認しながらバランスの良いシステムの構築を目指す。 また、システム構築と同時に、施設利用者が行う認知・学習課題の開発を行う。開発の目的は、施設利用者同士のコミュニケーション促進である。従来行われていた型はめやパズル課題は市販のものであり、利用者どうしの相互コミュニケーションの制御が難しい側面があった。そのため、本研究では課題の内容を管理者が適宜操作できるように作り変え、2名が同一の課題を行うフェイズや、それぞれ別の課題を行うフェイズを設け、相互コミュニケーションの出現頻度変化を検討する。さらに、認知・学習課題に協力プレイ要素を導入し、そのような要素が利用者の行動や、表情に与える影響の検討を行う。
|
Causes of Carryover |
当初の予定とは異なり、生体情報等の接触技術による測定装置の利用が難しいと判明したため、2023年度は研究の比重を、AIを用いた非接触計測の可能性検討に大きく移した経緯がある。行なった内容は主にソフトウェアの動作検証であったため、ハードウェア購入等の支出が生じなかった。2024年度は、作成したAI実行環境をソフトウェアに落とし込み、知的障害者施設での測定を行う予定であるため、2023年度に使用しなかった予算をまとめて用いる予定である。予算の使用は、障害者施設で用いる大型のコンバーチブル型タッチ端末2台、HDウェブカメラ4台、AIを用いた非接触測定プログラム実施用の、GPU搭載ノートPC2台などを予定している。AIを用いた非接触測定に用いるハードウェアは、予備実験を行いその負荷に応じて選定するものとする。
|