2015 Fiscal Year Research-status Report
発達障害児のコミュニケーション能力向上のための表情・会話スキル訓練システムの開発
| Project/Area Number |
15K01752
|
|---|
| Research Institution | University of Fukui |
|---|
Principal Investigator |
小越 康宏 福井大学, 工学(系)研究科(研究院), 准教授 (80299809)
|
|---|
| Project Period (FY) |
2015-04-01 – 2018-03-31
|
| Keywords | 発達障害 / 刺激表情 / 表情の認識 / 表情の同調 / 表情筋の活動 |
|---|
| Outline of Annual Research Achievements |
発達障害者に対して教育機関が積極的に支援することは重要な課題であり、個別ニーズに応じた支援が必要とされている。しかし、発達障害は状態像を掴み難く鑑別が困難であるため、現状では個々の特性に応じた支援は不十分である。発達障害者は社会性の問題を抱えていることが多く、他者理解の基本となる表情や感情の理解などといった社会的認知機能の弱さがあり、この弱さが発達障害の本質的な問題でもある。他者の表情を認識しふさわしい表情をつくることは、対人関係において共感したり円滑にコミュニケーションを図ったりする上で欠かせない能力であり、表情からの感情理解について認知面や情動面から活発に研究が行われている。
また、就職において企業が採用選考で重視した要素として「コミュニケーション能力」が10年連続１位となっており、このことからも社会性能力の育成は重要である。
そこで、我々は発達障害者における他者理解の特性を解明し、対人的なスキル向上を目指した支援システムの開発を行ってきた。特に、状況の中での表情認知の能力に焦点をあて、表情認識の弱さの原因を行動・認知・生理指標の特徴から解明し、それに基づく支援システムの導出を行った。
主に次の３つの観点から支援システムの開発を行った。
①発達障害者の実社会での本質的な特徴を学校内と家庭内の日々の行動履歴から分析し、個別ニーズを把握する。②表情認知アプリケーションを開発し、発達障害者が対面する表情に対してコンピュータを用いて表情認識を行い、発達障害者の表情認知を支援する。③定型発達児者と発達障害者に対しそれぞれ表情同調に関する実験を行い表情筋の活動を分析し、両者の差異を埋める学習を行うためのバイオフィードバックシステムを開発し、発達障害者の表情同調を支援する。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
(1)発達障害者の日々の行動の特徴の検討：日々の行動履歴データベースの開発・分析
「保護者と学校と専門家をつなぐICTを用いた発達障害児の行動把握システム」で蓄積された日々の行動履歴データベースのチェック項目について、国際的な指標である国際分類（ICF-CY）を用いて標準化することでコード化を行った。次にコード化された行動に関して観測を行い、行動の状態を数値的なパラメータに置き直し、データマイニングにより発達障害者の行動パターンを分析した。以上の方法で社会性の問題を抽出し、それらの計量化の作業を進めた。その際、事例検討会において、保護者、専門家とともに特徴分析結果の評価も行った。ここで社会性の問題のある、特に表情認知の部分に問題がある児童生徒に対して、表情認知トレーニングアプリケーションを用いて苦手な表情認知の部分を抽出し、表情認知のトレーニング方法について検討した。
(2)表情認知支援のための眼鏡型端末を用いた表情認識アプリケーションの開発
我々が開発したコンピュータによる高速処理が可能な（Ekmanの基本６感情に基づく）６表情の表情認識アルゴリズムを用い、発達障害者が対面する相手の表情をリアルタイムで認識し表情認知のヒントをモニタに表示するシステムを開発した。今後、この仕掛けを眼鏡型端末に実装する予定である。
(3)発達障害者の表情同調実験
定型発達者と発達障害者に対し表情同調に関する実験を行い、同調時の表情筋の反応時間や強度などの傾向を分析した。さらに、会話を伴う状況下でも同様に実験を行い分析した。発達障害者が苦手とする部分を解明し、定型発達者との差異を埋めるための表情同調トレーニングを開発した。表情同調において欠かせない表情筋の活動を促すために、モニタに視覚的な指示を与えたり、顔面に貼付した振動子で指示を与えたりするバイオフィードバックシステムを開発した。
|
| Strategy for Future Research Activity |
(1)表情認識アプリケーションの開発・機能拡張・運用
実環境において他者の表情認知を支援するためのアプリケーションを開発する。対面する相手の表情をカメラで捉えリアルタイムで認識し、表情認知に関するヒントを眼鏡型端末に表示する。このような装置を発達障害者に装着してもらい、実際にコミュニケーションの場面で用いることで評価実験を行う。特に、端末に表示する表情認知のヒント（注目すべき顔の部位や変化など）の表示方法について検討する。
(2)コミュニケーション時の表情同調・発話支援のためのトレーニングシステム開発
発達障害者が表情同調の場面で、ふさわしい表情の表出を支援するアプリケーションの開発を行う。発達障害者と定型発達者の表情同調の実験によって得られた分析結果に基づき、発達障害者の同調時に問題となる部分に焦点を当て、次の３つの方法でトレーニングシステムを開発し、評価実験を行う。①発達障害者が表情同調のトレーニングを行う際に、表情筋を計測しながら顔面上に貼り付けた振動子から振動を与えることでバイオフィードバックを行い、どこの表情筋を動かして表情を表出すれば良いかを教示するシステムと、②モニタ上に写された自分の表情を確認しながら、表情筋を動かし目標表情に合わせるトレーニング、および、発話をしながら表情の表出をトレーニングするシステムの開発を行う。また、音声処理を併用し表情の表出時に、③音声の明瞭度も確認可能な表情トレーニングシステムの開発を行う。
|
-
-
-
[Presentation] Knowledge management system for Universal Design training2015
Author(s)
Seiichiro Miura, Sakiko Ogoshi, Yasuhiro Ogoshi, Hayashi Naohiro, Takashi Yoshida, Hiroshi Yamaguchi, Nishi Hitoshi
Organizer
The 16th Asia Pacific Industrial Engineering & Management Systems Conference 2015 (APIEMS 2015)
Place of Presentation
Caravelle Hotel, Ho Chi Minh City, Vetnam
Year and Date
2015-12-08 – 2015-12-11
Int'l Joint Research
-
