2016 Fiscal Year Annual Research Report
Detecting and Supporting People with Communication Difficulties using Multi-sensor and Statistical Models
| Project/Area Number |
26540117
|
|---|
| Research Institution | Nara Institute of Science and Technology |
|---|
Principal Investigator |
中村 哲 奈良先端科学技術大学院大学, 情報科学研究科, 教授 (30263429)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
岩坂 英巳 奈良県立医科大学, 医学部, 研究員 (70244712)
根來 秀樹 奈良教育大学, 教育学研究科, 教授 (80336867)
サクリアニ サクティ 奈良先端科学技術大学院大学, 情報科学研究科, 助教 (00395005)
戸田 智基 名古屋大学, 情報基盤センター, 教授 (90403328) [Withdrawn]
Neubig Graham 奈良先端科学技術大学院大学, 情報科学研究科, 助教 (70633428)
田中 宏季 奈良先端科学技術大学院大学, 情報科学研究科, 特任助教 (10757834)
|
|---|
| Project Period (FY) |
2014-04-01 – 2017-03-31
|
| Keywords | コミュニケーション障害の計測 / 支援技術 |
|---|
| Outline of Annual Research Achievements |
本研究では、コミュニケーションが苦手な児童をトレーニングする対話システムを作るため、精神科医および臨床心理士などにより使用されている認知行動療法の一種であるソーシャルスキルトレーニングの枠組みを参考とした。「自動ソーシャルスキルトレーナ」と題して、ソーシャルスキルトレーニングの過程を人間とコンピュータのアバターとの対話によって自動化するシステムの開発を実現した。自動ソーシャルスキルトレーナの設計は、ソーシャルスキルトレーニングの枠組みに沿っており、課題設定、モデリング、ロールプレイ、フィードバック、正の強化、宿題を含んでいる。ユーザが対話システム上の仮想的なアバターと音声対話していく中で、コミュニケーションスキルを訓練していく。
これまで課題設定として、上手に話を伝える訓練バッテリーを対話システムに実装した。まずモデリングのステップでは、ユーザはあらかじめ収録した、上手に話を伝える人の動画を視聴し良い点のルールを学習する。次にロールプレイとして、ユーザがアバターに向かって１分間で「最近あった楽しかった出来事」を伝える。その際、アバターは聞き役として頷きなどの反応をし、同時にユーザの音声と動画も収録する。収録したデータから、ユーザの言語・非言語的情報（声の周波数や明瞭性、１分間の単語数、６文字以上の単語割合、笑顔の頻度など）を検出し、それを標準的なモデル（モデリングで使用した話者達）と比較して、良かった点と改善点をユーザに提示する。ユーザはフィードバックを見ることによって、自分の話の伝え方について客観的なアドバイスを受けることが可能になる。これまで、大学院生および自閉スペクトラム症者（児）において本システムの訓練効果を評価し、システム使用前後における対人対話において、有意に話を伝えるスキルの向上を確認した。
|
