2017 Fiscal Year Research-status Report
傾聴エージェントのためのマルチモーダル情報を利用した応答モデルの研究
| Project/Area Number |
16K00289
|
|---|
| Research Institution | Ritsumeikan University |
|---|
Principal Investigator |
黄 宏軒 立命館大学, 情報理工学部, 准教授 (00572950)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
林 勇吾 立命館大学, 総合心理学部, 准教授 (60437085)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | 人工知能 / 会話エージェント / 高齢者支援 / コミュニケーション / 傾聴 |
|---|
| Outline of Annual Research Achievements |
今年度は昨年度に引き続き，傾聴会話における話し手の参加態度の推定モデルの性能向上を図った．これまでに検討していたモダリティの韻律情報に加え，発話ターン，顔の表情(表情筋の動きを表すアクションユニットAU)も取り入れた．話し手の発話中，聴き手の発話中，どちらも沈黙している間の3種類の会話状況に分けてそれぞれのマルチモーダル推定モデルを構築した．推定モデルの成果は国際会議HCII2018で採録され，発表を行う予定である．
これまで大学生同士による傾聴会話実験のデータコーパスを基に会話の参加態度推定モデルを構築してきたが，若者よりも傾聴サービスの需要が高い高齢者を相手にしてもエージェントが動作できるよう，男女2名ずつ65歳以上70歳前後の高齢者4名を話し手とし，男女2名ずつの大学生4名を聴き手として全組み合わせ計16会話分のデータ収集の予備実験を行った．
目指している傾聴エージェントの入力に当たる話し手参加態度の推定以外に，エージェントの出力であるCGキャラクタのアニメーションシステムにも着手した．OpenFaceや京都大学大学院情報学研究科・西田研究室で開発されているFACSvatarなどのフリーウェアツールを活用し， FACS [Ekman et al. 2002]準拠のアニメーションシステムの開発を始めている．現在，利用者の表情をリアルタイムで認識し，FACS準拠のAUのデータストリームを生成し，キャラクタで再現できるようになっている．これにより，最大で29種類のパラメーターを制御することでキャラクタのより精密な表情生成をon-the-fly(その場で)行えるようになった．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
やや遅れている．代表者はH29年度末まで勤務している立命館大学を退職し国立研究開発法人理化学研究所に異動することになり，H29年度中に本提案プロジェクトを継続的に推進するための卒論生・大学院生を新たに確保できなかった．そのため，予定していた高齢者データコーパス収集の本実験とそれを基にした話題分析は予定通り行えなかった．
|
| Strategy for Future Research Activity |
話し手の参加態度を認識しながら，話題を遷移していく言語重視の対話モデルは当初の予定であったが，前項のように予定通り推進していくことが困難になった．しかし一方で，H30年度より代表者の理化学研究所/京都大学西田研究室への異動が，研究の新たな方向性への展開を可能にした．人間のコミュニケーションは，言語のみならず表情や身振り手振りも大きな役割を担っている．本提案プロジェクトは主に傾聴エージェントの発話に重きを置く応答モデルの開発を予定していたが，最終年度となるH30年度は，表情を始めとする非言語チャネルでの応答モデルに研究の重心をシフトするよう方向性を修正することとした．ただし，発話なしでは会話は進まないので，最小限に留めるが，言語応答モデルも継続して開発していく予定である．
H30年度に予定している作業は，まず，話し手の態度推定モデルを高齢者にも対応できるよう拡張する．また，開発に着手したキャラクタアニメーションシステムに唇の同期，音声発話機能，ジェスチャー生成機能を追加することで傾聴えージョンとの出力部を完成させる．最後に，話し手の表情変化などに応じて最適な表情・非言語動作を返す応答モデルを開発する予定である．
|
| Causes of Carryover |
分担者利用分であり，国際会議(未定)発表のための旅費に充てる予定である．
|
