2019 Fiscal Year Research-status Report
絵を媒介として感情コミュニケーション支援を行う会話ロボットの開発
| Project/Area Number |
16K00355
|
|---|
| Research Institution | Akita Prefectural University |
|---|
Principal Investigator |
堂坂 浩二 秋田県立大学, システム科学技術学部, 教授 (70396191)
|
|---|
| Project Period (FY) |
2016-04-01 – 2021-03-31
|
| Keywords | 感情認識 / マルチモーダル / 機械学習 / 自然言語生成 / 対話システム / 会話ロボット |
|---|
| Outline of Annual Research Achievements |
本研究の目的は，絵と言語の双方を使って人間の感情コミュニケーションを支援する会話ロボットの開発と会話ロボットの感情コミュニケーション活性化効果を明らかにすることである．
第一に，絵・言語融合型の感情認識器を開発するための学習データの拡充と整備をさらに進めた．4,700件のデータに関して5名の複数名によるラベル付けを行い，信頼性の高いデータベースを作成することができた．このうち 1,500件のデータは，作業者に対人関係やエンターテインメントなどのトピックを指定して文書と絵を書いてもらったデータであり，研究で想定する会話 場面に近い質の良いデータを作成できた．
第二に，この拡充したデータベースを用い，文章と絵の双方から書き手の感情を認識する認識器を機械学習により開発した．評価実験の結果，文章と絵というマルチモーダルな情報を使うことにより感情認識の曖昧性を解消できる場合があることを示した．さらに，文章と絵のペアに付与されている複数の感情ラベルを同時に認識するマルチラベル感情認識に取り組み，シングルラベル認識において認識が困難であった信頼，嫌悪の感情の認識性能が向上することを示した．
第三に，文章と書き手の感情が与えられたとき，なぜその感情と判断される かという感情判断理由を抽出する手法を開発した．まず，感情が生起する要因について書かれた事例（文）を大量収集し，20万件の事例から成感情生起要因の事例データベースを構築した．収集した事例は事前学習済みのBERTモデルによりベクトル表現化した．次に，文章と書き手の感情が入力されたとき，入力感情の主な感情生起要因を含む文を抽出する手法を開発した．評価実験の結果，従来のBag of Words による文のベクトル表現を使った場合に比べて，深層学習の一種であるBERT による文のベクトル表現を用いた方が，システムの正解率が高いことが分かった.
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
平成31年度から平成32年度（令和元年度から令和2年度）は，学習データの拡充・整備を並行して進めながら，絵と文章の双方から感情コミュニケーションを活性化する応答文を生成する方法を開発し，絵と言葉による人間同士の感情コミュニケーションを会話ロボット（対話システム）が活性化する効果を評価するという計画であった．
この計画の通り，信頼性の高い学習データを拡充し，文章から感情判断理由を抽出する手法を開発した．しかし，当初の目論見では，令和元年度には，感情判断理由を含んだ応答文を生成する手法を実装することを計画していたが，学習データの拡充・質の向上，20万件の感情生起要因の事例データベースの構築に予想よりも時間がかかり，感情判断理由を含んだ応答文を生成する手法の実装が完成しなかった．
|
| Strategy for Future Research Activity |
令和元年度から令和２年度は，学習データの拡充・整備を並行して進めながら，絵と文章の双方から感情コミュニケーションを活性化する応答文を生成する方法を開発し，絵と言葉による人間同士の感情コミュニケーションを会話ロボット（対話システム）が活性化する効果を評価するという計画であった．
令和２年度の最終年度は，これまでに開発した，絵と文章から感情と感情判断理由を抽出する個別技術を応用し，感情判断理由を含んだ応答文を生成する手法を実装する．さらに，本研究の当初の目的の通り，絵と言語の双方を用いて人間の感情コミュニケーションを促進する対話システムを実現し，そのコミュニケーション活性効果を評価・考察する．
なお，人間同士のコミュのケーションを活性化する会話ロボット（対話システム）としては，人間が文章を入力する方法としてキーボード入力を使ったシステムを構築する．
|
| Causes of Carryover |
（理由）令和元年度は，計画通りに，信頼性の高い学習データを拡充し，文章から感情判断理由を抽出する手法を開発した．しかし，データの拡充・整備に予想よりも時間がかかり，感情判断理由を含んだ応答文を生成する手法の実装が完成しなかった．そのため，応答文生成の評価実験を行うことができなかったので，次年度使用が生じた．
（使用計画）次年度使用額は，応答文生成の評価実験と，対話システムのコミュニケーション活性効果を評価する実験のために使用する．
|
