2017 Fiscal Year Research-status Report
絵を媒介として感情コミュニケーション支援を行う会話ロボットの開発
| Project/Area Number |
16K00355
|
|---|
| Research Institution | Akita Prefectural University |
|---|
Principal Investigator |
堂坂 浩二 秋田県立大学, システム科学技術学部, 教授 (70396191)
|
|---|
| Project Period (FY) |
2016-04-01 – 2021-03-31
|
| Keywords | 感情認識 / マルチモーダル / 機械学習 / マルチラベル分類 / 自然言語生成 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は，絵と言語の双方を使って，人間の感情コミュニケーションを支援する会話ロボットの開発と，そうした会話ロボットが人間の感情コミュニケーションを活性化する効果を明らかにすることである．
平成29年度は，第一に，絵と言語の双方の情報を使って感情を認識する手法（絵・言語融合型感情認識）を開発するために，日常の出来事を記述した文章と，文章によって伝達される感情と，感情を表した絵から成る「絵・感情・言語の3つ組データ」を2000データ収集した．
第二に，文章から感情を認識するマルチラベル感情認識手法を開発した．本手法では，喜び・悲しみ，怒り・恐れ，受容・嫌悪，驚き・予期の４軸ごとに，１つの文章から複数の感情を認識する．この手法の新規性は，まず文章の感情極性（ポジティブ・ネガティブ・ニュートラル）を認識し，認識した感情極性の確率分布を特徴量として利用することにより，４軸ごとの複数感情の認識精度を向上させることにある．
第三に，「絵・感情・言語の3つ組データ」を学習データとして，絵と文章のペアが与えられたとき，そのペアから伝わる感情を認識する絵・言語融合型感情認識器をサポートベクターマシンにより構築した．絵とテキストの特徴量の双方を使って感情を認識する絵・言語融合型の認識器の方が，絵とテキストの特徴をそれぞれ単独で使って感情を認識する認識器に比べて，認識性能が向上することが分かった．これは，絵と文章の２つの情報を合わせて使うことで，感情認識の曖昧性を解消できる場合があるためである．前年度開発した絵から感情判断文を生成する手法と組み合わせることにより，絵と文章から感情判断文を生成する方法を実現した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成29年度から平成30年度にかけては，絵・言語融合型の感情認識と感情判断理由文生成の開発を進める計画であった．その計画通り，平成29年度は，絵・感情・言語の3つ組データの収集，文章からの感情認識，絵と文章の双方を使った絵・言語融合型の感情認識法を開発した．絵と文章からの感情判断文生成は，前年度開発した絵からの感情判断文生成を利用することにより実現した．
平成29年度に収集した「絵・感情・言語の3つ組データ」を分析した結果，文章に表された情報とウェブ等から収集された大量の言語コーパスを活用することにより，感情判断文だけでなく，人間の感情コミュニケーションを促進する多様な応答を生成できる可能性があることが分かった．続く平成30年度では，そのような感情コミュニケーションを活性化する応答生成法の開発を行う．
|
| Strategy for Future Research Activity |
当初の研究計画では，平成30年度は，人・ロボット多人数会話環境を構築し，その会話環境を使ってWoZ会話実験を行うことにより会話データを収集し，平成31年度以降に，会話ロボットの応答生成手法を開発する計画であった．
しかし，「現在までの進捗状況」で述べたように，平成29年度に収集した「絵・感情・言語の3つ組データ」を分析した結果，文章に表された情報とウェブ等から収集された大量の言語コーパスを活用することにより，感情判断文だけでなく，人間の感情コミュニケーションを促進する多様な応答を生成できる可能性があることが分かった．
そこで，当初の研究計画を変更し，平成30年度から平成31年度は次の計画で研究を実施する： (a)「絵・感情・言語の3つ組データ」の拡充と，絵と言語からの絵・言語融合型の感情認識法の改良を進め，感情認識の性能向上をはかる；(b) 文章に表された情報とウェブ等から収集された大量の言語コーパスを用することにより，感情判断文だけでなく，人間の感情コミュニケーションを促進する多様な応答を生成する方法を開発する．
続いて，平成31年度から平成32年度は，次の計画で研究を実施する: (c) 絵・言語融合型の感情認識と，感情コミュニケーションを活性化する応答生成を備えた会話ロボットを実装し，人・ロボット多人数会話環境を構築する；(d) 人・ロボット多人数会話環境を使って，会話ロボットの感情コミュニケーション活性効果を検証する．
なお，(c)において人・ロボット多人数会話環境を構築する際には，まず，人間が文章を入力する方法としてキーボード入力を使ったシステムを構築する，その後，音声入力を使ったシステムへの拡張の可能性を検討する．音声会話環境では音声認識の認識誤りのため評価実験を行うことが困難になる場合が考えられるためである．
|
| Causes of Carryover |
(理由）
当初の計画では，「絵・感情・言語の3つ組データ」を収集する際，絵のデータは，作業者にペンタブレットを使って入力してもらう予定であった．しかし，通常の作業者はペンタブレットを所有していないため，作業者にはペンタブレットを使える遠隔地のオフイスまで来てもらうことになり，移動のための費用がかかってしまう．そこで，ペンタブレットではなく，通常のノートPCとマウス・ペン入力を使って絵を入力するシステムを構築した．このシステムを使ってデータ収集を行った結果，想定していたよりも，安価にデータを収集することができたため，次年度使用額が生じた．
（使用計画）
次年度使用額は，さらに大量の「絵・感情・言語の3つ組データ」を収集するために使用する．また，平成29年度収集した「絵・感情・言語の3つ組データ」は，一人の作業者が絵と文章のペアに対して感情を付与したもので，データの信頼性が十分でない．そのため，複数の作業者が絵と文章のペアに感情を付与したデータを収集するため，次年度使用額を使用する．
|
