2018 Fiscal Year Research-status Report
絵を媒介として感情コミュニケーション支援を行う会話ロボットの開発
| Project/Area Number |
16K00355
|
|---|
| Research Institution | Akita Prefectural University |
|---|
Principal Investigator |
堂坂 浩二 秋田県立大学, システム科学技術学部, 教授 (70396191)
|
|---|
| Project Period (FY) |
2016-04-01 – 2021-03-31
|
| Keywords | 感情認識 / マルチモーダル / 機械学習 / 自然言語生成 / 対話システム / 会話ロボット |
|---|
| Outline of Annual Research Achievements |
本研究の目的は，絵と言語の双方を使って人間の感情コミュニケーションを支援する会話ロボットの開発と，そうした会話ロボットの感情コミュニケーション活性化効果を明らかにすることである．
第一に，絵・言語融合型の感情認識器を開発するための学習データの拡充と整備を行った．学習データとしては，日常の出来事を記述した文章と，文章によって伝達される感情と，感情を表した絵から成る「絵・感情・言語の3つ組データ」を収集している．本年度はデータを1200件追加した．これにより累計3200件のデータを収集でき，認識性能を向上させることができた．また，データの信頼性を向上させるため，500件のデータに関して3名によりラベル付与し，3名間の一致度を評価した．
第二に，絵と文章の双方から感情を認識する絵・言語融合型感情認識器を改良し，二段階認識手法を開発した．この手法は，第一段階の処理として感情極性（ポジティブ・ネガティブ・ニュートラル）を認識し、第二段階の処理として感情極性の認識結果を特徴量として利用して8種類の感情の認識を行う．評価の結果，二段階の処理を行う有効性が確認できた．
第三に，感情コミュニケーションを活性化する応答文生成手法として，これまで我々が開発してきた方法は，手動作成の言語生成テンプレートにより絵からの感情評判断文を生成するという方法であるが，適切な文のみを生成する精密な言語生成テンプレートの作成はコスト高であるという問題があった．この問題を解決するため，不適切な文も生成する制約の緩い過剰生成ルールを手動で作成し，ルールにより生成された文候補から適切な文を選ぶランキングモデルを機械学習するという過剰生成・ランキング方法を開発した．
第四に，感情強度辞書を使った日本語ツイートの感情強度を推定する手法を開発した．感情強度辞書の作成は，知る限り日本語においては初めての試みである．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成29年度の実施状況報告で説明したように，平成30年度から平成31年度(令和元年度)は次の研究計画であった： (a)「絵・感情・言語の3つ組データ」の拡充と，絵と言語からの絵・言語融合型の感情認識法の改良を進め，感情認識の性能向上をはかる；(b) 文章に表された情報とウェブ等から収集された大量の言語コーパスを用することにより，感情判断文だけでなく，人間の感情コミュニケーションを促進する多様な応答を生成する方法を開発する．
この計画に沿って，平成30年度は，学習データの拡充・整備とそれによる感情認識の性能向上，過剰生成・ランキングモデルによる感情判断文生成手法の開発を行った．絵からの感情判断文だけでなく，絵と文章の双方からの多様な応答文の生成は，平成31年度（令和元年度）に進める．
|
| Strategy for Future Research Activity |
平成31年度から平成32年度（令和元年度から令和2年度）は，学習データの拡充・整備を並行して進めながら，絵と文章の双方から感情コミュニケーションを活性化する応答文を生成する方法を開発し，絵と言葉による人間同士の感情コミュニケーションを会話ロボット（対話システム）が活性化する効果を評価する．以上のことにより，本研究の当初の目的の通り，絵と言語の双方を用いて人間の感情コミュニケーションを促進する会話ロボット（対話システム）を実現し，そのコミュニケーション活性効果を評価する．
なお，人間同士のコミュのケーションを活性化する会話ロボット（対話システム）としては，まず，人間が文章を入力する方法としてキーボード入力を使ったシステムを構築する，その後，音声入力を使ったシステムへの拡張の可能性を検討する．音声会話環境では音声認識の認識誤りのため評価実験を行うことが困難になる場合が考えられるためである．
|
| Causes of Carryover |
（理由）平成30年度は，計画通りに「絵・感情・言語の3つ組データ」を増やし，さらに，複数の作業者が絵と文章のペアに感情を付与したデータを拡充した．しかし，「絵・感情・言語の3つ組データ」を収集する際，８つの感情ごとのデータの件数はほぼ同数にすることが理想であるが，感情ごとのデータ件数を収集前に正確に見積もることは難しいため，段階的にデータを収集する必要があり，予想していたよりもデータ収集に時間がかかった．
（使用計画）次年度使用額は，まず，学習データの拡充・整備に用いる．特に，「絵・感情・言語の3つ組データ」に関して，複数の作業者が絵と文章のペアに感情を付与したデータを拡充する．また，現在収集している3つ組データでは，文章は既存のテキストコーパスから抽出したものを使っているが，より現実に近い文章を集めるため，指定したシナリオ（例：「厳しい就職活動を経たあと，念願の就職が決まり，幸せな気持ちでいる」）に沿って，文章と絵を書いてもらうといった収集タスクを考えている．
さらに，会話ロボット（対話システム）のコミュニケーション活性効果を評価する実験のために，次年度使用額を使用する．
|
