2016 Fiscal Year Research-status Report
絵を媒介として感情コミュニケーション支援を行う会話ロボットの開発
| Project/Area Number |
16K00355
|
|---|
| Research Institution | Akita Prefectural University |
|---|
Principal Investigator |
堂坂 浩二 秋田県立大学, システム科学技術学部, 教授 (70396191)
|
|---|
| Project Period (FY) |
2016-04-01 – 2021-03-31
|
| Keywords | 感情認識 / 会話ロボット / 知能ロボット / 自然言語生成 / 機械学習 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は，絵と言語の双方を使って，人間の感情コミュニケーションを支援する会話ロボットの開発と，そうした会話ロボットが人間の感情コミュニケーションを活性化する影響を明らかにすることである．平成28年度は，必要な要素技術として，一筆書きの絵からの感情認識，絵の形状認識，感情判断の理由文生成の各手法を開発し，評価を行なった．
絵からの感情認識に関しては，840枚の一筆書きの描画データを使って，サポートベクトルマシン認識器を開発した．感情は8クラスを用い，特徴量としては，色(色相，明度，彩度)，HOG 特徴量，輪郭線特徴量，凸包を用いて絵を塗りつぶしたときの絵の面積などを用いた．分類正解率53.5%を得た．この値は人間の分類正解率を上回るものであり，良好な認識結果と言える．
絵の形状認識に関しては，8クラスの形状を認識する認識器を開発した．特徴量は，線を描く方向の変化数，分割領域ごとの輪郭線方向の総和HOG 特徴量，筆圧の変化数などを使った．分類正解率は61.6%となった．
以上に述べた絵からの感情認識，絵の形状認識を使って，判断理由を付与した感情判断文を生成する方法を提案した．会話ロボットが感情を認識するだけでなく．判断理由が付与された感情判断文（例：「黄色で丸い形だから喜びに感情だよね」）を発話することにより，人間同士の会話をより活性化することが期待できる，提案手法は，人間から収集した絵の判断理由を表す言語データを活用することによって，自然な感情判断文を生成する．評価実験の結果，提案手法により生成された判断理由を付加した方が，感情判断文の妥当性を向上させ，感情判断文に対してコメントしたい意欲が向上することが示された．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
計画した通り，平成28年度は，一筆書きの絵を対象にして，絵からの感情認識，絵の形状認識，感情判断の理由文生成の各手法を開発し，評価を行った．評価の結果，感情判断文生成手法によって生成された理由付きの感情判断文がコミュニケーションを活性化させる効果があることを示すことができ，人間の感情コミュニケーションを支援する会話ロボットの要素技術として利用可能であることを示すことができた．
|
| Strategy for Future Research Activity |
平成29年度から平成30年度にかけて，絵・言語融合型の感情認識の方法を開発する．既存のコーパスから日本語文を3000文，3文から成る日本語テキストを3000テキスト収集し，文やテキストが表す感情のラベルを付与した「感情ラベル付きテキストコーパス」を作成済みである．この感情ラベル付きテキストコーパスを学習データとして，テキストからの感情認識手法を開発する．これと並行して，日常の出来事を表したトピック文（テキスト）と，出来事に対する感情，感情を表す一筆書きから成る「絵―感情－言語の3つ組データ」を収集する．この「絵―感情－言語の3つ組データ」を使って，絵と言語の双方から感情を認識し，感情判断文を生成する手法を開発する．
平成30年度は，日常の出来事に関して，絵と言語の双方を使って会話を行う「人・ロボット多人数会話環境」を構築する．この会話環境のもとで，人間のオペレータが会話ロボットを操作するWoZ会話実験を実施し，会話データを収集する．
平成31年度から32年度にかけては，平成30年度に収集した会話データを使って，会話ロボットの応答生成手法を開発し，自律型会話ロボットを実現する．自律型会話ロボットを用いた評価実験を実施し，会話ロボットの有無が人間の感情コミュニケーションに与える影響を明らかにする．
|
| Causes of Carryover |
平成28年度は，感情認識器，感情判断文生成手法の開発のために必要となる訓練データを収集することを予定していたが，予定していたデータの一部を平成27年度に先んじて収集することができたため，次年度使用額が生じた．
|
| Expenditure Plan for Carryover Budget |
次年度使用額は，日常の出来事を表すトピック文，出来事に対する感情のカテゴリ，感情を表した一筆書きの絵から成る「絵―感情－言語の3つ組データ」を予定した量よりも大量に収集するために使用する．絵と言語の双方から感情を認識する手法は，本研究テーマにおける最重要な要素技術であり，その基礎データとなる「絵―感情－言語の3つ組データ」をより大量に収集することにより，手法の性能を向上させることが可能となる．また，このデータは，平成28年度に開発した絵からの感情認識手法の性能向上のためにも使用する．
|
