未習熟ユーザを補助するマルチモーダル対話システムの研究
| Project/Area Number |
14J03989
|
|---|
| Research Category |
Grant-in-Aid for JSPS Fellows
|
| Allocation Type | Single-year Grants |
|---|
| Section | 国内 |
|---|
| Research Field |
Intelligent informatics
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
千葉 祐弥 東北大学, 工学研究科, 特別研究員(PD)
|
|---|
| Project Period (FY) |
2014-04-25 – 2016-03-31
|
| Project Status |
Completed (Fiscal Year 2015)
|
| Budget Amount *help |
¥1,900,000 (Direct Cost: ¥1,900,000)
Fiscal Year 2015: ¥900,000 (Direct Cost: ¥900,000)
Fiscal Year 2014: ¥1,000,000 (Direct Cost: ¥1,000,000)
|
|---|
| Keywords | 音声対話システム / マルチモーダル情報処理 / ユーザ状態の推定 / ユーザ状態推定 |
|---|
| Outline of Annual Research Achievements |
平成27年度より，ユーザを補助する対話システムに有用なユーザの状態として，システムが提示した話題に関するユーザの対話意欲を定義し，人間同士のインタビュー対話を用いて識別に有効なマルチモーダル特徴量の分析を行っている． 以前の検討では，音声データの収録に関して問題があったため，7名の人間同士のインタビュー対話データを新たに収集し，マルチモーダル特徴量を抽出した．分析では，昨年度同様，言語情報として回答者の発話の書き起こしから得られた品詞情報，音声情報として基本周波数 (F0)およびパワー，画像情報として表情と身振りの変動を採用した．結果から，新しいデータセットにおいてもユーザの表情と身振りの変動量，対話中のユーザ発話のF0の変動幅や最大値，最小値などが対話意欲の識別に有効であることが明らかになり，これらの特徴量を用いて対話意欲の自動推定を実施した．結果として，音声画像特徴量を用いた場合に Leave-one-out 条件で 80.4% ，Subjective-open条件で 77.1% の識別精度を達成した．これは事前に調査をおこなった人間による判断と同程度かそれ以上の識別精度である．これらの成果は1件の査読付き国際会議，2件の国内学会での発表を行っている．また，ここまでの検討では人間同士のインタビュー対話を利用していることから，機械と人間との対話においても同様に対話意欲が表出されるかどうかは不明瞭であるため，特徴量及び識別手法の有効性を確かめる目的で，Wizard of Oz (WOZ)法による対話データの収録を行った．5 名の実験参加者の対話によって集計されたアンケートの分析から, 1)興味と対話意欲の評定は必ずしも等しくないこと, 2)機械との対話では人間同士の対話よりも対話意欲が表出されにくいことが示唆されたが，実際の識別実験までは行えず，課題として残された．こちらの検討に関しては1件の国内学会での発表を行った．
|
| Research Progress Status |
27年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
27年度が最終年度であるため、記入しない。
|
Report
(2 results)
Research Products
(8 results)
