• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

未習熟ユーザを補助するマルチモーダル対話システムの研究

Research Project

Project/Area Number 14J03989
Research Category

Grant-in-Aid for JSPS Fellows

Allocation TypeSingle-year Grants
Section国内
Research Field Intelligent informatics
Research InstitutionTohoku University

Principal Investigator

千葉 祐弥  東北大学, 工学研究科, 特別研究員(PD)

Project Period (FY) 2014-04-25 – 2016-03-31
Project Status Completed (Fiscal Year 2015)
Budget Amount *help
¥1,900,000 (Direct Cost: ¥1,900,000)
Fiscal Year 2015: ¥900,000 (Direct Cost: ¥900,000)
Fiscal Year 2014: ¥1,000,000 (Direct Cost: ¥1,000,000)
Keywords音声対話システム / マルチモーダル情報処理 / ユーザ状態の推定 / ユーザ状態推定
Outline of Annual Research Achievements

平成27年度より,ユーザを補助する対話システムに有用なユーザの状態として,システムが提示した話題に関するユーザの対話意欲を定義し,人間同士のインタビュー対話を用いて識別に有効なマルチモーダル特徴量の分析を行っている. 以前の検討では,音声データの収録に関して問題があったため,7名の人間同士のインタビュー対話データを新たに収集し,マルチモーダル特徴量を抽出した.分析では,昨年度同様,言語情報として回答者の発話の書き起こしから得られた品詞情報,音声情報として基本周波数 (F0)およびパワー,画像情報として表情と身振りの変動を採用した.結果から,新しいデータセットにおいてもユーザの表情と身振りの変動量,対話中のユーザ発話のF0の変動幅や最大値,最小値などが対話意欲の識別に有効であることが明らかになり,これらの特徴量を用いて対話意欲の自動推定を実施した.結果として,音声画像特徴量を用いた場合に Leave-one-out 条件で 80.4% ,Subjective-open条件で 77.1% の識別精度を達成した.これは事前に調査をおこなった人間による判断と同程度かそれ以上の識別精度である.これらの成果は1件の査読付き国際会議,2件の国内学会での発表を行っている.また,ここまでの検討では人間同士のインタビュー対話を利用していることから,機械と人間との対話においても同様に対話意欲が表出されるかどうかは不明瞭であるため,特徴量及び識別手法の有効性を確かめる目的で,Wizard of Oz (WOZ)法による対話データの収録を行った.5 名の実験参加者の対話によって集計されたアンケートの分析から, 1)興味と対話意欲の評定は必ずしも等しくないこと, 2)機械との対話では人間同士の対話よりも対話意欲が表出されにくいことが示唆されたが,実際の識別実験までは行えず,課題として残された.こちらの検討に関しては1件の国内学会での発表を行った.

Research Progress Status

27年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

27年度が最終年度であるため、記入しない。

Report

(2 results)
  • 2015 Annual Research Report
  • 2014 Annual Research Report
  • Research Products

    (8 results)

All 2016 2015 2014

All Journal Article (3 results) (of which Peer Reviewed: 1 results,  Open Access: 1 results) Presentation (5 results) (of which Int'l Joint Research: 1 results)

  • [Journal Article] Estimating the User’s State before Exchanging Utterances Using Intermediate Acoustic Features for Spoken Dialog Systems2016

    • Author(s)
      Yuya Chiba, Takashi Nose, Akinori Ito
    • Journal Title

      IAENG International Journal of Computer Science

      Volume: 23(1) Pages: 1-9

    • Related Report
      2015 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] ユーザの対話意欲を考慮したユーザプロファイリング対話システムのためのインタビュー対話の分析2014

    • Author(s)
      千葉祐弥,伊藤彰則
    • Journal Title

      電子情報通信学会技術研究報告

      Volume: 114 Pages: 43-48

    • Related Report
      2014 Annual Research Report
  • [Journal Article] ユーザの対話意欲自動推定を目標とした対話データの分析と音声画像特徴量の検討2014

    • Author(s)
      千葉祐弥,能勢隆,伊藤彰則
    • Journal Title

      情報処理学会研究報告

      Volume: 2014-SLP-105 Pages: 1-6

    • NAID

      110009877342

    • Related Report
      2014 Annual Research Report
  • [Presentation] WOZシステムを用いた対話意欲推定のための対話データの収集2016

    • Author(s)
      千葉祐弥、伊藤彰則
    • Organizer
      日本音響学会2016年春季研究発表会
    • Place of Presentation
      桐蔭横浜大学 (神奈川県・横浜市)
    • Year and Date
      2016-03-09
    • Related Report
      2015 Annual Research Report
  • [Presentation] Estimation of User's Willingness to Talk about the Topic: Analysis of Interviews between Humans2016

    • Author(s)
      Yuya Chiba, Akinori Ito
    • Organizer
      International Workshop on Spoken Dialogue Systems (IWSDS 2016)
    • Place of Presentation
      Lapland Hotel Riekonlinna (Finland)
    • Year and Date
      2016-01-15
    • Related Report
      2015 Annual Research Report
    • Int'l Joint Research
  • [Presentation] ユーザの対話意欲推定のための人対人対話データの分析とWOZシステムの検討2015

    • Author(s)
      千葉祐弥、伊藤彰則
    • Organizer
      第17回音声言語シンポジウム
    • Place of Presentation
      名古屋工業大学 (愛知県・名古屋市)
    • Year and Date
      2015-12-03
    • Related Report
      2015 Annual Research Report
  • [Presentation] マルチモーダル情報を用いたユーザの対話意欲推定のための音声特徴量の効果の分析2015

    • Author(s)
      千葉祐弥、伊藤彰則
    • Organizer
      日本音響学会2015年秋季研究発表会
    • Place of Presentation
      中央大学 (東京都・八王子市)
    • Year and Date
      2015-09-17
    • Related Report
      2015 Annual Research Report
  • [Presentation] ユーザプロファイリング対話システムにおける対話意欲自動推定を目標としたマルチモーダル情報の分析2015

    • Author(s)
      千葉祐弥,能勢隆,伊藤彰則
    • Organizer
      日本音響学会2015年春季研究発表会
    • Place of Presentation
      東京,中央大学後楽園キャンパス
    • Year and Date
      2015-03-16 – 2015-03-18
    • Related Report
      2014 Annual Research Report

URL: 

Published: 2015-01-22   Modified: 2024-03-26  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi