• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

情報抽出に基づくユーザやドメインに適応的なマルチモーダル対話システム

研究課題

研究課題/領域番号 13J04537
研究種目

特別研究員奨励費

配分区分補助金
応募区分国内
研究分野 知能情報学
研究機関京都大学

研究代表者

吉野 幸一郎  京都大学, 学術情報メディアセンター, 特別研究員(PD)

研究期間 (年度) 2013-04-01 – 2015-03-31
研究課題ステータス 完了 (2014年度)
配分額 *注記
1,800千円 (直接経費: 1,800千円)
2014年度: 900千円 (直接経費: 900千円)
2013年度: 900千円 (直接経費: 900千円)
キーワード音声対話 / 対話制御 / 部分観測マルコフ決定過程 / 対話システム / 音声認識 / 述語項構造 / 強化学習
研究実績の概要

収集した対話データを利用して、音声により情報案内を行う対話システムを部分観測マルコフ決定過程(POMDP)によって統計的に制御する枠組みの構築と評価を行った。具体的には、収録された対話データから統計的にユーザの意図、焦点、それに対応するシステムの行動を推定するモデルを構築し、対話の各ターンにおいて適切な振る舞いをモデル化した。このモデルを評価するため、構築された対話システムを実際のユーザを相手に運用した結果、ユーザの焦点(興味の対象)に応じて適応的にシステムを制御することの有効性が、ユーザの意図の追従・システムの行動決定の両面から示された。また、前年に対話の盛り上がり(継続ターン数)やユーザからの積極的な対話への参与(具体的な焦点を含む質問)が強化学習における有効な報酬であることが示されていたが、これに加えてシステムが行った情報案内の結果(ユーザが求める情報が得られたかどうか)を新たな報酬として導入し、その効果が確認された。
ユーザの興味に応じて対話システムの行動決定を行うのが良いということは先行研究においても示唆されていたが、実ユーザに対するシステムの行動決定を定量的に計測することによりその知見が明確に示された。特に情報案内においては、ユーザの興味が現在の話題に対して継続している場合はその話題を継続し、興味が失われた場合は話題を変更するという人間同士の対話においては当たり前に行われていることが、焦点の導入によって対話システムにおいても実現されている。
また、ユーザに適応的な対話システム構築のための検討として対話行為としての相槌に着目し、協調的な対話においては相槌の韻律や形態が先行する発話に同調することが確認された。ユーザの焦点とあわせて、言語・非言語双方の多様なモダリティを用いて対話システムの制御を行うことが、適応的・協調的な音声対話システムの構築に有効であることが示された。

現在までの達成度 (段落)

26年度が最終年度であるため、記入しない。

今後の研究の推進方策

26年度が最終年度であるため、記入しない。

報告書

(2件)
  • 2014 実績報告書
  • 2013 実績報告書
  • 研究成果

    (26件)

すべて 2015 2014 2013 その他

すべて 雑誌論文 (4件) (うち査読あり 4件、 オープンアクセス 1件) 学会発表 (21件) (うち招待講演 1件) 備考 (1件)

  • [雑誌論文] Conversational System for Information Navigation based on POMDP with User Focus Tracking2015

    • 著者名/発表者名
      Koichiro Yoshino and Tatsuya Kawahara
    • 雑誌名

      Computer Speech & Language

      巻: Vol. 35 号: 1 ページ: 1-17

    • DOI

      10.1016/j.csl.2015.01.003

    • 関連する報告書
      2014 実績報告書
    • 査読あり
  • [雑誌論文] Automatic Speech Recognition for Mixed Dialect Utterances by Mixing Dialect Language Models2015

    • 著者名/発表者名
      Naoki Hirayama, Koichiro Yoshino, Katsutoshi Itoyama, Shinsuke Mori, and Hiroshi G. Okuno
    • 雑誌名

      EEE/ACM Transactions on Audio, Speech and Language Processing

      巻: Vol. 23, Issue. 2 号: 2 ページ: 373-382

    • DOI

      10.1109/taslp.2014.2387414

    • 関連する報告書
      2014 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] 擬似生成した複数方言言語モデル混合による混合方言音声認識2014

    • 著者名/発表者名
      平山 直樹, 吉野 幸一郎, 糸山 克寿, 森 信介, 奥乃 博
    • 雑誌名

      情報処理学会論文誌

      巻: Vol. 55, No. 7 ページ: 1681-1694

    • NAID

      110009806671

    • 関連する報告書
      2014 実績報告書
    • 査読あり
  • [雑誌論文] 述語項構造を介した文の選択に基づく音声対話用言語モデルの構築2014

    • 著者名/発表者名
      吉野 幸一郎, 森 信介, 河原 達也
    • 雑誌名

      人工知能学会論文誌

      巻: 29 号: 1 ページ: 53-59

    • DOI

      10.1527/tjsai.29.53

    • NAID

      130003382439

    • ISSN
      1346-0714, 1346-8030
    • 関連する報告書
      2013 実績報告書
    • 査読あり
  • [学会発表] 音声対話システムの現在と未来2015

    • 著者名/発表者名
      吉野 幸一郎
    • 学会等名
      情報処理学会第77回全国大会
    • 発表場所
      京都大学吉田キャンパス, 京都市, 京都府
    • 年月日
      2015-03-17 – 2015-03-19
    • 関連する報告書
      2014 実績報告書
    • 招待講演
  • [学会発表] 多様な形態の相槌をうつ音声対話システムのための傾聴対話の分析2015

    • 著者名/発表者名
      山口貴史, 吉野幸一郎, 高梨克也, 河原達也
    • 学会等名
      情報処理学会第77回全国大会
    • 発表場所
      京都大学吉田キャンパス, 京都市, 京都府
    • 年月日
      2015-03-17 – 2015-03-19
    • 関連する報告書
      2014 実績報告書
  • [学会発表] ユーザの焦点に適応的な雑談型音声情報案内システム2015

    • 著者名/発表者名
      吉野 幸一郎, 河原 達也
    • 学会等名
      情報処理学会第77回全国大会
    • 発表場所
      京都大学吉田キャンパス, 京都市, 京都府
    • 年月日
      2015-03-17
    • 関連する報告書
      2014 実績報告書
  • [学会発表] 傾聴対話における相槌形態と先行発話の統語構造の関係の分析2015

    • 著者名/発表者名
      山口貴史, 井上昂治, 吉野幸一郎, 高梨克也, 河原達也
    • 学会等名
      人工知能学会第73回言語・音声理解と対話処理研究会
    • 発表場所
      東京大学本郷キャンパス, 東京都
    • 年月日
      2015-03-09
    • 関連する報告書
      2014 実績報告書
  • [学会発表] News Navigation System based on Proactive Dialogue Strategy2015

    • 著者名/発表者名
      Koichiro Yoshino, Tatsuya Kawahara
    • 学会等名
      International Workshop series on Spoken Dialogue Systems technology
    • 発表場所
      Busan, Korea
    • 年月日
      2015-01-11 – 2015-01-13
    • 関連する報告書
      2014 実績報告書
  • [学会発表] Toward Adaptive Generation of Backchannels for Attentive Listening Agents2015

    • 著者名/発表者名
      Tatsuya Kawahara, Miki Uesato, Koichiro Yoshino and Katsuya Takanashi
    • 学会等名
      International Workshop series on Spoken Dialogue Systems technology
    • 発表場所
      Busan, Korea
    • 年月日
      2015-01-11 – 2015-01-13
    • 関連する報告書
      2014 実績報告書
  • [学会発表] ユーザの焦点を用いたPOMDPによる音声情報案内システム2014

    • 著者名/発表者名
      吉野 幸一郎, 河原 達也
    • 学会等名
      人工知能学会第72回言語・音声理解と対話処理研究会
    • 発表場所
      東京工業大学すずかけ台キャンパス, 横浜市, 神奈川県
    • 年月日
      2014-12-15 – 2014-12-16
    • 関連する報告書
      2014 実績報告書
  • [学会発表] ユーザの焦点に適応的な雑談型音声情報案内システム2014

    • 著者名/発表者名
      吉野 幸一郎, 河原 達也
    • 学会等名
      情報処理学会第104回音声言語情報処理研究会
    • 発表場所
      東京工業大学すずかけ台キャンパス, 横浜市, 神奈川県
    • 年月日
      2014-12-15 – 2014-12-16
    • 関連する報告書
      2014 実績報告書
  • [学会発表] Information Navigation System Based on POMDP that Tracks User Focus2014

    • 著者名/発表者名
      Koichiro Yoshino, Tatsuya Kawahara
    • 学会等名
      Young Researchers' Roundtable on Spoken Dialog Systems
    • 発表場所
      Philadelphia, USA
    • 年月日
      2014-07-16 – 2014-07-17
    • 関連する報告書
      2014 実績報告書
  • [学会発表] FlowGraph2Text: Automatic Sentence Skeleton Compilation for Procedural Text Generation2014

    • 著者名/発表者名
      Shinsuke Mori, Hirokuni Maeta, Tetsuro Sasada, Koichiro Yoshino, Atsushi Hashimoto, Takuya Funatomi, Yoko Yamakata
    • 学会等名
      8th International Natural Language Generation Conference
    • 発表場所
      Philadelphia, USA
    • 年月日
      2014-06-19 – 2014-06-21
    • 関連する報告書
      2014 実績報告書
  • [学会発表] Information Navigation System Based on POMDP that Tracks User Focus2014

    • 著者名/発表者名
      Koichiro Yoshino, Tatsuya Kawahara
    • 学会等名
      15th Annual SIGdial Meeting on Discourse and Dialogue
    • 発表場所
      Philadelphia, USA
    • 年月日
      2014-06-18 – 2014-06-20
    • 関連する報告書
      2014 実績報告書
  • [学会発表] ユーザの焦点に適応的な雑談型音声情報案内システム2014

    • 著者名/発表者名
      吉野 幸一郎, 河原 達也
    • 学会等名
      言語処理学会第18回年次大会
    • 発表場所
      北海道大学(北海道札幌市)
    • 年月日
      2014-03-20
    • 関連する報告書
      2013 実績報告書
  • [学会発表] 混合方言言語モデルと混合比推定による方言音声認識システム2014

    • 著者名/発表者名
      平山 直樹, 吉野 幸一郎, 糸山 克寿, 森 信介, 奥乃 博
    • 学会等名
      情報処理学会第76回全国大会
    • 発表場所
      東京電機大学(東京都足立区)
    • 年月日
      2014-03-12
    • 関連する報告書
      2013 実績報告書
  • [学会発表] ユーザの焦点に適応的な雑談型音声情報案内システム2014

    • 著者名/発表者名
      吉野 幸一郎, 河原 達也
    • 学会等名
      第70回人工知能学会言語・音声理解と対話処理研究会
    • 発表場所
      情報通信研究機構(東京都小金井市)
    • 年月日
      2014-03-05
    • 関連する報告書
      2013 実績報告書
  • [学会発表] 傾聴対話における相槌の韻律的特徴の同調傾向の分析2014

    • 著者名/発表者名
      上里 美樹, 吉野 幸一郎, 高梨 克也, 河原 達也
    • 学会等名
      第70回人工知能学会言語・音声理解と対話処理研究会
    • 発表場所
      情報通信研究機構(東京都小金井市)
    • 年月日
      2014-03-05
    • 関連する報告書
      2013 実績報告書
  • [学会発表] ユーザの焦点に適応的な音声によるニュース案内システム2014

    • 著者名/発表者名
      吉野 幸一郎
    • 学会等名
      第100回情報処理学会音声言語情報処理研究会
    • 発表場所
      ホテルサンバレー富士見(静岡県伊豆の国市)
    • 年月日
      2014-01-31
    • 関連する報告書
      2013 実績報告書
  • [学会発表] Statistical Dialogue Management using Intention Dependency Graph.2013

    • 著者名/発表者名
      Koichiro Yoshino, Shinji Watanabe, Jonathan Le Roux, John R. Hershey
    • 学会等名
      The 6th International Conference on Natural Language Processing (IJCNLP2013)
    • 発表場所
      名古屋国際会議場(愛知県名古屋市)
    • 年月日
      2013-10-16
    • 関連する報告書
      2013 実績報告書
  • [学会発表] Predicate Argument Structure Analysis using Partially Annotated Corpora.2013

    • 著者名/発表者名
      Koichiro Yoshino, Shinsuke Mori, Tatsuva Kawahara
    • 学会等名
      The 6th International Conference on Natural Language Processing (IJCNLP2013)
    • 発表場所
      名古屋国際会議場(愛知県名古屋市)
    • 年月日
      2013-10-16
    • 関連する報告書
      2013 実績報告書
  • [学会発表] Automatic Estimation of Dialect Mixing Ratio for Dialect Speech Recognition.2013

    • 著者名/発表者名
      Naoki Hirayama, Koichiro Yoshino, Katsutoshi Itoyama, Shinsuke Mori, and Hiroshi G. Okuno.
    • 学会等名
      The 14th Annual Conference on the International Speech Communication Association (INTERSPEECH 2013)
    • 発表場所
      Lyon Convention Center (Lyon, France)
    • 年月日
      2013-08-27
    • 関連する報告書
      2013 実績報告書
  • [学会発表] 述語項構造を介したWebテキストからの文選択に基づく言語モデルの評価2013

    • 著者名/発表者名
      吉野 幸一郎, 森 信介, 河原 達也
    • 学会等名
      第97回情報処理学会音声言語情報処理研究会
    • 発表場所
      壮鳳(宮城県刈田郡蔵王町)
    • 年月日
      2013-07-26
    • 関連する報告書
      2013 実績報告書
  • [学会発表] Incorporating Semantic Information to Selection of Web Texts for Language Model of Spoken Dialogue System.2013

    • 著者名/発表者名
      Koichiro Yoshino, Shinsuke Mori, Tatsuya Kawahara
    • 学会等名
      The 38th IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP21) 13)
    • 発表場所
      Vancouver Convention Center (Vancouver, Canada)
    • 年月日
      2013-05-27
    • 関連する報告書
      2013 実績報告書
  • [備考]

    • URL

      http://www.pomdp.net/

    • 関連する報告書
      2014 実績報告書

URL: 

公開日: 2014-01-29   更新日: 2024-03-26  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi