• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2010 年度 実績報告書

視線情報を利用した参照表現の理解・生成モデル

研究課題

研究課題/領域番号 21300049
研究機関東京工業大学

研究代表者

徳永 健伸  東京工業大学, 大学院・情報理工学研究科, 教授 (20197875)

研究分担者 栗山 直子  東京工業大学, 大学院・社会理工学研究科, 助教 (90361782)
寺井 あすか  東京工業大学, グローバルエッジ研究院, テニュアトラック助教 (70422540)
キーワード参照表現 / 自然言語処理 / 協調作業対話 / 視線情報 / 幾何パズル / 対話システム / 状況依存対話 / 言語生成・理解
研究概要

本研究では,対象物の空間的配置,言語表現に加え,話者の視線情報を併用する新しい参照表現の理解・生成のモデルを構築することを目的とし,以下の2つの課題を設定している.
(1)日本語の対話における話者の視線情報を含む参照表現コーパスの作成
(2)視線情報を利用した参照表現の理解と生成モデルの構築
(1)については昨年度作成したコーパスによってほぼその目的を達成しているので,今年度は,このコーパスを用いて(2)の参照表現の理解・生成モデルの構築を中心に研究をおこなった.
まず,参照表現の理解については,先行研究として我々が提案していた対話参加者の談話履歴情報と操作履歴情報を用いて参照解析をおこなうモデルに新たに話者の視線情報を追加し,モデルを拡張した.視線情報としては,参照表現発話前の一定時区間あるいは発話中の時区間に候補となる対象をどれくらいの頻度/時間注目しているかを表現する素性を用いた。コーパスを用いた評価実験の結果,解析精度を最大で20%改善することができた.
従来の参照表現の生成モデルは対象領域に含まれるすべての物体を常に考慮して,指示したい対象を他の物体といかに区別するか,またそのためにどのような表現を使うかを最適化することを主眼としていた.しかし,実際には参照表現を理解する聞き手が対象領域内のすべての物体に常に注目しているわけではなく,その一部に注目しているにすぎない.この現象を扱うために,参照表現の生成に聞き手の視線情報を用いた参照表現生成モデルを構築した.コーパスを用いた内生的評価では従来のモデルと比べより簡潔な表現を生成できることを示した.今後は外生的評価によってその有効性を実証する予定である.

  • 研究成果

    (9件)

すべて 2011 2010

すべて 雑誌論文 (1件) (うち査読あり 1件) 学会発表 (8件)

  • [雑誌論文] REX-J : Japanese referring expression corpus of situated dialogs2010

    • 著者名/発表者名
      Philipp Spanger, Masaaki Yasuhara, Ryu lida, Takenobu Tokunaga, Asuka Teral, Naoko Kuriyama
    • 雑誌名

      Language Resources and Evaluation (Online First)

      巻: 10. 1007/s10579-010-9134-8

    • 査読あり
  • [学会発表] 視線情報を利用した協調作業対話における参照解析2011

    • 著者名/発表者名
      安原正晃・飯田龍・徳永健伸
    • 学会等名
      言語処理学会第17回年次大会
    • 発表場所
      豊橋
    • 年月日
      2011-03-10
  • [学会発表] 言語生成研究の動向2011

    • 著者名/発表者名
      徳永健伸
    • 学会等名
      言語処理学会第17回年次大会
    • 発表場所
      豊橋
    • 年月日
      2011-03-07
  • [学会発表] 視線情報を含むマルチモーダル協調作業対話コーピスの構築と利用2010

    • 著者名/発表者名
      安原正晃・石川真也・飯田龍・徳永健伸
    • 学会等名
      情報処理学会自然言語処理研究会
    • 発表場所
      広島
    • 年月日
      2010-11-19
  • [学会発表] 共同問題解決時の二者の視線一致が共有知識の形成に及ぼす効果2010

    • 著者名/発表者名
      栗山直子, 寺井あすか, 安原正晃, 徳永健伸, 山岸侯彦, 楠見孝
    • 学会等名
      日本認知科学会第27回大会
    • 発表場所
      神戸
    • 年月日
      2010-09-18
  • [学会発表] Construction of bilingual multimodal corpora of referring expressions in collaborative problem solving2010

    • 著者名/発表者名
      Tokunage Takenobu, Yasuhara Masaaki, Terai Asuka, David Morris, Anja Belz
    • 学会等名
      The 8^<th> Workshop on Asian Language Resources
    • 発表場所
      北京(中国)
    • 年月日
      2010-08-23
  • [学会発表] Effect of gaze matching on collaborative problem solving.2010

    • 著者名/発表者名
      Kuriyama Naoko, Terai Asuka, Yasuhara Masaaki, Tokunage Takenobu, Yamagishi Kimihiko, Kusumi Takashi
    • 学会等名
      7th International Conference on Cognitive Science
    • 発表場所
      北京(中国)
    • 年月日
      2010-08-18
  • [学会発表] Incorporating extra-linguistic information into reference resolution in collaborative task dialogue2010

    • 著者名/発表者名
      Ryu lida, Shumpei Kobayashi, Takenobu Tokunaga
    • 学会等名
      The 48th Annual Meeting of the Association for Computational Linguistics
    • 発表場所
      Uppsala (Sweeden)
    • 年月日
      2010-07-14
  • [学会発表] Towards an extrinsic evaluation of referring expressions in situated dialogs2010

    • 著者名/発表者名
      Philipp Spanger, lida Ryu, Tokunaga Takenobu, Terai Asuka, Kuriyama Naoko
    • 学会等名
      The 6th International Natural Language Generation Conference
    • 発表場所
      Trim (Ireland)
    • 年月日
      2010-07-09

URL: 

公開日: 2012-07-19  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi