• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2010 Fiscal Year Annual Research Report

視線情報を利用した参照表現の理解・生成モデル

Research Project

Project/Area Number 21300049
Research InstitutionTokyo Institute of Technology

Principal Investigator

徳永 健伸  東京工業大学, 大学院・情報理工学研究科, 教授 (20197875)

Co-Investigator(Kenkyū-buntansha) 栗山 直子  東京工業大学, 大学院・社会理工学研究科, 助教 (90361782)
寺井 あすか  東京工業大学, グローバルエッジ研究院, テニュアトラック助教 (70422540)
Keywords参照表現 / 自然言語処理 / 協調作業対話 / 視線情報 / 幾何パズル / 対話システム / 状況依存対話 / 言語生成・理解
Research Abstract

本研究では,対象物の空間的配置,言語表現に加え,話者の視線情報を併用する新しい参照表現の理解・生成のモデルを構築することを目的とし,以下の2つの課題を設定している.
(1)日本語の対話における話者の視線情報を含む参照表現コーパスの作成
(2)視線情報を利用した参照表現の理解と生成モデルの構築
(1)については昨年度作成したコーパスによってほぼその目的を達成しているので,今年度は,このコーパスを用いて(2)の参照表現の理解・生成モデルの構築を中心に研究をおこなった.
まず,参照表現の理解については,先行研究として我々が提案していた対話参加者の談話履歴情報と操作履歴情報を用いて参照解析をおこなうモデルに新たに話者の視線情報を追加し,モデルを拡張した.視線情報としては,参照表現発話前の一定時区間あるいは発話中の時区間に候補となる対象をどれくらいの頻度/時間注目しているかを表現する素性を用いた。コーパスを用いた評価実験の結果,解析精度を最大で20%改善することができた.
従来の参照表現の生成モデルは対象領域に含まれるすべての物体を常に考慮して,指示したい対象を他の物体といかに区別するか,またそのためにどのような表現を使うかを最適化することを主眼としていた.しかし,実際には参照表現を理解する聞き手が対象領域内のすべての物体に常に注目しているわけではなく,その一部に注目しているにすぎない.この現象を扱うために,参照表現の生成に聞き手の視線情報を用いた参照表現生成モデルを構築した.コーパスを用いた内生的評価では従来のモデルと比べより簡潔な表現を生成できることを示した.今後は外生的評価によってその有効性を実証する予定である.

  • Research Products

    (9 results)

All 2011 2010

All Journal Article (1 results) (of which Peer Reviewed: 1 results) Presentation (8 results)

  • [Journal Article] REX-J : Japanese referring expression corpus of situated dialogs2010

    • Author(s)
      Philipp Spanger, Masaaki Yasuhara, Ryu lida, Takenobu Tokunaga, Asuka Teral, Naoko Kuriyama
    • Journal Title

      Language Resources and Evaluation (Online First)

      Volume: 10. 1007/s10579-010-9134-8

    • Peer Reviewed
  • [Presentation] 視線情報を利用した協調作業対話における参照解析2011

    • Author(s)
      安原正晃・飯田龍・徳永健伸
    • Organizer
      言語処理学会第17回年次大会
    • Place of Presentation
      豊橋
    • Year and Date
      2011-03-10
  • [Presentation] 言語生成研究の動向2011

    • Author(s)
      徳永健伸
    • Organizer
      言語処理学会第17回年次大会
    • Place of Presentation
      豊橋
    • Year and Date
      2011-03-07
  • [Presentation] 視線情報を含むマルチモーダル協調作業対話コーピスの構築と利用2010

    • Author(s)
      安原正晃・石川真也・飯田龍・徳永健伸
    • Organizer
      情報処理学会自然言語処理研究会
    • Place of Presentation
      広島
    • Year and Date
      2010-11-19
  • [Presentation] 共同問題解決時の二者の視線一致が共有知識の形成に及ぼす効果2010

    • Author(s)
      栗山直子, 寺井あすか, 安原正晃, 徳永健伸, 山岸侯彦, 楠見孝
    • Organizer
      日本認知科学会第27回大会
    • Place of Presentation
      神戸
    • Year and Date
      2010-09-18
  • [Presentation] Construction of bilingual multimodal corpora of referring expressions in collaborative problem solving2010

    • Author(s)
      Tokunage Takenobu, Yasuhara Masaaki, Terai Asuka, David Morris, Anja Belz
    • Organizer
      The 8^<th> Workshop on Asian Language Resources
    • Place of Presentation
      北京(中国)
    • Year and Date
      2010-08-23
  • [Presentation] Effect of gaze matching on collaborative problem solving.2010

    • Author(s)
      Kuriyama Naoko, Terai Asuka, Yasuhara Masaaki, Tokunage Takenobu, Yamagishi Kimihiko, Kusumi Takashi
    • Organizer
      7th International Conference on Cognitive Science
    • Place of Presentation
      北京(中国)
    • Year and Date
      2010-08-18
  • [Presentation] Incorporating extra-linguistic information into reference resolution in collaborative task dialogue2010

    • Author(s)
      Ryu lida, Shumpei Kobayashi, Takenobu Tokunaga
    • Organizer
      The 48th Annual Meeting of the Association for Computational Linguistics
    • Place of Presentation
      Uppsala (Sweeden)
    • Year and Date
      2010-07-14
  • [Presentation] Towards an extrinsic evaluation of referring expressions in situated dialogs2010

    • Author(s)
      Philipp Spanger, lida Ryu, Tokunaga Takenobu, Terai Asuka, Kuriyama Naoko
    • Organizer
      The 6th International Natural Language Generation Conference
    • Place of Presentation
      Trim (Ireland)
    • Year and Date
      2010-07-09

URL: 

Published: 2012-07-19  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi