• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

視線情報を利用した参照表現の理解・生成モデル

研究課題

研究課題/領域番号 21300049
研究種目

基盤研究(B)

配分区分補助金
応募区分一般
研究分野 知能情報学
研究機関東京工業大学

研究代表者

徳永 健伸  東京工業大学, 大学院・情報理工学研究科, 教授 (20197875)

研究分担者 栗山 直子  東京工業大学, 大学院・社会理工学研究科, 助教 (90361782)
寺井 あすか  東京工業大学, グローバルエッジ研究院, テニュア・トラック助教 (70422540)
研究期間 (年度) 2009 – 2011
研究課題ステータス 完了 (2011年度)
配分額 *注記
18,850千円 (直接経費: 14,500千円、間接経費: 4,350千円)
2011年度: 2,210千円 (直接経費: 1,700千円、間接経費: 510千円)
2010年度: 3,770千円 (直接経費: 2,900千円、間接経費: 870千円)
2009年度: 12,870千円 (直接経費: 9,900千円、間接経費: 2,970千円)
キーワード参照表現 / 自然言語処理 / 協調作業対話 / 視線情報 / 幾何パズル / 対話システム / 状況依存対話 / 言語生成・理解
研究概要

人間が対象物体を指示する時に用いる参照表現を計算機で扱うモデルを構築するための基礎データとして,日本語の参照表現コーパスを作成した. 2名で幾何パズルを協調して解く課題を与え,その時の対話音声,パズル・ピースの位置,パズル・ピースに対する操作,および対話者の視線などの情報をすべて時間同期して記録した.対話音声を書き起し,その中から参照表現を抽出し,指示対象と表現中の性質をアノテーションし,合計131対話からなるマルチモーダル・コーパスを作成した.このコーパスを基礎データとし,視線や行動などの非言語情報を利用した参照表現の理解・生成モデルを機械学習の枠組を用いて実現した.作成したコーパスを用いてこれらのモデルの評価をおこない,その有効性を確認した.

報告書

(4件)
  • 2011 実績報告書   研究成果報告書 ( PDF )
  • 2010 実績報告書
  • 2009 実績報告書
  • 研究成果

    (39件)

すべて 2011 2010 2009

すべて 雑誌論文 (2件) (うち査読あり 2件) 学会発表 (37件)

  • [雑誌論文] REX-J : Japanese referring expression corpus of situated dialogs2010

    • 著者名/発表者名
      Phlipp Spanger, Masaaki Yasuhara, Ryu Iida, Takenobu Tokunaga, Asuka Terai, Naoko Kuriyama
    • 雑誌名

      Language Resources and Evaluation

      巻: 46 号: 3 ページ: 461-491

    • DOI

      10.1007/s10579-010-9134-8

    • 関連する報告書
      2011 研究成果報告書
    • 査読あり
  • [雑誌論文] REX-J : Japanese referring expression corpus of situated dialogs2010

    • 著者名/発表者名
      Philipp Spanger, Masaaki Yasuhara, Ryu lida, Takenobu Tokunaga, Asuka Teral, Naoko Kuriyama
    • 雑誌名

      Language Resources and Evaluation (Online First)

      巻: 10. 1007/s10579-010-9134-8

    • 関連する報告書
      2010 実績報告書
    • 査読あり
  • [学会発表] 参照表現ベイジアンネットワークによる参照解決の評価2011

    • 著者名/発表者名
      船越孝太郎, 中野幹生, 徳永健伸, 飯田龍
    • 学会等名
      情報処理学会自然言語処理研究会
    • 発表場所
      石垣市
    • 年月日
      2011-11-29
    • 関連する報告書
      2011 研究成果報告書
  • [学会発表] 参照表現ベイジアンネットワークによる参照解決の評価2011

    • 著者名/発表者名
      船越孝太郎, 中野幹生, 徳永健伸, 飯田龍
    • 学会等名
      情報処理学会自然言語処理研究会
    • 発表場所
      石垣市商工会館
    • 年月日
      2011-11-22
    • 関連する報告書
      2011 実績報告書
  • [学会発表] Multi-modal Reference Resolution in Situated Dialogue by Integrating Linguistic and Extra-Linguistic Clues2011

    • 著者名/発表者名
      Ryu Iida, Masaaki Yasuhara, Takenobu Tokunaga
    • 学会等名
      Proceedings of the 5th International Joint Conference on Natural Language Processing(IJCNLP2011)
    • 発表場所
      Chiang Mai
    • 年月日
      2011-11-09
    • 関連する報告書
      2011 研究成果報告書
  • [学会発表] Multi-modal reference resolution in situated dialogue by integrating ling uistic and extralinguistic clues2011

    • 著者名/発表者名
      Ryu Iida, Masaaki Yasuhara, Takenobu Tokunaga
    • 学会等名
      Proceedings of the 5th International Joint Conference on Natural Language Processing
    • 発表場所
      Chiang Mai, Thailand
    • 年月日
      2011-11-09
    • 関連する報告書
      2011 実績報告書
  • [学会発表] Gaze matching of referring expressions in collaborative problem solving2011

    • 著者名/発表者名
      Naoko Kuriyama, Asuka Terai, Masaaki Yasuhara, Takenobu Tokunaga, Kimihiko Yamagishi, Takashi Kusumi
    • 学会等名
      Proceedings of International Workshop on Dual Eye Tracking in CSCW(DUET 2011)
    • 発表場所
      Aarhus
    • 年月日
      2011-09-25
    • 関連する報告書
      2011 研究成果報告書
  • [学会発表] Using metaphors in collaborative problem solving : An eye-movement analysis2011

    • 著者名/発表者名
      Asuka Terai, Naoko Kuriyama, Masaaki Yasuhara, Takenobu Tokunaga, Kimihiko Yamagishi, Takashi Kusumi
    • 学会等名
      Proceedings of International Workshop on Dual Eye Tracking in CSCW(DUET 2011)
    • 発表場所
      Aarhus
    • 年月日
      2011-09-25
    • 関連する報告書
      2011 研究成果報告書
  • [学会発表] Gaze matching of referring expressions in collaborative problem solving2011

    • 著者名/発表者名
      Naoko Kuriyama, Asuka Terai, Masaaki Yasuhara, Takenobu Tokunaga, Kimihiko Yamagishi, Takashi Kusumi
    • 学会等名
      Proceedings of International Workshop on Dual Eye Tracking in CSCW
    • 発表場所
      Arhus, Denmark
    • 年月日
      2011-09-25
    • 関連する報告書
      2011 実績報告書
  • [学会発表] Using metaphors in collaborative problem solving : An eye-movement analysis2011

    • 著者名/発表者名
      Asuka Terai, Naoko Kuriyama, Masaaki Yasuhara, Takenobu Tokunaga, Kimihiko Yamagishi, Takashi Kusumi
    • 学会等名
      Proceedings of International Workshop on Dual Eye Tracking in CSCW
    • 発表場所
      Arhus, Denmark
    • 年月日
      2011-09-25
    • 関連する報告書
      2011 実績報告書
  • [学会発表] 共同問題解決における参照表現と視線一致率の関係-参照表現の属性に基づく分析2011

    • 著者名/発表者名
      栗山直子, 寺井あすか, 安原正晃, 徳永健伸, 山岸侯彦, 楠見孝
    • 学会等名
      日本認知科学会第28回大会
    • 発表場所
      東京
    • 年月日
      2011-09-23
    • 関連する報告書
      2011 研究成果報告書
  • [学会発表] 共同問題解決における参照表現と視線一致率の関係-参照表現の属性に基づく分析2011

    • 著者名/発表者名
      栗山直子, 寺井あすか, 安原正晃, 徳永健伸, 山岸侯彦, 楠見孝
    • 学会等名
      日本認知科学会第28回大会
    • 発表場所
      東京大学
    • 年月日
      2011-09-23
    • 関連する報告書
      2011 実績報告書
  • [学会発表] 共同問題解決における比喩の利用-視線情報に基づく検討2011

    • 著者名/発表者名
      寺井あすか, 栗山直子, 安原正晃, 徳永健伸, 山岸侯彦, 楠見孝
    • 学会等名
      日本心理学会第75回大会
    • 発表場所
      東京
    • 年月日
      2011-09-17
    • 関連する報告書
      2011 研究成果報告書
  • [学会発表] 共同問題解決における比喩の利用-視線情報に基づく検討2011

    • 著者名/発表者名
      寺井あすか, 栗山直子, 安原正晃, 徳永健伸, 山岸侯彦, 楠見孝
    • 学会等名
      日本心理学会第75回大会
    • 発表場所
      日本大学
    • 年月日
      2011-09-17
    • 関連する報告書
      2011 実績報告書
  • [学会発表] コンピュータを介した共同問題解決における発話同定~2者の視線一致とマウスポインタの役割の関係~2011

    • 著者名/発表者名
      栗山直子, 寺井あすか, 徳永健伸, 山岸侯彦, 楠見孝
    • 学会等名
      電子情報通信学会ヒューマンコミュニケーション基礎研究
    • 発表場所
      京都
    • 年月日
      2011-08-26
    • 関連する報告書
      2011 研究成果報告書
  • [学会発表] コンピュータを介した共同問題解決における発話同定~2者の視線一致とマウスポインタの役割の関係~2011

    • 著者名/発表者名
      栗山直子, 寺井あすか, 徳永健伸, 山岸侯彦, 楠見孝
    • 学会等名
      電子情報通信学会ヒューマンコミュニケーション基礎研究
    • 発表場所
      京都大学
    • 年月日
      2011-08-26
    • 関連する報告書
      2011 実績報告書
  • [学会発表] ベイジアンネットワークを用いた参照表現モデルの提案2011

    • 著者名/発表者名
      船越孝太郎, 中野幹生, 徳永健伸, 飯田龍
    • 学会等名
      情報処理学会自然言語処理研究会
    • 発表場所
      山形
    • 年月日
      2011-07-15
    • 関連する報告書
      2011 研究成果報告書
  • [学会発表] ベイジアンネットワークを用いた参照表現モデルの提案2011

    • 著者名/発表者名
      船越孝太郎, 中野幹生, 徳永健伸, 飯田龍
    • 学会等名
      情報処理学会自然言語処理研究会
    • 発表場所
      山形大学
    • 年月日
      2011-07-15
    • 関連する報告書
      2011 実績報告書
  • [学会発表] 視線情報を利用した協調作業対話における参照解析2011

    • 著者名/発表者名
      安原正晃, 飯田龍, 徳永健伸
    • 学会等名
      言語処理学会第17回年次大会発表論文集
    • 発表場所
      豊橋
    • 年月日
      2011-03-10
    • 関連する報告書
      2011 研究成果報告書
  • [学会発表] 視線情報を利用した協調作業対話における参照解析2011

    • 著者名/発表者名
      安原正晃・飯田龍・徳永健伸
    • 学会等名
      言語処理学会第17回年次大会
    • 発表場所
      豊橋
    • 年月日
      2011-03-10
    • 関連する報告書
      2010 実績報告書
  • [学会発表] 言語生成研究の動向2011

    • 著者名/発表者名
      徳永健伸
    • 学会等名
      言語処理学会第17回年次大会
    • 発表場所
      豊橋
    • 年月日
      2011-03-07
    • 関連する報告書
      2010 実績報告書
  • [学会発表] 視線情報を含むマルチモーダル協調作業対話コーパスの構築と利用2010

    • 著者名/発表者名
      安原正晃, 石川真也, 飯田龍, 徳永健伸
    • 学会等名
      情報処理学会自然言語処理研究会
    • 発表場所
      広島
    • 年月日
      2010-11-19
    • 関連する報告書
      2011 研究成果報告書
  • [学会発表] 視線情報を含むマルチモーダル協調作業対話コーピスの構築と利用2010

    • 著者名/発表者名
      安原正晃・石川真也・飯田龍・徳永健伸
    • 学会等名
      情報処理学会自然言語処理研究会
    • 発表場所
      広島
    • 年月日
      2010-11-19
    • 関連する報告書
      2010 実績報告書
  • [学会発表] 共同問題解決時の二者の視線一致が共有知識の形成に及ぼす効果2010

    • 著者名/発表者名
      栗山直子, 寺井あすか, 安原正晃, 徳永健伸, 山岸侯彦, 楠見孝
    • 学会等名
      日本認知科学会第27回大会
    • 発表場所
      神戸
    • 年月日
      2010-09-18
    • 関連する報告書
      2011 研究成果報告書 2010 実績報告書
  • [学会発表] Construction of bilingual multimodal corpora of referring expressions in collaborative problem solving2010

    • 著者名/発表者名
      Tokunaga Takenobu, Yasuhara Masaaki, Terai Asuka, David Morris, Anja Belz
    • 学会等名
      Proceedings of the Eighth Workshop on Asian Language Resources
    • 発表場所
      Beijing
    • 年月日
      2010-08-23
    • 関連する報告書
      2011 研究成果報告書
  • [学会発表] Construction of bilingual multimodal corpora of referring expressions in collaborative problem solving2010

    • 著者名/発表者名
      Tokunage Takenobu, Yasuhara Masaaki, Terai Asuka, David Morris, Anja Belz
    • 学会等名
      The 8^<th> Workshop on Asian Language Resources
    • 発表場所
      北京(中国)
    • 年月日
      2010-08-23
    • 関連する報告書
      2010 実績報告書
  • [学会発表] Effect of gaze matching on collaborative problem solving2010

    • 著者名/発表者名
      Kuriyama Naoko, Terai Asuka, Yasuhara Masaaki, Tokunaga Takenobu, Yamagishi Kimihiko and Kusumi Takashi
    • 学会等名
      Proceedings of 7th International Conference on Cognitive Science
    • 発表場所
      Beijing
    • 年月日
      2010-08-18
    • 関連する報告書
      2011 研究成果報告書
  • [学会発表] Effect of gaze matching on collaborative problem solving.2010

    • 著者名/発表者名
      Kuriyama Naoko, Terai Asuka, Yasuhara Masaaki, Tokunage Takenobu, Yamagishi Kimihiko, Kusumi Takashi
    • 学会等名
      7th International Conference on Cognitive Science
    • 発表場所
      北京(中国)
    • 年月日
      2010-08-18
    • 関連する報告書
      2010 実績報告書
  • [学会発表] Incorporating Extra-linguistic Information into Reference Resolution in Collaborative Task Dialogue2010

    • 著者名/発表者名
      Ryu Iida, Shumpei Kobayashi, Takenobu Tokunaga
    • 学会等名
      Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics
    • 発表場所
      Uppsala
    • 年月日
      2010-07-14
    • 関連する報告書
      2011 研究成果報告書
  • [学会発表] Incorporating extra-linguistic information into reference resolution in collaborative task dialogue2010

    • 著者名/発表者名
      Ryu lida, Shumpei Kobayashi, Takenobu Tokunaga
    • 学会等名
      The 48th Annual Meeting of the Association for Computational Linguistics
    • 発表場所
      Uppsala (Sweeden)
    • 年月日
      2010-07-14
    • 関連する報告書
      2010 実績報告書
  • [学会発表] Towards an Extrinsic Evaluation of Referring Expressions in Situated Dialogs2010

    • 著者名/発表者名
      Philipp Spanger, Iida Ryu, Tokunaga Takenobu, Terai Asuka, Kuriyama Naoko
    • 学会等名
      Proceedings of the Sixth International Natural Language Generation Conference(INLG 2010)
    • 発表場所
      Dublin
    • 年月日
      2010-07-09
    • 関連する報告書
      2011 研究成果報告書
  • [学会発表] Towards an extrinsic evaluation of referring expressions in situated dialogs2010

    • 著者名/発表者名
      Philipp Spanger, lida Ryu, Tokunaga Takenobu, Terai Asuka, Kuriyama Naoko
    • 学会等名
      The 6th International Natural Language Generation Conference
    • 発表場所
      Trim (Ireland)
    • 年月日
      2010-07-09
    • 関連する報告書
      2010 実績報告書
  • [学会発表] 非言語情報を用いた協調作業対話における照応解析2010

    • 著者名/発表者名
      小林俊平, 飯田龍, 徳永健伸, 船越孝太郎, 中野幹生
    • 学会等名
      第16回言語処理学会年次大会
    • 発表場所
      東京
    • 年月日
      2010-03-11
    • 関連する報告書
      2011 研究成果報告書 2009 実績報告書
  • [学会発表] 共同問題解決における視線の一致が解決過程に及ぼす影響2009

    • 著者名/発表者名
      栗山直子, 寺井あすか, 安原正晃, 徳永健伸, 山岸侯彦, 楠見孝
    • 学会等名
      日本認知科学会第26回大会
    • 発表場所
      藤沢
    • 年月日
      2009-09-12
    • 関連する報告書
      2011 研究成果報告書 2009 実績報告書
  • [学会発表] 視線情報に基づく共同問題解決における比喩の効果の実験的検討2009

    • 著者名/発表者名
      寺井あすか, 栗山直子, 安原正晃, 徳永健伸, 山岸侯彦, 楠見孝
    • 学会等名
      日本心理学会第73回
    • 発表場所
      京都
    • 年月日
      2009-08-27
    • 関連する報告書
      2011 研究成果報告書 2009 実績報告書
  • [学会発表] Using extra linguistic information for generating demonstrative pronouns in a situated collaboration task, Workshop on Production of Referring Expressions2009

    • 著者名/発表者名
      P., Spanger, Yasuhara, M., Iida, R., Tokunaga, T.
    • 学会等名
      Bridging the gap between computational and empirical approaches to reference
    • 発表場所
      Amsterdam
    • 年月日
      2009-07-29
    • 関連する報告書
      2011 研究成果報告書
  • [学会発表] Using extra linguistic information for generating demonstrative pronouns in a situated collaboration task2009

    • 著者名/発表者名
      P., Spanger, Yasuhara, M., Lida, R., Tokunaga, T.
    • 学会等名
      Workshop on Production of Referring Expressions : Bridging the gapbetween computational and empirical approaches to reference
    • 発表場所
      Amsterdam
    • 年月日
      2009-07-29
    • 関連する報告書
      2009 実績報告書
  • [学会発表] 日本語参照表現コーパスの構築と分析2009

    • 著者名/発表者名
      徳永健伸, P., Spanger, 安原正晃, 飯田龍
    • 学会等名
      情報処理学会自然言語処理研究会
    • 発表場所
      東京
    • 年月日
      2009-05-22
    • 関連する報告書
      2011 研究成果報告書
  • [学会発表] 日本語参照表現コーパスの構築と分析2009

    • 著者名/発表者名
      徳永健伸, P., Spanger, 安原正晃, 飯田龍
    • 学会等名
      情報処理学会 自然言語処理研究会
    • 発表場所
      東京
    • 年月日
      2009-05-22
    • 関連する報告書
      2009 実績報告書

URL: 

公開日: 2009-04-01   更新日: 2016-04-21  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi