視線情報を利用した参照表現の理解・生成モデル

2011 年度 研究成果報告書

• 研究課題/領域番号: 21300049
• 研究種目: 基盤研究(B)
• 配分区分: 補助金
• 応募区分: 一般
• 研究分野: 知能情報学
• 研究機関: 東京工業大学
• 研究代表者: 徳永 健伸 東京工業大学, 大学院・情報理工学研究科, 教授 (20197875)
• 研究分担者: 栗山 直子 東京工業大学, 大学院・社会理工学研究科, 助教 (90361782) ; 寺井 あすか 東京工業大学, グローバルエッジ研究院, テニュア・トラック助教 (70422540)
• 研究期間 (年度): 2009 – 2011
• キーワード: 参照表現 / 自然言語処理 / 協調作業対話 / 視線情報 / 幾何パズル / 対話システム / 状況依存対話 / 言語生成・理解

研究概要

人間が対象物体を指示する時に用いる参照表現を計算機で扱うモデルを構築するための基礎データとして,日本語の参照表現コーパスを作成した. 2名で幾何パズルを協調して解く課題を与え,その時の対話音声,パズル・ピースの位置,パズル・ピースに対する操作,および対話者の視線などの情報をすべて時間同期して記録した.対話音声を書き起し,その中から参照表現を抽出し,指示対象と表現中の性質をアノテーションし,合計131対話からなるマルチモーダル・コーパスを作成した.このコーパスを基礎データとし,視線や行動などの非言語情報を利用した参照表現の理解・生成モデルを機械学習の枠組を用いて実現した.作成したコーパスを用いてこれらのモデルの評価をおこない,その有効性を確認した.

研究成果

• [雑誌論文] REX-J : Japanese referring expression corpus of situated dialogs (2010)
  • 著者名/発表者名: Phlipp Spanger, Masaaki Yasuhara, Ryu Iida, Takenobu Tokunaga, Asuka Terai, Naoko Kuriyama
  • 雑誌名: Language Resources and Evaluation
  • DOI: DOI:10.1007/s10579-010-9134-8
  • 査読あり
• [学会発表] 参照表現ベイジアンネットワークによる参照解決の評価 (2011)
  • 著者名/発表者名: 船越孝太郎, 中野幹生, 徳永健伸, 飯田龍
  • 学会等名: 情報処理学会自然言語処理研究会
  • 発表場所: 石垣市
  • 年月日: 2011-11-29
• [学会発表] Multi-modal Reference Resolution in Situated Dialogue by Integrating Linguistic and Extra-Linguistic Clues (2011)
  • 著者名/発表者名: Ryu Iida, Masaaki Yasuhara, Takenobu Tokunaga
  • 学会等名: Proceedings of the 5th International Joint Conference on Natural Language Processing(IJCNLP2011)
  • 発表場所: Chiang Mai
  • 年月日: 2011-11-09
• [学会発表] Gaze matching of referring expressions in collaborative problem solving (2011)
  • 著者名/発表者名: Naoko Kuriyama, Asuka Terai, Masaaki Yasuhara, Takenobu Tokunaga, Kimihiko Yamagishi, Takashi Kusumi
  • 学会等名: Proceedings of International Workshop on Dual Eye Tracking in CSCW(DUET 2011)
  • 発表場所: Aarhus
  • 年月日: 2011-09-25
• [学会発表] Using metaphors in collaborative problem solving : An eye-movement analysis (2011)
  • 著者名/発表者名: Asuka Terai, Naoko Kuriyama, Masaaki Yasuhara, Takenobu Tokunaga, Kimihiko Yamagishi, Takashi Kusumi
  • 学会等名: Proceedings of International Workshop on Dual Eye Tracking in CSCW(DUET 2011)
  • 発表場所: Aarhus
  • 年月日: 2011-09-25
• [学会発表] 共同問題解決における参照表現と視線一致率の関係-参照表現の属性に基づく分析 (2011)
  • 著者名/発表者名: 栗山直子, 寺井あすか, 安原正晃, 徳永健伸, 山岸侯彦, 楠見孝
  • 学会等名: 日本認知科学会第28回大会
  • 発表場所: 東京
  • 年月日: 2011-09-23
• [学会発表] 共同問題解決における比喩の利用-視線情報に基づく検討 (2011)
  • 著者名/発表者名: 寺井あすか, 栗山直子, 安原正晃, 徳永健伸, 山岸侯彦, 楠見孝
  • 学会等名: 日本心理学会第75回大会
  • 発表場所: 東京
  • 年月日: 2011-09-17
• [学会発表] コンピュータを介した共同問題解決における発話同定～2者の視線一致とマウスポインタの役割の関係～ (2011)
  • 著者名/発表者名: 栗山直子, 寺井あすか, 徳永健伸, 山岸侯彦, 楠見孝
  • 学会等名: 電子情報通信学会ヒューマンコミュニケーション基礎研究
  • 発表場所: 京都
  • 年月日: 2011-08-26
• [学会発表] ベイジアンネットワークを用いた参照表現モデルの提案 (2011)
  • 著者名/発表者名: 船越孝太郎, 中野幹生, 徳永健伸, 飯田龍
  • 学会等名: 情報処理学会自然言語処理研究会
  • 発表場所: 山形
  • 年月日: 2011-07-15
• [学会発表] 視線情報を利用した協調作業対話における参照解析 (2011)
  • 著者名/発表者名: 安原正晃, 飯田龍, 徳永健伸
  • 学会等名: 言語処理学会第17回年次大会発表論文集
  • 発表場所: 豊橋
  • 年月日: 2011-03-10
• [学会発表] 視線情報を含むマルチモーダル協調作業対話コーパスの構築と利用 (2010)
  • 著者名/発表者名: 安原正晃, 石川真也, 飯田龍, 徳永健伸
  • 学会等名: 情報処理学会自然言語処理研究会
  • 発表場所: 広島
  • 年月日: 2010-11-19
• [学会発表] 共同問題解決時の二者の視線一致が共有知識の形成に及ぼす効果 (2010)
  • 著者名/発表者名: 栗山直子, 寺井あすか, 安原正晃, 徳永健伸, 山岸侯彦, 楠見孝
  • 学会等名: 日本認知科学会第27回大会
  • 発表場所: 神戸
  • 年月日: 2010-09-18
• [学会発表] Construction of bilingual multimodal corpora of referring expressions in collaborative problem solving (2010)
  • 著者名/発表者名: Tokunaga Takenobu, Yasuhara Masaaki, Terai Asuka, David Morris, Anja Belz
  • 学会等名: Proceedings of the Eighth Workshop on Asian Language Resources
  • 発表場所: Beijing
  • 年月日: 2010-08-23
• [学会発表] Effect of gaze matching on collaborative problem solving (2010)
  • 著者名/発表者名: Kuriyama Naoko, Terai Asuka, Yasuhara Masaaki, Tokunaga Takenobu, Yamagishi Kimihiko and Kusumi Takashi
  • 学会等名: Proceedings of 7th International Conference on Cognitive Science
  • 発表場所: Beijing
  • 年月日: 2010-08-18
• [学会発表] Incorporating Extra-linguistic Information into Reference Resolution in Collaborative Task Dialogue (2010)
  • 著者名/発表者名: Ryu Iida, Shumpei Kobayashi, Takenobu Tokunaga
  • 学会等名: Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics
  • 発表場所: Uppsala
  • 年月日: 2010-07-14
• [学会発表] Towards an Extrinsic Evaluation of Referring Expressions in Situated Dialogs (2010)
  • 著者名/発表者名: Philipp Spanger, Iida Ryu, Tokunaga Takenobu, Terai Asuka, Kuriyama Naoko
  • 学会等名: Proceedings of the Sixth International Natural Language Generation Conference(INLG 2010)
  • 発表場所: Dublin
  • 年月日: 2010-07-09
• [学会発表] 非言語情報を用いた協調作業対話における照応解析 (2010)
  • 著者名/発表者名: 小林俊平, 飯田龍, 徳永健伸, 船越孝太郎, 中野幹生
  • 学会等名: 第16回言語処理学会年次大会
  • 発表場所: 東京
  • 年月日: 2010-03-11
• [学会発表] 共同問題解決における視線の一致が解決過程に及ぼす影響 (2009)
  • 著者名/発表者名: 栗山直子, 寺井あすか, 安原正晃, 徳永健伸, 山岸侯彦, 楠見孝
  • 学会等名: 日本認知科学会第26回大会
  • 発表場所: 藤沢
  • 年月日: 2009-09-12
• [学会発表] 視線情報に基づく共同問題解決における比喩の効果の実験的検討 (2009)
  • 著者名/発表者名: 寺井あすか, 栗山直子, 安原正晃, 徳永健伸, 山岸侯彦, 楠見孝
  • 学会等名: 日本心理学会第73回
  • 発表場所: 京都
  • 年月日: 2009-08-27
• [学会発表] Using extra linguistic information for generating demonstrative pronouns in a situated collaboration task, Workshop on Production of Referring Expressions (2009)
  • 著者名/発表者名: P., Spanger, Yasuhara, M., Iida, R., Tokunaga, T.
  • 学会等名: Bridging the gap between computational and empirical approaches to reference
  • 発表場所: Amsterdam
  • 年月日: 2009-07-29
• [学会発表] 日本語参照表現コーパスの構築と分析 (2009)
  • 著者名/発表者名: 徳永健伸, P., Spanger, 安原正晃, 飯田龍
  • 学会等名: 情報処理学会自然言語処理研究会
  • 発表場所: 東京
  • 年月日: 2009-05-22