Question generation for spoken dialogue robot to acquire personal knowledge

• Project/Area Number: 15J40163
• Research Category: Grant-in-Aid for JSPS Fellows
• Allocation Type: Single-year Grants
• Section: 国内
• Research Field: Multimedia database
• Research Institution: The University of Tokyo
• Principal Investigator: 山肩 洋子 東京大学, 情報理工学系研究科, 特別研究員(RPD)
• Project Period (FY): 2015-10-09 – 2019-03-31
• Project Status: Completed (Fiscal Year 2018)
• Budget Amount: ¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000); Fiscal Year 2018: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000); Fiscal Year 2017: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000); Fiscal Year 2016: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000); Fiscal Year 2015: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
• Keywords: 音声対話システム / 料理レシピ / 自分史 / 後述 / 情報検索 / 音声対話 / 質問生成 / 自然言語処理 / 口述

Outline of Annual Research Achievements

現在、Webに発信されているテキストのうち大多数はブログや料理レシピのようなユーザ投稿型文書である。多くの一般ユーザは自分の知識を人に説明することについて特別な訓練を受けておらず、また新聞社の記者が書いた記事のように専門家が執筆・編集しているわけではない。よってそのデータは不完全なものとなりがちで、ときにその記事の意味を理解できないほど情報が欠落する場合がある。そこで、記事が入力された時点で、大量の類似したデータを用いてその情報の欠落を検出し、補完できる情報は補完し、補完できなかった情報はその記事の投稿者から聞き出すための質問を生成することが本研究の目的である。今年度は半年間の短期であったが、以下の2点を行った。
1)国際ワークショップにおける研究成果の発表および広報活動
2018年7月15日、スウェーデン ストックホルムにおいて開催されたIJCAI-ECAI 10th Workshop on Multimedia for Cooking and Eating Activities (CEA2018)において、本研究で開発されたツールを活用して行った研究成果の発表を行った。このワークショップは食に関する情報処理研究を行う欧州の国際ワークショップMADiMa2018との共同開催であり、スイスやイタリア、スペイン等の参加者に対して、課題研究の広報活動を行うことができた。
2) 英国John Carroll教授との新しい関連課題について共同研究を開始
採用２年度目に英国サセックス大学に滞在し、自然言語処理における述語項構造解析で有名なJohn Carroll教授との共同研究を行った。その後、メールやSkype等を通じて遠隔地間で研究的議論を続けてきたが、同教授が今年8月末に日本を訪問した際に直接お会いし、議論を深め得ることができた。

Research Progress Status

平成30年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

平成30年度が最終年度であるため、記入しない。

Research Products

• [Int'l Joint Research] The University of Sussex(英国)
• [Int'l Joint Research] The University of Sussex(英国)
• [Int'l Joint Research] The university of Sussex(United Kingdom)
• [Int'l Joint Research] The University of Sussex(United Kingdom)
• [Journal Article] Cooking Recipe Search by Pairs of Ingredient and Action —Word Sequence v.s. Flow-graph Representation— (2017)
  • Author(s): Yoko Yamakata, Hirokuni Maeta, Takuya Kadowaki, Tetsuro Sasada, Shinji Imahori, Shinsuke Mori
  • Journal Title: Transactions of the Japanese Society for Artificial Intelligence Volume: 32 Issue: 1 Pages: WII-F_1-9
  • DOI: 10.1527/tjsai.WII-F
  • NAID: 130005290704
  • ISSN: 1346-0714, 1346-8030
  • Peer Reviewed / Open Access
• [Journal Article] Extracting Semantic Structure from Procedual Texts (2017)
  • Author(s): 前田 浩邦, 山肩 洋子, 森 信介
  • Journal Title: Transactions of the Japanese Society for Artificial Intelligence Volume: 32 Issue: 1 Pages: E-G24_1-8
  • DOI: 10.1527/tjsai.E-G24
  • NAID: 130005286766
  • ISSN: 1346-0714, 1346-8030
  • Peer Reviewed / Open Access
• [Journal Article] ワークフロー表現を用いたレシピの典型性評価と典型的なレシピの生成 (2016)
  • Author(s): 山肩 洋子，今堀 慎治，森 信介，田中 克己
  • Journal Title: 電子情報通信学会論文誌 D Volume: J99-D Pages: 378-391
  • Peer Reviewed
• [Presentation] "Bag-of-foods: analysis of personal foodlogging data" (2018)
  • Author(s): Yuji Goda, Sosuke Amano, Yoko Yamakata, Kiyoharu Aizawa
  • Organizer: IJCAI Joint Workshop on Multimedia for Cooking and Eating Activities and Multimedia Assisted Dietary Management
  • Int'l Joint Research
• [Presentation] "Resource intensity for menu items: how much land is required to provide for each dish?" (2018)
  • Author(s): Yoko Yamakata, Eiji Yamasue, Benjamin McLellan, Kiyoharu Aizawa
  • Organizer: IJCAI Joint Workshop on Multimedia for Cooking and Eating Activities and Multimedia Assisted Dietary Management
  • Int'l Joint Research
• [Presentation] 短期間の食事記録からの長期間記録の予測と評価 (2018)
  • Author(s): 椿田晃大, 天野宗佑, 山肩洋子, 相澤清晴, 小川誠
  • Organizer: 電子情報通信学会 メディア工学研究会
• [Presentation] アスリート支援のための食事画像認識 (2018)
  • Author(s): 安沢昌志, 天野宗佑, 山肩洋子, 元永恵子, 亀井明子
  • Organizer: 電子情報通信学会 メディア工学研究会
• [Presentation] 英文レシピを対象とした手順文書からの意味構造抽出 (2017)
  • Author(s): 山肩 洋子 , 前田 浩邦 , 森 信介 , John CARROLL
  • Organizer: 電子情報通信学会 データ工学研究会
• [Presentation] A Comparison of Cooking Recipe Named Entities between Japanese and English (2017)
  • Author(s): Yoko Yamakata, Shinsuke Mori, John Carroll
  • Organizer: 9th Workshop on Multimedia for Cooking and Eating Activities (CEA2017)
  • Int'l Joint Research
• [Presentation] 料理レシピデータセットを用いた料理用語辞書の自動構築---フローグラフから得られる加工履歴に基づく食材名の分布類似度計算に関する検討--- (2016)
  • Author(s): 山肩洋子, 難波英嗣, 大須賀智子, 原島純, 但馬康宏, 森信介, 大山敬三
  • Organizer: 電子情報通信学会技術研究報告
  • Place of Presentation: 国立情報学研究所，東京
  • Year and Date: 2016-12-01
• [Presentation] A Method for Extracting Major Workflow composed of Ingredients, Tools, and Actions from Cooking Procedural Text (2016)
  • Author(s): Yoko Yamakata, Shinji Imahori, Hirokuni Maeta, Shinsuke Mori
  • Organizer: 8th Workshop on Multimediafor Cooking and Eating Activities
  • Place of Presentation: Seattle, USA
  • Int'l Joint Research
• [Remarks] レシピツリー導出マニュアル
  • URL: http://plata.ar.media.kyoto-u.ac.jp/how-to/w-FG/home.html