• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Recipe dictation system from verbal illustration of how to cook while cooking

Research Project

Project/Area Number 23700144
Research Category

Grant-in-Aid for Young Scientists (B)

Allocation TypeMulti-year Fund
Research Field Media informatics/Database
Research InstitutionKyoto University

Principal Investigator

YAMAKATA Yoko  京都大学, 情報学研究科, 特定准教授 (60423018)

Project Period (FY) 2011 – 2014
Project Status Completed (Fiscal Year 2014)
Budget Amount *help
¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2014: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2013: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2012: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2011: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Keywordsメディア情報学 / ヒューマンインターフェイス / 音声対話システム / 映像認識 / 自然言語処理 / メディア情報処理
Outline of Final Research Achievements

This research constructed a method for generating a cooking procedural text automatically by recognizing a cooker’s verbal explanation of how to cook. Usually, on a Japanese recipe, an intermediate food that is manipulated on the process (1), for example, is designated by the number of the process such as “mix (1) to (2).” However, people never call an intermediate food by such a process number but call it as “the vegetable I cut” or “the ingredients of a NIKUJAGA.” Therefore, this research discovered a human wording rule for designating an intermediate object by analyzing cooking videos and interviews with many cookers, and constructed a method to translate automatically a cooker’s designation in speech to suitable wording in text.

Report

(4 results)
  • 2014 Final Research Report ( PDF )
  • 2013 Annual Research Report
  • 2012 Research-status Report
  • 2011 Research-status Report
  • Research Products

    (25 results)

All 2014 2013 2012 2011 Other

All Journal Article (3 results) (of which Peer Reviewed: 2 results) Presentation (16 results) (of which Invited: 1 results) Remarks (6 results)

  • [Journal Article] 情報分野における食メディア研究2013

    • Author(s)
      山肩洋子
    • Journal Title

      日本工業出版 画像ラボ

      Volume: 2013年7月号 Pages: 1-8

    • Related Report
      2013 Annual Research Report
  • [Journal Article] 呼称により指示された中間食材を同定するための画像認識モデルおよび呼称解釈法の提案2011

    • Author(s)
      山肩 洋子, 角所 考, 美濃 導彦
    • Journal Title

      電子情報通信学会論文誌

      Volume: Vol. J94-A, No. 7 Pages: 519-531

    • Related Report
      2011 Research-status Report
    • Peer Reviewed
  • [Journal Article] 把持の順序と外見の変化モデルを利用した調理作業における食材追跡2011

    • Author(s)
      橋本 敦史, 舩冨 卓哉, 中村 和晃, 椋木 雅之, 美濃 導彦
    • Journal Title

      電子情報通信学会論文誌

      Volume: Vol. J94-A, No. 7 Pages: 509-518

    • Related Report
      2011 Research-status Report
    • Peer Reviewed
  • [Presentation] Flow Graph Corpus from Recipe Texts2014

    • Author(s)
      Shinsuke Mori, Hirokuni Maeta, Yoko Yamakata, Tetsuro Sasada
    • Organizer
      The International Conference on Language Resources and Evaluation Conference
    • Place of Presentation
      Reykjavik, Iceland
    • Related Report
      2013 Annual Research Report
  • [Presentation] 誕生・使用事由によるレシピ検索~生い立ちレシピサーチ~2014

    • Author(s)
      門脇拓也, 山肩洋子, 森 信介, 田中克己
    • Organizer
      第6回データ工学と情報マネジメントに関するフォーラム(DEIM)
    • Place of Presentation
      兵庫県, 日本
    • Related Report
      2013 Annual Research Report
  • [Presentation] Feature Extraction and Summarization of Recipes Using Flow Graph2013

    • Author(s)
      Yoko Yamakata, Shinji Imahori, Yuichi Sugiyama, Shinsuke Mori, and Katsumi Tanaka
    • Organizer
      the 5th International Conference on Social Informatics (SocInfo2013)
    • Place of Presentation
      Kyoto, Japan
    • Related Report
      2013 Annual Research Report
  • [Presentation] レシピテキストのためのフローグラフの定義2013

    • Author(s)
      森信介, 山肩洋子, 笹田鉄郎, 前田浩邦
    • Organizer
      情報処理学会 第214回自然言語処理研究会
    • Place of Presentation
      鹿児島,日本
    • Related Report
      2013 Annual Research Report
  • [Presentation] レシピフローグラフを介したレシピ集合の要約と特徴抽出2013

    • Author(s)
      山肩洋子,今堀慎治,杉山祐一,田中克己
    • Organizer
      電子情報通信学会データ工学研究会
    • Place of Presentation
      東京,日本
    • Related Report
      2013 Annual Research Report
  • [Presentation] レシピテキストからのフローグラフコーパス作成,2013

    • Author(s)
      前田浩邦, 山肩洋子, 森 信介
    • Organizer
      電子情報通信学会データ工学研究会
    • Place of Presentation
      東京,日本
    • Related Report
      2013 Annual Research Report
  • [Presentation] 手順情報としてのレシピデータに対する類似レシピの要約と微小で重要な差異の発見2013

    • Author(s)
      杉山 祐一, 山肩 洋子, 田中 克己
    • Organizer
      第5回データ工学と情報マネジメントに関するフォーラム
    • Place of Presentation
      福島
    • Related Report
      2012 Research-status Report
  • [Presentation] IwaCamを用いたメディア処理による遠隔コミュニケーションの支援 : 同時調理を題材とした映像と音声の役割に関する考察2012

    • Author(s)
      山肩 洋子, 橋本 敦史, 舩冨 卓哉, 平松 紘実, 辻 秀典, 森 信介
    • Organizer
      電子情報通信学会 データ工学研究会
    • Place of Presentation
      東京
    • Related Report
      2012 Research-status Report
  • [Presentation] 料理と食を取り巻く情報メディア技術2012

    • Author(s)
      山肩 洋子
    • Organizer
      電子情報通信学会 パターン認識・メディア理解研究会
    • Place of Presentation
      千葉
    • Related Report
      2012 Research-status Report
    • Invited
  • [Presentation] A Machine Learning Approach to Recipe Text Processing2012

    • Author(s)
      Shinsuke Mori, Tetsuro Sasada, Yoko Yamakata, Koichiro Yoshino
    • Organizer
      Cooking with Computers workshop
    • Place of Presentation
      Montpellier, France
    • Related Report
      2012 Research-status Report
  • [Presentation] Recognizing ingredients at cutting process by integrating multimodal features2012

    • Author(s)
      Atsushi Hashimoto, Jin Inoue, Kazuaki Nakamura, Takuya Funatomi, Mayumi Ueda, Yoko Yamakata, Michihiko Minoh
    • Organizer
      4th Workshop on Multimediafor Cooking and Eating Activities : CEA2012
    • Place of Presentation
      Paris, France
    • Related Report
      2012 Research-status Report
  • [Presentation] おいしさの構造と客観的評価2012

    • Author(s)
      山肩 洋子
    • Organizer
      WebDB Forum 2012 企画セッション
    • Place of Presentation
      東京
    • Related Report
      2012 Research-status Report
  • [Presentation] IwaCam: a Multimedia Processing Platform for Supporting Video-Based Cooking Communication2012

    • Author(s)
      Hidenori Tsuji, Yoko Yamakata, Takuya Funatomi, Hiromi Hiramatsu, Shinsuke Mori
    • Organizer
      International Conference on Future Generation Communication Technologies
    • Place of Presentation
      London, UK.
    • Related Report
      2012 Research-status Report
  • [Presentation] 画像・振動音・荷重データを統合的に用いた食材認識2012

    • Author(s)
      井上 仁
    • Organizer
      電子情報通信学会 マルチメディア・仮想環境基礎(MVE)研究会
    • Place of Presentation
      富山県,富山市
    • Related Report
      2011 Research-status Report
  • [Presentation] Cooking Ingredient Recognition Based on the Load on a Chopping Board during Cutting2011

    • Author(s)
      Mayumi Ueda
    • Organizer
      3rd Workshop on Multimedia for Cooking and Eating Activities : CEA2011
    • Place of Presentation
      California, USA
    • Related Report
      2011 Research-status Report
  • [Presentation] 鮨屋における調理場観測映像の解析によるサービス支援2011

    • Author(s)
      山肩 洋子
    • Organizer
      第2回文化とコンピューティング国際会議共催イベント「食文化に関する学際的探求: 作る,食べる,もてなす」
    • Place of Presentation
      京都府,京都市
    • Related Report
      2011 Research-status Report
  • [Remarks] レシピ用語認識器

    • URL

      http://plata.ar.media.kyoto-u.ac.jp/mori/research/topics/NER/

    • Related Report
      2013 Annual Research Report
  • [Remarks] レシピ フロー グラフ コーパス (r-FG corpus)

    • URL

      http://plata.ar.media.kyoto-u.ac.jp/mori/research/NLR/FGC/main.html

    • Related Report
      2013 Annual Research Report
  • [Remarks] 料理映像コミュニケーション基盤ソフトウェア Iwacam

    • URL

      http://iwacam.iit.jp/

    • Related Report
      2013 Annual Research Report
  • [Remarks] 電子情報通信学会 食メディア研究会(副委員長)

    • URL

      http://www.ccm.media.kyoto-u.ac.jp/CEA/

    • Related Report
      2012 Research-status Report
  • [Remarks] 国際ワークショップCEA2012 (organizing chair)

    • URL

      http://www.ccm.media.kyoto-u.ac.jp/CEA2012/

    • Related Report
      2012 Research-status Report
  • [Remarks] 電子情報通信学会ヒューマン・コミュニケーション・グループ 食メディア研究会において副委員長を担当

    • URL

      http://www.ccm.media.kyoto-u.ac.jp/CEA/

    • Related Report
      2011 Research-status Report

URL: 

Published: 2011-08-05   Modified: 2019-07-29  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi