• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

家庭における「ものづくり」の学び・教えを助けるマルチメディアコンテンツの作成支援

研究課題

研究課題/領域番号 18K11425
研究種目

基盤研究(C)

配分区分基金
応募区分一般
審査区分 小区分61030:知能情報学関連
研究機関東京大学

研究代表者

山肩 洋子  東京大学, 大学院情報理工学系研究科, 准教授 (60423018)

研究分担者 山崎 俊彦  東京大学, 大学院情報理工学系研究科, 教授 (70376599)
今堀 慎治  中央大学, 理工学部, 教授 (90396789)
研究期間 (年度) 2018-04-01 – 2023-03-31
研究課題ステータス 完了 (2022年度)
配分額 *注記
4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円)
2020年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円)
2019年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円)
2018年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
キーワード食のAI / 手順文書の意味理解 / 調理支援 / 食事管理アプリケーション / 人間行動認識 / マルチメディア情報処理 / 教示コンテンツ自動生成 / e-learning / ものづくり / レシピ / 料理・調理
研究成果の概要

本研究はAIの技術により、専門知識を持たない人であっても「ものづくり」を学び、他者に教えることを可能とすることが本研究の目標である。研究代表者が長年か変わってきた調理を題材に、次の3つの課題を行った。1つ目はレシピの意味理解を行う自然言語処理モデルの開発である。これまで和文・英文で作成してきたコーパスを中国語に広げた。また、レシピによって食事を記録・管理するためのスマホアプリRecipeLogの開発に着手した。最後に、レシピの可読性を向上させるため、付加的説明文を自動生成する手法を提案した。以上の成果は、ACM Multimedia 2022を始めとする国内外の会議および学術誌で発表した。

研究成果の学術的意義や社会的意義

調理や裁縫は特別な教育を受けた一部の専門家だけでなく、多くの一般の人々が家庭内で携わっている「ものづくり」であり、その技術やノウハウの共有を支援することに社会的意義がある。本課題では、ものづくりの手順書であるレシピについて、専門教育を受けていない一般の人が記述すると欠損しがちだが、読者の理解を助ける付加的説明文を自動生成することで、その知識共有を支援する技術を開発した。また、レシピを作成する経験に乏しいユーザであっても、AI技術により簡単に自分のレシピを記録できるアプリRecipeLogは、家庭における「ものづくり」の情報収集およびフィールドワークのツールとして活用が見込まれる。

報告書

(6件)
  • 2022 実績報告書   研究成果報告書 ( PDF )
  • 2021 実施状況報告書
  • 2020 実施状況報告書
  • 2019 実施状況報告書
  • 2018 実施状況報告書
  • 研究成果

    (52件)

すべて 2023 2022 2021 2020 2019 2018 その他

すべて 国際共同研究 (4件) 雑誌論文 (13件) (うち国際共著 1件、 査読あり 4件、 オープンアクセス 6件) 学会発表 (31件) (うち国際学会 10件、 招待講演 1件) 備考 (4件)

  • [国際共同研究] University of California, Irvine(米国)

    • 関連する報告書
      2021 実施状況報告書
  • [国際共同研究] The University of Sussex(英国)

    • 関連する報告書
      2020 実施状況報告書
  • [国際共同研究] University of Sussex(英国)

    • 関連する報告書
      2019 実施状況報告書
  • [国際共同研究] The University of Sussex(英国)

    • 関連する報告書
      2018 実施状況報告書
  • [雑誌論文] 付加的な説明文の生成と提示による料理レシピ執筆支援手法の提案と評価2022

    • 著者名/発表者名
      香川璃奈, 原 悠輔, 姜 志勲, 山肩洋子
    • 雑誌名

      電子情報通信学会論文誌D 情報・システム

      巻: J105-D 号: 12 ページ: 736-746

    • DOI

      10.14923/transinfj.2022JDP7025

    • ISSN
      1880-4535, 1881-0225
    • 年月日
      2022-12-01
    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Recipe Recording by Duplicating and Editing Standard Recipe2022

    • 著者名/発表者名
      Akihisa Ishino, Yoko Yamakata, Kiyoharu Aizawa
    • 雑誌名

      International Workshop on Multimedia for Cooking, Eating, and related APPlications in conjunction with ACMMM2022 (CEA++22)

      巻: NA ページ: 37-40

    • DOI

      10.1145/3552485.3554942

    • 関連する報告書
      2022 実績報告書
    • 査読あり
  • [雑誌論文] MIRecipe: A Recipe Dataset for Stage-Aware Recognition of Changes in Appearance of Ingredients2021

    • 著者名/発表者名
      Yixin Zhang, Yoko Yamakata, and Keishi Tajima
    • 雑誌名

      ACM Multimedia Asia (MMAsia '21)

      巻: 16 ページ: 1-1

    • DOI

      10.1145/3469877.3490596

    • 関連する報告書
      2021 実施状況報告書
    • オープンアクセス
  • [雑誌論文] Noisy Annotation Refinement for Object Detection2021

    • 著者名/発表者名
      Jiafeng Mao, Qing Yu, Yoko Yamakata and Kiyoharu Aizawa
    • 雑誌名

      British Machine Vision Conference (BMVC)

      巻: - ページ: 1-1

    • 関連する報告書
      2021 実施状況報告書
    • オープンアクセス
  • [雑誌論文] Boosting Personalized Food Image Classifier by Sharing Food Records2021

    • 著者名/発表者名
      Seum Kim, Yoko Yamakata, and Kiyoharu Aizawa
    • 雑誌名

      ACM Multimedia Workshop on CEA (CEA '21)

      巻: - ページ: 29-29

    • DOI

      10.1145/3463947.3469238

    • 関連する報告書
      2021 実施状況報告書
  • [雑誌論文] World Food Atlas Project2021

    • 著者名/発表者名
      Ali Rostami, Zhouhang Xie, Akihisa Ishino, Yoko Yamakata, Kiyoharu Aizawa, and Ramesh Jain
    • 雑誌名

      ACM Multimedia Workshop on CEA (CEA '21)

      巻: - ページ: 33-33

    • DOI

      10.1145/3463947.3469235

    • 関連する報告書
      2021 実施状況報告書
    • オープンアクセス / 国際共著
  • [雑誌論文] RecipeLog: Recipe Authoring App for Accurate Food Recording2021

    • 著者名/発表者名
      Akihisa Ishino, Yoko Yamakata, Hiroaki Karasawa and Kiyoharu Aizawa
    • 雑誌名

      ACM Multimedia 2021, Technical Demo

      巻: - ページ: 2798-2798

    • DOI

      10.1145/3474085.3478563

    • 関連する報告書
      2021 実施状況報告書
  • [雑誌論文] Supplementing Omitted Named Entities in Cooking Procedural Text with Attached Images2021

    • 著者名/発表者名
      Yixin Zhang, Yoko Yamakata, Keishi Tajima
    • 雑誌名

      IEEE 4th International Conference on Multimedia Information Processing and Retrieval (MIPR2021)

      巻: - ページ: 199-199

    • DOI

      10.1109/mipr51284.2021.00037

    • 関連する報告書
      2021 実施状況報告書
  • [雑誌論文] 食行動の自動認識に向けた食事中の一人称視点映像データセットの構築2021

    • 著者名/発表者名
      佐藤賢志郎、天野宗佑、山肩洋子、相澤清晴
    • 雑誌名

      映像情報メディア学会 メディア工学研究会

      巻: vol. 46, no. 6 ページ: 19-19

    • 関連する報告書
      2021 実施状況報告書
  • [雑誌論文] RecipeLog :食事管理のためのスケルトンレシピの作成と応用2021

    • 著者名/発表者名
      石野 耀久, 山肩 洋子, 唐澤 弘明, 相澤 清晴
    • 雑誌名

      HCGシンポジウム

      巻: - ページ: 1-1

    • 関連する報告書
      2021 実施状況報告書
  • [雑誌論文] クックパッドデータセットで学習したBERT及びGPT-2の活用法に関する検討2021

    • 著者名/発表者名
      香川璃奈, 原悠輔, 姜志勲,山肩洋子
    • 雑誌名

      HCGシンポジウム2021

      巻: - ページ: 1-1

    • 関連する報告書
      2021 実施状況報告書
  • [雑誌論文] Structure-Aware Procedural Text Generation From an Image Sequence2020

    • 著者名/発表者名
      T. Nishimura, A. Hashimoto, Y. Ushiku, H. Kameko, Y. Yamakata and S. Mori
    • 雑誌名

      IEEE Access

      巻: 9 ページ: 2125-2141

    • DOI

      10.1109/access.2020.3043452

    • 関連する報告書
      2020 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Recognition of Multiple Food Items in A Single Photo for Use in A Buffet-Style Restaurant2019

    • 著者名/発表者名
      Masashi ANZAWA, Sosuke AMANO, Yoko YAMAKATA, Keiko MOTONAGA, Akiko KAMEI, Kiyoharu AIZAWA
    • 雑誌名

      IEICE Transactions on Information and Systems

      巻: E102.D 号: 2 ページ: 410-414

    • DOI

      10.1587/transinf.2018EDL8183

    • NAID

      130007589314

    • ISSN
      0916-8532, 1745-1361
    • 年月日
      2019-02-01
    • 関連する報告書
      2018 実施状況報告書
    • 査読あり / オープンアクセス
  • [学会発表] Food Computing for Human and Planet Health2023

    • 著者名/発表者名
      山肩洋子
    • 学会等名
      2023 INTERNATIONAL WORKSHOP ON ADVANCED IMAGE TECHNOLOGY (IWAIT)
    • 関連する報告書
      2022 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] RecipeLog:レシピ作成の支援ツール2021

    • 著者名/発表者名
      佐藤賢志郎,石野耀久,唐澤弘明,山肩洋子,相澤清晴
    • 学会等名
      日本栄養改善学会学術総会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 文書の内容と構造が書き手の負担と読み手の効用に与える影響の研究:文書記載支援技術の開発に向けて2021

    • 著者名/発表者名
      香川璃奈, 松原正樹, 宮田玲, 馬場雪乃, 山肩洋子
    • 学会等名
      2021年度 人工知能学会全国大会論文集 (JSAI2021)
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 料理レシピの内容と構成が書き手の負担と読み手の効用に与える影響の研究2021

    • 著者名/発表者名
      香川璃奈, 松原正樹, 宮田玲, 馬場雪乃, 山肩洋子
    • 学会等名
      人工知能学会第26回インタラクティブ情報アクセスと可視化マイニング研究会
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] 既存レシピをテンプレートとするレシピ作成支援アプリRecipeLogの開発2021

    • 著者名/発表者名
      石野耀久, 唐澤弘明, 山肩洋子, 相澤清晴
    • 学会等名
      データ工学と情報マネジメントに関するフォーラム DEIM Forum 2021
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] Stage-Aware Recognition Method for Foodstuffs Changing in Appearance During Cooking Process on Chinese Recipe2021

    • 著者名/発表者名
      Yixin Zhang, Yoko Yamakata, Keishi Tajima
    • 学会等名
      データ工学と情報マネジメントに関するフォーラム DEIM Forum 2021
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] English Recipe Flow Graph Corpus2020

    • 著者名/発表者名
      Yoko Yamakata, Shinsuke Mori and John Carroll
    • 学会等名
      International Conference on Language Resources and Evaluation (LREC)
    • 関連する報告書
      2020 実施状況報告書
    • 国際学会
  • [学会発表] Visual Grounding Annotation of Recipe Flow Graph2020

    • 著者名/発表者名
      Taichi Nishimura, Suzushi Tomori, Hayato Hashimoto, Atsushi Hashimoto, Yoko Yamakata, Jun Harashima, Yoshitaka Ushiku and Shinsuke Mori
    • 学会等名
      International Conference on Language Resources and Evaluation (LREC)
    • 関連する報告書
      2020 実施状況報告書
    • 国際学会
  • [学会発表] 食事記録分析による長期外出自粛の主観的健康度への影響調査2020

    • 著者名/発表者名
      石野耀久,唐澤弘明,天野宗佑,山肩洋子,相澤清晴
    • 学会等名
      電子情報通信学会ライフインテリジェンスとオフィス情報システム研究会
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] English Recipe Flow Graph Corpus2020

    • 著者名/発表者名
      Yoko Yamakata, Shinsuke Mori and John Carroll
    • 学会等名
      International Conference on Language Resources and Evaluation (LREC) 2020
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] Visual Grounding Annotation of Recipe Flow Graph2020

    • 著者名/発表者名
      Taichi Nishimura, Suzushi Tomori, Hayato Hashimoto, Atsushi Hashimoto, Yoko Yamakata, Jun Harashima, Yoshitaka Ushiku and Shinsuke Mori
    • 学会等名
      International Conference on Language Resources and Evaluation (LREC) 2020
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] 食事記録データからの健康度予測の検討とデータ取得2020

    • 著者名/発表者名
      石野耀久, 唐澤弘明, 川原田美雪, 天野宗佑, 江口洋子, 山肩洋子, 相澤清晴
    • 学会等名
      第12回データ工学と情報マネジメントに関するフォーラム
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] Twitterにおけるトピック間類似度を用いたトピック転換後の人気予測2020

    • 著者名/発表者名
      岩永雅史, 田島敬史, 山肩洋子
    • 学会等名
      第12回データ工学と情報マネジメントに関するフォーラム
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] Complementation of Food and Tool Information in Multi-Modal Recipe Procedural Descriptions2020

    • 著者名/発表者名
      Yixin Zhang (京都大学), Yoko Yamakata (東京大学), Keishi Tajima
    • 学会等名
      第12回データ工学と情報マネジメントに関するフォーラム
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] Frame Selection for Producing Recipe with Pictures from an Execution Video of a Recipe2019

    • 著者名/発表者名
      Taichi Nishimura Atsushi Hashimoto, Yoko Yamakata, Shinsuke Mori
    • 学会等名
      The 11th Workshop on Multimedia for Cooking and Eating Activities
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] Categorization of Cooking Actions Based on Textual/Visual Similarity2019

    • 著者名/発表者名
      Yixing Zhang, Yoko Yamakata, Keishi Tajima
    • 学会等名
      Proc. of 5th International Workshop on Multimedia Assisted Dietary Management (MADiMa) (In conj. with ACMMM)
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] 大規模レシピデータとテキストベースの食事記録に基づくアスリートの食傾向分析2019

    • 著者名/発表者名
      川原田美雪・唐澤弘明・坂本美沙子・天野宗佑・山肩洋子・相澤清晴
    • 学会等名
      電子情報通信学会 ライフインテリジェンスとオフィス情報システム研究会 (LOIS)
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] 大規模レシピに基づく食事記録のカテゴリ推定による食物摂取頻度解析:アスリートを対象 にした実践2019

    • 著者名/発表者名
      川原田美雪,唐澤弘明,坂本美沙子,天野宗祐,山肩洋子,相澤清晴
    • 学会等名
      情報科学技術フォーラム、FIT2019, O-038
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] 食事名とレシピデータとのマッチングによるアスリートの食傾向分析2019

    • 著者名/発表者名
      川原田美雪,唐澤弘明,坂本美沙子,天野宗祐,山肩洋子,相澤清晴
    • 学会等名
      日本スポーツ栄養学会 第6回大会, 3-O-16-2
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] "質問回答サービスにおける人から人への質問拡散行為を用いた質問提示システムの評価"2019

    • 著者名/発表者名
      中川瑛慎, 田島敬史, 山肩洋子
    • 学会等名
      第11回データ工学と情報マネジメントに関するフォーラム
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] "ユーザとトピックを指定するTwitter検索における最適な擬似適合フィードバック文書数の動的決定"2019

    • 著者名/発表者名
      片岡大祐, 田島敬史, 山肩洋子
    • 学会等名
      第11回データ工学と情報マネジメントに関するフォーラム
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] "Find Target Data Fast! A Method and Its Behavior of Target Data Collection for Online Annotation using Machine Learning Method"2019

    • 著者名/発表者名
      李瑞徳,山肩洋子, 田島敬史
    • 学会等名
      第11回データ工学と情報マネジメントに関するフォーラム
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] "写真付き手順書生成のための実施映像からのフレーム選択"2019

    • 著者名/発表者名
      西村太一, 橋本敦史, 山肩洋子, 森信介
    • 学会等名
      第11回データ工学と情報マネジメントに関するフォーラム
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] "非母国語検索者向けの機械翻訳を活用したweb検索結果提示手法の提案"2019

    • 著者名/発表者名
      佐々岡哲哉, 山肩洋子, 田島敬史
    • 学会等名
      第11回データ工学と情報マネジメントに関するフォーラム
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] "大規模食事記録データと深層学習モデルによる食習慣ベクトル化手法の検討"2019

    • 著者名/発表者名
      合田悠治, 天野宗佑, 山肩洋子, 相澤清晴
    • 学会等名
      映像情報メディア学会 メディア工学研究会
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] "アスリートの食事管理を支援するフードコンサルティングシステム"2019

    • 著者名/発表者名
      唐澤弘明, 川原田美雪, 天野宗佑, 山肩洋子, 相澤清晴
    • 学会等名
      電子情報通信学会 総合大会
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] "大規模食事記録データの栄養価クラスタリングに基づく食習慣ベクトルBag-of-Foodsとその検証"2018

    • 著者名/発表者名
      合田悠治, 天野宗祐, 山肩洋子, 相澤清晴
    • 学会等名
      情報科学技術フォーラム
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] "管理栄養士とアスリートのためのフードコンサルティングシステム"2018

    • 著者名/発表者名
      唐澤弘明, 川原田美雪, 山肩洋子, 相澤清晴
    • 学会等名
      映像情報メディア学会冬季大会 2018
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] "A Case Study on Start-up of Dataset Construction: In Case of Recipe Named Entity Corpus"2018

    • 著者名/発表者名
      Yoko Yamakata, Keishi Tajima, and Shinsuke Mori
    • 学会等名
      The Second IEEE Workshop on Human-in-the-loop Methods and Human Machine Collaboration in BigData (IEEE HMData2018)"
    • 関連する報告書
      2018 実施状況報告書
    • 国際学会
  • [学会発表] "Bag-of-foods: analysis of personal foodlogging data"2018

    • 著者名/発表者名
      Yuji Goda, Sosuke Amano, Yoko Yamakata, Kiyoharu Aizawa
    • 学会等名
      IJCAI Joint Workshop on Multimedia for Cooking and Eating Activities and Multimedia Assisted Dietary Management
    • 関連する報告書
      2018 実施状況報告書
    • 国際学会
  • [学会発表] "Resource intensity for menu items: how much land is required to provide for each dish?"2018

    • 著者名/発表者名
      Yoko Yamakata, Eiji Yamasue, Benjamin McLellan, Kiyoharu Aizawa
    • 学会等名
      IJCAI Joint Workshop on Multimedia for Cooking and Eating Activities and Multimedia Assisted Dietary Management
    • 関連する報告書
      2018 実施状況報告書
    • 国際学会
  • [備考] App StoreにおけるRecipeLogのインストールサイト

    • URL

      https://apps.apple.com/us/app/recipelog/id1587480365

    • 関連する報告書
      2021 実施状況報告書
  • [備考] Google PlayにおけるRecipe Logのインストールサイト

    • URL

      https://play.google.com/store/apps/details?id=recipe.log.app

    • 関連する報告書
      2021 実施状況報告書
  • [備考] 東京大学 情報理工学系研究科 山肩研究室 研究リソース

    • URL

      https://sites.google.com/view/yy-lab/resource

    • 関連する報告書
      2020 実施状況報告書 2019 実施状況報告書
  • [備考] 京都大学 学術情報メディアセンター 森研究室 レシピ言語処理マニュアル

    • URL

      http://www.ar.media.kyoto-u.ac.jp/how-to/recipe-NLP/

    • 関連する報告書
      2019 実施状況報告書

URL: 

公開日: 2018-04-23   更新日: 2024-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi