• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2020 年度 実施状況報告書

家庭における「ものづくり」の学び・教えを助けるマルチメディアコンテンツの作成支援

研究課題

研究課題/領域番号 18K11425
研究機関東京大学

研究代表者

山肩 洋子  東京大学, 大学院情報理工学系研究科, 准教授 (60423018)

研究分担者 山崎 俊彦  東京大学, 大学院情報理工学系研究科, 准教授 (70376599)
今堀 慎治  中央大学, 理工学部, 教授 (90396789)
研究期間 (年度) 2018-04-01 – 2022-03-31
キーワード人間行動認識 / マルチメディア情報処理 / 教示コンテンツ自動生成 / e-learning
研究実績の概要

料理や裁縫、DIYなど,ハンドクラフトは「ものづくり」に対する人々の技術や教養,情熱を育てる下支えである.AIの技術により,専門知識を持たない人であっても「ものづくり」を学び,他者に教えることを可能とすることが本研究の目標である.通常,人の「知識」は,音声や文書,イラストなどの客観的表現を媒介して他者に伝えられる.しかし「技術」は身体的動きを伴った体験であり,見様見真似でその動きを模倣する中で,徐々にその感覚を主観として身につけ,会得するという伝達経路を取る.料理番組のような第三者視点から撮影した映像では,視聴者は実体験としてその行動を理解することが難しい場合が多い.本研究では制作者視点で撮影された画像や映像を対象とし,制作者がテキストと画像および映像からなる教材コンテンツを作成することを想定する。収集したデータをもとに機械学習でモデルを獲得することにより,説明が不足している情報を補間する.このような仕組みを通じて,誰もがAIの支援により「技術」を主観的に伝達・会得する仕組みを実現することが学術的な創造性である.
本課題では,料理やハンドクラフトの多種多様な分野を対象に,以下の3つの課題に取り組む.
(1) 自然言語処理:これまで料理レシピを対象として開発してきた作業フロー解析を,自己教師あり学習に基づく深層学習モデルに拡張することで,料理以外の分野に対しても容易に拡張可能な仕組みを実現する
(2) 画像処理:従来は完成品の画像に対する認識が中心であったのに対し,創作工程の途中の画像に注目した画像認識手法を開発する
(3)一般のユーザがAIの支援により自分の創作活動を記録するシステムを開発する

現在までの達成度 (区分)
現在までの達成度 (区分)

3: やや遅れている

理由

2020年度は最終年度であるため、様々なフィールドで被験者の参加による実験を予定していたが、コロナ禍のため学外での活動が認められなかった。そこで計画を一部修正し、すでに大規模なデータセットが構築されている料理レシピに再び焦点を当てて研究を行うこととした。
今年度は、調理手順の各ステップに説明画像がついている中国語のレシピデータを対象に,説明画像に写りこんでいる食材の認識を行う手法を提案した。調理中、食材は切られたり混ぜられたりすることで視覚的特徴が大きく変化するため、特に調理の終盤における食材の認識は、同じ名前の物体は共通の性質を持つとする従来の一般物体認識の手法では困難である。そこで、頻出食材20品目に注目し、各手順説明画像に対し、食材ラベルと調理の進行度を付与したデータセットを作成し、カリキュラムラーニングの技術を適用した。これにより、一般物体認識の手法では46.41%であった食材認識精度を57.42%まで向上させることに成功した。この成果は国内学会DEIM2021で発表し、マルチメディア分野のトップカンファレンスであるACM Multimedia 2021に投稿中である。
また、AIの支援により少ない操作でレシピを作成可能なレシピコンテンツ作成アプリRecipeLogの開発を開始した。Web上にはすでに数百万件のレシピが掲載されているが、「肉じゃが」だけでも1万件以上のレシピが見つかるなど、コンテンツの重複が激しい。そこで、RecipeLogでは、ユーザが作りたいと思っているレシピに近いレシピを既存のデータから検索し、それを書き換えることで新たなレシピを作成することができる。これは、単に手間が省けるというだけでなく、元のレシピとの相違が明確になるという利点がある。今年度はこのアプリの基本的な機能を実装し、ユーザビリティテストにより有用性を確認した。この成果は国内学会DEIM2021で発表した。

今後の研究の推進方策

レシピを構成する画像やテキストのデータのうち、創作過程の途中段階を撮影した画像や映像から、テキストには記されていない情報を補間する。これより、レシピを書くことに不慣れなユーザであっても、AIの支援によって少ない手まで詳細な教材コンテンツを作成できると考えられる。この要素技術は2020年度に開発済みであることから、課題期間を延長し、一般の人々にサービス提供可能なアプリケーションの開発を行う。
まず、前年度より開発を開始したレシピ作成支援アプリRecipeLogについて、AIによる執筆サポート機能を開発する。レシピテキストで学習したBERTモデルを活用することで、ユーザの部分的なテキスト入力(例えば料理の名前や材料リスト等)から、手順文を含むレシピ全体を予測し、その記述の選択肢をユーザに提示する。アプリケーションに栄養価計算機能を内蔵することにより、ユーザにレシピが作成することの動機付けを行い、彼ら・彼女らが日々調理している料理のレシピデータを収集する。この研究は、栄養学の専門家と共同で進める予定である。
また、調理の手順説明画像について、2020年度は頻出食材20品目のみに注目したが、その対象範囲を拡大する。この場合、食材の種類によってデータのサイズが大きく異なるデータセットとなるため、学術的にはImbalanced dataによる認識課題と位置付けられる。また、対応する手順説明文に含まれる食材を、その手順説明画像のラベルとして学習することを考える。この場合、必ずしもその食材が画像に写っているとは限らないため、noisy dataと考えることができる。創作工程途中の画像の認識手法として、様々な目的で利用可能なデータセットの構築と、種々の手法によるベースラインを提供することが2021年度の目標である。

次年度使用額が生じた理由

参加を予定していた国内学会出張3件と海外出張2件が新型コロナ肺炎の影響によりオンライン開催になったことから、旅費が執行されなかった。また被験者参加型のフィールド実験を予定していたが、同じくコロナの影響で学外での活動が原則禁止されたことから、実施できなかった。2021年度も早期の状況改善は見込めないことから、研究の内容を一部変更し、ユーザが各自のスマートフォン上で操作することにより実験及びデータ収集が可能なアプリの開発を行うこととした。そのアプリ開発・運用費及びリモート上での実験を行うための予算として、今年度予算の大半を次年度へ繰り越した。

  • 研究成果

    (9件)

すべて 2021 2020 その他

すべて 国際共同研究 (1件) 雑誌論文 (1件) (うち査読あり 1件、 オープンアクセス 1件) 学会発表 (6件) (うち国際学会 2件) 備考 (1件)

  • [国際共同研究] The University of Sussex(英国)

    • 国名
      英国
    • 外国機関名
      The University of Sussex
  • [雑誌論文] Structure-Aware Procedural Text Generation From an Image Sequence2020

    • 著者名/発表者名
      T. Nishimura, A. Hashimoto, Y. Ushiku, H. Kameko, Y. Yamakata and S. Mori
    • 雑誌名

      IEEE Access

      巻: 9 ページ: 2125-2141

    • DOI

      10.1109/ACCESS.2020.3043452

    • 査読あり / オープンアクセス
  • [学会発表] 料理レシピの内容と構成が書き手の負担と読み手の効用に与える影響の研究2021

    • 著者名/発表者名
      香川璃奈, 松原正樹, 宮田玲, 馬場雪乃, 山肩洋子
    • 学会等名
      人工知能学会第26回インタラクティブ情報アクセスと可視化マイニング研究会
  • [学会発表] 既存レシピをテンプレートとするレシピ作成支援アプリRecipeLogの開発2021

    • 著者名/発表者名
      石野耀久, 唐澤弘明, 山肩洋子, 相澤清晴
    • 学会等名
      データ工学と情報マネジメントに関するフォーラム DEIM Forum 2021
  • [学会発表] Stage-Aware Recognition Method for Foodstuffs Changing in Appearance During Cooking Process on Chinese Recipe2021

    • 著者名/発表者名
      Yixin Zhang, Yoko Yamakata, Keishi Tajima
    • 学会等名
      データ工学と情報マネジメントに関するフォーラム DEIM Forum 2021
  • [学会発表] English Recipe Flow Graph Corpus2020

    • 著者名/発表者名
      Yoko Yamakata, Shinsuke Mori and John Carroll
    • 学会等名
      International Conference on Language Resources and Evaluation (LREC)
    • 国際学会
  • [学会発表] Visual Grounding Annotation of Recipe Flow Graph2020

    • 著者名/発表者名
      Taichi Nishimura, Suzushi Tomori, Hayato Hashimoto, Atsushi Hashimoto, Yoko Yamakata, Jun Harashima, Yoshitaka Ushiku and Shinsuke Mori
    • 学会等名
      International Conference on Language Resources and Evaluation (LREC)
    • 国際学会
  • [学会発表] 食事記録分析による長期外出自粛の主観的健康度への影響調査2020

    • 著者名/発表者名
      石野耀久,唐澤弘明,天野宗佑,山肩洋子,相澤清晴
    • 学会等名
      電子情報通信学会ライフインテリジェンスとオフィス情報システム研究会
  • [備考] 東京大学 情報理工学系研究科 山肩研究室 研究リソース

    • URL

      https://sites.google.com/view/yy-lab/resource

URL: 

公開日: 2021-12-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi