• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

画像認識による食事記録作成支援アプリを使った栄養士による遠隔食事指導システム

研究課題

研究課題/領域番号 23K25247
補助金の研究課題番号 22H03993 (2022-2023)
研究種目

基盤研究(B)

配分区分基金 (2024)
補助金 (2022-2023)
応募区分一般
審査区分 小区分90150:医療福祉工学関連
研究機関東京大学

研究代表者

山肩 洋子  東京大学, 情報基盤センター, 教授 (60423018)

研究分担者 駿藤 晶子  神奈川県立保健福祉大学, 保健福祉学部, 准教授 (40457883)
香川 璃奈  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (10824675)
今堀 慎治  中央大学, 理工学部, 教授 (90396789)
研究期間 (年度) 2022-04-01 – 2026-03-31
研究課題ステータス 交付 (2024年度)
配分額 *注記
15,990千円 (直接経費: 12,300千円、間接経費: 3,690千円)
2025年度: 3,900千円 (直接経費: 3,000千円、間接経費: 900千円)
2024年度: 4,030千円 (直接経費: 3,100千円、間接経費: 930千円)
2023年度: 3,380千円 (直接経費: 2,600千円、間接経費: 780千円)
2022年度: 4,680千円 (直接経費: 3,600千円、間接経費: 1,080千円)
キーワード食事記録 / マルチメディア情報処理 / 栄養管理 / スマートフォンアプリケーション / 食事管理アプリケーション / 食事画像認識 / 食材推定 / 栄養推定 / 深層学習
研究開始時の研究の概要

人が食事を改善するためには食事記録を取ることが重要であるが、間食も含めれば日に何度もある食事を継続して記録し続けることは大きな負担である。そこで本課題では、食事の写真を撮り、簡易な操作を行うことで、食事記録が可能なアプリケーションの開発を行う。食事画像から食材リストを推定する画像認識モデルの構築と、認識結果が誤っていた場合でも簡易な操作でその結果を修正する仕組みを開発することが目標である。

研究実績の概要

2022年度は、次のような成果を得た。まず、レシピから大雑把な栄養価を算出するため、レシピの食材リストを文部科学省が提供する日本食品標準成分表の食品情報に紐づける手法を提案した。クックパッドをはじめとする多くのユーザ生成型レシピでは、食材リストは自由表記であることから、これを食品番号に紐づける仕組みが必要となる。 そこで我々は、栄養士らの協力のもと、出現頻度の高い食材表現2000語を手作業で計586種類の食品番号および「該当なし」に割り当てた。
つぎに、これを基に学習したBERTの分類モデルにより、あらゆる食材表現を食品番号に分類するモデルを構築した。既存の食事画像認識モデルでレシピの画像を認識した結果をそのレシピの初期の食事カテゴリラベルとし、レシピのタイトルを分類するBERTモデルを学習した。その後、画像とタイトルの分類結果が整合するレシピのみを集めることで、ユーザ生成型レシピからクリーンなデータセットを構築した。このデータセットで食事カテゴリと食材を同時に推定するモデルを学習した結果、食事カテゴリを考慮しない場合の食材推定のF値45.2%が50.0%に向上した。
最後に、栄養士が食事指導に使う食事レポートを、ウェアラブルカメラで食事を収録した映像から自動生成する手法を提案した。まず我々が構築したデータセットに基づいてYolo v7により食事領域を検出した。続いて、k-means法を応用したFeature clustering により同一の映像に登場する食事アイテムごとに分類した。最後に、同一食事アイテムの2フレーム間の前後を予測するモデルを学習し、それを転用することで「食べられたタイミング」を予測した。提案手法は、収録動画中に起きた摂食行動の検出において27%の精度と67%の再現率を得た。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

2022年度の目標は、代表者である山肩がFoodLog Athlの改良を行うことであった。これに対し今年度は、まず食事画像からその栄養推定するモデルの構築のため、自由表記で記載されているレシピ(クックパッドデータセット)を栄養計算可能な形式に変換する手法を提案し、データセットを構築した。このデータセットはクックパッドデータセットの利用契約済みである国内外の研究グループに対し提供している。次に、そのデータセットを使って、食事画像から食品標準成分表の食品番号により食材リストを推定するモデルを構築した。精度は50%程度であるものの、587種類の食材について、その食材が使われている確率を計算することが可能なため、その後の食材リスト入力インタフェースへの活用が可能である。以上のことから、現時点では計画通りに研究が進行していると言える。

今後の研究の推進方策

まず、アプリケーションのインタフェースの改良を行う。今年度の成果により食材推定モデルが構築できたが、食材推定精度が50%程度にとどまっていたり、各食材の分量推定ができないなどの問題がある。また、1枚だけの食事画像からでは、栄養士が見てもその材料を正確に当てることができないことが多く、正確な栄養計算を行うためには、食材リストをユーザ自身に入力させるほかない。一般的に食事管理アプリケーションでは、料理の名前を入力すると、予めデータベースに登録されている標準レシピを参照してその栄養価を計算し記録するが、実際には料理によってレシピは大きく異なる。食事の栄養を正確に計算するためには、その料理の食材リストを入力する必要があり、これは大きな手間である。そこで我々は、画像認識技術を活用して食事画像から食材を推定し、食材リストの入力労力を大幅に削減するアプリケーションを開発する。次に、個人情報保護を考慮した食事履歴データおよび栄養データの標準規格化を推進する。長期にわたる食事履歴は、本人にとってのみならず、生活習慣病の統計的分析においても貴重なデータであるが、個人情報を含んでいることから、安易に取り扱うことはできない。研究分担者である香川は医師であり、国際的な医療情報交換規約であるHL7 FHIRの日本実装検討WGの一員であることから、医療情報学的観点から見た食事履歴の安全な利活用を検討する。また、組合せ最適化技術を活用し、栄養士の指導案作成を補助するための自動プランニングを生成する。ユーザの家族構成や、その性別・年齢・運動強度などによって、ユーザが摂取すべき栄養摂取量は異なり、また改善するのもレシピ(材料・分量・調理法)や献立など様々である。このような多肢的な探索空間から良い改善案を提案することが課題である。

報告書

(1件)
  • 2022 実績報告書
  • 研究成果

    (10件)

すべて 2023 2022

すべて 雑誌論文 (8件) (うち査読あり 5件、 オープンアクセス 3件) 学会発表 (2件) (うち国際学会 1件、 招待講演 1件)

  • [雑誌論文] 一人称視点の食事映像からの食行動レポートの自動生成2023

    • 著者名/発表者名
      佐藤賢志郎, 山肩洋子, 相澤清晴
    • 雑誌名

      電子情報通信学会 技術研究報告 画像工学研究会(IE)

      巻: vol. 122, no. 385 ページ: 41-46

    • 関連する報告書
      2022 実績報告書
  • [雑誌論文] ユーザ生成型レシピからの栄養価および環境影響の自動計算のための食材名分類モデルの構築2023

    • 著者名/発表者名
      山肩洋子, 王良羽, 山末英嗣, 駿藤晶子, 相澤清晴
    • 雑誌名

      電子情報通信学会 技術研究報告 画像工学研究会(IE)

      巻: vol. 122, no. 385 ページ: 29-34

    • 関連する報告書
      2022 実績報告書
  • [雑誌論文] 食事評価のための食事画像認識を目的としたユーザ生成型レシピからの半自動データセット構築2023

    • 著者名/発表者名
      王良羽, 山肩洋子, 駿藤晶子, 相澤清晴
    • 雑誌名

      電子情報通信学会 技術研究報告 画像工学研究会(IE)

      巻: vol. 122, no. 385 ページ: 35-40

    • 関連する報告書
      2022 実績報告書
  • [雑誌論文] 付加的な説明文の生成と提示による料理レシピ執筆支援手法の提案と評価2022

    • 著者名/発表者名
      香川璃奈, 原 悠輔, 姜 志勲, 山肩洋子
    • 雑誌名

      電子情報通信学会論文誌D 情報・システム

      巻: J105-D 号: 12 ページ: 736-746

    • DOI

      10.14923/transinfj.2022JDP7025

    • ISSN
      1880-4535, 1881-0225
    • 年月日
      2022-12-01
    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Recipe-oriented Food Logging for Nutritional Management2022

    • 著者名/発表者名
      Yoko Yamakata, Akihisa Ishino, Akiko Sunto, Sosuke Amano, Kiyoharu Aizawa
    • 雑誌名

      ACM Multimedia 2022

      巻: - ページ: 6898-6904

    • DOI

      10.1145/3503161.3549203

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Prediction of mental state from food images2022

    • 著者名/発表者名
      Kei Nakamoto, Sosuke Amano, Hiroaki Karasawa, Yoko Yamakata, Kiyoharu Aizawa
    • 雑誌名

      International Workshop on Multimedia for Cooking, Eating, and related APPlications in conjunction with ACMMM2022 (CEA++22)

      巻: - ページ: 21-28

    • DOI

      10.1145/3552485.3554937

    • 関連する報告書
      2022 実績報告書
    • 査読あり
  • [雑誌論文] "Comparable Recipes": A construction and analysis of a dataset of recipes described by different people for the same dish2022

    • 著者名/発表者名
      Rina Kagawa, Rei Miyata, Yoko Yamakata
    • 雑誌名

      Proceedings of the 1st International Workshop on Multimedia for Cooking, Eating, and related APPlications

      巻: 1 ページ: 41-44

    • DOI

      10.1145/3552485.3554936

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] MIAIS: A Multimedia Recipe Dataset with Ingredient Annotation at Each Instructional Step2022

    • 著者名/発表者名
      Yixin Zhang, Yoko Yamakata, Keishi Tajima
    • 雑誌名

      International Workshop on Multimedia for Cooking, Eating, and related APPlications in conjunction with ACMMM2022 (CEA++22)

      巻: - ページ: 49-52

    • DOI

      10.1145/3552485.3554938

    • 関連する報告書
      2022 実績報告書
    • 査読あり
  • [学会発表] Food Computing for Human and Planet Health2023

    • 著者名/発表者名
      山肩洋子
    • 学会等名
      2023 INTERNATIONAL WORKSHOP ON ADVANCED IMAGE TECHNOLOGY (IWAIT)
    • 関連する報告書
      2022 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] 食事画像からの内食・中食・外食の識別2023

    • 著者名/発表者名
      佐藤玲菜
    • 学会等名
      電子情報通信学会 総合大会, H-3-3
    • 関連する報告書
      2022 実績報告書

URL: 

公開日: 2022-04-19   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi