Remote dietary advice system by nutritionists using food recording support application with image recognition
| Project/Area Number |
23K25247
|
|---|
| Project/Area Number (Other) |
22H03993 (2022-2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2022-2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 90150:Medical assistive technology-related
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
山肩 洋子 東京大学, 情報基盤センター, 教授 (60423018)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
駿藤 晶子 神奈川県立保健福祉大学, 保健福祉学部, 准教授 (40457883)
香川 璃奈 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (10824675)
今堀 慎治 中央大学, 理工学部, 教授 (90396789)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥15,990,000 (Direct Cost: ¥12,300,000、Indirect Cost: ¥3,690,000)
Fiscal Year 2025: ¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000)
Fiscal Year 2024: ¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2023: ¥3,380,000 (Direct Cost: ¥2,600,000、Indirect Cost: ¥780,000)
Fiscal Year 2022: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
|
|---|
| Keywords | 食事記録 / マルチメディア情報処理 / 栄養管理 / スマートフォンアプリケーション / 食事管理アプリケーション / 食事画像認識 / 食材推定 / 栄養推定 / 深層学習 |
|---|
| Outline of Research at the Start |
人が食事を改善するためには食事記録を取ることが重要であるが、間食も含めれば日に何度もある食事を継続して記録し続けることは大きな負担である。そこで本課題では、食事の写真を撮り、簡易な操作を行うことで、食事記録が可能なアプリケーションの開発を行う。食事画像から食材リストを推定する画像認識モデルの構築と、認識結果が誤っていた場合でも簡易な操作でその結果を修正する仕組みを開発することが目標である。
|
| Outline of Annual Research Achievements |
2022年度は、次のような成果を得た。まず、レシピから大雑把な栄養価を算出するため、レシピの食材リストを文部科学省が提供する日本食品標準成分表の食品情報に紐づける手法を提案した。クックパッドをはじめとする多くのユーザ生成型レシピでは、食材リストは自由表記であることから、これを食品番号に紐づける仕組みが必要となる。 そこで我々は、栄養士らの協力のもと、出現頻度の高い食材表現2000語を手作業で計586種類の食品番号および「該当なし」に割り当てた。
つぎに、これを基に学習したBERTの分類モデルにより、あらゆる食材表現を食品番号に分類するモデルを構築した。既存の食事画像認識モデルでレシピの画像を認識した結果をそのレシピの初期の食事カテゴリラベルとし、レシピのタイトルを分類するBERTモデルを学習した。その後、画像とタイトルの分類結果が整合するレシピのみを集めることで、ユーザ生成型レシピからクリーンなデータセットを構築した。このデータセットで食事カテゴリと食材を同時に推定するモデルを学習した結果、食事カテゴリを考慮しない場合の食材推定のF値45.2%が50.0%に向上した。
最後に、栄養士が食事指導に使う食事レポートを、ウェアラブルカメラで食事を収録した映像から自動生成する手法を提案した。まず我々が構築したデータセットに基づいてYolo v7により食事領域を検出した。続いて、k-means法を応用したFeature clustering により同一の映像に登場する食事アイテムごとに分類した。最後に、同一食事アイテムの2フレーム間の前後を予測するモデルを学習し、それを転用することで「食べられたタイミング」を予測した。提案手法は、収録動画中に起きた摂食行動の検出において27%の精度と67%の再現率を得た。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2022年度の目標は、代表者である山肩がFoodLog Athlの改良を行うことであった。これに対し今年度は、まず食事画像からその栄養推定するモデルの構築のため、自由表記で記載されているレシピ（クックパッドデータセット）を栄養計算可能な形式に変換する手法を提案し、データセットを構築した。このデータセットはクックパッドデータセットの利用契約済みである国内外の研究グループに対し提供している。次に、そのデータセットを使って、食事画像から食品標準成分表の食品番号により食材リストを推定するモデルを構築した。精度は50%程度であるものの、587種類の食材について、その食材が使われている確率を計算することが可能なため、その後の食材リスト入力インタフェースへの活用が可能である。以上のことから、現時点では計画通りに研究が進行していると言える。
|
| Strategy for Future Research Activity |
まず、アプリケーションのインタフェースの改良を行う。今年度の成果により食材推定モデルが構築できたが、食材推定精度が50%程度にとどまっていたり、各食材の分量推定ができないなどの問題がある。また、１枚だけの食事画像からでは、栄養士が見てもその材料を正確に当てることができないことが多く、正確な栄養計算を行うためには、食材リストをユーザ自身に入力させるほかない。一般的に食事管理アプリケーションでは、料理の名前を入力すると、予めデータベースに登録されている標準レシピを参照してその栄養価を計算し記録するが、実際には料理によってレシピは大きく異なる。食事の栄養を正確に計算するためには、その料理の食材リストを入力する必要があり、これは大きな手間である。そこで我々は、画像認識技術を活用して食事画像から食材を推定し、食材リストの入力労力を大幅に削減するアプリケーションを開発する。次に、個人情報保護を考慮した食事履歴データおよび栄養データの標準規格化を推進する。長期にわたる食事履歴は、本人にとってのみならず、生活習慣病の統計的分析においても貴重なデータであるが、個人情報を含んでいることから、安易に取り扱うことはできない。研究分担者である香川は医師であり、国際的な医療情報交換規約であるHL7 FHIRの日本実装検討WGの一員であることから、医療情報学的観点から見た食事履歴の安全な利活用を検討する。また、組合せ最適化技術を活用し、栄養士の指導案作成を補助するための自動プランニングを生成する。ユーザの家族構成や、その性別・年齢・運動強度などによって、ユーザが摂取すべき栄養摂取量は異なり、また改善するのもレシピ（材料・分量・調理法）や献立など様々である。このような多肢的な探索空間から良い改善案を提案することが課題である。
|
Report
(1 results)
Research Products
(10 results)
-
-
-
-
-
-
[Journal Article] Prediction of mental state from food images2022
Author(s)
Kei Nakamoto, Sosuke Amano, Hiroaki Karasawa, Yoko Yamakata, Kiyoharu Aizawa
-
Journal Title
International Workshop on Multimedia for Cooking, Eating, and related APPlications in conjunction with ACMMM2022 (CEA++22)
Volume: -
Pages: 21-28
DOI
Related Report
Peer Reviewed
-
-
-
-
