2022 Fiscal Year Annual Research Report
New Technologies for Active Dietary Management Using Deep Learning
| Project/Area Number |
22H00548
|
|---|
| Research Institution | The University of Electro-Communications |
|---|
Principal Investigator |
柳井 啓司 電気通信大学, 大学院情報理工学研究科, 教授 (20301179)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
井手 一郎 名古屋大学, 情報学研究科, 教授 (10332157)
大河原 一憲 電気通信大学, 大学院情報理工学研究科, 教授 (30631270)
佐藤 光哉 電気通信大学, 人工知能先端研究センター, 助教 (60822533)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Keywords | 食事画像認識 / 食事画像変換 / 食事管理 / 食事レシピ |
|---|
| Outline of Annual Research Achievements |
本研究では，深層学習によって高精度に実現可能となった画像認識・生成・変換技術を用いて，新しい能動的な食事管理技術を創出することを目的とする．本研究の特色は，食事中に摂取した総カロリー量をユーザに提示することで食事摂取量の意識付けを可能としたり，目の前の食事の見た目や量を視覚的に変化させることでカロリー量をコントロールしたりするような，能動的な食事管理技術を実現することである．さらに，能動的食事管理として，ユーザの条件を考慮した個人適応型の食事レシピ推薦・生成も合わせて実施する．本研究は，AIの最新技術を人々の「食」の健康に役立てることを最終的な目標とする．
初年度である本年度は以下の研究を実施した．
(1) ３次元的な量および食材の違いを考慮した食事カロリー量および栄養素量推定（柳井,大河原）(2) 焼き肉，鍋，大皿料理のためのリアルタイム食事動作認識による連続摂取カロリー量推定（柳井）(3) 深層学習による画像変換技術（柳井）(4) 個人の長期的，短期的制約条件を考慮した個人適応型食事レシピ推薦・生成技術（井手）
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
初年度である本年度は以下の研究を実施し，データ構築や基礎的な手法についての検討を実施した．(1) ３次元的な量および食材の違いを考慮した食事カロリー量および栄養素量推定（柳井,大河原）(2) 焼き肉，鍋，大皿料理のためのリアルタイム食事動作認識による連続摂取カロリー量推定（柳井，佐藤）(3) 深層学習による画像変換技術（柳井）(4) 個人の長期的，短期的制約条件を考慮した個人適応型食事レシピ推薦・生成技術（井手）
(1)と(3)に関しては査読付き国際会議論文として発表を行った．また，関連した課題としてクロスモーダルレシピ検索や，食事画像の領域分割に関する研究成果も査読付き国際会議論文として発表した．
|
| Strategy for Future Research Activity |
来年度以降もさらに以下の研究課題を発展させることを目標とする．(1) ３次元的な量および食材の違いを考慮した食事カロリー量および栄養素量推定（柳井,大河原）(2) 焼き肉，鍋，大皿料理のためのリアルタイム食事動作認識による連続摂取カロリー量推定（柳井，佐藤）(3) 深層学習による画像変換技術（柳井）(4) 個人の長期的，短期的制約条件を考慮した個人適応型食事レシピ推薦・生成技術（井手）．最新の画像生成モデルであるStable Diffusionや画像言語マルチモーダルモデルCLIPを活用して，できるだけ少ない学習データでの実現を目指す．さらに(1)に関しては3次元食事画像データセットを拡充し，研究期間中の公開を目指して整備を行う予定である．
|
