2023 Fiscal Year Annual Research Report
New Technologies for Active Dietary Management Using Deep Learning
| Project/Area Number |
22H00548
|
|---|
| Research Institution | The University of Electro-Communications |
|---|
Principal Investigator |
柳井 啓司 電気通信大学, 大学院情報理工学研究科, 教授 (20301179)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
井手 一郎 名古屋大学, 情報学研究科, 教授 (10332157)
大河原 一憲 電気通信大学, 大学院情報理工学研究科, 教授 (30631270)
佐藤 光哉 電気通信大学, 人工知能先端研究センター, 助教 (60822533)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Keywords | 食事画像認識 / 食事画像変換 / 食事管理 / 食事レシピ |
|---|
| Outline of Annual Research Achievements |
本研究では，深層学習によって高精度に実現可能となった画像認識・生成・変換技術を用いて，新しい能動的な食事管理技術を創出することを目的とする．本研究の特色は，食事中に摂取した総カロリー量をユーザに提示することで食事摂取量の意識付けを可能としたり，目の前の食事の見た目や量を視覚的に変化させることでカロリー量をコントロールしたりするような，能動的な食事管理技術を実現することである．さらに，能動的食事管理として，ユーザの条件を考慮した個人適応型の食事レシピ推薦・生成も合わせて実施する．本研究は，AIの最新技術を人々の「食」の健康に役立てることを最終的な目標とする．
2年目である本年度は次の研究を実施した．(1)３次元的な量および食材の違いを考慮した食事カロリー量および栄養素量推定（柳井,大河原）(2)焼き肉，鍋，大皿料理のためのリアルタイム食事動作認識による連続摂取カロリー量推定（柳井）(3)深層学習による画像変換技術（柳井）(4)カロリー量や栄養素量を考慮したレシピおよび料理画像の自動生成（井手，柳井）
(1)に関しては1年目に引き続き3D食事画像データセットの構築作業を行った．(2)については1年目に行った成果として全方位カメラを用いたリアルタイム食事行動認識システムCalorieCam360を完成させた．(3)についてはカロリー量を考慮した食事画像変換の研究を実施した．(4)については，クロスモーダルレシピ検索やレシピ情報からの画像生成などの研究を実施した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2年目である本年度は1年目に引き続き次の研究を実施した．(1)３次元的な量および食材の違いを考慮した食事カロリー量および栄養素量推定（柳井,大河原）(2)焼き肉，鍋，大皿料理のためのリアルタイム食事動作認識による連続摂取カロリー量推定（柳井）(3)深層学習による画像変換技術（柳井）(4)カロリー量や栄養素量を考慮したレシピおよび料理画像の自動生成（井手，柳井）．
(1)に関しては1年目に引き続き3D食事画像データセットの構築作業を行った．(2)については1年目に行った成果として全方位カメラを用いたリアルタイム食事行動認識システムCalorieCam360を完成させた．(3)についてはカロリー量を考慮した食事画像変換の研究を実施した．(4)については，クロスモーダルレシピ検索やレシピ情報からの画像生成などの研究を実施した．以上より，概ね順調に進展していると言える．
|
| Strategy for Future Research Activity |
残りの2年間では，次の(1)から(4)を更に発展させる予定である．(1)３次元的な量および食材の違いを考慮した食事カロリー量および栄養素量推定（柳井,大河原）(2)焼き肉，鍋，大皿料理のためのリアルタイム食事動作認識による連続摂取カロリー量推定（柳井）(3)深層学習による画像変換技術（柳井）(4)カロリー量や栄養素量を考慮したレシピおよび料理画像の自動生成（井手，柳井）．
特に(1)については構築したデータセットを利用した3D食事カロリー量を実施し，構築データセットとともに成果を発表する予定である．(2)については多様な状況で多様な食事に対してリアルタイム食事認識を実現する予定である．(3)については，リアルタイム食事画像変換をARに応用して食事コントロールへ発展させる予定である．(4)これまで実現したレシピからの食事画像生成にカロリー量や栄養素量によるコントロールを追加して，より細かい食事画像生成の制御を可能とすることを検討している．
|
