2018 Fiscal Year Annual Research Report
Automatic Food Calorie Estimation from Photos Employing Deep Learning and Food-related Knowledge on the Web
| Project/Area Number |
17H01745
|
|---|
| Research Institution | The University of Electro-Communications |
|---|
Principal Investigator |
柳井 啓司 電気通信大学, 大学院情報理工学研究科, 教授 (20301179)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
大河原 一憲 電気通信大学, 大学院情報理工学研究科, 准教授 (30631270)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | 深層学習 / 食事画像認識 / カロリー量推定 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は，自動食事診断実現のために，Web上の食事ビッグデータと深層学習を用いて，食事のカロリー量栄養素量自動推定を専門家並みの高い精度で世界で初めて実現することである．従来，カロリー量付きの大規模食事画像データセット構築の困難性から，画像からの食事カロリー量推定の研究は限定的にしか行われてこなかった．そこで，本研究ではWeb上の大量のレシピ情報に注目し，それらと最新の深層学習技術の一つである，食事カテゴリ，食材，カロリー量など複数の認識要素を同時に学習するマルチタスクCNNを利用し同時学習することによって，実用的なカロリー量・栄養素推定の実現を目指す．この方法では，画像からの直接のカロリー量推定よりも高精度が期待でき，学習データにない食事メニューの食事画像のカロリー量推定も可能となる利点がある．
２年目である本年度は，(1)カロリー量情報付き食事画像データセットの構築，および(2)単品食事画像に対するマルチタスクNNを利用した食事カロリー量推定手法の研究，を引き続き実施するとともに，(3)複数品食事画像に対する領域分割を用いた個々の食事カロリー量推定を実施した．
(1)は実際にカロリー量および栄養素量が既知の食事を準備し撮影を行った．また，食事領域に画素単位でアノテーションがされている領域分割用のデータセットも作成した．(2)(3)に関しては，物体認識ネットワークYoloV2にカロリー量推定ブランチを追加して，マルチタスク学習することによって，食事領域検出と各領域のカロリー量推定を同時に行うことを実現した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
(1)カロリー量および栄養素量がアノテーションされている画像データセットの構築を行った．また，食事領域に画素単位でアノテーションがされている領域分割用のデータセットも作成した．(2)(3)に関しては，物体認識ネットワークYoloV2にカロリー量推定ブランチを追加して，マルチタスク学習することによって，食事領域検出と各領域のカロリー量推定を同時に行うことを実現した．よって，予定通りに計画を進行していると言える．
|
| Strategy for Future Research Activity |
本年度は，構築したカロリー量付きの画像データセットを利用して，リアルタイムカロリー量推定システムを実現する予定である．さらにカロリー量推定と食事変換をARと組み合わせる研究も行っていく予定である．
|
