2017 Fiscal Year Annual Research Report
Automatic Food Calorie Estimation from Photos Employing Deep Learning and Food-related Knowledge on the Web
| Project/Area Number |
17H01745
|
|---|
| Research Institution | The University of Electro-Communications |
|---|
Principal Investigator |
柳井 啓司 電気通信大学, 大学院情報理工学研究科, 教授 (20301179)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
大河原 一憲 電気通信大学, 大学院情報理工学研究科, 准教授 (30631270)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | 食事画像認識 / 深層学習 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は，自動食事診断実現のために，Web上の食事ビッグデータと深層学習を用いて，食事のカロリー量栄養素量自動推定を専門家並みの高い精度で世界で初めて実現することである．従来，カロリー量付きの大規模食事画像データセット構築の困難性から，画像からの食事カロリー量推定の研究は限定的にしか行われてこなかった．そこで，本研究ではWeb上の大量のレシピ情報に注目し，それらと最新の深層学習技術の一つである，食事カテゴリ，食材，カロリー量など複数の認識要素を同時に学習するマルチタスクＣＮＮを利用し同時学習することによって，実用的なカロリー量・栄養素推定の実現を目指す．
本年度は，初年度で，，(1) Web上の画像付き食事情報を利用した，カロリー量などの付加情報付き食事画像データセットの構築，および (2) 単品食事画像に対するマルチタスクＣＮＮを利用した食事カロリー量推定，の基礎的研究を行った．
(1)はカロリー量既知の食事を実際に作成し，撮影した．食事の作成及び撮影を行ってもらえる業者の選定および契約に時間かかり，年度のまたいでの作業となった．(2)に関しては国際会議での発表および雑誌論文での成果発表を行った．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
(1) データセット構築は順調に進んでいるが，当初よりも1食あたりの撮影費用が高額になり，十分な種類の撮影を行うことができていないため，引き続き撮影作業を行う予定である．(2) マルチタスクCNNによるカロリー量推定は，一人当たりの量という前提が付いているが，十分な性能を実現している．
|
| Strategy for Future Research Activity |
今後は，引き続きカロリー量情報付き画像の収集を行うとともに，複数品の料理からの単品ごとのカロリー量推定，および一人当たりの量という制約を排除し，2Dおよび3Dアプローチを用いたより高精度なカロリー量推定を実現する予定である．
|
