Automatic Food Calorie Estimation from Photos Employing Deep Learning and Food-related Knowledge on the Web
| Project/Area Number |
17H01745
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Research Field |
Multimedia database
|
|---|
| Research Institution | The University of Electro-Communications |
|---|
Principal Investigator |
柳井 啓司 電気通信大学, 大学院情報理工学研究科, 教授 (20301179)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
大河原 一憲 電気通信大学, 大学院情報理工学研究科, 准教授 (30631270)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Project Status |
Completed (Fiscal Year 2019)
|
| Budget Amount *help |
¥18,850,000 (Direct Cost: ¥14,500,000、Indirect Cost: ¥4,350,000)
Fiscal Year 2019: ¥2,990,000 (Direct Cost: ¥2,300,000、Indirect Cost: ¥690,000)
Fiscal Year 2018: ¥5,330,000 (Direct Cost: ¥4,100,000、Indirect Cost: ¥1,230,000)
Fiscal Year 2017: ¥7,540,000 (Direct Cost: ¥5,800,000、Indirect Cost: ¥1,740,000)
|
|---|
| Keywords | 深層学習 / 食事画像認識 / カロリー量推定 / 食事自動診断 / 自動食事診断 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は，自動食事診断実現のために，Web上の食事ビッグデータと深層学習を用いて，食事のカロリー量栄養素量自動推定を専門家並みの高い精度で実現することである．従来，カロリー量付きの大規模食事画像データセット構築の困難性から，画像からの食事カロリー量推定の研究は限定的にしか行われてこなかった．それに対して，昨年度は(A)カロリー量付き食事画像データセットの構築，(B)食事画像領域分割データセットの構築を行った．今年度は，引き続き(B)の食事画像領域分割データセットの追加作業を行うとともに，(C)3D食事形状データセットの整備も行い，より正確なカロリー量推定のための単一画像からの食事体積推定を実現するためのデータセット整備作業を行った．
さらに，これらのデータセットを利用して，(1)領域分割を利用したカロリー量推定システムの構築，(2)単一食事画像からの3次元形状推定の研究を行った．(3)(1)はARと組み合わせも実現し，ARベースのUIで利用するシステムも構築した．(4)食事画像変換に関して，特にラーメン画像を自由に生成するためのシステム及びデータセットUEC-Ramen555の構築と公開を行った．(5)既存の大規模レシピデータセットRecipe1Mを用いたクロスモーダルサーチの性能を，食事の形状とレシピ成分を分離することで大幅に向上させることに成功し，さらにはレシピからの高精度な食事画像生成も実現した．
|
| Research Progress Status |
令和元年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和元年度が最終年度であるため、記入しない。
|
Report
(3 results)
Research Products
(78 results)
