研究課題
本研究の目的は，自動食事診断実現のために，Web上の食事ビッグデータと深層学習を用いて，食事のカロリー量栄養素量自動推定を専門家並みの高い精度で実現することである．従来，カロリー量付きの大規模食事画像データセット構築の困難性から，画像からの食事カロリー量推定の研究は限定的にしか行われてこなかった．それに対して，昨年度は(A)カロリー量付き食事画像データセットの構築，(B)食事画像領域分割データセットの構築を行った．今年度は，引き続き(B)の食事画像領域分割データセットの追加作業を行うとともに，(C)3D食事形状データセットの整備も行い，より正確なカロリー量推定のための単一画像からの食事体積推定を実現するためのデータセット整備作業を行った．さらに，これらのデータセットを利用して，(1)領域分割を利用したカロリー量推定システムの構築，(2)単一食事画像からの3次元形状推定の研究を行った．(3)(1)はARと組み合わせも実現し，ARベースのUIで利用するシステムも構築した．(4)食事画像変換に関して，特にラーメン画像を自由に生成するためのシステム及びデータセットUEC-Ramen555の構築と公開を行った．(5)既存の大規模レシピデータセットRecipe1Mを用いたクロスモーダルサーチの性能を，食事の形状とレシピ成分を分離することで大幅に向上させることに成功し，さらにはレシピからの高精度な食事画像生成も実現した．
令和元年度が最終年度であるため、記入しない。
すべて 2020 2019
すべて 雑誌論文 (5件) (うち査読あり 5件、 オープンアクセス 3件) 学会発表 (29件) (うち国際学会 13件、 招待講演 1件)
Computer Vision and Image Understanding
巻: 191 ページ: 102712
https://doi.org/10.1016/j.cviu.2018.08.006
IEICE Transactions on Information and Systems
巻: E102-D-7 ページ: 1240-1246
https://doi.org/10.1587/transinf.2018CEP0004
巻: E102-D-7 ページ: 1230-1239
https://doi.org/10.1587/transinf.2018CEP0001
Proc. of IEEE/CVF International Conference on Computer Vision (ICCV)
巻: - ページ: 5208-5217
https://doi.org/10.1109/ICCV.2019.00531
Proc. of IEEE Conference on Virtual Reality and 3D User Interfaces (VR)
巻: - ページ: -
https://doi.org/10.1109/VR.2019.8798324
