• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

New Technologies for Active Dietary Management Using Deep Learning

Research Project

Project/Area Number 22H00548
Research Category

Grant-in-Aid for Scientific Research (A)

Allocation TypeSingle-year Grants
Section一般
Review Section Medium-sized Section 62:Applied informatics and related fields
Research InstitutionThe University of Electro-Communications

Principal Investigator

柳井 啓司  電気通信大学, 大学院情報理工学研究科, 教授 (20301179)

Co-Investigator(Kenkyū-buntansha) 井手 一郎  名古屋大学, 情報学研究科, 教授 (10332157)
大河原 一憲  電気通信大学, 大学院情報理工学研究科, 教授 (30631270)
佐藤 光哉  電気通信大学, 人工知能先端研究センター, 助教 (60822533)
Project Period (FY) 2022-04-01 – 2026-03-31
Project Status Granted (Fiscal Year 2024)
Budget Amount *help
¥41,990,000 (Direct Cost: ¥32,300,000、Indirect Cost: ¥9,690,000)
Fiscal Year 2025: ¥7,800,000 (Direct Cost: ¥6,000,000、Indirect Cost: ¥1,800,000)
Fiscal Year 2024: ¥11,700,000 (Direct Cost: ¥9,000,000、Indirect Cost: ¥2,700,000)
Fiscal Year 2023: ¥11,440,000 (Direct Cost: ¥8,800,000、Indirect Cost: ¥2,640,000)
Fiscal Year 2022: ¥11,050,000 (Direct Cost: ¥8,500,000、Indirect Cost: ¥2,550,000)
Keywords食事画像認識 / 食事画像変換 / 食事AR / 食事レシピ / 食事管理
Outline of Research at the Start

本研究では,深層学習によって高精度に実現可能となった画像認識・生成・変換技術を用いて,新しい能動的な食事管理技術を創出することを目的とする.本研究の特色は,食事中に摂取した総カロリー量をユーザに提示することで食事摂取量の意識付けを可能としたり,目の前の食事の見た目や量を視覚的に変化させることでカロリー量をコントロールしたりするような,能動的な食事管理技術を実現することである.さらに,能動的食事管理として,ユーザの条件を考慮した個人適応型の食事レシピ推薦・生成も合わせて実施する.本研究は,AIの最新技術を人々の「食」の健康に役立てることを最終的な目標とする.

Outline of Annual Research Achievements

本研究では,深層学習によって高精度に実現可能となった画像認識・生成・変換技術を用いて,新しい能動的な食事管理技術を創出することを目的とする.本研究の特色は,食事中に摂取した総カロリー量をユーザに提示することで食事摂取量の意識付けを可能としたり,目の前の食事の見た目や量を視覚的に変化させることでカロリー量をコントロールしたりするような,能動的な食事管理技術を実現することである.さらに,能動的食事管理として,ユーザの条件を考慮した個人適応型の食事レシピ推薦・生成も合わせて実施する.本研究は,AIの最新技術を人々の「食」の健康に役立てることを最終的な目標とする.
2年目である本年度は次の研究を実施した.(1)3次元的な量および食材の違いを考慮した食事カロリー量および栄養素量推定(柳井,大河原)(2)焼き肉,鍋,大皿料理のためのリアルタイム食事動作認識による連続摂取カロリー量推定(柳井)(3)深層学習による画像変換技術(柳井)(4)カロリー量や栄養素量を考慮したレシピおよび料理画像の自動生成(井手,柳井)
(1)に関しては1年目に引き続き3D食事画像データセットの構築作業を行った.(2)については1年目に行った成果として全方位カメラを用いたリアルタイム食事行動認識システムCalorieCam360を完成させた.(3)についてはカロリー量を考慮した食事画像変換の研究を実施した.(4)については,クロスモーダルレシピ検索やレシピ情報からの画像生成などの研究を実施した.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

2年目である本年度は1年目に引き続き次の研究を実施した.(1)3次元的な量および食材の違いを考慮した食事カロリー量および栄養素量推定(柳井,大河原)(2)焼き肉,鍋,大皿料理のためのリアルタイム食事動作認識による連続摂取カロリー量推定(柳井)(3)深層学習による画像変換技術(柳井)(4)カロリー量や栄養素量を考慮したレシピおよび料理画像の自動生成(井手,柳井).
(1)に関しては1年目に引き続き3D食事画像データセットの構築作業を行った.(2)については1年目に行った成果として全方位カメラを用いたリアルタイム食事行動認識システムCalorieCam360を完成させた.(3)についてはカロリー量を考慮した食事画像変換の研究を実施した.(4)については,クロスモーダルレシピ検索やレシピ情報からの画像生成などの研究を実施した.以上より,概ね順調に進展していると言える.

Strategy for Future Research Activity

残りの2年間では,次の(1)から(4)を更に発展させる予定である.(1)3次元的な量および食材の違いを考慮した食事カロリー量および栄養素量推定(柳井,大河原)(2)焼き肉,鍋,大皿料理のためのリアルタイム食事動作認識による連続摂取カロリー量推定(柳井)(3)深層学習による画像変換技術(柳井)(4)カロリー量や栄養素量を考慮したレシピおよび料理画像の自動生成(井手,柳井).
特に(1)については構築したデータセットを利用した3D食事カロリー量を実施し,構築データセットとともに成果を発表する予定である.(2)については多様な状況で多様な食事に対してリアルタイム食事認識を実現する予定である.(3)については,リアルタイム食事画像変換をARに応用して食事コントロールへ発展させる予定である.(4)これまで実現したレシピからの食事画像生成にカロリー量や栄養素量によるコントロールを追加して,より細かい食事画像生成の制御を可能とすることを検討している.

Report

(3 results)
  • 2023 Annual Research Report
  • 2022 Comments on the Screening Results   Annual Research Report
  • Research Products

    (38 results)

All 2024 2023 2022 2021

All Journal Article (4 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 4 results,  Open Access: 4 results) Presentation (33 results) (of which Int'l Joint Research: 20 results,  Invited: 1 results) Book (1 results)

  • [Journal Article] Multi-Style Shape Matching GAN for Text Images2024

    • Author(s)
      YUAN Honghui、YANAI Keiji
    • Journal Title

      IEICE Transactions on Information and Systems

      Volume: E107.D Issue: 4 Pages: 505-514

    • DOI

      10.1587/transinf.2023IHP0010

    • ISSN
      0916-8532, 1745-1361
    • Year and Date
      2024-04-01
    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Patent image retrieval using transformer-based deep metric learning2023

    • Author(s)
      Higuchi Kotaro、Yanai Keiji
    • Journal Title

      World Patent Information

      Volume: 74 Pages: 102217-102217

    • DOI

      10.1016/j.wpi.2023.102217

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Material Translation Based on Neural Style Transfer with Ideal Style Image Retrieval2022

    • Author(s)
      Benitez-Garcia Gibran、Takahashi Hiroki、Yanai Keiji
    • Journal Title

      Sensors

      Volume: 22 Issue: 19 Pages: 7317-7317

    • DOI

      10.3390/s22197317

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] FASSD-Net: Fast and Accurate Real-Time Semantic Segmentation for Embedded Systems2021

    • Author(s)
      Rosas-Arias Leonel、Benitez-Garcia Gibran、Portillo-Portillo Jose、Olivares-Mercado Jesus、Sanchez-Perez Gabriel、Yanai Keiji
    • Journal Title

      IEEE Transactions on Intelligent Transportation Systems

      Volume: - Issue: 9 Pages: 1-12

    • DOI

      10.1109/tits.2021.3127553

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Presentation] Training-Free Region Prediction with Stable Diffusion.2024

    • Author(s)
      Yuma Honbu and Keiji Yanai
    • Organizer
      Proc. of the International Multimedia Modeling Conference (MMM)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 生成AI技術の基礎と展望2024

    • Author(s)
      柳井 啓司
    • Organizer
      SID日本支部 講演会 「生成AIとメタバースが開く社会に向けたディスプレイ技術と課題」
    • Related Report
      2023 Annual Research Report
    • Invited
  • [Presentation] タイトル重畳料理サムネイル画像における魅力的なフォントスタイルの分析2024

    • Author(s)
      高木七海,久徳遙矢,道満恵介,駒水孝裕,井手一郎
    • Organizer
      電子情報通信学会メディアエクスペリエンス・バーチャル環境基礎研究会
    • Related Report
      2023 Annual Research Report
  • [Presentation] 複数食材の大きさを統合利用した弁当画像のスケール推定に関する研究2024

    • Author(s)
      渡辺茉里香,久徳遙矢,道満恵介,駒水孝裕,井手一郎
    • Organizer
      電子情報通信学会メディアエクスペリエンス・バーチャル環境基礎研究会
    • Related Report
      2023 Annual Research Report
  • [Presentation] Contextual Associated Triplet Queries for Panoptic Scene Graph Generation.2023

    • Author(s)
      Jingbin Xu, Junwen Chen and Keiji Yanai
    • Organizer
      Proc. of ACM Multimedia Asia
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Mask-based Food Image Synthesis with Cross-Modal Recipe Embeddings.2023

    • Author(s)
      Zhongtao Chen, Yuma Honbu, Keiji Yanai
    • Organizer
      Proc. of ACM Multimedia Asia
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] VQ-VDM: Video Diffusion Models with 3D VQGAN.2023

    • Author(s)
      Ryota Kaji, Keiji Yanai
    • Organizer
      Proc. of ACM Multimedia Asia
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] RecipeMeta: Metapath-enhanced recipe recommendation on heterogeneous recipe network2023

    • Author(s)
      Jialiang Shi, Takahiro Komamizu, Keisuke Doman, Haruya Kyutoku, Ichiro Ide
    • Organizer
      ACM Multimedia Asia 2023
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] HowToEat: Exploring Human Object Interaction and Eating Action in Eating Scenarios.2023

    • Author(s)
      Yingcheng Wang, Junwen Chen, Keiji Yanai
    • Organizer
      ACM MM Workshop on Multimedia Assisted Dietary Management
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Focusing on what to decode and what to train: Efficient Training with HOI Split Decoders and Specific Target Guided DeNoising.2023

    • Author(s)
      Junwen Chen, Yingcheng Wang, Keiji Yanai
    • Organizer
      arXiv
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] QAHOI: Query-Based Anchors for Human-Object Interaction Detection.2023

    • Author(s)
      Junwen Chen, Keiji Yanai
    • Organizer
      Proc. of the International Workshop on Machine Vision and Applications (MVA)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] CalorieCam360: Simultaneous Eating Action Recognition of Multiple People Using an Omnidirectional Camera.2023

    • Author(s)
      Kento Terauchi, Keiji Yanai
    • Organizer
      Proc. of ACM International Conference on Multimedia Retrieval (ICMR)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] StableSeg: Stable Diffusionによるゼロショット領域分割2023

    • Author(s)
      本部 勇真, 山口 廉斗, 柳井 啓司
    • Organizer
      画像の認識・理解シンポジウム (MIRU)
    • Related Report
      2023 Annual Research Report
  • [Presentation] 人物・物体・動作デコーダの分離によるHOI検出2023

    • Author(s)
      陳 俊文, 王 瀛成, 柳井 啓司
    • Organizer
      画像の認識・理解シンポジウム (MIRU)
    • Related Report
      2023 Annual Research Report
  • [Presentation] VQ-VDM: ベクトル量子化変分オートエンコーダと 拡散モデルを用いた動画生成モデル2023

    • Author(s)
      梶 凌太, 柳井 啓司
    • Organizer
      画像の認識・理解シンポジウム (MIRU)
    • Related Report
      2023 Annual Research Report
  • [Presentation] CalorieCam360: 全方位カメラによる複数人同時食事カロリー量推定システム2023

    • Author(s)
      寺内 健人, 山本 耕平, 柳井 啓司
    • Organizer
      画像の認識・理解シンポジウム (MIRU)
    • Related Report
      2023 Annual Research Report
  • [Presentation] CLIPと微分可能レンダラーを用いたフォントスタイル変換2023

    • Author(s)
      泉 幸太, 柳井 啓司
    • Organizer
      画像の認識・理解シンポジウム (MIRU)
    • Related Report
      2023 Annual Research Report
  • [Presentation] Unified transformer with fine-grained contrastive learning for cross-modal recipe retrieval2023

    • Author(s)
      Bolin Zhang, Haruya Kyutoku, Keisuke Doman, Takahiro Komamizu, Chao Yang, Bin Jiang, Ichiro Ide
    • Organizer
      画像の認識・理解シンポジウム (MIRU)
    • Related Report
      2023 Annual Research Report
  • [Presentation] 品詞に着目した料理レシピタイトルの魅力度分析2023

    • Author(s)
      高木 七海, 久徳 遙矢, 道満 恵介, 川西 康友, 平山 高嗣, 駒水孝裕, 井手 一郎
    • Organizer
      電子情報通信学会メディアエクスペリエンス・バーチャル環境基礎研究会
    • Related Report
      2022 Annual Research Report
  • [Presentation] Virtual Try-On Considering Temporal Consistency for Videoconferencing.2022

    • Author(s)
      Daiki Shimizu, Keiji Yanai
    • Organizer
      Proc. of the International Multimedia Modeling Conference (MMM)
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Transformer-Based Cross-Modal Recipe Embeddings with Large Batch Training.2022

    • Author(s)
      Jing Yang, Junwen Chen, Keiji Yanai
    • Organizer
      Proc. of the International Multimedia Modeling Conference (MMM)
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Zero-shot Font Style Transfer with a Differentiable Renderer2022

    • Author(s)
      Kota Izumi, Keiji Yanai
    • Organizer
      Proc. of ACM Multimedia Asia
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Parallel Queries for Human-Object Interaction Detection2022

    • Author(s)
      Junwen Chen, Keiji Yanai
    • Organizer
      Proc. of ACM Multimedia Asia
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] SetMealAsYouLike: Sketch-based Set Meal Image Synthesis with Plate Annotations2022

    • Author(s)
      Yuma Honbu, Keiji Yanai
    • Organizer
      Proc. of ACMMM Workshop on Multimedia Assisted Dietary Management (MADIMA)
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] DepthGrillCam: A Mobile Application for Real-time Eating Action Recording Using RGB-D Images2022

    • Author(s)
      Kento Adachi, Keiji Yanai
    • Organizer
      Proc. of ACMMM Workshop on Multimedia Assisted Dietary Management (MADIMA)
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Text-based Image Editing for Food Images with CLIP2022

    • Author(s)
      Kohei Yamamoto, Keiji Yanai
    • Organizer
      Proc. of ACMMM Workshop on Multimedia Assisted Dietary Management (MADIMA)
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Real Scale 3D Reconstruction of a Dish and a Plate using Implicit Function and a Single RGB-D Image2022

    • Author(s)
      Shu Naritomi, Keiji Yanai
    • Organizer
      Proc. of ACMMM Workshop on Multimedia Assisted Dietary Management (MADIMA)
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Continual Learning in Vision Transformer2022

    • Author(s)
      Mana Takeda, Keiji Yanai
    • Organizer
      Proc.of IEEE International Conference on Image Processing (ICIP)
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] StyleGAN-based CLIP-guided Image Shape Manipulation2022

    • Author(s)
      Yuchen Qian, Kohei Yamamoto, Keiji Yanai
    • Organizer
      Proc.of International Conference on Content-based Multimedia Indexing (CBMI)
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Unseen Food Segmentation2022

    • Author(s)
      Yuma Honbu, Keiji Yanai
    • Organizer
      Proc.of ACM International Conference on Multimedia Retrieval (ICMR)
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] SetMealAsYouLike: Few-shot Segmentationによる 食事画像への皿領域マスクの追加 と 食事画像生成への応用2022

    • Author(s)
      本部 勇真, 寺内 健人, 柳井 啓司
    • Organizer
      画像の認識・理解シンポジウム(MIRU)
    • Related Report
      2022 Annual Research Report
  • [Presentation] Cross-Modal Recipe Embeddingを用いた マスクに基づく食事画像生成2022

    • Author(s)
      陳仲 涛, 楊 景, 本部 勇真, 柳井 啓司
    • Organizer
      画像の認識・理解シンポジウム(MIRU)
    • Related Report
      2022 Annual Research Report
  • [Presentation] TransformerとLarge Batch Sizeを用いたクロスモーダルレシピエンベディング学習2022

    • Author(s)
      楊 景, 柳井 啓司
    • Organizer
      画像の認識・理解シンポジウム(MIRU)
    • Related Report
      2022 Annual Research Report
  • [Book] IT Text 深層学習2022

    • Author(s)
      柳井 啓司 、中鹿 亘 、稲葉 通将
    • Total Pages
      288
    • Publisher
      オーム社
    • ISBN
      4274228886
    • Related Report
      2022 Annual Research Report

URL: 

Published: 2022-04-19   Modified: 2025-04-17  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi