• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2022 年度 実績報告書

深層学習を用いた能動的な新しい食事管理技術の創出

研究課題

研究課題/領域番号 22H00548
研究機関電気通信大学

研究代表者

柳井 啓司  電気通信大学, 大学院情報理工学研究科, 教授 (20301179)

研究分担者 井手 一郎  名古屋大学, 情報学研究科, 教授 (10332157)
大河原 一憲  電気通信大学, 大学院情報理工学研究科, 教授 (30631270)
佐藤 光哉  電気通信大学, 人工知能先端研究センター, 助教 (60822533)
研究期間 (年度) 2022-04-01 – 2026-03-31
キーワード食事画像認識 / 食事画像変換 / 食事管理 / 食事レシピ
研究実績の概要

本研究では,深層学習によって高精度に実現可能となった画像認識・生成・変換技術を用いて,新しい能動的な食事管理技術を創出することを目的とする.本研究の特色は,食事中に摂取した総カロリー量をユーザに提示することで食事摂取量の意識付けを可能としたり,目の前の食事の見た目や量を視覚的に変化させることでカロリー量をコントロールしたりするような,能動的な食事管理技術を実現することである.さらに,能動的食事管理として,ユーザの条件を考慮した個人適応型の食事レシピ推薦・生成も合わせて実施する.本研究は,AIの最新技術を人々の「食」の健康に役立てることを最終的な目標とする.
初年度である本年度は以下の研究を実施した.
(1) 3次元的な量および食材の違いを考慮した食事カロリー量および栄養素量推定(柳井,大河原)(2) 焼き肉,鍋,大皿料理のためのリアルタイム食事動作認識による連続摂取カロリー量推定(柳井)(3) 深層学習による画像変換技術(柳井)(4) 個人の長期的,短期的制約条件を考慮した個人適応型食事レシピ推薦・生成技術(井手)

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

初年度である本年度は以下の研究を実施し,データ構築や基礎的な手法についての検討を実施した.(1) 3次元的な量および食材の違いを考慮した食事カロリー量および栄養素量推定(柳井,大河原)(2) 焼き肉,鍋,大皿料理のためのリアルタイム食事動作認識による連続摂取カロリー量推定(柳井,佐藤)(3) 深層学習による画像変換技術(柳井)(4) 個人の長期的,短期的制約条件を考慮した個人適応型食事レシピ推薦・生成技術(井手)
(1)と(3)に関しては査読付き国際会議論文として発表を行った.また,関連した課題としてクロスモーダルレシピ検索や,食事画像の領域分割に関する研究成果も査読付き国際会議論文として発表した.

今後の研究の推進方策

来年度以降もさらに以下の研究課題を発展させることを目標とする.(1) 3次元的な量および食材の違いを考慮した食事カロリー量および栄養素量推定(柳井,大河原)(2) 焼き肉,鍋,大皿料理のためのリアルタイム食事動作認識による連続摂取カロリー量推定(柳井,佐藤)(3) 深層学習による画像変換技術(柳井)(4) 個人の長期的,短期的制約条件を考慮した個人適応型食事レシピ推薦・生成技術(井手).最新の画像生成モデルであるStable Diffusionや画像言語マルチモーダルモデルCLIPを活用して,できるだけ少ない学習データでの実現を目指す.さらに(1)に関しては3次元食事画像データセットを拡充し,研究期間中の公開を目指して整備を行う予定である.

  • 研究成果

    (18件)

すべて 2023 2022

すべて 雑誌論文 (2件) (うち国際共著 1件、 査読あり 2件、 オープンアクセス 2件) 学会発表 (15件) (うち国際学会 11件) 図書 (1件)

  • [雑誌論文] Material Translation Based on Neural Style Transfer with Ideal Style Image Retrieval2022

    • 著者名/発表者名
      Benitez-Garcia Gibran、Takahashi Hiroki、Yanai Keiji
    • 雑誌名

      Sensors

      巻: 22 ページ: 7317~7317

    • DOI

      10.3390/s22197317

    • 査読あり / オープンアクセス
  • [雑誌論文] FASSD-Net: Fast and Accurate Real-Time Semantic Segmentation for Embedded Systems2022

    • 著者名/発表者名
      Rosas-Arias Leonel、Benitez-Garcia Gibran、Portillo-Portillo Jose、Olivares-Mercado Jesus、Sanchez-Perez Gabriel、Yanai Keiji
    • 雑誌名

      IEEE Transactions on Intelligent Transportation Systems

      巻: 23 ページ: 14349~14360

    • DOI

      10.1109/TITS.2021.3127553

    • 査読あり / オープンアクセス / 国際共著
  • [学会発表] 品詞に着目した料理レシピタイトルの魅力度分析2023

    • 著者名/発表者名
      高木 七海, 久徳 遙矢, 道満 恵介, 川西 康友, 平山 高嗣, 駒水孝裕, 井手 一郎
    • 学会等名
      電子情報通信学会メディアエクスペリエンス・バーチャル環境基礎研究会
  • [学会発表] Virtual Try-On Considering Temporal Consistency for Videoconferencing.2022

    • 著者名/発表者名
      Daiki Shimizu, Keiji Yanai
    • 学会等名
      Proc. of the International Multimedia Modeling Conference (MMM)
    • 国際学会
  • [学会発表] Transformer-Based Cross-Modal Recipe Embeddings with Large Batch Training.2022

    • 著者名/発表者名
      Jing Yang, Junwen Chen, Keiji Yanai
    • 学会等名
      Proc. of the International Multimedia Modeling Conference (MMM)
    • 国際学会
  • [学会発表] Zero-shot Font Style Transfer with a Differentiable Renderer2022

    • 著者名/発表者名
      Kota Izumi, Keiji Yanai
    • 学会等名
      Proc. of ACM Multimedia Asia
    • 国際学会
  • [学会発表] Parallel Queries for Human-Object Interaction Detection2022

    • 著者名/発表者名
      Junwen Chen, Keiji Yanai
    • 学会等名
      Proc. of ACM Multimedia Asia
    • 国際学会
  • [学会発表] SetMealAsYouLike: Sketch-based Set Meal Image Synthesis with Plate Annotations2022

    • 著者名/発表者名
      Yuma Honbu, Keiji Yanai
    • 学会等名
      Proc. of ACMMM Workshop on Multimedia Assisted Dietary Management (MADIMA)
    • 国際学会
  • [学会発表] DepthGrillCam: A Mobile Application for Real-time Eating Action Recording Using RGB-D Images2022

    • 著者名/発表者名
      Kento Adachi, Keiji Yanai
    • 学会等名
      Proc. of ACMMM Workshop on Multimedia Assisted Dietary Management (MADIMA)
    • 国際学会
  • [学会発表] Text-based Image Editing for Food Images with CLIP2022

    • 著者名/発表者名
      Kohei Yamamoto, Keiji Yanai
    • 学会等名
      Proc. of ACMMM Workshop on Multimedia Assisted Dietary Management (MADIMA)
    • 国際学会
  • [学会発表] Real Scale 3D Reconstruction of a Dish and a Plate using Implicit Function and a Single RGB-D Image2022

    • 著者名/発表者名
      Shu Naritomi, Keiji Yanai
    • 学会等名
      Proc. of ACMMM Workshop on Multimedia Assisted Dietary Management (MADIMA)
    • 国際学会
  • [学会発表] Continual Learning in Vision Transformer2022

    • 著者名/発表者名
      Mana Takeda, Keiji Yanai
    • 学会等名
      Proc.of IEEE International Conference on Image Processing (ICIP)
    • 国際学会
  • [学会発表] StyleGAN-based CLIP-guided Image Shape Manipulation2022

    • 著者名/発表者名
      Yuchen Qian, Kohei Yamamoto, Keiji Yanai
    • 学会等名
      Proc.of International Conference on Content-based Multimedia Indexing (CBMI)
    • 国際学会
  • [学会発表] Unseen Food Segmentation2022

    • 著者名/発表者名
      Yuma Honbu, Keiji Yanai
    • 学会等名
      Proc.of ACM International Conference on Multimedia Retrieval (ICMR)
    • 国際学会
  • [学会発表] SetMealAsYouLike: Few-shot Segmentationによる 食事画像への皿領域マスクの追加 と 食事画像生成への応用2022

    • 著者名/発表者名
      本部 勇真, 寺内 健人, 柳井 啓司
    • 学会等名
      画像の認識・理解シンポジウム(MIRU)
  • [学会発表] Cross-Modal Recipe Embeddingを用いた マスクに基づく食事画像生成2022

    • 著者名/発表者名
      陳仲 涛, 楊 景, 本部 勇真, 柳井 啓司
    • 学会等名
      画像の認識・理解シンポジウム(MIRU)
  • [学会発表] TransformerとLarge Batch Sizeを用いたクロスモーダルレシピエンベディング学習2022

    • 著者名/発表者名
      楊 景, 柳井 啓司
    • 学会等名
      画像の認識・理解シンポジウム(MIRU)
  • [図書] IT Text 深層学習2022

    • 著者名/発表者名
      柳井 啓司 、中鹿 亘 、稲葉 通将
    • 総ページ数
      288
    • 出版者
      オーム社
    • ISBN
      4274228886

URL: 

公開日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi