パーソナライゼーションによる食事ログの認識・予測・検索の高度化技術

• 研究課題/領域番号: 18H03254
• 研究種目: 基盤研究(B)
• 配分区分: 補助金
• 応募区分: 一般
• 審査区分: 小区分61010:知覚情報処理関連
• 研究機関: 東京大学
• 研究代表者: 相澤 清晴 東京大学, 大学院情報理工学系研究科, 教授 (20192453)
• 研究期間 (年度): 2018-04-01 – 2021-03-31
• 研究課題ステータス: 完了 (2020年度)
• 配分額: 17,420千円 (直接経費: 13,400千円、間接経費: 4,020千円); 2020年度: 5,330千円 (直接経費: 4,100千円、間接経費: 1,230千円); 2019年度: 5,200千円 (直接経費: 4,000千円、間接経費: 1,200千円); 2018年度: 6,890千円 (直接経費: 5,300千円、間接経費: 1,590千円)
• キーワード: マルチメディア / 画像認識 / 食事画像認識 / 食事記録 / パーソナリゼーション / 食事調査 / 栄養指導 / パーソナライゼーション / パーソナライズ認識 / 食材カテゴリー予測 / 食傾向

研究成果の概要

本研究では、画像認識に基づく食事記録技術のパーソナライゼーションの高度化を行い、食事写真の認識、食事記録の解析基盤を構築した。また、それらに基づき、栄養指導や食調査に適した新しい食事記録ツールを開発し、運用している。次の項目に関しての研究の成果をあげた。（１）パーソナライズ食事画像認識（２）時間依存性、品目依存性を考慮したパーソナライズ食事認識認識、（３）他者データの共有によるパーソナライズ食事認識認識のブースティング（４）食材カテゴリー予測と可視化（５）新FoodLog(FoodLog_Athl)の開発、公開、運用、改善（６）新FoodLogの栄養指導利用による検証（７）食事と健康度の調査

研究成果の学術的意義や社会的意義

本研究で開拓した技術は、食事記録の支援の高度化に資する。食事記録技術の精度、カバレッジを上げるために、パーソナリゼーションが本質的に重要な役割を果たすことを明らかとした。さらに、本研究の一部で構築した新しいツールであるFoodLog_Athlは、ユーザのみならず管理栄養士の利用を重視した新しいコンセプトに基づき、管理栄養士の栄養指導業務に直接利用可能なものであり、その利用が進められ、検証が進んでいる。

研究成果

• [国際共同研究] National University of Singapore(シンガポール)
• [雑誌論文] 食とICTの動向：マルチメディア処理の観点から －ユーザと管理栄養士のための新しい食事記録ツール (2020)
  • 著者名/発表者名: 相澤清晴
  • 雑誌名: 電子情報通信学会誌 巻: 103 ページ: 876-882
  • オープンアクセス
• [雑誌論文] Multi-task Curriculum Framework for Open-Set Semi-supervised Learning (2020)
  • 著者名/発表者名: Yu Qing、Ikami Daiki、Irie Go、Aizawa Kiyoharu
  • 雑誌名: EUROPEAN CONFERENCE ON COMPUTER VISION 巻: 1 ページ: 438-454
  • DOI: 10.1007/978-3-030-58610-2_26
  • ISBN: 9783030586096, 9783030586102
  • 査読あり / オープンアクセス
• [雑誌論文] Unknown Class Label Cleaning For Learning With Open-Set Noisy Labels (2020)
  • 著者名/発表者名: Yu Qing、Aizawa Kiyoharu
  • 雑誌名: IEEE International Conference on Image Processing 巻: 1 ページ: 1731-1735
  • DOI: 10.1109/icip40778.2020.9190652
  • 査読あり
• [雑誌論文] Noisy Localization Annotation Refinement For Object Detection (2020)
  • 著者名/発表者名: Mao Jiafeng、Yu Qing、Aizawa Kiyoharu
  • 雑誌名: IEEE International Conference on Image Processing 巻: 1 ページ: 2006-2010
  • DOI: 10.1109/icip40778.2020.9190728
  • NAID: 130008082148
  • 査読あり
• [雑誌論文] Unsupervised Embedding Learning by Noisy Similarity Label Optimization (2020)
  • 著者名/発表者名: Tsubota Koki、Aizawa Kiyoharu
  • 雑誌名: IEEE International Conference on Visual Communication and Image Processing 巻: 1 ページ: 247-250
  • DOI: 10.1109/vcip49819.2020.9301761
  • 査読あり
• [雑誌論文] Aleatoric Uncertainty Estimation Using a Separate Formulation with Virtual Residuals (2020)
  • 著者名/発表者名: Takumi Kawashima, Qing Yu, Akari Asai, Daiki Ikami, Kiyoharu Aizawa
  • 雑誌名: International Conference on Pattern Recognition 巻: 1
  • 査読あり
• [雑誌論文] Personalized Food Image Classifier Considering Time-Dependent and Item-Dependent Food Distribution (2019)
  • 著者名/発表者名: YU Qing、ANZAWA Masashi、AMANO Sosuke、AIZAWA Kiyoharu
  • 雑誌名: IEICE Transactions on Information and Systems 巻: E102.D 号: 11 ページ: 2120-2126
  • DOI: 10.1587/transinf.2019PCP0005
  • NAID: 130007740397
  • ISSN: 0916-8532, 1745-1361
  • 年月日: 2019-11-01
  • 査読あり / オープンアクセス
• [雑誌論文] Recognition of Multiple Food Items in A Single Photo for Use in A Buffet-Style Restaurant (2019)
  • 著者名/発表者名: Masashi ANZAWA, Sosuke AMANO, Yoko YAMAKATA, Keiko MOTONAGA, Akiko KAMEI, Kiyoharu AIZAWA
  • 雑誌名: IEICE Transactions on Information and Systems 巻: E102.D 号: 2 ページ: 410-414
  • DOI: 10.1587/transinf.2018EDL8183
  • NAID: 130007589314
  • ISSN: 0916-8532, 1745-1361
  • 年月日: 2019-02-01
  • 査読あり / オープンアクセス
• [雑誌論文] Significance of Softmax-based Features in Comparison to Distance Metric Learning-based Features (2019)
  • 著者名/発表者名: Horiguchi Shota、Ikami Daiki、Aizawa Kiyoharu
  • 雑誌名: IEEE Transactions on Pattern Analysis and Machine Intelligence 巻: 42 ページ: 1-1
  • DOI: 10.1109/tpami.2019.2911075
  • 査読あり / オープンアクセス
• [雑誌論文] Unsupervised Out-of-Distribution Detection by Maximum Classifier Discrepancy (2019)
  • 著者名/発表者名: Yu Qing、Aizawa Kiyoharu
  • 雑誌名: Int. Conf. Computer Vision (ICCV) 巻: 1 ページ: 9518-9526
  • DOI: 10.1109/iccv.2019.00961
  • 査読あり / オープンアクセス
• [雑誌論文] Personalized Classifier for Food Image Recognition (2018)
  • 著者名/発表者名: Horiguchi Shota、Amano Sosuke、Ogawa Makoto、Aizawa Kiyoharu
  • 雑誌名: IEEE Transactions on Multimedia 巻: 20 号: 10 ページ: 2836-2848
  • DOI: 10.1109/tmm.2018.2814339
  • 査読あり / オープンアクセス
• [雑誌論文] Bag-of-foods: analysis of personal foodlogging data (2018)
  • 著者名/発表者名: Goda Yuji、Amano Sosuke、Yamakata Yoko、Aizawa Kiyoharu
  • 雑誌名: IJCAI Joint Workshop on Multimedia for Cooking and Eating Activities and Multimedia Assisted Dietary Management 巻: 1 ページ: 63-66
  • DOI: 10.1145/3230519.3230596
  • 査読あり
• [雑誌論文] Resource intensity for menu items: how much land is required to provide for each dish? (2018)
  • 著者名/発表者名: Yamamata Yoko、Yamasue Eiji、McLellan Benjamin、Aizawa Kiyoharu
  • 雑誌名: IJCAI Joint Workshop on Multimedia for Cooking and Eating Activities and Multimedia Assisted Dietary Management 巻: 1 ページ: 15-20
  • DOI: 10.1145/3230519.3230585
  • 査読あり
• [雑誌論文] Food Image Recognition by Personalized Classifier (2018)
  • 著者名/発表者名: Yu Qing、Anzawa Masashi、Amano Sosuke、Ogawa Makoto、Aizawa Kiyoharu
  • 雑誌名: IEEE International Conference on Image Processing 巻: 1 ページ: 171-175
  • DOI: 10.1109/icip.2018.8451422
  • 査読あり
• [学会発表] 食事記録・調査のためのマルチメディアツール：FoodLog_Athl (2021)
  • 著者名/発表者名: 相澤清晴
  • 学会等名: 超臨場感コミュニケーション産学官フォーラム
  • 招待講演
• [学会発表] 栄養指導・食事調査のための食事記録ツール：FoodLog_Athl (2021)
  • 著者名/発表者名: 相澤清晴
  • 学会等名: 日本肥満学会/日本肥満症治療学術集会
  • 招待講演
• [学会発表] 食事記録・調査のためのマルチメディアツール：FoodLogAthl (2020)
  • 著者名/発表者名: 相澤清晴
  • 学会等名: 日本官能評価学会2020 年大会
  • 招待講演
• [学会発表] 食と情報処理のこれまでとこれから －食メディア研究会の活動を振り返りながら語る未来－ (2020)
  • 著者名/発表者名: 相澤清晴
  • 学会等名: 電子情報通信学会 HCGシンポジウム
  • 招待講演
• [学会発表] 食事記録分析による長期外出自粛の主観的健康度への影響調査 (2020)
  • 著者名/発表者名: 石野耀久，唐澤弘明，天野宗佑，山肩洋子，相澤清晴
  • 学会等名: 電子情報通信学会ライフインテリジェンスとオフィス情報システム研究会
• [学会発表] Training Object Detectors with Noisy Localization Annotation Refinement (2020)
  • 著者名/発表者名: Jiafeng Mao, Qing Yu and Kiyoharu Aizawa
  • 学会等名: 画像の認識・理解シンポジウム(MIRU)
• [学会発表] 分離定式化に基づく不確かさの推定 (2020)
  • 著者名/発表者名: 川島拓海, 郁青, 伊神大貴, 浅井明里, 相澤清晴
  • 学会等名: 画像の認識・理解シンポジウム(MIRU)
• [学会発表] Open-Set Semi-Supervised Learning with Multi-Task Curriculum Framework (2020)
  • 著者名/発表者名: Qing Yu, Daiki Ikami, Go Irie and Kiyoharu Aizawa
  • 学会等名: 画像の認識・理解シンポジウム(MIRU)
• [学会発表] 食事記録データからの健康度予測の検討とデータ取得 (2020)
  • 著者名/発表者名: 石野耀久、唐澤弘明、川原田美雪、天野宗佑、山肩洋子、相澤清晴
  • 学会等名: データ工学と情報マネジメントに関するフォーラム DEIM Forum 2020
• [学会発表] マルチタスクカリキュラム学習によるオープンセット半教師あり認識 (2020)
  • 著者名/発表者名: 郁青, 入江豪, 相澤清晴
  • 学会等名: 電子情報通信学会 画像工学研究会
• [学会発表] 食習慣理解に向けた大規模レシピを用いた食事記録の解析 (2020)
  • 著者名/発表者名: 川原田美雪、唐澤弘明、坂本美沙子、天野宗佑、山肩洋子、相澤清晴
  • 学会等名: 電子情報通信学会 ライフインテリジェンスとオフィス情報システム研究会
• [学会発表] FoodLogの10年 (2020)
  • 著者名/発表者名: 相澤清晴
  • 学会等名: 電子情報通信学会 総合大会
  • 招待講演
• [学会発表] FoodLog: Multimedia Food Recording Platform and its Application (2019)
  • 著者名/発表者名: Kiyoharu Aizawa
  • 学会等名: ACM Multimedia Workshop Multimedia Assisted Dietary Management
  • 国際学会 / 招待講演
• [学会発表] 大規模レシピデータとテキストベースの食事記録に基づくアスリートの食傾向分析 (2019)
  • 著者名/発表者名: 川原田美雪、唐澤弘明、坂本美沙子、天野宗佑、山肩洋子、相澤清晴
  • 学会等名: 電子情報通信学会 ライフインテリジェンスとオフィス情報システム研究会
• [学会発表] Classifier Discrepancy Maximization for Unsupervised Out-of-Distribution Detection (2019)
  • 著者名/発表者名: Qing Yu, Kiyoharu Aizawa
  • 学会等名: 画像の認識・理解シンポジウム（MIRU2019)
• [学会発表] FoodLog : マルチメディア食事記録ツールとそのデータ処理 ―運動選手の栄養管理のための新しいツール開発― (2019)
  • 著者名/発表者名: 相澤清晴
  • 学会等名: 日本スポーツ栄養学会 第６回大会
  • 招待講演
• [学会発表] アスリートと管理栄養士の食事管理支援システム (2019)
  • 著者名/発表者名: 相澤清晴
  • 学会等名: 東京大学スポーツ先端科学研究拠点 研究交流会
• [学会発表] 日常の食事を記録するFoodLog (2019)
  • 著者名/発表者名: 相澤清晴
  • 学会等名: 情報処理学会 コンピュータビジョンとイメージメディア研究会
  • 招待講演
• [学会発表] 食事名とレシピデータとのマッチングによるアスリートの食傾向分析 (2019)
  • 著者名/発表者名: 川原田美雪，唐澤弘明，坂本美沙子，天野宗祐，山肩洋子，相澤清晴
  • 学会等名: 日本スポーツ栄養学会 第６回大会
• [学会発表] 大規模レシピに基づく食事記録のカテゴリ推定による食物摂取頻度解析：アスリートを対象にした実践 (2019)
  • 著者名/発表者名: 川原田美雪，唐澤弘明，坂本美沙子，天野宗祐，山肩洋子，相澤清晴
  • 学会等名: 情報科学技術フォーラム、FIT2019
• [学会発表] 大規模食事記録データと深層学習モデルによる食習慣ベクトル化手法の検討 (2019)
  • 著者名/発表者名: 合田悠治、天野宗佑、山肩洋子、相澤清晴
  • 学会等名: 映像情報メディア学会 メディア工学研究会
• [学会発表] アスリートの食事管理を支援するフードコンサルティングシステム (2019)
  • 著者名/発表者名: 唐澤弘明、川原田美雪、天野宗佑、山肩洋子、相澤清晴
  • 学会等名: 電子情報通信学会 総合大会
• [学会発表] FoodxIT マルチメディア食事記録 (2019)
  • 著者名/発表者名: 相澤清晴
  • 学会等名: 国立栄養・健康研究所 講演会
  • 招待講演
• [学会発表] Personalized Food Image Recognition (2018)
  • 著者名/発表者名: Qing Yu, Masashi Anzawa, Sosuke Amano, Kiyoharu Aizawa
  • 学会等名: 画像の認識・理解シンポジウム
• [学会発表] 大規模食事記録データの栄養価クラスタリングに基づく食習慣ベクトルBag-of-Foodsとその検証 (2018)
  • 著者名/発表者名: 合田悠治、天野宗祐、山肩洋子、相澤清晴
  • 学会等名: 情報科学技術フォーラム
• [学会発表] 管理栄養士とアスリートのためのフードコンサルティングシステム (2018)
  • 著者名/発表者名: 唐澤弘明、川原田美雪、山肩洋子、相澤清晴
  • 学会等名: 映像情報メディア学会 冬季大会
• [学会発表] Food x IT マルチメディア食事記録 (2018)
  • 著者名/発表者名: 相澤清晴
  • 学会等名: 東京大学 教養学部 学術フロンティア講義
  • 招待講演
• [図書] Connected Health in Smart Cities (Chap.1) (2020)
  • 著者名/発表者名: Kiyoharu Aizawa (El Saddik, Abdulmotaleb, Hossain, M. Shamim, Kantarci, Burak)
  • 総ページ数: 254
  • 出版者: Springer
• [備考] AIのちからで管理栄養士とアスリートのコミュニケーションを手助けします
  • URL: http://www.foodlog-athl.org
• [備考]
  • URL: https://karszawa.github.io/monster/
• [備考]
  • URL: https://apps.apple.com/jp/app/foodlog-athl/id1445567985
• [備考]
  • URL: https://play.google.com/store/apps/details?id=me.foologathl.app&hl=en
• [備考]
  • URL: https://apps.apple.com/jp/app/foodlog-athl-for-dietitians/id1476571781
• [備考] FoodLog Athlete
  • URL: https://karszawa.github.io/monster/