• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

多元的センサー情報に基づく食行動研究基盤の構築

研究課題

研究課題/領域番号 21K18305
研究種目

挑戦的研究(開拓)

配分区分基金
審査区分 中区分61:人間情報学およびその関連分野
研究機関愛知産業大学 (2023-2024)
静岡大学 (2021-2022)

研究代表者

西村 雅史  愛知産業大学, 造形学部, 教授 (60740363)

研究分担者 黒岩 眞吾  千葉大学, 大学院情報学研究院, 教授 (20333510)
森野 智子  京都光華女子大学短期大学部, その他部局等, 准教授 (20582703)
津賀 一弘  広島大学, 医系科学研究科(歯), 教授 (60217289)
合田 敏尚  静岡県立大学, 食品栄養科学部, 客員教授 (70195923)
西田 昌史  静岡大学, 情報学部, 教授 (80361442)
吉川 峰加  広島大学, 医系科学研究科(歯), 准教授 (00444688)
大須賀 智子  国立情報学研究所, データセット共同利用研究開発センター, 特任研究員 (10435505)
研究期間 (年度) 2021-07-09 – 2026-03-31
研究課題ステータス 交付 (2024年度)
配分額 *注記
25,350千円 (直接経費: 19,500千円、間接経費: 5,850千円)
2024年度: 5,200千円 (直接経費: 4,000千円、間接経費: 1,200千円)
2023年度: 6,110千円 (直接経費: 4,700千円、間接経費: 1,410千円)
2022年度: 8,710千円 (直接経費: 6,700千円、間接経費: 2,010千円)
2021年度: 5,330千円 (直接経費: 4,100千円、間接経費: 1,230千円)
キーワード摂食行動 / 口腔機能評価 / 嚥下機能評価 / 食行動認識 / 高齢者 / 食行動 / 口腔機能 / 嚥下機能 / 自動行動認識 / 食行動データベース
研究開始時の研究の概要

「食べること」は生きる上での基本行動の一つであり,その質の維持・向上はあらゆる人の心身の健康を維持・増進する上で非常に重要な要素である.1) 食物を口に運び,2) 様々な位置で咀嚼し,3) 順次食塊を形成し,4) 食道へ送り込むという一連の食行動を,音や加速度,画像といった多元的なセンサー情報に基づく自動認識と,人手による修正作業によって可視化する.これによって,食行動を保健・医療,情報工学の両面から分析・評価できる研究基盤を構築するとともに,その学術的な有効性を示す.なお,本研究で構築する食行動データベースや関連ツール群は食行動に関する活発な研究を促すための研究基盤として公開する.

研究実績の概要

本研究では人が食物を認識し,口に運ぶまでの行動に加え,口腔内で食物を咀嚼し,食塊を形成して嚥下するまでの一連の摂食行動を様々なセンサーによって捉えてデータベース化するとともに,関連するツール群を整備し,情報工学,保健・医療の両面で活用できるものにすることを目指している.
本年度はこれまで収録完了したデータの中で,センサー等の不具合等によって正常な収録ができていなかったデータを洗い出し,再収録を行うと共に,収録済みデータに対するアノテーション作業を継続して実施した.一方,アノテーション作業が完了したデータに対しては,一連の摂食行動を食材や食事中の飲水の有無などに分けて統計的に分析し,若年者と高齢者間で違いが出る要素を明らかにした.
また,アノテーション作業を効率化するための自動認識手法の改良を行うと共に,その効率化の度合いについても評価し,有効性を確認した.さらに,食行動関連研究の対象を広げるため,多チャンネルデータやデータ拡張手法を活用した咀嚼・嚥下認識機能の更なる高精度化に加え,日常的な食事場面のように,発話や咳嗽といった他の生体音が同時に観測される中でも正確な口腔内行動認識が可能な手法の開発を進めた.
一方,本研究内で収録された健常高齢者や若年者の嚥下音を活用し,嚥下障害の度合いを評価・可視化するツールや,同様に健常高齢者や若年者の咀嚼音を活用し,簡便な方法で咀嚼機能の自動評価を可能とするツールなどの研究・開発を進めた結果,収録データの有用性に加え,これらのツール群の保健・医療分野での有効性・有用性の一端を示すことができた.

現在までの達成度
現在までの達成度

3: やや遅れている

理由

当初予定していた若年者50名,高齢者50名の食行動データの収集を目標通りに完了した.また,アノテーション完了データに対する咀嚼・嚥下の医学的な分析の実施,画像や音声に基づく一連の食行動の詳細認識ツールの開発,さらには,今回収録した健常高齢者データ等を活用した嚥下障害の可視化ツールや,咀嚼機能測定ツールの開発など,保健・医療の分野でも活用できると考えられる研究基盤の整備を進めることができた.
ただ,アノテーション作業に想定以上の時間が取られていることに加え,収録されたデータの全数チェックを行ったところ,センサー等の不具合や指示の不徹底で正常なデータが収録されていないケースが多数見つかり,年度末に向け再度被験者を募ってデータ収集を実施した.これらの作業が影響して当初目標としていた本年度中のデータセット及びツール群の提供には至っていない.

今後の研究の推進方策

データ収集と並行して開発した自動認識技術による仮ラベル付与がアノテーション作業の効率化に大きく寄与できることがわかっている.既にこの技術を活用した作業に切り替えており,予定より1年遅れではあるが,収録した全食行動データの一般公開を2025年度中に実施できる見通しを得ている.また,データ整備と並行して,食行動データの保健・医療面での有用性検証や,食行動関連データの収集ツール,食行動自動認識ツール,咀嚼や嚥下の自動評価ツールなどを食行動関連研究基盤として提供する準備も進める.

報告書

(5件)
  • 2024 実施状況報告書
  • 2023 実施状況報告書
  • 2022 実施状況報告書
  • 2021 審査結果の所見   実施状況報告書
  • 研究成果

    (43件)

すべて 2025 2024 2023 2022 2021

すべて 雑誌論文 (2件) (うち査読あり 2件、 オープンアクセス 1件) 学会発表 (39件) (うち国際学会 13件、 招待講演 1件) 産業財産権 (2件) (うち外国 1件)

  • [雑誌論文] Simultaneous Speech and Eating Behavior Recognition Using Data Augmentation and Two-Stage Fine-Tuning2025

    • 著者名/発表者名
      Toshihiro Tsukagoshi、Masafumi Nishida、Masafumi Nishimura
    • 雑誌名

      Sensors

      巻: 25 号: 5 ページ: 1544-1544

    • DOI

      10.3390/s25051544

    • 関連する報告書
      2024 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] 地域高齢者向け配食サービス利用者における健康・栄養アセスメントの有用性2022

    • 著者名/発表者名
      麻植由希子、神山佐奈美、百瀬由香梨、山田絵里加、上地美恵、合田敏尚
    • 雑誌名

      日本健康・栄養システム学会誌

      巻: 21

    • 関連する報告書
      2021 実施状況報告書
    • 査読あり
  • [学会発表] Text-to-Speech-Based Data Augmentation for Chewing and Swallowing Recognition2025

    • 著者名/発表者名
      Kazuhiro Koiwai, Masafumi Nishida, Masafumi Nishimura
    • 学会等名
      2025 RISP International Workshop on Nonlinear Circuits, Communications and Signal Processing, 2025.2
    • 関連する報告書
      2024 実施状況報告書
    • 国際学会
  • [学会発表] Automatic Chewing Ability Assessment Using a Self-Supervised Learning Model2025

    • 著者名/発表者名
      Mai Takeuchi, Kazuhiro Tsuga, Mineka Yoshikawa, Masafumi Nishida, Masafumi Nishimura
    • 学会等名
      2025 RISP International Workshop on Nonlinear Circuits, Communications and Signal Processing, 2025.2
    • 関連する報告書
      2024 実施状況報告書
    • 国際学会
  • [学会発表] Visualization and Classification of Swallowing Difficulties Using Scalogram-Based CNN2025

    • 著者名/発表者名
      Ryo Ushijima, Daisuke Furukawa, Shingo Kuroiwa, Masafumi Nishida, Masafumi Nishimura
    • 学会等名
      2025 RISP International Workshop on Nonlinear Circuits, Communications and Signal Processing, 2025.2
    • 関連する報告書
      2024 実施状況報告書
    • 国際学会
  • [学会発表] 若年者及び高齢者の摂食行動分析2025

    • 著者名/発表者名
      外處聖也,森野智子,西田昌史,西村雅史
    • 学会等名
      情報処理学会第87回全国大会, 5ZH-02, 2025.3.
    • 関連する報告書
      2024 実施状況報告書
  • [学会発表] 多元的センサー情報に基づく食行動研究基盤の構築と整備2025

    • 著者名/発表者名
      矢崎史也,黒岩眞吾,津賀一弘,森野智子,合田敏尚,吉川峰加,大須賀智子,西田昌史,西村雅史
    • 学会等名
      情報処理学会第87回全国大会,5ZH-01, 2025.3.
    • 関連する報告書
      2024 実施状況報告書
  • [学会発表] Improved Performance of a CA-SSL-based Daily Eating Sounds Recognition Model2024

    • 著者名/発表者名
      Kazuhiro Koiwai, Toshihiro Tsukagoshi, Masafumi Nishida, Masafumi Nishimura
    • 学会等名
      SCAI 2024-Winter, IIAI-AAI, 2024.12
    • 関連する報告書
      2024 実施状況報告書
    • 国際学会
  • [学会発表] SSL-based Chewing and Swallowing Detection Using Multiple Skin-contact Microphones2024

    • 著者名/発表者名
      Toshihiro Tsukagoshi, Kazuhiro Koiwai, Masafumi Nishida, Masafumi Nishimura
    • 学会等名
      APSIPA ASC2024, 2024.12
    • 関連する報告書
      2024 実施状況報告書
    • 国際学会
  • [学会発表] Simultaneous Speech and Eating Behavior Recognition Using Multitask Learning,2024

    • 著者名/発表者名
      Toshihiro Tsukagoshi, Masafumi Nishida, Masafumi Nishimura
    • 学会等名
      IEEE GCCE2024, pp.140-142, 2024.10.
    • 関連する報告書
      2024 実施状況報告書
    • 国際学会
  • [学会発表] Food Recognition Using Large-Scale Pre-Trained Speech Models2024

    • 著者名/発表者名
      Satoshi Naito, Shingo Kuroiwa, Masafumi Nishimura, Masafumi Nishida, Yasuo Horiuchi
    • 学会等名
      IEEE GCCE2024, pp.988-990, 2024.10.
    • 関連する報告書
      2024 実施状況報告書
    • 国際学会
  • [学会発表] Chewing and Swallowing Pattern Recognition Using Sound Information2024

    • 著者名/発表者名
      Mai Takeuchi, Masafumi Nishida, Masafumi Nishimura
    • 学会等名
      IEEE GCCE2024, pp.988-990, 2024.10.
    • 関連する報告書
      2024 実施状況報告書
    • 国際学会
  • [学会発表] 高齢者のオーラルフレイル兆候関連項目に関する検討2024

    • 著者名/発表者名
      森野智子,西村雅史
    • 学会等名
      日本咀嚼学会第35回学術大会
    • 関連する報告書
      2024 実施状況報告書
  • [学会発表] 模擬データによる音声・食行動音認識の評価2024

    • 著者名/発表者名
      小祝 和寛, 西田 昌史, 西村 雅史
    • 学会等名
      電子情報通信学会総合大会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 複数のセンサ情報に基づく摂食行動の分析2024

    • 著者名/発表者名
      外處聖也, 西田昌史, 西村雅史
    • 学会等名
      情報処理学会第86回全国大会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 多元的センサー情報に基づく食行動研究用データベースの構築と分析2024

    • 著者名/発表者名
      小山達之, 西田昌史, 西村雅史
    • 学会等名
      情報処理学会第86回全国大会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 嚥下音に基づく嚥下能力の分析と可視化2024

    • 著者名/発表者名
      横江 隼,西田 昌史,黒岩 眞吾,西村 雅史
    • 学会等名
      情報処理学会第86回全国大会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 嚥下音に基づく嚥下機能評価に関する研究2023

    • 著者名/発表者名
      横江 隼, 米谷 綾, 西田 昌史, 西村 雅史
    • 学会等名
      第22回情報科学技術フォーラム(FIT2023)
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 大規模事前学習モデルとデータ拡張による音声・食行動音同時認識2023

    • 著者名/発表者名
      小祝 和寛, 緒方 淳, 西田 昌史, 西村 雅史
    • 学会等名
      第22回情報科学技術フォーラム(FIT2023)
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] Eating and Drinking Behavior Recognition Using Multimodal Fusion2023

    • 著者名/発表者名
      Amit Karmakar, Masafumi Nishida and Masafumi Nishimura
    • 学会等名
      2023 IEEE 11th Global Conference on Consumer Electronics
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] 青年期の咀嚼能力に関連する口腔機能測定項目2023

    • 著者名/発表者名
      森野智子,西村雅史
    • 学会等名
      日本咀嚼学会第34回学術大会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 国立情報学研究所における言語資源共有の取り組み2023

    • 著者名/発表者名
      大須賀智子
    • 学会等名
      言語資源ワークショップ2023,2023.8
    • 関連する報告書
      2023 実施状況報告書
    • 招待講演
  • [学会発表] 口腔機能と「早食い」の関連性2023

    • 著者名/発表者名
      横井美有希,平岡綾,竹内真帆,丸山真理子.竹田智帆,春田梓,髙橋優太朗,吉川峰加,吉田光由,津賀一弘
    • 学会等名
      一般社団法人日本老年歯科医学会第34回学術大会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] Eating & Drinking Behavior Recognition Using MS-TCN2023

    • 著者名/発表者名
      Karmakar Amit,Masafumi Nishida,Masafumi Nishimura
    • 学会等名
      ISFAR-SU 2023
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] 食行動の自動評価及び分析のためのデータベース構築2023

    • 著者名/発表者名
      伴野 司,森野 智子,黒岩 眞吾,西田 昌史,西村 雅史
    • 学会等名
      情報処理学会第85回全国大会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 大規模事前学習モデルを用いた皮膚接触型マイク音声と食行動音の同時認識2023

    • 著者名/発表者名
      小祝和寛,増田光汰,緒方淳,西田昌史,西村雅史
    • 学会等名
      情報処理学会第85回全国大会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 音による咀嚼能力自動評価における測定時間の影響2023

    • 著者名/発表者名
      竹内麻衣,齊藤隆仁,太田賢,中島裕昭,湯口昌宏,春山知生,下山拓流,峰野博史,西村雅史
    • 学会等名
      2023年電子情報通信学会総合大会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 咽喉マイクを用いた食事中のむせの自動検出2023

    • 著者名/発表者名
      吉村 和大,西田 昌史,黒岩 眞吾,西村 雅史
    • 学会等名
      2023年電子情報通信学会総合大会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] Eating & Drinking Behavior Recognition Using MS-TCN2023

    • 著者名/発表者名
      K. Amit,M. Nishida,M. Nishimura
    • 学会等名
      2023年電子情報通信学会総合大会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] Identification of Vocal Tract State Before and After Swallowing Using Acoustic Features2022

    • 著者名/発表者名
      A. Sugita,M. Nishida,M. Nishimura,Y. Horiuchi,S. Kuroiwa
    • 学会等名
      IEEE 11th Global Conference on Consumer Electronics (GCCE)
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] 食行動データベース構築に向けた口腔機能の分析に関する検討2022

    • 著者名/発表者名
      西田 昌史,鈴木 悠太,森野 智子,西村 雅史
    • 学会等名
      第21回情報科学技術フォーラム(FIT)
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 咀嚼音に基づく咀嚼能力自動推定と測定の自由度に関する検討2022

    • 著者名/発表者名
      竹内麻衣,齊藤隆仁,太田賢,中島裕昭,湯口昌宏,春山知生,峰野博史,西村雅史
    • 学会等名
      第20回情報学ワークショップ
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] Automatic Detection of Crushing Completion Timing of Food2022

    • 著者名/発表者名
      Akihiro Nakamura, Takato Saito, Daizo Ikeda, Ken Ohta, Hiroshi Mineno, Masafumi Nishimura
    • 学会等名
      IEEE LifeTech2022
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] 音響的特徴を用いた嚥下前/嚥下後の音声識別2022

    • 著者名/発表者名
      杉田あおい, 西田昌史, 西村雅史, 堀内靖雄, 黒岩眞吾
    • 学会等名
      日本音響学会春季研究発表会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 食道上部括約筋開放時産生音に基づく嚥下障害スクリーニングに関する検討2022

    • 著者名/発表者名
      髙馬大輝,黒岩眞吾, 西田昌史, 西村雅史
    • 学会等名
      電子情報通信学会総合大会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 咀嚼音に基づく咀嚼能力自動評価システム2022

    • 著者名/発表者名
      中村亮裕,津賀一弘,西村雅史
    • 学会等名
      情報処理学会第84回全国大会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] Automatic Detection of Chewing and Swallowing Using Attention-Based Fusion2021

    • 著者名/発表者名
      Akihiro Nakamura, Takato Saito, Daizo Ikeda, Ken Ohta, Hiroshi Mineno, Masafumi Nishimura
    • 学会等名
      IEEE GCCE 2021
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] Food intake monitoring based on acoustic and acceleration information2021

    • 著者名/発表者名
      AHMAD YEASEEN, Masafumi Nishimura
    • 学会等名
      第20回情報科学技術フォーラム(FIT)
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 嚥下音を用いた上部食道括約筋開放開始点の同定法2021

    • 著者名/発表者名
      高馬 大輝,古川 大輔,村西 幸代,黒岩 眞吾,西田 昌史,西村 雅史
    • 学会等名
      日本摂食嚥下リハビリテーション学会第26・27回合同学術大会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 成人男性と義歯使用高齢男性の咀嚼機能の比較2021

    • 著者名/発表者名
      森野智子,西村雅史,鈴木桂子,山本智美,高田佳輔
    • 学会等名
      日本咀嚼学会第32回学術大会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 高齢男性における義歯使用が口腔機能と咀嚼におよぼす効果 -咀嚼評価方法の考察-2021

    • 著者名/発表者名
      森野智子,西村雅史,鈴木桂子,山本智美,高田佳輔
    • 学会等名
      日本咀嚼学会第32回学術大会
    • 関連する報告書
      2021 実施状況報告書
  • [産業財産権] Evaluation Device, Evaluation Method, and Evaluation Program2023

    • 発明者名
      M. NISHIMURA, K. TSUGA
    • 権利者名
      M. NISHIMURA, K. TSUGA
    • 産業財産権種類
      特許
    • 出願年月日
      2023
    • 関連する報告書
      2023 実施状況報告書
    • 外国
  • [産業財産権] 評価装置、評価方法、及び評価プログラム2021

    • 発明者名
      西村雅史,津賀一弘
    • 権利者名
      西村雅史,津賀一弘
    • 産業財産権種類
      特許
    • 産業財産権番号
      2021-212349
    • 出願年月日
      2021
    • 関連する報告書
      2021 実施状況報告書

URL: 

公開日: 2021-07-13   更新日: 2025-12-26  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi