• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

多元的センサー情報に基づく食行動研究基盤の構築

研究課題

研究課題/領域番号 21K18305
研究種目

挑戦的研究(開拓)

配分区分基金
審査区分 中区分61:人間情報学およびその関連分野
研究機関愛知産業大学 (2023)
静岡大学 (2021-2022)

研究代表者

西村 雅史  愛知産業大学, 造形学部, 教授 (60740363)

研究分担者 黒岩 眞吾  千葉大学, 大学院工学研究院, 教授 (20333510)
森野 智子  静岡県立大学短期大学部, 短期大学部, 講師 (20582703)
津賀 一弘  広島大学, 医系科学研究科(歯), 教授 (60217289)
合田 敏尚  静岡県立大学, 食品栄養科学部, 特任教授 (70195923)
西田 昌史  静岡大学, 情報学部, 准教授 (80361442)
吉川 峰加  広島大学, 医系科学研究科(歯), 准教授 (00444688)
大須賀 智子  国立情報学研究所, データセット共同利用研究開発センター, 特任研究員 (10435505)
研究期間 (年度) 2021-07-09 – 2025-03-31
研究課題ステータス 交付 (2023年度)
配分額 *注記
25,350千円 (直接経費: 19,500千円、間接経費: 5,850千円)
2024年度: 5,200千円 (直接経費: 4,000千円、間接経費: 1,200千円)
2023年度: 6,110千円 (直接経費: 4,700千円、間接経費: 1,410千円)
2022年度: 8,710千円 (直接経費: 6,700千円、間接経費: 2,010千円)
2021年度: 5,330千円 (直接経費: 4,100千円、間接経費: 1,230千円)
キーワード食行動 / 口腔機能 / 嚥下機能 / 自動行動認識 / 食行動データベース
研究開始時の研究の概要

「食べること」は生きる上での基本行動の一つであり,その質の維持・向上はあらゆる人の心身の健康を維持・増進する上で非常に重要な要素である.1) 食物を口に運び,2) 様々な位置で咀嚼し,3) 順次食塊を形成し,4) 食道へ送り込むという一連の食行動を,音や加速度,画像といった多元的なセンサー情報に基づく自動認識と,人手による修正作業によって可視化する.これによって,食行動を保健・医療,情報工学の両面から分析・評価できる研究基盤を構築するとともに,その学術的な有効性を示す.なお,本研究で構築する食行動データベースや関連ツール群は食行動に関する活発な研究を促すための研究基盤として公開する.

研究実績の概要

本研究では人が食物を認識し,口に運ぶまでの食行動に加え,口腔内で食物を咀嚼し,食塊を形成して嚥下するまでの一連の食行動を多元的なセンサー情報とともにデータベース化し,情報工学,保健・医療の両面で活用できるものにすることを目指している.本年度は高齢者データの拡充を目標とし,シルバー人材センターに加え,近隣の医療機関,社会福祉協議会など関係各方面の協力も得ながら広く高齢者のリクルーティング活動を行った.結果として,健常と思われる高齢者50名以上から,食行動データ(3方向からの動画,嚥下や咀嚼に関する6chの収録音,両手と頭の計3箇所での加速度・角速度,摂取食物の重量変化など)を収録した.行動に対する詳細なラベルはまだ付与できていないが,医学的な手法で測定した嚥下機能及び口腔機能に関する被験者属性を中心に,昨年度収録した若年者データとの比較を実施し,咀嚼回数や嚥下時間に関して有意な差を確認した.また,今回収集した健常高齢者の嚥下音を活用して嚥下障害高齢者の嚥下音との違いを可視化する方法を検討し,その可能性を明らかにすることができた.
一方,データベース化のために必要となる詳細行動のアノテーション作業を効率化する目的に加え,本データセットが行動認識モデルの学習用データとしても有用であることを検証するため,画像,加速度・角速度情報に基づく食行動認識及び,音情報に基づく口腔内行動認識の性能改善にも引き続き取り組んだ.

現在までの達成度 (区分)
現在までの達成度 (区分)

3: やや遅れている

理由

情報工学,保健・医療の両面で活用可能な食行動データベースを構築できるよう,メンバー全員で繰り返し議論を行った結果,高齢者を含む被験者の負担にも考慮しつつ,多様な食材や摂取方法を広くカバーできるような収集手順のデザインができたと考えている.この手順に従い,昨年度の若年者に続き,本年度は健常高齢者のデータ収集を実施したが,これについてもほぼ予定通り順調に進めることができた.
一方で,画像ベースの食行動の分節化については必要以上に細かい行動を定義していたために,結果として人手によるアノテーション作業に想定外の時間がかかり,プロジェクト全体のスケジュールにも影響が出ることが判明した.このため,行動クラスの分類を見直した上で改めてアノテーション作業を再開している.
また,研究代表者の定年退職に伴う職場変更に伴い,収録および作業環境の再整備が必要になったことに加え,作業担当者についても入れ替えが必要となり,作業の遅れにつながっている.

今後の研究の推進方策

これまでに若年者50名以上,健常高齢者50名以上に対し,医学的な手法に基づいて嚥下機能及び口腔機能等を測定するとともに,様々な食材,様々な形態での食行動データを収集し終えた.ただ,収録後のチェックにおいて,何らかの不備(センサの装着ミスや雑音の重畳等)が発見されたデータが20%以上あったため,これらの不備データを置き換える目的で追加のデータ収集を実施し,これを以て本データセットの収録作業を本年度中に終了する予定である.
一方,アノテーション作業については当初計画よりも遅れているが,これまでに構築した認識モデルによる行動ラベルの自動付与結果を初期値とし,これに対して人手による確認・修正を行うことで,作業の効率化を図る.なお,既に一部のデータを用いてこの手順の検証を行い,作業効率の大幅な改善につながることを確認している.
若年者,高齢者,それぞれの食行動に詳細なラベルを付与したデータは,人が食物を認識し,口に運ぶまでの行動に加え,口腔内で食物を咀嚼し,食塊を形成して嚥下するまでの一連の食行動を自動認識するための学習データとなるだけでなく,高齢者に見られる様々な機能低下(フレイル)を見出すための基礎データとしても有効である.この点については特に咀嚼,嚥下それぞれの機能低下に焦点を当てて,今後も引き続き検証を行う.

報告書

(4件)
  • 2023 実施状況報告書
  • 2022 実施状況報告書
  • 2021 審査結果の所見   実施状況報告書
  • 研究成果

    (31件)

すべて 2024 2023 2022 2021

すべて 雑誌論文 (1件) (うち査読あり 1件) 学会発表 (28件) (うち国際学会 5件、 招待講演 1件) 産業財産権 (2件) (うち外国 1件)

  • [雑誌論文] 地域高齢者向け配食サービス利用者における健康・栄養アセスメントの有用性2022

    • 著者名/発表者名
      麻植由希子、神山佐奈美、百瀬由香梨、山田絵里加、上地美恵、合田敏尚
    • 雑誌名

      日本健康・栄養システム学会誌

      巻: 21

    • 関連する報告書
      2021 実施状況報告書
    • 査読あり
  • [学会発表] 模擬データによる音声・食行動音認識の評価2024

    • 著者名/発表者名
      小祝 和寛, 西田 昌史, 西村 雅史
    • 学会等名
      電子情報通信学会総合大会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 複数のセンサ情報に基づく摂食行動の分析2024

    • 著者名/発表者名
      外處聖也, 西田昌史, 西村雅史
    • 学会等名
      情報処理学会第86回全国大会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 多元的センサー情報に基づく食行動研究用データベースの構築と分析2024

    • 著者名/発表者名
      小山達之, 西田昌史, 西村雅史
    • 学会等名
      情報処理学会第86回全国大会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 嚥下音に基づく嚥下能力の分析と可視化2024

    • 著者名/発表者名
      横江 隼,西田 昌史,黒岩 眞吾,西村 雅史
    • 学会等名
      情報処理学会第86回全国大会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 嚥下音に基づく嚥下機能評価に関する研究2023

    • 著者名/発表者名
      横江 隼, 米谷 綾, 西田 昌史, 西村 雅史
    • 学会等名
      第22回情報科学技術フォーラム(FIT2023)
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 大規模事前学習モデルとデータ拡張による音声・食行動音同時認識2023

    • 著者名/発表者名
      小祝 和寛, 緒方 淳, 西田 昌史, 西村 雅史
    • 学会等名
      第22回情報科学技術フォーラム(FIT2023)
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] Eating and Drinking Behavior Recognition Using Multimodal Fusion2023

    • 著者名/発表者名
      Amit Karmakar, Masafumi Nishida and Masafumi Nishimura
    • 学会等名
      2023 IEEE 11th Global Conference on Consumer Electronics
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] 青年期の咀嚼能力に関連する口腔機能測定項目2023

    • 著者名/発表者名
      森野智子,西村雅史
    • 学会等名
      日本咀嚼学会第34回学術大会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 国立情報学研究所における言語資源共有の取り組み2023

    • 著者名/発表者名
      大須賀智子
    • 学会等名
      言語資源ワークショップ2023,2023.8
    • 関連する報告書
      2023 実施状況報告書
    • 招待講演
  • [学会発表] 口腔機能と「早食い」の関連性2023

    • 著者名/発表者名
      横井美有希,平岡綾,竹内真帆,丸山真理子.竹田智帆,春田梓,髙橋優太朗,吉川峰加,吉田光由,津賀一弘
    • 学会等名
      一般社団法人日本老年歯科医学会第34回学術大会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] Eating & Drinking Behavior Recognition Using MS-TCN2023

    • 著者名/発表者名
      Karmakar Amit,Masafumi Nishida,Masafumi Nishimura
    • 学会等名
      ISFAR-SU 2023
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] 食行動の自動評価及び分析のためのデータベース構築2023

    • 著者名/発表者名
      伴野 司,森野 智子,黒岩 眞吾,西田 昌史,西村 雅史
    • 学会等名
      情報処理学会第85回全国大会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 大規模事前学習モデルを用いた皮膚接触型マイク音声と食行動音の同時認識2023

    • 著者名/発表者名
      小祝和寛,増田光汰,緒方淳,西田昌史,西村雅史
    • 学会等名
      情報処理学会第85回全国大会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 音による咀嚼能力自動評価における測定時間の影響2023

    • 著者名/発表者名
      竹内麻衣,齊藤隆仁,太田賢,中島裕昭,湯口昌宏,春山知生,下山拓流,峰野博史,西村雅史
    • 学会等名
      2023年電子情報通信学会総合大会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 咽喉マイクを用いた食事中のむせの自動検出2023

    • 著者名/発表者名
      吉村 和大,西田 昌史,黒岩 眞吾,西村 雅史
    • 学会等名
      2023年電子情報通信学会総合大会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] Eating & Drinking Behavior Recognition Using MS-TCN2023

    • 著者名/発表者名
      K. Amit,M. Nishida,M. Nishimura
    • 学会等名
      2023年電子情報通信学会総合大会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] Identification of Vocal Tract State Before and After Swallowing Using Acoustic Features2022

    • 著者名/発表者名
      A. Sugita,M. Nishida,M. Nishimura,Y. Horiuchi,S. Kuroiwa
    • 学会等名
      IEEE 11th Global Conference on Consumer Electronics (GCCE)
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] 食行動データベース構築に向けた口腔機能の分析に関する検討2022

    • 著者名/発表者名
      西田 昌史,鈴木 悠太,森野 智子,西村 雅史
    • 学会等名
      第21回情報科学技術フォーラム(FIT)
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 咀嚼音に基づく咀嚼能力自動推定と測定の自由度に関する検討2022

    • 著者名/発表者名
      竹内麻衣,齊藤隆仁,太田賢,中島裕昭,湯口昌宏,春山知生,峰野博史,西村雅史
    • 学会等名
      第20回情報学ワークショップ
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] Automatic Detection of Crushing Completion Timing of Food2022

    • 著者名/発表者名
      Akihiro Nakamura, Takato Saito, Daizo Ikeda, Ken Ohta, Hiroshi Mineno, Masafumi Nishimura
    • 学会等名
      IEEE LifeTech2022
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] 音響的特徴を用いた嚥下前/嚥下後の音声識別2022

    • 著者名/発表者名
      杉田あおい, 西田昌史, 西村雅史, 堀内靖雄, 黒岩眞吾
    • 学会等名
      日本音響学会春季研究発表会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 食道上部括約筋開放時産生音に基づく嚥下障害スクリーニングに関する検討2022

    • 著者名/発表者名
      髙馬大輝,黒岩眞吾, 西田昌史, 西村雅史
    • 学会等名
      電子情報通信学会総合大会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 咀嚼音に基づく咀嚼能力自動評価システム2022

    • 著者名/発表者名
      中村亮裕,津賀一弘,西村雅史
    • 学会等名
      情報処理学会第84回全国大会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] Automatic Detection of Chewing and Swallowing Using Attention-Based Fusion2021

    • 著者名/発表者名
      Akihiro Nakamura, Takato Saito, Daizo Ikeda, Ken Ohta, Hiroshi Mineno, Masafumi Nishimura
    • 学会等名
      IEEE GCCE 2021
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] Food intake monitoring based on acoustic and acceleration information2021

    • 著者名/発表者名
      AHMAD YEASEEN, Masafumi Nishimura
    • 学会等名
      第20回情報科学技術フォーラム(FIT)
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 嚥下音を用いた上部食道括約筋開放開始点の同定法2021

    • 著者名/発表者名
      高馬 大輝,古川 大輔,村西 幸代,黒岩 眞吾,西田 昌史,西村 雅史
    • 学会等名
      日本摂食嚥下リハビリテーション学会第26・27回合同学術大会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 成人男性と義歯使用高齢男性の咀嚼機能の比較2021

    • 著者名/発表者名
      森野智子,西村雅史,鈴木桂子,山本智美,高田佳輔
    • 学会等名
      日本咀嚼学会第32回学術大会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 高齢男性における義歯使用が口腔機能と咀嚼におよぼす効果 -咀嚼評価方法の考察-2021

    • 著者名/発表者名
      森野智子,西村雅史,鈴木桂子,山本智美,高田佳輔
    • 学会等名
      日本咀嚼学会第32回学術大会
    • 関連する報告書
      2021 実施状況報告書
  • [産業財産権] Evaluation Device, Evaluation Method, and Evaluation Program2023

    • 発明者名
      M. NISHIMURA, K. TSUGA
    • 権利者名
      M. NISHIMURA, K. TSUGA
    • 産業財産権種類
      特許
    • 出願年月日
      2023
    • 関連する報告書
      2023 実施状況報告書
    • 外国
  • [産業財産権] 評価装置、評価方法、及び評価プログラム2021

    • 発明者名
      西村雅史,津賀一弘
    • 権利者名
      西村雅史,津賀一弘
    • 産業財産権種類
      特許
    • 産業財産権番号
      2021-212349
    • 出願年月日
      2021
    • 関連する報告書
      2021 実施状況報告書

URL: 

公開日: 2021-07-13   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi