• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

多元的センサー情報に基づく食行動研究基盤の構築

Research Project

Project/Area Number 21K18305
Research Category

Grant-in-Aid for Challenging Research (Pioneering)

Allocation TypeMulti-year Fund
Review Section Medium-sized Section 61:Human informatics and related fields
Research InstitutionAichi Sangyo University (2023)
Shizuoka University (2021-2022)

Principal Investigator

西村 雅史  愛知産業大学, 造形学部, 教授 (60740363)

Co-Investigator(Kenkyū-buntansha) 黒岩 眞吾  千葉大学, 大学院工学研究院, 教授 (20333510)
森野 智子  静岡県立大学短期大学部, 短期大学部, 講師 (20582703)
津賀 一弘  広島大学, 医系科学研究科(歯), 教授 (60217289)
合田 敏尚  静岡県立大学, 食品栄養科学部, 特任教授 (70195923)
西田 昌史  静岡大学, 情報学部, 准教授 (80361442)
吉川 峰加  広島大学, 医系科学研究科(歯), 准教授 (00444688)
大須賀 智子  国立情報学研究所, データセット共同利用研究開発センター, 特任研究員 (10435505)
Project Period (FY) 2021-07-09 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥25,350,000 (Direct Cost: ¥19,500,000、Indirect Cost: ¥5,850,000)
Fiscal Year 2024: ¥5,200,000 (Direct Cost: ¥4,000,000、Indirect Cost: ¥1,200,000)
Fiscal Year 2023: ¥6,110,000 (Direct Cost: ¥4,700,000、Indirect Cost: ¥1,410,000)
Fiscal Year 2022: ¥8,710,000 (Direct Cost: ¥6,700,000、Indirect Cost: ¥2,010,000)
Fiscal Year 2021: ¥5,330,000 (Direct Cost: ¥4,100,000、Indirect Cost: ¥1,230,000)
Keywords食行動 / 口腔機能 / 嚥下機能 / 自動行動認識 / 食行動データベース
Outline of Research at the Start

「食べること」は生きる上での基本行動の一つであり,その質の維持・向上はあらゆる人の心身の健康を維持・増進する上で非常に重要な要素である.1) 食物を口に運び,2) 様々な位置で咀嚼し,3) 順次食塊を形成し,4) 食道へ送り込むという一連の食行動を,音や加速度,画像といった多元的なセンサー情報に基づく自動認識と,人手による修正作業によって可視化する.これによって,食行動を保健・医療,情報工学の両面から分析・評価できる研究基盤を構築するとともに,その学術的な有効性を示す.なお,本研究で構築する食行動データベースや関連ツール群は食行動に関する活発な研究を促すための研究基盤として公開する.

Outline of Annual Research Achievements

本研究では人が食物を認識し,口に運ぶまでの食行動に加え,口腔内で食物を咀嚼し,食塊を形成して嚥下するまでの一連の食行動を多元的なセンサー情報とともにデータベース化し,情報工学,保健・医療の両面で活用できるものにすることを目指している.本年度は高齢者データの拡充を目標とし,シルバー人材センターに加え,近隣の医療機関,社会福祉協議会など関係各方面の協力も得ながら広く高齢者のリクルーティング活動を行った.結果として,健常と思われる高齢者50名以上から,食行動データ(3方向からの動画,嚥下や咀嚼に関する6chの収録音,両手と頭の計3箇所での加速度・角速度,摂取食物の重量変化など)を収録した.行動に対する詳細なラベルはまだ付与できていないが,医学的な手法で測定した嚥下機能及び口腔機能に関する被験者属性を中心に,昨年度収録した若年者データとの比較を実施し,咀嚼回数や嚥下時間に関して有意な差を確認した.また,今回収集した健常高齢者の嚥下音を活用して嚥下障害高齢者の嚥下音との違いを可視化する方法を検討し,その可能性を明らかにすることができた.
一方,データベース化のために必要となる詳細行動のアノテーション作業を効率化する目的に加え,本データセットが行動認識モデルの学習用データとしても有用であることを検証するため,画像,加速度・角速度情報に基づく食行動認識及び,音情報に基づく口腔内行動認識の性能改善にも引き続き取り組んだ.

Current Status of Research Progress
Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

情報工学,保健・医療の両面で活用可能な食行動データベースを構築できるよう,メンバー全員で繰り返し議論を行った結果,高齢者を含む被験者の負担にも考慮しつつ,多様な食材や摂取方法を広くカバーできるような収集手順のデザインができたと考えている.この手順に従い,昨年度の若年者に続き,本年度は健常高齢者のデータ収集を実施したが,これについてもほぼ予定通り順調に進めることができた.
一方で,画像ベースの食行動の分節化については必要以上に細かい行動を定義していたために,結果として人手によるアノテーション作業に想定外の時間がかかり,プロジェクト全体のスケジュールにも影響が出ることが判明した.このため,行動クラスの分類を見直した上で改めてアノテーション作業を再開している.
また,研究代表者の定年退職に伴う職場変更に伴い,収録および作業環境の再整備が必要になったことに加え,作業担当者についても入れ替えが必要となり,作業の遅れにつながっている.

Strategy for Future Research Activity

これまでに若年者50名以上,健常高齢者50名以上に対し,医学的な手法に基づいて嚥下機能及び口腔機能等を測定するとともに,様々な食材,様々な形態での食行動データを収集し終えた.ただ,収録後のチェックにおいて,何らかの不備(センサの装着ミスや雑音の重畳等)が発見されたデータが20%以上あったため,これらの不備データを置き換える目的で追加のデータ収集を実施し,これを以て本データセットの収録作業を本年度中に終了する予定である.
一方,アノテーション作業については当初計画よりも遅れているが,これまでに構築した認識モデルによる行動ラベルの自動付与結果を初期値とし,これに対して人手による確認・修正を行うことで,作業の効率化を図る.なお,既に一部のデータを用いてこの手順の検証を行い,作業効率の大幅な改善につながることを確認している.
若年者,高齢者,それぞれの食行動に詳細なラベルを付与したデータは,人が食物を認識し,口に運ぶまでの行動に加え,口腔内で食物を咀嚼し,食塊を形成して嚥下するまでの一連の食行動を自動認識するための学習データとなるだけでなく,高齢者に見られる様々な機能低下(フレイル)を見出すための基礎データとしても有効である.この点については特に咀嚼,嚥下それぞれの機能低下に焦点を当てて,今後も引き続き検証を行う.

Report

(4 results)
  • 2023 Research-status Report
  • 2022 Research-status Report
  • 2021 Comments on the Screening Results   Research-status Report
  • Research Products

    (31 results)

All 2024 2023 2022 2021

All Journal Article (1 results) (of which Peer Reviewed: 1 results) Presentation (28 results) (of which Int'l Joint Research: 5 results,  Invited: 1 results) Patent(Industrial Property Rights) (2 results) (of which Overseas: 1 results)

  • [Journal Article] 地域高齢者向け配食サービス利用者における健康・栄養アセスメントの有用性2022

    • Author(s)
      麻植由希子、神山佐奈美、百瀬由香梨、山田絵里加、上地美恵、合田敏尚
    • Journal Title

      日本健康・栄養システム学会誌

      Volume: 21

    • Related Report
      2021 Research-status Report
    • Peer Reviewed
  • [Presentation] 模擬データによる音声・食行動音認識の評価2024

    • Author(s)
      小祝 和寛, 西田 昌史, 西村 雅史
    • Organizer
      電子情報通信学会総合大会
    • Related Report
      2023 Research-status Report
  • [Presentation] 複数のセンサ情報に基づく摂食行動の分析2024

    • Author(s)
      外處聖也, 西田昌史, 西村雅史
    • Organizer
      情報処理学会第86回全国大会
    • Related Report
      2023 Research-status Report
  • [Presentation] 多元的センサー情報に基づく食行動研究用データベースの構築と分析2024

    • Author(s)
      小山達之, 西田昌史, 西村雅史
    • Organizer
      情報処理学会第86回全国大会
    • Related Report
      2023 Research-status Report
  • [Presentation] 嚥下音に基づく嚥下能力の分析と可視化2024

    • Author(s)
      横江 隼,西田 昌史,黒岩 眞吾,西村 雅史
    • Organizer
      情報処理学会第86回全国大会
    • Related Report
      2023 Research-status Report
  • [Presentation] 嚥下音に基づく嚥下機能評価に関する研究2023

    • Author(s)
      横江 隼, 米谷 綾, 西田 昌史, 西村 雅史
    • Organizer
      第22回情報科学技術フォーラム(FIT2023)
    • Related Report
      2023 Research-status Report
  • [Presentation] 大規模事前学習モデルとデータ拡張による音声・食行動音同時認識2023

    • Author(s)
      小祝 和寛, 緒方 淳, 西田 昌史, 西村 雅史
    • Organizer
      第22回情報科学技術フォーラム(FIT2023)
    • Related Report
      2023 Research-status Report
  • [Presentation] Eating and Drinking Behavior Recognition Using Multimodal Fusion2023

    • Author(s)
      Amit Karmakar, Masafumi Nishida and Masafumi Nishimura
    • Organizer
      2023 IEEE 11th Global Conference on Consumer Electronics
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] 青年期の咀嚼能力に関連する口腔機能測定項目2023

    • Author(s)
      森野智子,西村雅史
    • Organizer
      日本咀嚼学会第34回学術大会
    • Related Report
      2023 Research-status Report
  • [Presentation] 国立情報学研究所における言語資源共有の取り組み2023

    • Author(s)
      大須賀智子
    • Organizer
      言語資源ワークショップ2023,2023.8
    • Related Report
      2023 Research-status Report
    • Invited
  • [Presentation] 口腔機能と「早食い」の関連性2023

    • Author(s)
      横井美有希,平岡綾,竹内真帆,丸山真理子.竹田智帆,春田梓,髙橋優太朗,吉川峰加,吉田光由,津賀一弘
    • Organizer
      一般社団法人日本老年歯科医学会第34回学術大会
    • Related Report
      2023 Research-status Report
  • [Presentation] Eating & Drinking Behavior Recognition Using MS-TCN2023

    • Author(s)
      Karmakar Amit,Masafumi Nishida,Masafumi Nishimura
    • Organizer
      ISFAR-SU 2023
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] 食行動の自動評価及び分析のためのデータベース構築2023

    • Author(s)
      伴野 司,森野 智子,黒岩 眞吾,西田 昌史,西村 雅史
    • Organizer
      情報処理学会第85回全国大会
    • Related Report
      2022 Research-status Report
  • [Presentation] 大規模事前学習モデルを用いた皮膚接触型マイク音声と食行動音の同時認識2023

    • Author(s)
      小祝和寛,増田光汰,緒方淳,西田昌史,西村雅史
    • Organizer
      情報処理学会第85回全国大会
    • Related Report
      2022 Research-status Report
  • [Presentation] 音による咀嚼能力自動評価における測定時間の影響2023

    • Author(s)
      竹内麻衣,齊藤隆仁,太田賢,中島裕昭,湯口昌宏,春山知生,下山拓流,峰野博史,西村雅史
    • Organizer
      2023年電子情報通信学会総合大会
    • Related Report
      2022 Research-status Report
  • [Presentation] 咽喉マイクを用いた食事中のむせの自動検出2023

    • Author(s)
      吉村 和大,西田 昌史,黒岩 眞吾,西村 雅史
    • Organizer
      2023年電子情報通信学会総合大会
    • Related Report
      2022 Research-status Report
  • [Presentation] Eating & Drinking Behavior Recognition Using MS-TCN2023

    • Author(s)
      K. Amit,M. Nishida,M. Nishimura
    • Organizer
      2023年電子情報通信学会総合大会
    • Related Report
      2022 Research-status Report
  • [Presentation] Identification of Vocal Tract State Before and After Swallowing Using Acoustic Features2022

    • Author(s)
      A. Sugita,M. Nishida,M. Nishimura,Y. Horiuchi,S. Kuroiwa
    • Organizer
      IEEE 11th Global Conference on Consumer Electronics (GCCE)
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] 食行動データベース構築に向けた口腔機能の分析に関する検討2022

    • Author(s)
      西田 昌史,鈴木 悠太,森野 智子,西村 雅史
    • Organizer
      第21回情報科学技術フォーラム(FIT)
    • Related Report
      2022 Research-status Report
  • [Presentation] 咀嚼音に基づく咀嚼能力自動推定と測定の自由度に関する検討2022

    • Author(s)
      竹内麻衣,齊藤隆仁,太田賢,中島裕昭,湯口昌宏,春山知生,峰野博史,西村雅史
    • Organizer
      第20回情報学ワークショップ
    • Related Report
      2022 Research-status Report
  • [Presentation] Automatic Detection of Crushing Completion Timing of Food2022

    • Author(s)
      Akihiro Nakamura, Takato Saito, Daizo Ikeda, Ken Ohta, Hiroshi Mineno, Masafumi Nishimura
    • Organizer
      IEEE LifeTech2022
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Presentation] 音響的特徴を用いた嚥下前/嚥下後の音声識別2022

    • Author(s)
      杉田あおい, 西田昌史, 西村雅史, 堀内靖雄, 黒岩眞吾
    • Organizer
      日本音響学会春季研究発表会
    • Related Report
      2021 Research-status Report
  • [Presentation] 食道上部括約筋開放時産生音に基づく嚥下障害スクリーニングに関する検討2022

    • Author(s)
      髙馬大輝,黒岩眞吾, 西田昌史, 西村雅史
    • Organizer
      電子情報通信学会総合大会
    • Related Report
      2021 Research-status Report
  • [Presentation] 咀嚼音に基づく咀嚼能力自動評価システム2022

    • Author(s)
      中村亮裕,津賀一弘,西村雅史
    • Organizer
      情報処理学会第84回全国大会
    • Related Report
      2021 Research-status Report
  • [Presentation] Automatic Detection of Chewing and Swallowing Using Attention-Based Fusion2021

    • Author(s)
      Akihiro Nakamura, Takato Saito, Daizo Ikeda, Ken Ohta, Hiroshi Mineno, Masafumi Nishimura
    • Organizer
      IEEE GCCE 2021
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Presentation] Food intake monitoring based on acoustic and acceleration information2021

    • Author(s)
      AHMAD YEASEEN, Masafumi Nishimura
    • Organizer
      第20回情報科学技術フォーラム(FIT)
    • Related Report
      2021 Research-status Report
  • [Presentation] 嚥下音を用いた上部食道括約筋開放開始点の同定法2021

    • Author(s)
      高馬 大輝,古川 大輔,村西 幸代,黒岩 眞吾,西田 昌史,西村 雅史
    • Organizer
      日本摂食嚥下リハビリテーション学会第26・27回合同学術大会
    • Related Report
      2021 Research-status Report
  • [Presentation] 成人男性と義歯使用高齢男性の咀嚼機能の比較2021

    • Author(s)
      森野智子,西村雅史,鈴木桂子,山本智美,高田佳輔
    • Organizer
      日本咀嚼学会第32回学術大会
    • Related Report
      2021 Research-status Report
  • [Presentation] 高齢男性における義歯使用が口腔機能と咀嚼におよぼす効果 -咀嚼評価方法の考察-2021

    • Author(s)
      森野智子,西村雅史,鈴木桂子,山本智美,高田佳輔
    • Organizer
      日本咀嚼学会第32回学術大会
    • Related Report
      2021 Research-status Report
  • [Patent(Industrial Property Rights)] Evaluation Device, Evaluation Method, and Evaluation Program2023

    • Inventor(s)
      M. NISHIMURA, K. TSUGA
    • Industrial Property Rights Holder
      M. NISHIMURA, K. TSUGA
    • Industrial Property Rights Type
      特許
    • Filing Date
      2023
    • Related Report
      2023 Research-status Report
    • Overseas
  • [Patent(Industrial Property Rights)] 評価装置、評価方法、及び評価プログラム2021

    • Inventor(s)
      西村雅史,津賀一弘
    • Industrial Property Rights Holder
      西村雅史,津賀一弘
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      2021-212349
    • Filing Date
      2021
    • Related Report
      2021 Research-status Report

URL: 

Published: 2021-07-13   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi