• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

多元的音情報に基づく口腔機能・摂食嚥下機能評価システムの開発と検証

Research Project

Project/Area Number 18H03260
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypeSingle-year Grants
Section一般
Review Section Basic Section 61010:Perceptual information processing-related
Research InstitutionShizuoka University

Principal Investigator

西村 雅史  静岡大学, 情報学部, 教授 (60740363)

Co-Investigator(Kenkyū-buntansha) 黒岩 眞吾  千葉大学, 大学院工学研究院, 教授 (20333510)
森野 智子  静岡県立大学短期大学部, 短期大学部, 講師 (20582703)
津賀 一弘  広島大学, 医系科学研究科(歯), 教授 (60217289)
西田 昌史  静岡大学, 情報学部, 准教授 (80361442)
Project Period (FY) 2018-04-01 – 2022-03-31
Project Status Granted (Fiscal Year 2021)
Budget Amount *help
¥16,770,000 (Direct Cost: ¥12,900,000、Indirect Cost: ¥3,870,000)
Fiscal Year 2021: ¥3,120,000 (Direct Cost: ¥2,400,000、Indirect Cost: ¥720,000)
Fiscal Year 2020: ¥3,510,000 (Direct Cost: ¥2,700,000、Indirect Cost: ¥810,000)
Fiscal Year 2019: ¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2018: ¥5,720,000 (Direct Cost: ¥4,400,000、Indirect Cost: ¥1,320,000)
Keywords口腔・嚥下機能 / 音情報処理 / フレイル予防 / 摂食嚥下機能 / 行動認識 / 嚥下障害 / 嚥下音 / 咀嚼音 / 口腔・摂食嚥下機能 / 機械学習 / 口腔機能 / 摂食・嚥下
Outline of Annual Research Achievements

本研究では音情報処理の研究者と,口腔,摂食嚥下のそれぞれの医療に関わる研究者が連携し,音情報を活用した非侵襲で簡便な摂食嚥下機能評価技術の開発を目指している.研究計画に則り,1)摂食嚥下行動データの収集およびデータベースの構築,2)嚥下障害者の嚥下音や発話,及び”むせ”の特徴分析,3)口腔機能低下時の咀嚼音の特徴分析,4)摂食嚥下に関わる行動メタ情報の自動抽出方法の検討などを行った.
1)については健康な若年者及び高齢者からのデータ収集に加え,病院での患者データ収集,さらには嚥下障害者宅でのオンラインデータ収集を実施した.2)に関しては嚥下障害者の誤嚥に伴う”むせ”に着目することで障害の長期変化を遠隔モニタリングすることを試み,その有効性を確認した.また,食物の残留が発話に与える影響を分析するとともに,そこで得られた知見に基づいて梨状窩における食物残留を自動検出する方法などを開発した.3)については若年者と義歯装着高齢者との機能比較を実施し,ここでも音情報の有効性を再確認することができた.また,食物の粉砕状態を自動評価する方法を開発した.4)においてはセンサの多チャンネル化を実施するとともにAttention機構やデータ拡張技術の導入によって咀嚼位置や嚥下に関する認識性能を大幅に改善できることを示した.
上記の研究活動の中で得られた成果については,特許申請3件を行うとともに,国際会議4件,招待講演2件,国内会議12件の成果発表を行った.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

高齢者データの追加収集においては新型コロナウイルス感染症の影響で一部の実験が困難となり,データベース構築という観点では影響が出た.一方,当初予定していた研究項目についてはそれまでに収集完了していたデータを活用することで多くの成果を得ることができた.

Strategy for Future Research Activity

障害者や患者のデータに加え,健常高齢者のデータを拡充することで,嚥下機能及び咀嚼機能の低下に関する特徴を一層明確にできると考えている.特に嚥下機能についてはUESO(食道上部括約筋開放時点)が嚥下障害の判定に特に重要であると考えており,そのタイミングの高精度な自動抽出方法を開発する.一方,咀嚼機能については,咀嚼・嚥下の自動認識のために開発したDNNモデルの中間状態出力が,咀嚼能力と高い相関を持つとの見通しを得ており,これに関する検討を重点的に行う.

Report

(3 results)
  • 2020 Annual Research Report
  • 2019 Annual Research Report
  • 2018 Annual Research Report

Research Products

(42 results)

All 2021 2020 2019 2018

All Presentation (38 results) (of which Int'l Joint Research: 9 results,  Invited: 2 results) Patent(Industrial Property Rights) (4 results)

  • [Presentation] Automatic Detection of Chewing and Swallowing Using Multichannel Sound Information2021

    • Author(s)
      Akihiro Nakamura, Takato Saito, Daizo Ikeda Ken Ohta, Hiroshi Mineno, Masafumi Nishimura
    • Organizer
      IEEE Lifetech2021
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 音声言語情報処理技術を活用した心身状態の理解2021

    • Author(s)
      西村雅史
    • Organizer
      情報処理学会 高齢社会デザイン研究会
    • Related Report
      2020 Annual Research Report
    • Invited
  • [Presentation] 食事中の咳嗽を遠隔でモニタリングすることの有用性2021

    • Author(s)
      古川大輔,村西幸代、石渡智一、西村雅史、西田昌史、黒岩眞吾,河田佐和子、高橋直樹、鈴木猛司
    • Organizer
      第44回日本嚥下医学会学術講演会
    • Related Report
      2020 Annual Research Report
  • [Presentation] 発声スタイルの違いによる母音の話者内分散の変化2021

    • Author(s)
      杉田あおい,細山友紀,西村雅史,西田昌史,堀内靖雄,黒岩眞吾
    • Organizer
      情報・システムソサイエティ特別企画ジュニア&学生ポスターセッション
    • Related Report
      2020 Annual Research Report
  • [Presentation] 誤嚥防止に向けた梨状窩への食物残留模擬音声の分析2021

    • Author(s)
      細山友紀, 杉田あおい, 西村雅史, 西田昌史, 堀内靖雄, 黒岩眞吾
    • Organizer
      電子情報通信学会総合大会
    • Related Report
      2020 Annual Research Report
  • [Presentation] 食行動データベースを用いた口腔機能の分析と評価2021

    • Author(s)
      盧 優梨,森野智子,鈴木桂子,山本智美,西田昌史,西村雅史
    • Organizer
      情報処理学会第83回全国大会
    • Related Report
      2020 Annual Research Report
  • [Presentation] マルチチャンネルの音情報を用いた咀嚼と嚥下の自動検出2021

    • Author(s)
      中村亮裕,斎藤隆仁,池田大造,太田賢,峰野博史,西村雅史
    • Organizer
      情報処理学会第83回全国大会
    • Related Report
      2020 Annual Research Report
  • [Presentation] Analysis of Acoustic Feaures Affected by Residual Food in the Piriform Fossa Toward Early-Detection of Dysphagia2020

    • Author(s)
      Tomoki Hosoyama, Masahiro Koto, Masafumi Nishimura, Masafumi Nishida, Yasuo Horiuchi, Shingo Kuroiwa
    • Organizer
      8th KES International Conference on Innovation in Medicine and Healthcare (KES-InMed)
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Automatic Detection of Chewing and Swallowing Using Hybrid CTC/Attention2020

    • Author(s)
      Akihiro Nakamura, Takato Saito, Daizo Ikeda, Ken Ohta, Hiroshi Mineno, Masafumi Nishimura
    • Organizer
      IEEE 9th Global Conference on Consumer Electronics (GCCE)
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] A DATA AUGMENTATION TECHNIQUE FOR AUTOMATIC DETECTION OF CHEWING SIDE AND SWALLOWING2020

    • Author(s)
      A. Nakamura, T. Saito, D. Ikeda, K. Ohta, H. Mineno, M. Nishimura
    • Organizer
      APSIPA Annual Summit and Conference 2020
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 音で知る心身の健康 ~食べることと話すこと~2020

    • Author(s)
      西村雅史
    • Organizer
      情報処理学会 音学シンポジウム2020
    • Related Report
      2020 Annual Research Report
    • Invited
  • [Presentation] A CRNN-based approach to detect chewing sound2020

    • Author(s)
      Muhammad Mehedi Billa, Masafumi Nishimura
    • Organizer
      令和二年度 電気・電子・情報関係学会 東海支部連合大会
    • Related Report
      2020 Annual Research Report
  • [Presentation] 咀嚼主観的満足度と実際の咀嚼音の比較2020

    • Author(s)
      鈴木桂子,森野智子,山本智美,津賀一弘,西村雅史
    • Organizer
      日本咀嚼学会第31回学術大会
    • Related Report
      2020 Annual Research Report
  • [Presentation] 摂食嚥下機能評価のための食行動データベースの構築と分析2020

    • Author(s)
      盧優梨, 森野智子, 鈴木桂子, 山本智美, 西田昌史, 西村雅史
    • Organizer
      第18回情報学ワークショップ(WiNF2020)
    • Related Report
      2020 Annual Research Report
  • [Presentation] X線画像を用いた嚥下音の産生部位同定と特徴分析2020

    • Author(s)
      高馬大輝, 黒岩眞吾, 西田昌史, 西村雅史
    • Organizer
      第18回情報学ワークショップ(WiNF2020)
    • Related Report
      2020 Annual Research Report
  • [Presentation] 嚥下障害患者の長期咳嗽モニタリングによるむせと咳払いの分析2020

    • Author(s)
      吉村和大, 西田昌史,西村雅史
    • Organizer
      情報学シンポジウム2020
    • Related Report
      2020 Annual Research Report
  • [Presentation] 食事音による食事行動の自動検出と提示インターフェースの評価2020

    • Author(s)
      伴野司,中村亮裕,西村雅史
    • Organizer
      情報学シンポジウム2020
    • Related Report
      2020 Annual Research Report
  • [Presentation] Automatic Detection of Swallowing Events by Using Throat Sound and Chest Sound2020

    • Author(s)
      Bhuiyan Rakib, Khan Ahmad Yeaseen, Masafumi Nishimura
    • Organizer
      情報学シンポジウム2020
    • Related Report
      2020 Annual Research Report
  • [Presentation] 咽喉マイクの大語彙音声認識のためのデータ拡張と知識蒸留2020

    • Author(s)
      鈴木貴仁,緒方淳,綱川隆司,西田昌史,西村雅史
    • Organizer
      第131回情報処理学会音声言語情報処理研究会
    • Related Report
      2019 Annual Research Report
  • [Presentation] Analysis of Acoustic Features Affected by Conditions of the Vocal Tract2020

    • Author(s)
      M.Koto, T.Hosoyama, M.Nishimura, M.Nishida, Y.Horiuchi, S.Kuroiwa
    • Organizer
      RISP International Workshop on Nonlinear Circuits, Communications and Signal Processing 2020
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 咽喉マイクによる多人数会話音声認識のためのデータ拡張2020

    • Author(s)
      鈴木貴仁,緒方淳,綱川隆司,西田昌史,西村雅史
    • Organizer
      日本音響学会2020年春季全国大会
    • Related Report
      2019 Annual Research Report
  • [Presentation] 嚥下機能低下の早期発見に向けた食事中の咳嗽自動検出2020

    • Author(s)
      藤田祥太,古川大輔,村西幸代,黒岩眞吾,西田昌史,西村雅史
    • Organizer
      情報処理学会第82回全国大会
    • Related Report
      2019 Annual Research Report
  • [Presentation] CTCとAttentionの併用による咀嚼と嚥下の自動検出2020

    • Author(s)
      中村亮裕,斎藤隆仁,池田大造,太田 賢,峰野博史,西村雅史
    • Organizer
      情報処理学会第82回全国大会
    • Related Report
      2019 Annual Research Report
  • [Presentation] A data augmentation-based technique to classify chewing and swallowing using LSTM2020

    • Author(s)
      Muhammad Mehedi Billah; Masafumi Nishimura
    • Organizer
      IEEE 2nd Global Conference on Life Sciences and Technologies
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Automatic Detection of the Chewing Side Using Two-channel Recordings under the Ear2020

    • Author(s)
      Akihiro Nakamura, Takato Saito, Daizo Ikeda, Ken Ohta, Hiroshi Mineno, Masafumi Nishimura
    • Organizer
      IEEE 2nd Global Conference on Life Sciences and Technologies
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 誤嚥防止に向けた声道内残留物による音響特徴量変化の分析2019

    • Author(s)
      細山 友紀,西村 雅史,西田 昌史,堀内 靖雄,黒岩 眞吾
    • Organizer
      日本音響学会2019年秋季研究発表会
    • Related Report
      2019 Annual Research Report
  • [Presentation] 咽喉マイクの大語彙音声認識のための特徴マッピングに基づくデータ拡張2019

    • Author(s)
      鈴木貴仁,緒方淳,綱川隆司,西田昌史,西村雅史
    • Organizer
      2019年電気・電子・情報関係学会東海支部連合大会
    • Related Report
      2019 Annual Research Report
  • [Presentation] Estimation of Number of Chewing Strokes and Swallowing Events by Using LSTM-CTC and Throat Microphone2019

    • Author(s)
      Muhammad Mehedi Billah,Taiju Abe, Akihiro Nakamura, Takato Saito, Daizo Ikeda, Hiroshi Mineno, Masafumi Nishimura
    • Organizer
      IEEE 8th Global Conference on Consumer Electronics (GCCE2019)
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Effects of Mounting Position on Throat Microphone Speech Recognition2019

    • Author(s)
      Takahito Suzuki, Jun Ogata, Takashi Tsunakawa, Masafumi Nishida, Masafumi Nishimura
    • Organizer
      IEEE 8th Global Conference on Consumer Electronics (GCCE2019)
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] LSTMに基づく咀嚼・嚥下の自動検出のためのデータ拡張手法の検討2019

    • Author(s)
      Billah Muhammad Mehedi, 西村雅史
    • Organizer
      第17回情報学ワークショップ(WiNF2019)
    • Related Report
      2019 Annual Research Report
  • [Presentation] 2ch耳下マイク収録音を用いた左右咀嚼の自動検出2019

    • Author(s)
      中村亮裕,齊藤隆仁, 池田大造, 峰野博史, 西村雅史
    • Organizer
      第17回情報学ワークショップ(WiNF2019)
    • Related Report
      2019 Annual Research Report
  • [Presentation] 嚥下障害者と健常者の嚥下音の特徴分析2019

    • Author(s)
      高馬大輝, 藤田祥太, 西村雅史
    • Organizer
      情報学シンポジウム2019
    • Related Report
      2019 Annual Research Report
  • [Presentation] 声道粘性状態の影響を受ける音声特徴量の分析2019

    • Author(s)
      厚東昌宏,黒岩眞吾,堀内靖雄,西村雅史,西田昌史
    • Organizer
      日本音響学会2019年春季研究発表会
    • Related Report
      2018 Annual Research Report
  • [Presentation] 中咽頭部収録音とLSTM-CTCを用いた咀嚼回数の自動推定2019

    • Author(s)
      阿部太樹, 齊藤隆仁, 池田大造, 峰野博史, 西村雅史
    • Organizer
      情報処理学会第81回全国大会
    • Related Report
      2018 Annual Research Report
  • [Presentation] ALS患者を対象とした咳嗽モニタリングシステム2019

    • Author(s)
      藤田祥太, 古川大輔, 村西幸代, 西田昌史, 黒岩眞吾, 西村雅史
    • Organizer
      情報処理学会第81回全国大会
    • Related Report
      2018 Annual Research Report
  • [Presentation] 咽喉音とEMGを利用した嚥下機能自動測定2019

    • Author(s)
      山下大貴, 古川大輔, 西田昌史, 黒岩眞吾, 西村雅史
    • Organizer
      情報処理学会第81回全国大会
    • Related Report
      2018 Annual Research Report
  • [Presentation] 2チャンネル咽喉マイクを用いた嚥下音の認識2018

    • Author(s)
      坂本優太,黒岩眞吾,西村雅史
    • Organizer
      平成30年度電気・電子・情報関係学会東海支部連合大会
    • Related Report
      2018 Annual Research Report
  • [Presentation] 咽喉音による音声認識のための収録デバイスに関する検討2018

    • Author(s)
      鈴木貴仁,緒方淳,綱川隆司,西田昌史,西村雅史
    • Organizer
      日本音響学会2018年秋季研究発表会
    • Related Report
      2018 Annual Research Report
  • [Patent(Industrial Property Rights)] 評価装置、評価方法、及び評価プログラム2021

    • Inventor(s)
      西村雅史,中村亮裕
    • Industrial Property Rights Holder
      西村雅史,中村亮裕
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      2021-024865
    • Filing Date
      2021
    • Related Report
      2020 Annual Research Report
  • [Patent(Industrial Property Rights)] 評価装置,及び評価プログラム2020

    • Inventor(s)
      西村雅史,黒岩眞吾
    • Industrial Property Rights Holder
      西村雅史,黒岩眞吾
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      2020-137947
    • Filing Date
      2020
    • Related Report
      2020 Annual Research Report
  • [Patent(Industrial Property Rights)] 動作検知装置及び動作検知方法2020

    • Inventor(s)
      西村雅史
    • Industrial Property Rights Holder
      西村雅史
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      2020-199496
    • Filing Date
      2020
    • Related Report
      2020 Annual Research Report
  • [Patent(Industrial Property Rights)] 評価装置、評価方法、及び評価プログラム2019

    • Inventor(s)
      西村雅史
    • Industrial Property Rights Holder
      西村雅史
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      2019-154876
    • Filing Date
      2019
    • Related Report
      2019 Annual Research Report

URL: 

Published: 2018-04-23   Modified: 2022-12-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi