• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2019 Fiscal Year Annual Research Report

多元的音情報に基づく口腔機能・摂食嚥下機能評価システムの開発と検証

Research Project

Project/Area Number 18H03260
Research InstitutionShizuoka University

Principal Investigator

西村 雅史  静岡大学, 情報学部, 教授 (60740363)

Co-Investigator(Kenkyū-buntansha) 黒岩 眞吾  千葉大学, 大学院工学研究院, 教授 (20333510)
森野 智子  静岡県立大学短期大学部, 短期大学部, 講師 (20582703)
津賀 一弘  広島大学, 医系科学研究科(歯), 教授 (60217289)
西田 昌史  静岡大学, 情報学部, 准教授 (80361442)
Project Period (FY) 2018-04-01 – 2022-03-31
Keywords摂食嚥下機能 / 行動認識 / 嚥下障害 / 嚥下音 / 咀嚼音
Outline of Annual Research Achievements

本研究では音情報処理の研究者と,口腔,摂食嚥下のそれぞれの医療に関わる研究者が連携し,音情報を活用した非侵襲で簡便な摂食嚥下機能評価技術の開発を目指している.
研究計画に則り,本年度は1)摂食嚥下行動データの収集およびデータベースの構築,2)嚥下障害者の嚥下音,音声特徴分析,3)摂食嚥下に関わる行動メタ情報の自動抽出の検討を行った.
1)については義歯装着者の咀嚼機能低下を調査するため,健常者30名に加えて義歯装着高齢者20名の摂食嚥下行動音データの収集を行った.また,昨年度構築したオンラインデータ収集システムを活用し,嚥下障害者の食事中の嚥下音およびむせ(=咳嗽)についての収集を開始した.咳嗽についてはリモートで人手によるラベル付与を行い,協力病院関係者が適宜診断補助にも用いることができるシステムとして試用した.なお,咳嗽の自動検出についても検討を行ったが,健常者と嚥下障害者の咳嗽の特徴差が大きく,まだ課題が残ることがわかった.
2)については嚥下造影画像と,嚥下音のデータを厳密に対応づけることで,音の産生タイミングとその特徴についての分析を行い,健常者とはその音響特徴が大きく異なることを確認した.また,嚥下障害時に起きやすい梨状窩付近での食物残留の模擬方法についても引き続き検討を行い,音響的な特徴を明らかにした.
3)については左右のマイクを利用することで左右の咀嚼位置の検出という新たな課題にチャレンジしたが,CTCとAttentionおよび,2チャンネルの情報を活用することで非常に高い検出性能が得られる見通しを得ることができた.
上記の研究活動の中で得られた成果については,国際会議5件,国内会議9件の成果発表を行い,国内大会の奨励賞に加え,国際会議でもIEEE Excellent Student Poster Awardを受賞した.

Current Status of Research Progress
Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

当初,摂食嚥下行動データベースはデザインされた特定の食材に対する摂食嚥下行動のみを対象としていたが,これに加えて高齢者の日常食事音のオンライン収集システムを構築し,一年近く順調にその運用を行うことができた.これまでは健常者とすでに嚥下機能低下が進行した人の違いを観察するしかなかったが,その中間に位置する人のデータを,それも長期間にわたって収集できるようになった意義は大きいと考えている.この点において本研究は当初の計画以上に進展していると考えた.また,その他に義歯装着高齢者の摂食嚥下行動データの収集なども予定通り完了させることができている.
一方,行動メタ情報の自動検出においても,これまで検討されたことのなかった左右咀嚼位置について,自動検出の可能性を示せた意義は大きい.正確な咀嚼位置およびタイミングの推定は口腔機能の評価に向けて重要な情報を与えてくれる可能性があると考えている.

Strategy for Future Research Activity

これまでに収集した摂食嚥下行動音データに対して,メタ情報の付与を引き続き行い,データベースを完成させる.特に,高齢者の咀嚼位置について,画像データを参考にして人手による正解ラベル付与を行う.行動メタ情報の自動検出についてはこれまで回数と位置に関する情報だけを扱っていたが,今後は咀嚼の強度や嚥下の質に関する情報抽出を検討する予定である.
一方,声を使った嚥下障害分析として,これまで梨状窩における食物残留状態を模して音響特徴量の抽出を行ってきた.今後は声道物理モデルを用いたシミュレーションでこれらの特徴量の有効性を改めて確認したい.また,嚥下造影で得られた産生位置と観測音の特徴量の関係についても引き続き分析を進める.
一方,日常食事行動からの食事音データ収集も引き続き実施する.ALS患者については嚥下機能低下が急であるため,咳嗽の検出による機能低下の早期発見が特に期待されている.この機材を必要とする患者が現れればすぐに対応できるよう,体制を整えておくとともに,咳嗽の自動検出性能向上に取り組む予定である.

  • Research Products

    (15 results)

All 2020 2019

All Presentation (14 results) (of which Int'l Joint Research: 5 results) Patent(Industrial Property Rights) (1 results)

  • [Presentation] 咽喉マイクの大語彙音声認識のためのデータ拡張と知識蒸留2020

    • Author(s)
      鈴木貴仁,緒方淳,綱川隆司,西田昌史,西村雅史
    • Organizer
      第131回情報処理学会音声言語情報処理研究会
  • [Presentation] Analysis of Acoustic Features Affected by Conditions of the Vocal Tract2020

    • Author(s)
      M.Koto, T.Hosoyama, M.Nishimura, M.Nishida, Y.Horiuchi, S.Kuroiwa
    • Organizer
      RISP International Workshop on Nonlinear Circuits, Communications and Signal Processing 2020
    • Int'l Joint Research
  • [Presentation] 咽喉マイクによる多人数会話音声認識のためのデータ拡張2020

    • Author(s)
      鈴木貴仁,緒方淳,綱川隆司,西田昌史,西村雅史
    • Organizer
      日本音響学会2020年春季全国大会
  • [Presentation] 嚥下機能低下の早期発見に向けた食事中の咳嗽自動検出2020

    • Author(s)
      藤田祥太,古川大輔,村西幸代,黒岩眞吾,西田昌史,西村雅史
    • Organizer
      情報処理学会第82回全国大会
  • [Presentation] CTCとAttentionの併用による咀嚼と嚥下の自動検出2020

    • Author(s)
      中村亮裕,斎藤隆仁,池田大造,太田 賢,峰野博史,西村雅史
    • Organizer
      情報処理学会第82回全国大会
  • [Presentation] A data augmentation-based technique to classify chewing and swallowing using LSTM2020

    • Author(s)
      Muhammad Mehedi Billah; Masafumi Nishimura
    • Organizer
      IEEE 2nd Global Conference on Life Sciences and Technologies
    • Int'l Joint Research
  • [Presentation] Automatic Detection of the Chewing Side Using Two-channel Recordings under the Ear2020

    • Author(s)
      Akihiro Nakamura, Takato Saito, Daizo Ikeda, Ken Ohta, Hiroshi Mineno, Masafumi Nishimura
    • Organizer
      IEEE 2nd Global Conference on Life Sciences and Technologies
    • Int'l Joint Research
  • [Presentation] 誤嚥防止に向けた声道内残留物による音響特徴量変化の分析2019

    • Author(s)
      細山 友紀,西村 雅史,西田 昌史,堀内 靖雄,黒岩 眞吾
    • Organizer
      日本音響学会2019年秋季研究発表会
  • [Presentation] 咽喉マイクの大語彙音声認識のための特徴マッピングに基づくデータ拡張2019

    • Author(s)
      鈴木貴仁,緒方淳,綱川隆司,西田昌史,西村雅史
    • Organizer
      2019年電気・電子・情報関係学会東海支部連合大会
  • [Presentation] Estimation of Number of Chewing Strokes and Swallowing Events by Using LSTM-CTC and Throat Microphone2019

    • Author(s)
      Muhammad Mehedi Billah,Taiju Abe, Akihiro Nakamura, Takato Saito, Daizo Ikeda, Hiroshi Mineno, Masafumi Nishimura
    • Organizer
      IEEE 8th Global Conference on Consumer Electronics (GCCE2019)
    • Int'l Joint Research
  • [Presentation] Effects of Mounting Position on Throat Microphone Speech Recognition2019

    • Author(s)
      Takahito Suzuki, Jun Ogata, Takashi Tsunakawa, Masafumi Nishida, Masafumi Nishimura
    • Organizer
      IEEE 8th Global Conference on Consumer Electronics (GCCE2019)
    • Int'l Joint Research
  • [Presentation] LSTMに基づく咀嚼・嚥下の自動検出のためのデータ拡張手法の検討2019

    • Author(s)
      Billah Muhammad Mehedi, 西村雅史
    • Organizer
      第17回情報学ワークショップ(WiNF2019)
  • [Presentation] 2ch耳下マイク収録音を用いた左右咀嚼の自動検出2019

    • Author(s)
      中村亮裕,齊藤隆仁, 池田大造, 峰野博史, 西村雅史
    • Organizer
      第17回情報学ワークショップ(WiNF2019)
  • [Presentation] 嚥下障害者と健常者の嚥下音の特徴分析2019

    • Author(s)
      高馬大輝, 藤田祥太, 西村雅史
    • Organizer
      情報学シンポジウム2019
  • [Patent(Industrial Property Rights)] 評価装置、評価方法、及び評価プログラム2019

    • Inventor(s)
      西村雅史
    • Industrial Property Rights Holder
      西村雅史
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      特願2019-154876

URL: 

Published: 2021-01-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi