Swallowing timing estimation by coordinated integration of acoustic signal and image processing

2019 Fiscal Year Research-status Report

• Project/Area Number: 18K11371
• Research Institution: Gifu University
• Principal Investigator: 速水 悟 岐阜大学, 工学部, 教授 (90345794)
• Co-Investigator(Kenkyū-buntansha): 加藤 邦人 岐阜大学, 工学部, 准教授 (70283281) ; 田村 哲嗣 岐阜大学, 工学部, 准教授 (10402215) ; 木村 暁夫 岐阜大学, 大学院医学系研究科, 准教授 (00362161) ; 西津 貴久 岐阜大学, 応用生物科学部, 教授 (40228193)
• Project Period (FY): 2018-04-01 – 2021-03-31
• Keywords: 嚥下計測 / 骨伝導マイクロフォン / 照度差ステレオ法 / タイミングの推定 / 嚥下機能 / 音響処理 / 画像処理

Outline of Annual Research Achievements

嚥下障害者の誤嚥防止のためには、嚥下能力の把握は最も重要であり、簡便な計測装置は病状の的確な進行具合の把握、治療に役立つ。しかし、現状ではX線による嚥下造影検査や内視鏡検査しか検査方法がなく、侵襲性が高い。一方、非侵襲に嚥下を計測する研究も広く行われているが、口腔内にある嚥下物を計測するにはX線に頼らざるを得ず、嚥下物がいつ飲み込まれたかを簡便に計測する方法は無かった。
これに対して、本研究では、音を発する音源食品を嚥下することにより、非侵襲の計測の実現を目指している。具体的には、耳に装着した骨伝導マイクロフォンから得られた音源食品の音を音響処理により解析し、機械学習・深層学習によるモデル化を行うことで、嚥下物が嚥下され食道に入った時刻を検出する方法の研究を行う。
２０１９年度は、嚥下タイミングの推定の精度向上に向けた検討を行った。これまでの研究により、音源食品が食道に送られるタイミングを推定する上で、音源食品から発生する音の頻度が少ない場合や、音にばらつきがある場合の精度向上とノイズ除去が課題となっていた。これらの課題について、音声・音響を対象とした関連分野の研究動向を調査し、時間領域の特徴をそのまま利用することにした。これまでは、周波数領域の特徴に変換した後に、ニューラルネットワークによるタイミング推定を行っていたが、対象とする音の性質を考慮して、時間領域の特徴をそのまま利用して推定する方法を採用することとした。具体的には、時間波形に畳み込みニューラルネットワークを適用して、時間領域の特徴を抽出するためのモデル構造と学習方法などについて、基礎的な検討を行った。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

本研究では、音を発する音源食品を嚥下し、音響処理と機械学習・深層学習によるモデル化を行うことにより、嚥下機能の計測を目指している。具体的には、耳に装着した骨伝導マイクロフォンから得られた音源食品の音を音響処理により解析し、機械学習・深層学習によるモデルを適用することで、嚥下物が嚥下され食道に入った時刻を検出する方法の研究を行っている。
これに対して、２０１９年度は、ニューラルネットワークによるモデル化を周波数領域の特徴を利用する方法から、時間領域の特徴をそのまま利用する方法に変更した。これは、音声・音響を対象とした関連分野の研究動向を調査し、対象とする音の性質を考慮しての判断である。

Strategy for Future Research Activity

嚥下音や音源食品が発生する音は、短い時間で変化する非定常的な性質をもっており、時間領域の特徴を利用することで精度向上を目指したい。また時間波形に畳み込みニューラルネットワークを利用することには、より少数のパラメータでモデル化が可能となるという利点もある。２０２０年度は、こうした方向性で最終的なまとめとしたい。

Causes of Carryover

２月から年度末にかけて、新型コロナウイルスへの対応のため、予定していた国内・国外の出張及び学会参加ができなくなったため。