Search for real-time monitoring methods of feeding and swallowing using deep learning

2023 Fiscal Year Research-status Report

• Project/Area Number: 22K19673
• Research Institution: Aichi Gakuin University
• Principal Investigator: 森 悦秀 愛知学院大学, 歯学部, 歯学部研究員 (00231639)
• Co-Investigator(Kenkyū-buntansha): 牧野 日和 愛知学院大学, 健康科学部, 教授 (90711028)
• Project Period (FY): 2022-06-30 – 2025-03-31
• Keywords: 摂食嚥下 / 口腔ケア / 非侵襲計測 / ディープラーニング / 学習

Outline of Annual Research Achievements

リアルタイムに発信されている摂食・嚥下機能の音響情報を機能検査データとして用いるための方法を探索することを目的としている。正常および異常な口腔機能の情報を小型・軽量な音響センサーで取り出し、そのデータをコンピュータにディープラーニング（DL）させることにより、摂食・嚥下機能をリアルタイムに評価する方法の開発を目指している。
本年度は、音響情報の採取方法の最適化を図るため、摂食・嚥下を記録するためのマイクロフォン、ビデオシステムの性能検討を行い、4チャンネル同時記録が可能なビデオカメラに、頸部に装着する嚥下計測用マイクロフォンと頭頂部に装着する咀嚼用マイクロフォンを加えてシステム化した。これらを調達し、実際にボランティアに装着して、ビデオ画像、音響の質を確認して性能検証を行い、マイクロフォンの装着部位の調整を行い、必要とする性能要件を満たしていることを確認した。測定の利便性を向上させるため計測機器を無線で接続することを計画している。
健常人ボランティアを対象としたデータ収集プロトコルを共同研究者と協議して決定したが、昨年前期までのコロナウィルス感染症蔓延のため、計画の進行が著しく遅れている。
DL処理に用いるソフトウェアの選定を行い、Pythonを選定したが、性能評価に時間を要している。サンプルデータの取得が未済のため、音響データの解析および学習方法のプログラミングが遅れている。DLのため、単一試験食材のデータ件数を約380と見積もっているため、健常人ボランティアは愛知学院大学健康科学部の学生を対象にすることとし、想定されるボランティア数を予測し、必要な人員が確保できると予測して募集の準備を整えた。

Current Status of Research Progress

4: Progress in research has been delayed.

Reason

昨年前期までのコロナウィルス感染症蔓延のため、ボランティアを用いたデータが取得できず、計画の進行が著しく遅れている。
DL処理に用いるソフトウェアの選定を行い、Pythonを選定したが、性能評価に時間を要している。
サンプルデータの取得が未済のため、音響データの解析および学習方法のプログラミングが遅れている。

Strategy for Future Research Activity

研究対象となるボランティアの募集、研究方法のプロトコル作成は完了しているため、速やかにボランティアからのデータ採取を開始する。それに平行してDLを進めて、健常人ボランティアの対照データを作成する。データ解析に必要な知識、技術をもつ協力者を選定し、本システムの作製を加速させる。

Causes of Carryover

新型コロナ感染症蔓延のため、ボランティアを対象とした摂食・嚥下の計測が行えず、データ収集およびシステムのブラッシュアップができなかったため。
研究を迅速に進めるため、計測機器の増設、解析機器の追加を行うと共に解析ソフトウェア開発の外注を計画する。