Search for real-time monitoring methods of feeding and swallowing using deep learning

Research Project

Project/Area Number	22K19673
Research Category	Grant-in-Aid for Challenging Research (Exploratory)
Allocation Type	Multi-year Fund
Review Section	Medium-sized Section 58:Society medicine, nursing, and related fields
Research Institution	Aichi Gakuin University
Principal Investigator	森悦秀愛知学院大学, 歯学部, 歯学部研究員 (00231639)
Co-Investigator(Kenkyū-buntansha)	牧野日和愛知学院大学, 健康科学部, 教授 (90711028)
Project Period (FY)	2022-06-30 – 2025-03-31
Project Status	Granted (Fiscal Year 2023)
Budget Amount *help	¥6,370,000 (Direct Cost: ¥4,900,000、Indirect Cost: ¥1,470,000) Fiscal Year 2023: ¥3,250,000 (Direct Cost: ¥2,500,000、Indirect Cost: ¥750,000) Fiscal Year 2022: ¥3,120,000 (Direct Cost: ¥2,400,000、Indirect Cost: ¥720,000)
Keywords	摂食嚥下 / 口腔ケア / 非侵襲計測 / ディープラーニング / 学習
Outline of Research at the Start	超高齢者社会において、その構成員である高齢者の健康寿命およびクオリティ・オブ・ライフを保つ最終的な身体機能は、摂食・嚥下である。看護あるいは介護の観点からは、摂食状態および嚥下を非侵襲でリアルタイムに監視し、評価することが望ましいが、これまでそのような方法はなかった。本研究では口腔内および咽頭の音響に着目し、リアルタイムに発信されている摂食・嚥下機能の音響情報を機能検査データとして用いるための方法を探索することを目的としている。このため、咽頭および骨伝導マイクロフォンから採取した音響情報と摂食・嚥下中のビデオ画像を機械学習によって処理して摂食・嚥下の様相を知る方法を探索する。
Outline of Annual Research Achievements	リアルタイムに発信されている摂食・嚥下機能の音響情報を機能検査データとして用いるための方法を探索することを目的としている。正常および異常な口腔機能の情報を小型・軽量な音響センサーで取り出し、そのデータをコンピュータにディープラーニング（DL）させることにより、摂食・嚥下機能をリアルタイムに評価する方法の開発を目指している。本年度は、音響情報の採取方法の最適化を図るため、摂食・嚥下を記録するためのマイクロフォン、ビデオシステムの性能検討を行い、4チャンネル同時記録が可能なビデオカメラに、頸部に装着する嚥下計測用マイクロフォンと頭頂部に装着する咀嚼用マイクロフォンを加えてシステム化した。これらを調達し、実際にボランティアに装着して、ビデオ画像、音響の質を確認して性能検証を行い、マイクロフォンの装着部位の調整を行い、必要とする性能要件を満たしていることを確認した。測定の利便性を向上させるため計測機器を無線で接続することを計画している。健常人ボランティアを対象としたデータ収集プロトコルを共同研究者と協議して決定したが、昨年前期までのコロナウィルス感染症蔓延のため、計画の進行が著しく遅れている。 DL処理に用いるソフトウェアの選定を行い、Pythonを選定したが、性能評価に時間を要している。サンプルデータの取得が未済のため、音響データの解析および学習方法のプログラミングが遅れている。DLのため、単一試験食材のデータ件数を約380と見積もっているため、健常人ボランティアは愛知学院大学健康科学部の学生を対象にすることとし、想定されるボランティア数を予測し、必要な人員が確保できると予測して募集の準備を整えた。
Current Status of Research Progress	Current Status of Research Progress 4: Progress in research has been delayed. Reason 昨年前期までのコロナウィルス感染症蔓延のため、ボランティアを用いたデータが取得できず、計画の進行が著しく遅れている。 DL処理に用いるソフトウェアの選定を行い、Pythonを選定したが、性能評価に時間を要している。サンプルデータの取得が未済のため、音響データの解析および学習方法のプログラミングが遅れている。
Strategy for Future Research Activity	研究対象となるボランティアの募集、研究方法のプロトコル作成は完了しているため、速やかにボランティアからのデータ採取を開始する。それに平行してDLを進めて、健常人ボランティアの対照データを作成する。データ解析に必要な知識、技術をもつ協力者を選定し、本システムの作製を加速させる。