2020 Fiscal Year Research-status Report

モデルベースによる簡易計測手法を用いた高信頼な日常身体機能評価システムの構築

Research Project

Project/Area Number	17K00230
Research Institution	Yokohama National University
Principal Investigator	杉本千佳横浜国立大学, 大学院工学研究院, 准教授 (40447347)
Project Period (FY)	2017-04-01 – 2022-03-31
Keywords	モデルベース / 咀嚼嚥下 / 生体機能 / 機械学習 / 認識モデル
Outline of Annual Research Achievements	人間の生命・健康維持に重要な役割を果たす咀嚼・嚥下の機能について、簡易計測デバイスであるRGB-Dカメラを用いてその状態および機能を高精度に評価するための計測手法と認識モデルを構築した。RGB-Dデータから得られる顔や頸部の特徴点3次元動態をもとに咀嚼や嚥下の状態を評価するための最適なパラメータを導出し、咀嚼回数の算出、咀嚼運動および咀嚼力の評価、嚥下運動軌跡の評価、適切なフィードバックを行うための手法を提案した。咀嚼機能評価では、一咀嚼サイクル毎の開口時および閉口時の咀嚼運動の経路、速度、リズム、咬合筋の体積変化を算出し、咀嚼能力の高低によりそれらの安定度や変動に有意な差がみられることを示した。深度データの利用では、3 次元モデルの自由な形状変更を実現するガウス関数に基づくFree-Form Deformationで個別の顔形状に合わせて補正し、顔特徴点の抽出精度の向上を図った。また、深度画像から咬合筋領域を自動抽出するための識別モデルを導入することで、解析の自動化を図った。さらに、RGB画像に深層学習を適用し、画像に表れる咀嚼時の顔の時間的変化を学習させ、画像の入力方法と学習モデルを工夫して画像から咀嚼状態の特徴を最適に抽出する手法を検証した。嚥下機能評価では、Depth情報から喉頭周辺の３D 特徴量を自動抽出して運動軌跡をトラッキングすることで、機能を評価する手法を構築した。これらの手法により、RGB-Dデータから簡易的に咀嚼嚥下の状態や機能を評価できることを示した。
Current Status of Research Progress	Current Status of Research Progress 3: Progress in research has been slightly delayed. Reason 咀嚼・嚥下、および胸腹式呼吸について、簡易計測デバイスで取得可能なRGB-Dデータからその機能および状態を高精度に評価するための計測手法と認識モデルを構築し、その性能を評価した。各機能モデルをもとに、深度データおよびRGB画像データから有用な特徴量の抽出、有効な指標の導出を行い、認識・評価モデルの有用性の検証と提案手法の更なる改善を行っている。深層学習手法が高い画像認識性能を示すことから、咀嚼時のRGB画像データに対して深層学習を適用し、複数の認識モデルで精度比較して精度向上を図っている。また、適用可能な対象範囲を明らかにするため、高齢者や児童を含めた幅広い対象に対してデータを取得し、評価モデルの精度を向上させるとともに有効性を検証する予定であったが、コロナウイルス感染症の影響により、咀嚼計測実験を行うことができず十分な量のデータを確保することができなかった。そこで、計測対象を絞ったうえで解析評価に必要な咀嚼データを取得し、RGB-Dデータからの高精度な認識評価モデルへの改良を行っている。当初予定では咀嚼画像データへの深層学習モデルの適用は想定しておらず、近年の深層学習技術の急速な発展をもとに期間を延長し研究内容を拡張したものであり、コロナウイルス感染症の影響により実験ができず遅れはあるものの進展しているといえる。
Strategy for Future Research Activity	コロナウイルス感染症拡大のリスクを考慮し、測定対象を絞ったうえで解析評価に必要な咀嚼データの計測実験を行う。取得したデータをもとにデータの活用方法と深層学習手法を工夫し、咀嚼能力の違いによる咀嚼の差異を特徴としてうまく学習させることで、認識評価モデルの精度向上を図る。構築可能な評価モデルは入力データに依存するため、取得されたデータの適切なデータ処理方法、入力方法、評価モデルとそのアーキテクチャ、出力方法を再検討し、最適なモデル構築を行う。医療関係者にも意見を聞いて性能を検証し、その研究成果を外部発表する。
Causes of Carryover	コロナウイルス感染症の影響により、2020年度に予定していた咀嚼計測実験を実施することができず、計測デバイスの購入を見送った。これに伴い、解析に必要な十分な量のデータを確保できず、学習データを必要とする新たな深層学習モデルの構築や入力データの最適化を達成できず、学会参加や論文投稿を行うことができなかった。2021年度は感染症予防対策を行い、計測対象を限定したうえで解析評価に必要なデータ取得実験を行う。また、このために必要な計測デバイスと実験用消耗品を購入する。取得したデータをもとに深層学習モデルを用いて咀嚼機能評価モデルを構築するためにGCPの利用が必要であり、得られた成果を学会に投稿するため、予算を使用する。