| 研究課題/領域番号 |
17K00230
|
|---|
| 研究機関 | 横浜国立大学 |
|---|
研究代表者 |
杉本 千佳 横浜国立大学, 大学院工学研究院, 准教授 (40447347)
|
|---|
| 研究期間 (年度) |
2017-04-01 – 2023-03-31
|
| キーワード | モデルベース / 咀嚼嚥下 / 生体機能 / 機械学習 / RGB-D画像 |
|---|
| 研究実績の概要 |
人間の健康維持において重要な役割を果たす咀嚼機能について、測定が容易なRGB-Dカメラを用いてその状態および機能を高精度に評価するための適切な計測手法を比較検証し、機械学習手法を活用した新たな認識・評価モデルを構築した。
RGB-Dデータから得られる顔の特徴点3次元動態をもとに咀嚼状態を評価するための最適な特徴抽出方法を検討し、画像からのランドマーク取得による開閉口咀嚼サイクルの検出および咀嚼回数の算出、口周辺部の動きの特徴抽出による咀嚼運動および咀嚼能力の評価、そして適切なフィードバックを行うための手法を検証した。
咀嚼機能評価では、深度データの解析により、咀嚼能力の高低により、一咀嚼サイクル毎の開口時および閉口時の咀嚼運動の経路、速度、リズム、咬合筋の体積変化に有意な差がみられることが示唆された。よって、顔部のRGB画像データからもこれらの特徴変化を高精度に抽出し咀嚼能力の高低を識別できるか検証するため、高性能な深層学習手法を活用した評価を行った。深層学習には多くのデータが必要なため、咀嚼計測実験を新たに実施し、咀嚼時のRGB-Dデータの収集を行った。得られたデータのうちRGB画像の時系列データに対して深層学習の3D-ResNetを適用して最適な識別モデルを構築した。人により咀嚼時の口の動かし方に癖があり咀嚼状態に差異があるため、識別精度に個人差が見られたが、画像に表れる咀嚼時の顔表面形状の時間的変化から咀嚼機能の低下した咀嚼状態を高精度に識別できることを示した。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
咀嚼・嚥下、および胸腹式呼吸について、簡易計測デバイスで取得可能なRGB-Dデータから状態および機能を高精度に評価するための計測手法と認識モデルを構築し、その性能を評価した。各機能モデルをもとに、深度データおよびRGB画像データから有用な特徴量の抽出、有効な指標の導出を行い、認識・評価モデルの性能の検証と改良を行った。
近年深層学習手法が急速に発展しその性能が飛躍的に高まったことから、研究期間を延長し研究内容を拡張して、深層学習技術による咀嚼時のRGB画像データの解析評価を行った。高い画像認識性能を持つ深層学習手法を適用するためには、条件を満たす質の良い多くの学習データが必要である。そこで、咀嚼評価用グミゼリーを用いた咀嚼測定実験を行い、解析評価に必要な咀嚼データを取得した。得られた咀嚼時のRGB画像データを用いて高性能な深層学習モデルを最適化し、SEブロック付き3D-ResNetの識別モデルを構築した。これにより、RGB画像だけからでも高精度に咀嚼機能の低下を識別可能であることが示唆された。
|
| 今後の研究の推進方策 |
昨年度は解析評価に必要な咀嚼データの計測実験を行い、得られた画像データをもとに咀嚼機能を識別する深層学習モデルを構築したが、その成果を対外発表できなかった。今後は、これまでに得られた研究成果を統合し、深度データとRGB画像データを組み合わせた最適な評価モデルの構築を行い、研究成果を外部発表する。
|
| 次年度使用額が生じた理由 |
新型コロナウイルス感染症の影響により、咀嚼計測実験の実施に時間がかかり、深層学習モデルの適用に十分な量のデータを取得するために期間を要した。このため、最適な深層学習モデルの構築が遅れ、2021年度中に研究成果の対外発表を行うことができなかった。そこで、2022年度に深度データとRGB画像データを組み合わせた最適な評価モデルの構築を行った上で、2021年度と2022年度に得られた研究成果を学会に投稿するために予算を使用する。
|
