2023 Fiscal Year Annual Research Report
Action estimate of person in need of nursing care for which AI input is time series variation of sound source image generated by microphones at bed sides
| Project/Area Number |
20K12748
|
|---|
| Research Institution | Fukuyama University |
|---|
Principal Investigator |
仲嶋 一 福山大学, 工学部, 教授 (80542068)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | 介護 / ベッド内行動推定 / 深層学習 / 音源像 / マルチモーダル / LSTM / メルスペクトログラム |
|---|
| Outline of Annual Research Achievements |
本研究では要介護者や入院患者のベッドでの行動把握を目標に，行動音の音源分布像を深層学習への入力とし，この時系列変化によるベッド内での行動推定を試みる。上記試行により，行動推定において音情報の２次元情報を学習入力とすることの効果および是非を確認することを目的とした。特に寝返り，離床などの体動や掻破は，スペクトル的な特徴の少ない擦過音や軋み音が面的な広がりを持ち，それらが動作に応じて変化するという音声認識とは全く異なる特徴を有しており，これらが認識可能となれば，行動認識技術に大きな広がりを与えることとなると期待さる。ベッドのヘッドボードとフットボードにマイクアレイを配置し，そのマイクアレイから得られる行動音信号のアレイ信号処理により2次元の音源像及び音源のスペクトル情報を得ることと，それを用いて深層学習によりベッド内行動を推測することの２段階で実施した。
低雑音高感度のマイクを各ベッドボード位置に4個づつ，計8個を配した行動音収集系を構築してベッド内での行動音を取得し，取得したデータから深層学習への入力データとして，音源像系列と対数メルスペクトログラムを生成した。音源像は，ベッド内およびその外縁の位置をメッシュで表現して各々のメッシュ点について，飛行時間遅れを補正したマイク間相関と信号のRMS強度比に基づいた補正による音源尤度を提案し，これを適用することにより生成した。1/6秒毎の音源像を生成し，64枚の系列データとした。また対数メルスペクトログラムも音源像の生成に対応するデータにより64周波数bin，64時間スライスで作成した。行動のカテゴリーを咳，喘ぎ，呻き，鼾，掻破（頭），掻破（左腕），掻破（右腕），離床，寝返りとして行動音データを取得して深層学習を行った結果として，離床行動や掻破の場所の推定精度の向上が可能であることを確認できた。
|
