2021 Fiscal Year Research-status Report
Action estimate of person in need of nursing care for which AI input is time series variation of sound source image generated by microphones at bed sides
| Project/Area Number |
20K12748
|
|---|
| Research Institution | Fukuyama University |
|---|
Principal Investigator |
仲嶋 一 福山大学, 工学部, 教授 (80542068)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 音源分布像 / 行動推定 / 介護ベッド / 深層学習 |
|---|
| Outline of Annual Research Achievements |
前年度までに開発した音源像取得システムにおいて、ゴーストの音源像が現れる場合があった。特に問題となるのは，本システムで主要な入力となる擦過音であり，擦過音が接触領域の様々な部分から発する短い持続期間の波束の集合と考えられ，マイク間距離が離れると伝搬に伴う反射波との重畳などにより相関強度が低下することがゴーストの発生原因と考えられた。前システムではベッドの四隅にマイクを設置して遅延和による音源像生成を行っていたが、上記問題を解消するため、間隔を10cmと比較的近接したマイク対を基本構成単位として，4対のマイク対をベッドの四隅に配置した。そして、この対での相関値および遅延和波形を用いて音源分布像を得ることを試みた。
近接させたマイク対では相関の高い信号が得られ、４対での相関演算結果の総和による相関強度分布を生成することで、擦過音のようなコヒーレンス長の短い音源に対し，反射等が重畳することによって相関値が不安定になることを抑制して、ゴーストの無い音源像を得ることができた。しかしながら，単純な相関では距離に対しての位置特定性能が不十分であった。これは、前述の相関演算が音の到来方向を推定するものであり、音源からの距離は異なるマイク対の音源方位の交差に依存していること起因している。このため，到達音の強度として隣接マイク対の遅延和のRMS値を求め、対角に位置するマイク対のそれと比較することによって，音源距離に対応する補正係数を生成した。これにより、良好な音源像が生成できることを示した。
さらに、深層学習における教師データを取得するためのモニタカメラを有するデータ収集システムを構築し，擦過音を生成してその音源像の生成を確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
初年度に購入予定機器の導入ができず代替品でのシステム構築を行ったために遅延が発生しており、この挽回を目指したが、ゴースト像の発生抑止による音源像の質向上が行動推定に対して必須の事項であり、この対応を優先した。研究実績の概要の通り、本年度の研究によりゴースト像の抑制を可能とし、深層学習の教師データ取得用のカメラモニタシステムの構築まで達成することができた。若干遅れ気味ではあるものの、最終年度にデータの取得を行って、行動推定の評価まで進捗可能と判断している。
|
| Strategy for Future Research Activity |
令和２年度に行った深層学習の基礎検討にて作成したプログラムは、位置情報の無い数秒のスペクトログラムによる音源種類の弁別であったので、2次元の音源像とスペクトルを入力とする改造プログラムを構築中である。令和４年度は、上記2次元の音源像とスペクトルのデータ取得を行い、両者の合成入力の評価、改良を行い、本研究のコンセプトによる音による行動推定の可能性について、評価結果を取得する。
|
| Causes of Carryover |
新型コロナ感染症の影響が想定外に長引き、学会がオンラインとなったので、旅費が発生しなかった。令和4年度は対面での学会が増加すると思われる。また、データ収集・行動推定システムの改良のために部材の購入が必要であり、その購入費用にも充当する。
|
