2019 Fiscal Year Research-status Report
生活活動音の深層学習による独居者家庭内事故等の検出方法に関する研究
| Project/Area Number |
18K02236
|
|---|
| Research Institution | Akita University |
|---|
Principal Investigator |
田中 元志 秋田大学, 理工学研究科, 准教授 (50261649)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 生活活動音 / 足音 / 時間-周波数解析 / 特徴抽出 / 自己組織化マップ / 深層学習 |
|---|
| Outline of Annual Research Achievements |
音による家屋内事故等の異常検出を目的に，マイクロフォン1本を用いて採取した日常の生活活動音（生活音）の自己組織化マップ化，睡眠時の音の解析，および足音識別への深層学習の利用を検討した。なお，生活音などの採取においては，秋田大学の研究倫理審査委員会の承認を受け，被験者の同意を得て行った。主な成果を以下にまとめる。
(1) 生活活動音の自己組織化マップ（SOM）を用いた異常候補検出に関する検討： 広帯域マイクロフォンを用いて，男性1人暮らしのアパート内で6時間録音した日常生活音を用いた。生活音（15次特徴量）のSOMを作成し，学習データ数が含まれる割合に応じて3領域に分割した異常候補検出用マップを作成した。音によって特徴量が含まれる領域が変化し，その推移を観察することで異常候補の検出を試みた。異常模擬音として転倒音10音および悲鳴5音を用いた結果，転倒時の変化を異常候補として検出できる可能性が示唆された。
(2) 睡眠時の音の解析と特徴抽出に関する検討： 夜間睡眠時の呼吸音（寝息音）に着目し，異常候補を検出するための呼吸間隔の推定方法について検討した。被験者3名とし，可聴域マイクロフォンを口元近くに配置し，寝息音を約1.5時間録音した。時間-周波数解析を行い，12次MFCC，スペクトルエントロピー，スペクトル重心を求め，呼吸間隔を推定した。その結果，呼吸音を確認できた時間帯では，呼吸間隔を±0.75秒（1フレーム周期）の誤差で推定できた。
(3) 深層学習を用いた足音認識に関する検討： 歩行速度と履物の条件を変えた場合の足音について検討を行った。被験者5名とし，歩行音の時間-周波数解析を行い，20次Log-Mel Spectrumを求めた。深層学習には，CNN構造を持つLeNetを用いた。その結果，歩行速度が異なる場合の認識率は約83%であったが，全体的には99.1%で認識できた。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
2019年度は，日常の生活活動に伴う音の学習とそれに用いる特徴量に関する検討を中心に行った。日中の生活音の特徴として，音声信号処理などでよく利用される12次MFCC（可聴周波数帯域），それを80 kHzまで拡張された24次MFCC，80 kHzの帯域を15個に分割した各サブバンド（帯域幅10 kHz，三角窓，シフト幅5 kHz）内の合計電力を用いた場合（15次サブバンドパワー），これと12次MFCCを組み合わせた場合を用い，それぞれの自己組織化マップ（SOM）を作成した。SOMを学習データ数が含まれる割合に応じて3領域に分け，転倒音および悲鳴を用いた異常候補検出を試みた結果，15次サブバンドパワーが最もよい成績であった。2020年度はこのパラメータを利用する予定である。今回はSOMを単純に3領域に分けたが，検出率向上にはさらに工夫が必要と考えられる。夜間睡眠時の音については，呼吸音から呼吸間隔をある程度推定でき，これをトレースすることで無呼吸などの異常を検出できる可能性が示唆された。しかし，寝返りなどによって呼吸音を記録できない場合が多く，記録方法の改善，および異常との区別が今後の課題である。また，足音の識別については，履物および歩行速度が異なる足音から20次Log-Mel Spectrumを求め，画像情報として深層学習させた。1秒ごとの足音を学習させた結果，異なる歩行速度でも歩行者を検出できる可能性が示唆された。しかし，履物が異なった場合では識別率が低下し，今後の課題となった。これらの課題については，2020年度の計画に組み込み，引き続き検討を行う予定である。
|
| Strategy for Future Research Activity |
2020年度は，日常の生活音を日中と夜間（睡眠時），および足音に分け，それぞれの進度に合わせた検討を行う。日中の生活音については，抽出した特徴量（特徴ベクトル）の自己組織化マップ（SOM）を作成し，それを用いた異常候補検出方法（アルゴリズム）を検討する。具体的には，長時間（5時間以上）の生活音のSOMから，数個の状態（クラスタ）に集約させた確率モデルを作成し，それを用いて音の発生確率を算出する。そして，音の発生確率の変化から異常候補を検出する方法を検討する。また，判断基準（しきい値など）を適切に決める必要があり，その方法についても検討する。異常音として転倒などの異常を模擬した音を多数用意し，検出率（識別率）を求めて評価する。夜間の音については，睡眠時の呼吸の検出とそのトレース方法を中心に検討する。足音については，履物などの環境の違いや歩行速度の違いに対応可能な学習および識別方法を検討する。そして，これらの機能をまとめ，可搬可能な異常検出システムとして構成することを目指す。本研究では，必要に応じて，被験者を用いた音の採取を行う。そのため，本年度においても秋田大学の人を対象とした研究倫理委員会の承認を受けた。
|
