Publicly Offered Research
Grant-in-Aid for Transformative Research Areas (A)
本研究では，音源＝異常状態によって発せられる音が，音環境を通じてヒトに聴知覚され，音の深奥質感として異常か正常か理解されるものと仮定する．また，ヒトが音から異常状態を検知する際，どのような音響的な手がかりを利用しているのか．音の変調スペクトルとその知覚的因子（音の粗さや変動感，甲高さ，明るさなど）が，深奥質感として異常音検知にどのように関係するか，聴覚特性を考慮したスペクトル変調・時間変調（STM）分析を利用して明らかにする．これらの検討から，音の深奥質感として，ヒトの異常音検知のメカニズムを理解し，それに基づいた機械による異常音検知の実現可能性を検討する．
本研究では，音源＝異常状態によって発せられる音が，音環境を通じてヒトに聴知覚され，音の深奥質感として異常か正常か理解されるものと仮定する．また，ヒトが音から異常状態を検知する際，どのような音響的な手がかりを利用しているのか．音の変調スペクトルとその知覚的因子（音の粗さや変動感，甲高さ，明るさなど）が，深奥質感として異常音検知にどのように関係するか，聴覚特性を考慮したスペクトル変調・時間変調（STM）分析を利用して明らかにする．これらの検討から，音の深奥質感として，ヒトの異常音検知のメカニズムを理解し，それに基づいた機械による異常音検知の実現可能性を検討する．2023年度は，音環境・聴覚特性を考慮した音の振幅包絡線情報からSTM分析による特徴表現までの一連の処理体系を，聴覚フィルタバンク，Hilbert変換による包絡線情報の抽出，変調フィルタバンクによる時間変調分析，ケプストラムによるスペクトル変調分析，2次元周波数分析によるSTM分析のシーケンシャルな処理結合ととらえ，MATLABを利用して実装した．次に，DCASE Challenge などで公開された異常音データベース（MIMII）を利用して，知覚的因子（ラフネス，変動強度，シャープネス）といった音色属性の指標と異常音検知の関係を客観評価実験により調べた．その結果，すべてに対して共通な因子を見つけられなかったが，異常状態あるいは音源に依存して利用できる知覚的因子があることがわかった．最後に，これら特徴抽出に深層学習ベースの識別器と組み合わせることで，MIMIIデータに対する異常音検知，ADD2022/ADD2023で提供されたフェイク音声の異常音検知を実現する方法を提案した．いずれも良好な精度で異常音を検出できることを明らかにした．
1: Research has progressed more than it was originally planned.
既にSTM分析の核となる処理体系を確立し，異常音検知にSTM分析で利用される因子あるいは音響特徴が有効であることを確認することができた．さらに，これをベースとする音響特徴処理をベースに，古典的な識別器（例えばサポートベクターマシン）や深層学習ベースの識別器と組み合わせることで，MIMIIデータに対する異常音検知，ADD2022/ADD2023で提供されたフェイク音声の異常音検知を実現する方法を提案することができた．これらの評価では，適合率と再現率の調和平均であるFスコアや等価エラー率（EER）などを利用したが，十分に精度の高い異常音検知を実現することができた．今後は，Fスコアを1に，あるいはEERを0に近づけるための方略を検討する．申請時に計画した初年度（2023年度）の計画以上の大きな進捗を得られたことから，(1)の区分であると判断した．
STM分析の核となる処理体系を確立することができた．今後は，音色属性に関わる特徴とSTMで表現される特徴の関係性を明らかにすることで，異常音検知に役立つ物理特徴をSTM分析と音響物理の逆の関係性から推測することができるかもしれない．このアプローチから音響特徴をあぶりだすことにより，深奥質感としての異常音知覚のメカニズム解明に踏み込むことができるかもしれない．また，この検討から初年度に提案したいくつかの異常音検知の方法を改良することもできるかもしれない．
All 2024 2023 Other
All Int'l Joint Research (1 results) Journal Article (5 results) (of which Int'l Joint Research: 1 results, Peer Reviewed: 5 results, Open Access: 3 results) Presentation (5 results) (of which Int'l Joint Research: 2 results)
Applied Acoustics
Volume: 218 Pages: 109914-109914
10.1016/j.apacoust.2024.109914
IEEE Access
Volume: 11 Pages: 70884-70897
10.1109/access.2023.3294334
Volume: 11 Pages: 106620-106649
10.1109/access.2023.3318015
Proc. APSIPA2023
Volume: - Pages: 1822-1829
10.1109/apsipaasc58517.2023.10317309
Proc. EUSIPCO2023
Volume: - Pages: 201-205
10.23919/eusipco58844.2023.10289922
