| 研究領域 | 実世界の奥深い質感情報の分析と生成 |
|---|
| 研究課題/領域番号 |
23H04344
|
|---|
| 研究種目 |
学術変革領域研究(A)
|
| 配分区分 | 補助金 |
|---|
| 審査区分 |
学術変革領域研究区分(Ⅳ)
|
|---|
| 研究機関 | 北陸先端科学技術大学院大学 |
|---|
研究代表者 |
鵜木 祐史 北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (00343187)
|
|---|
| 研究期間 (年度) |
2023-04-01 – 2025-03-31
|
| 研究課題ステータス |
交付 (2024年度)
|
| 配分額 *注記 |
7,800千円 (直接経費: 6,000千円、間接経費: 1,800千円)
2024年度: 3,900千円 (直接経費: 3,000千円、間接経費: 900千円)
2023年度: 3,900千円 (直接経費: 3,000千円、間接経費: 900千円)
|
|---|
| キーワード | 異常音検知 / 音色属性 / STM分析 / 質感認識メカニズム / 質感認識 / スペクトル変調・時間変調分析 / 音色知覚 / 聴知覚メカニズム / 音質評価指標 |
|---|
| 研究開始時の研究の概要 |
本研究では，音源＝異常状態によって発せられる音が，音環境を通じてヒトに聴知覚され，音の深奥質感として異常か正常か理解されるものと仮定する．また，ヒトが音から異常状態を検知する際，どのような音響的な手がかりを利用しているのか．音の変調スペクトルとその知覚的因子（音の粗さや変動感，甲高さ，明るさなど）が，深奥質感として異常音検知にどのように関係するか，聴覚特性を考慮したスペクトル変調・時間変調（STM）分析を利用して明らかにする．これらの検討から，音の深奥質感として，ヒトの異常音検知のメカニズムを理解し，それに基づいた機械による異常音検知の実現可能性を検討する．
|
| 研究実績の概要 |
本研究では，音源＝異常状態によって発せられる音が，音環境を通じてヒトに聴知覚され，音の深奥質感として異常か正常か理解されるものと仮定する．また，ヒトが音から異常状態を検知する際，どのような音響的な手がかりを利用しているのか．音の変調スペクトルとその知覚的因子（音の粗さや変動感，甲高さ，明るさなど）が，深奥質感として異常音検知にどのように関係するか，聴覚特性を考慮したスペクトル変調・時間変調（STM）分析を利用して明らかにする．これらの検討から，音の深奥質感として，ヒトの異常音検知のメカニズムを理解し，それに基づいた機械による異常音検知の実現可能性を検討する．
2023年度は，音環境・聴覚特性を考慮した音の振幅包絡線情報からSTM分析による特徴表現までの一連の処理体系を，聴覚フィルタバンク，Hilbert変換による包絡線情報の抽出，変調フィルタバンクによる時間変調分析，ケプストラムによるスペクトル変調分析，2次元周波数分析によるSTM分析のシーケンシャルな処理結合ととらえ，MATLABを利用して実装した．次に，DCASE Challenge などで公開された異常音データベース（MIMII）を利用して，知覚的因子（ラフネス，変動強度，シャープネス）といった音色属性の指標と異常音検知の関係を客観評価実験により調べた．その結果，すべてに対して共通な因子を見つけられなかったが，異常状態あるいは音源に依存して利用できる知覚的因子があることがわかった．最後に，これら特徴抽出に深層学習ベースの識別器と組み合わせることで，MIMIIデータに対する異常音検知，ADD2022/ADD2023で提供されたフェイク音声の異常音検知を実現する方法を提案した．いずれも良好な精度で異常音を検出できることを明らかにした．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
1: 当初の計画以上に進展している
理由
既にSTM分析の核となる処理体系を確立し，異常音検知にSTM分析で利用される因子あるいは音響特徴が有効であることを確認することができた．さらに，これをベースとする音響特徴処理をベースに，古典的な識別器（例えばサポートベクターマシン）や深層学習ベースの識別器と組み合わせることで，MIMIIデータに対する異常音検知，ADD2022/ADD2023で提供されたフェイク音声の異常音検知を実現する方法を提案することができた．これらの評価では，適合率と再現率の調和平均であるFスコアや等価エラー率（EER）などを利用したが，十分に精度の高い異常音検知を実現することができた．今後は，Fスコアを1に，あるいはEERを0に近づけるための方略を検討する．申請時に計画した初年度（2023年度）の計画以上の大きな進捗を得られたことから，(1)の区分であると判断した．
|
| 今後の研究の推進方策 |
STM分析の核となる処理体系を確立することができた．今後は，音色属性に関わる特徴とSTMで表現される特徴の関係性を明らかにすることで，異常音検知に役立つ物理特徴をSTM分析と音響物理の逆の関係性から推測することができるかもしれない．このアプローチから音響特徴をあぶりだすことにより，深奥質感としての異常音知覚のメカニズム解明に踏み込むことができるかもしれない．また，この検討から初年度に提案したいくつかの異常音検知の方法を改良することもできるかもしれない．
|
