2020 Fiscal Year Research-status Report
| Project/Area Number |
20K12045
|
|---|
| Research Institution | Nagasaki University |
|---|
Principal Investigator |
松永 昭一 長崎大学, 情報データ科学部, 教授 (90380815)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
高田 寛之 長崎大学, 情報データ科学部, 助教 (10297616)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 生体音 / 泣き声 / 肺音 / 主観評価 |
|---|
| Outline of Annual Research Achievements |
生体音に含まれる特徴的な情報の識別では，人間の主観に応じた判断結果を必要とする場合が多い．そこで，本研究では，生体音に含まれる特徴音の識別(本研究では「聴診音(肺音)を用いた疾患者の検出」，及び「乳児の泣き声に含まれる情動の検出」の二つの課題を対象とする)において，より詳細で被験者に直観的でわかりやすい認識結果を提供することを目的として開始した．
聴診音に含まれる異常音(副雑音)の検出に関して：異常肺音を聴取すると，副雑音の聴取しやすさに違いがある. これは，副雑音の大きさ，呼吸音の強弱，雑音の有無に左右されるためである. そこで，このような様々な副雑音の「主観による聴取しやすさ」を「明瞭性」と定義し，異常肺音の分類を行った．具体的には副雑音の明瞭性が高い順に「明瞭性:高」,「明瞭性:中」,「明瞭性:低」の3段階のラベルを付与した. このラベル区間の特徴の分布を調査したところ，相対的に「明瞭性:低」と「明瞭性:中」が極めて類似していたため，「明瞭性:中」と「明瞭性:低」を合わせた「明瞭性:中低」のクラスと，「明瞭性:高」のクラス間の識別を行うことが被験者に直観的でわかりやすいことがわかった．識別実験を行った結果，明瞭性の違いをある程度識別でき，「明瞭性:中低」の識別精度が「明瞭性:高」より高いことがわかった．また，従来の正常肺音と異常肺音の識別精度と比較して，明瞭性に応じた異常音の識別性能が低く，改良が必要であることがわかった．
乳児の泣き声に含まれる情動の検出に関して：情動の主観値の相関に着目し，先行研究の 情動の分類(「甘え」と「怒り」の 2種)を増加させた．具体的には2次元のヒストグラムを作成し，その結果,強い相関がみられた「悲しみ」と「怒り」を「怒りクラス」,「眠い」と「甘え」を「甘えクラス」とまとめて1クラスとし，他の情動との独立性が高い「空腹」を１クラスとした.
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究では「聴診音(肺音)を用いた疾患者の検出」，及び「乳児の泣き声に含まれる情動の検出」の二つの課題に対して主観評価値を用いた識別クラスを設定することができた。従来の研究で設定していたクラスと比較すると、聴診音に関しては、従来は「副雑音のある異常音」と「副雑音を含まない正常音」の２種類であったものを「明瞭性が高い副雑音を含む異常音」，「明瞭性が低い副雑音を含む異常音」及び「副雑音を含まない正常音」の３種類に増加させることができた．異常音をその明瞭性の高さに応じて識別することはその肺疾患の可能性の高さと連動すためその意義は高いと考えられる．しかしながら，明瞭度の異なる異常音を高精度で分類することは，現時点では達成できておらず，識別方式の向上のための適切な音響特徴パラメータの導入が重要であると思われる．乳児の泣き声を用いた情動検出に関しては，従来は「甘え」と「怒り」の２種の情動クラスを，情動の主観評価値を用いたクラスタリングにより設定していた，2020年度の本研究の結果，情動の評価値の独立性より「空腹」を新たに追加し，全体で３個の情動クラスとしたが、従来のクラスタリングを用いた情動クラス作成時のデンドログラムの情動クラスの融合順序と同じ結果となった．3クラスの情動の識別の初期実験を行ったものの，高い精度で識別することができず，音響特徴パラメータや学習・識別法に関して今後の改良が必要であることがわかった．
|
| Strategy for Future Research Activity |
2020年度の本研究により，主観評価値を用いた識別クラスの設定が「聴診音(肺音)を用いた疾患者(異常音)の検出」，及び「乳児の泣き声に含まれる情動の検出」の二つの課題に対して従来の識別で用いていたクラス数と比較して増加させることができたものの，識別性能が低いという課題を残した．そこで，今後の研究は昨年度に生成したクラスを識別対象とした識別精度の向上を推進する，
まず，識別に有効な音響特徴パラメータの検討を行い，導入していく．具体的には従来の特徴量であるパワーやメルケプストラム係数に加え，各クラスに特徴的な音響特徴パラメータを用いる．「肺音を用いた疾患者の検出」ではWavelet関数を用いた特徴パラメータの導入を検討し，従来検出精度が低かった断続性の副雑音の検出精度の向上を目指す．また，「乳児の情動の検出」では，標準化された成人の声の情動抽出の音響特徴パラメータの中より，乳児の情動抽出にも効果があるパラメータを識別実験を通して検討し，導入する．
次に，深層学習を用いた高精度な識別手法の構築を行う．従来の識別手法である隠れマルコフモデル(HMM)に加え，深層学習を用いた識別方式の利用を検討する．特徴パラメータ抽出後，HMMを用いて識別に有効な生体の特徴音が主に含まれる区間を抽出することを検討する．抽出した区間の音データにはスパースモデリングもしくは非負値行列因子分解により雑音成分の低減やクラス識別に有効な特徴音の時系列の抽出(「肺音を用いた疾患者の検出」では連続性副雑音や断続性副雑音，「乳児の情動の検出」では泣き声区間や息継ぎ区間)を行い，識別精度の向上を目指す．
|
| Causes of Carryover |
コロナ感染の影響により現地発表を予定していた学会がリモート開催となったこと、及び開催を見通せなかったため国際会議への投稿を控えたことが最も影響している．
国際会議への投稿を３月末に行ったため、受理されれば経費を2021年度支出する予定である．また，感染の影響により2020年度は学生の登校が制限された期間があったために行わなかった謝金を用いたデータベースの増強を2021年度に行う予定である．
|
Research Products
(5 results)
