Music selection for hard of hearing children at music classes

2020 Fiscal Year Research-status Report

• Project/Area Number: 20K20811
• Research Institution: Tsukuba University of Technology
• Principal Investigator: 平賀 瑠美 筑波技術大学, 産業技術学部, 教授 (70327021)
• Co-Investigator(Kenkyū-buntansha): 白石 優旗 筑波技術大学, 産業技術学部, 准教授 (00389214) ; 安 啓一 筑波技術大学, 産業技術学部, 講師 (70407352)
• Project Period (FY): 2020-07-30 – 2023-03-31
• Keywords: 聴覚障害 / 音楽聴取 / 音響 / 音色

Outline of Annual Research Achievements

目的：我々の研究は様々な聴取特性を持つ聴覚障害者各人が聴いて楽しめる音楽を聴覚障害者に提案し、そこで得た知見を音楽の授業に活かすことを目的とする。
方法：そのために、聴覚障害者を対象とした音響データの聴きやすさの主観評価実験を行う。それと同時に、主観評価実験で用いる音響データの音響特性を分析、音色に関して分類し、聴覚障害者にとって聴きやすさに影響のある音響属性を調べる。
2020年度の内容：まず、単純な音響データ（一つの楽器による単音データ）を用いて、聴きやすさと音響属性についての関連の調査を行うことにした。一つの楽器による単音データを聴いての主観評価を行った。また、音響データの音色に関する分析をどのようにするかの検討を行い、音色分析に特化したライブラリ（Matlab で動くTimbreToolbox）で音響特性データを集めることにした。
研究成果：様々な先行研究から、音色の識別に影響のあるとされる音響属性はある程度分かっている。TimbreToolboxで音響データを分析して音色に影響のある音響属性も得ることができた。しかし主観評価での聴きやすさの程度の結果をタグとした時に、得られた音響分析データから分類に有効な音響属性を見つけることが難しく、現在も取り組んでいるところである。音色の聴きやすさと音色の識別に有効な音響属性の違いがあるという可能性があると考えている。また、主観評価実験に参加した聴覚障害者の音の聴取方法が補聴器の使用や人工内耳のように様々であったため、主観評価を健聴者のみを対象として行った既存研究を参考にするのが難しいところもあった。引き続き、主観評価と音響分析を続けていく。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

我々の研究の開始地点は、主観評価に関しては中央ドの音高を20種類の楽器で演奏した音響データの聴きやすさ、音響に関しては単一楽器音の音色の分析であった。聴覚障害者による単一楽器の単一音高で作られる音響データの聴きやすさに関する主観評価の調査を行った。また、音響分析の結果とそのクラスタ分類が主観評価に沿うような音響属性を調べることに着手した。
単一楽器の音響データは、楽譜作成ソフトSibeliusを用い、楽器音以外の音楽属性を同一とするwavデータを作成した。聴覚障害者は音の高さについて言及することが多いため、音高を増やして音響データを用意した。音響データの分析は、Matlabと音響分析のためのツールTimbreToolboxを使用した。TimbreToolboxは音色の音響分析に特化して作られており、様々な属性を計算するツールである。多くの属性値の中から主観評価に用いることを想定できる属性を選び出すことができれば、今後、現存する音楽の分類に活用できると考えるため、属性の選択は本研究の中で重要な位置づけとなる。音色に関する音響属性の選択は、既存研究では、音色識別については行われてきたが、我々が使いたい音響属性は、聴覚障害者にとって聴こえやすい音色・聴こえにくい音色の決め手となる音響属性であり、音響属性の組み合わせ適切なものを見つけるという作業を続けているところである。
聴こえやすさに影響のある音響属性を見つけられれば、次のステップである、一般的な音楽の音響分析に研究を進めていくことができるため、おおむね順調に進展していると考えている。

Strategy for Future Research Activity

2020年度の研究を通して主観評価並びに音響分析に関して様々な課題を洗い出すことができた。
これまでの音色に関する研究は主として健聴者を対象とする音色識別が行われてきた。このための実験では、健聴者は1秒前後の短い音響データを聴取して判断を行っていた。TimbreToolboxでの音色の分析は短い音響データに対して用いていることが過去の発表論文から分かる。一方、我々が対象とするのは聴覚障害者であり、本研究では「聴きやすい音楽を調べ聴いて楽しめる音楽を増やす」ことを目的としている。既存研究で用いていたような1秒前後の短い音響データを聴覚障害者の主観評価に使うことは可能かどうかという疑問が生じた。つまり、短い音響データを聴きにくい、と判断した場合、それは音色が聴きにくいからなのか、または、発生する音が短いためなのか、判断理由が不明になってしまうと考えている。従って、主観評価は何秒のデータを使用することが適切なのか、1秒の音響データを使うならば繰り返し聴くことが必要なのではないか、より長い音響データを用いて主観評価を行うべきではないか、ということを決めていく必要がある。
音色識別を目的としない音響データの分析に関しては、どの音響属性を使えば良いかを引き続き検討する。音響データの分析ではTimbreToolbox以外にもMIRToolboxを使って計算した結果をクラスタリングし、比較を行う予定である。
また、より複雑な音楽での音響分析にも着手する。

Causes of Carryover

2020年度には、国内の特別支援学校や聾学校の音楽の授業の様子を知ったり、Music Information Retrievalの最新動向を知るために国際会議への参加を予定していたが、世界的な新型コロナウィルス感染拡大のためそれらが叶わなくなった。すなわち、旅費として計上していた分はまったく使用できなかった。
ソフトウェアについては、やはり新型コロナウィルス感染拡大のため、新たに大学で一括契約をすることになったものを使えるようになったこともあり予定よりも支出が大きくなかった。また，2020年度は聴覚障害者が音楽を聴くことに関する予備実験を行うことを考えていたが，新型コロナウィルス感染拡大のために，実験環境を整えて実験参加者から話を聴きながら実験を行うことができなかった。
関連学会での情報収集や関連知識のある研究者との意見交換を当面はオンラインで行うことになりそうであるが，そういったものになるべく多く参加したいと考える。ソフトウェアは新たに必要となる音楽関連のものを購入する。実験についてはオンライン，対面両方でできる方法を考え実施する予定である。