2019 Fiscal Year Annual Research Report
Visualization of voice-matching image with a sound camera and investigation of learning support system applying the visualization
| Project/Area Number |
17K01077
|
|---|
| Research Institution | Shinshu University |
|---|
Principal Investigator |
田島 達也 信州大学, 学術研究院教育学系, 准教授 (00377615)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
齊藤 忠彦 信州大学, 学術研究院教育学系, 教授 (10313818)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 音源探査装置 / 発声 |
|---|
| Outline of Annual Research Achievements |
複数名が同じ音の高さの声を出している様子を（株）熊谷組技術研究所の音源探査装置（以下，音カメラ）で捉えると，ピッチが一致しているときに，音源方向を示す円が発声者の間で揺れ動くような現象を見ることができる。令和元年度は，複数名が声を合わせる場面で，音カメラで捉えた視覚情報を活用する方策について検討した。その検証として，女性4名の協力を得て，一定の音の高さで母音「ア」で声を合わせる場面で，正面に音カメラを設置し，音カメラで捉えた視覚情報をディスプレイで見ながら声を合わせる実験を行った。その結果，ディスプレイを見ながら練習を行うことにより，練習が進むにつれてピッチがより合うようになってきたことと，声量のバランスが合うようになってきたことを視覚情報としても確認することができた。視覚情報の提示方法として，帯域別の提示を試みたが，その結果，基音を含む帯域以下のデータを用いると，声を出している本人がピッチや声量を確認しやすいことが明らかとなった。特に，声量のバランスについても視覚情報として確認することができたことは成果であった。なお，並び替えによって声の合わせやすさが変わることも視覚情報として捉えることができた。
音カメラで捉えた視覚情報は，ピッチや声量のバランスを視覚情報として確認することができ，さらに声が合っている状態においては，音源方向を示す円が被験者間で揺れ動くように見えることから，歌唱指導の場面で効果的に活用することができる可能性がある。ただ，この音カメラという装置そのものが一般に普及していないことから，誰もがどこでも使用することができないという課題がある。将来的に，スマートフォンなどの携帯メディアのカメラに向かって個々に声を出し，それを複数名で同時に行ったときに，声が合っている状態を視覚的に把握することができるようなアプリケーションが開発されることを願いたい。
|
