| 研究課題/領域番号 |
21K11956
|
|---|
| 研究機関 | 電気通信大学 |
|---|
研究代表者 |
高橋 弘太 電気通信大学, 大学院情報理工学研究科, 准教授 (10188005)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2024-03-31
|
| キーワード | リモート合唱 / 時間周波数平面 |
|---|
| 研究実績の概要 |
本年度の研究で以下の成果を得た．
第一は，超合唱に向けての研究であり，具体的には，歌唱者の発声タイミングのズレの解析とそれを自動修復するための手法の研究である．歌唱者の発声タイミングのずれに関しては，本年度は未だ新型コロナ感染症の流行が繰り返し起こっていたために，舞台上での歌唱者を対象として研究を行うことができなかったが，その代わりにリモート合唱を対象に解析を進めた．その結果，リモート合唱においては，発声のタイミングずれは２種類の要因が重なっていることを明らかにすることができた，第一の要因はシステム由来のずれであり，これはリモート合唱特有のものであると言える．第二の要因は歌唱者由来のずれであり，これは舞台上の歌唱においても生じると考えられるものである．本研究においてはシステム由来のずれに対してはマーク信号と呼ぶ特殊な信号を歌唱に重ねて録音することで解消し，歌唱者由来のずれについて詳しく検討した．その結果歌唱者由来のずれは，混合ガウス分布となることが明らかになった．また，歌唱者由来のずれを精密に計測するための独自のオンセットマッチング法を作成したのも本年度の成果である．
第二は，歌唱音源のデータベースの公開である．上に書いたような事情で本年度はリモート合唱を対象にして歌唱音の収録を行った．収録した歌唱データは，まず，マーク信号によりシステム由来の時間ズレを解消した．次に，一つのパート（例えばソプラノ）の合唱音源を生成するために，個人間の音量を調整する手法を確立し，その手法に従って混合を行った．さらに，各パートの音量もそろえて混合を行い，全てのファイルを単純加算することで合唱曲として成立することを確認した上で，ひとりひとりの歌声を音ファイルとして公開し，合唱に対する信号処理を手がける研究者の役に立てるようにした．
以上の２つの成果を得ることができたのが，本年度の成果である．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
進捗状況を「おおむね順調に進展している」と評価したのは以下の理由による．
第一は，超合唱に向けての研究において，発声タイミングについて予定どおりに解析を行うことができたことである．当初は，新型コロナ感染症が収まっており舞台上の収録も可能になることも想定したが，残念ながら舞台上での収録を安全に行うことができる状態では無かった．しかし，協力してくれる団体や企業が本研究の意義を理解して下さり収録に関する歌唱者の手配に力を貸してくださったこともあって，舞台歌唱の代わりとしてリモート歌唱を題材に研究を進めることができた．これによって，歌唱者由来の音ずれの統計的性質を明らかにすることができた．対象は若干異なるが，このように統計的性質を明らかにできたことで，おおむね順調と評価している．
第二の歌唱音源のデータベースについても，リモート音源ではあるが現実世界で歌唱者が歌っている音データを収録できてこれをWebページで公開することができた，また，歌唱者についても，アマチュア歌唱者だけでなくプロ歌唱者を若干名加えることができたのは当初想定していた以上の成果である．以上より，データベース公開についても研究の進捗は順調であると言える．
|
| 今後の研究の推進方策 |
おおむね順調に進展しているため，当初の計画から大きな変更をすることなく研究を進めて行く予定である．
超合唱に向けての研究に関しては，リモート合唱の場合の初年度の研究でシステム由来の時間ずれについては問題解決しているので，歌唱者由来の時間ずれに焦点をしぼって研究を進めていくことができる．統計的解析によって，このずれが混合ガウス分布になっていることがわかったので，どのような要因で混合ガウス分布になっているのかについて研究を進めたい．また単に時間ずれと行っても，時間周波数平面のどの部分での時間ずれかということで解析の仕方は変わってくる，初年度の研究において，歌唱の基本波成分と高調波成分で，立ち上がりに差異のある歌唱者が存在することが明らかになった．このため，時間ずれの調整を行う際にどの周波数で，あるいは，第何次高調波でその時間ずれを判定しずれの修正をすれば良いかということが研究課題となる．新たに生じたこの研究課題に対しても取り組みたい．また，歌唱音源のデータベースについては，さらに素材を収集して編集するとともに，既存のデータについても，ユーザへの提示の仕方を工夫したり，部分的に音混合をしたサンプルを用意するなどして，合唱音声の信号処理に取り組む研究者の役に立てるようなものにレベルアップしていきたいと考えている．
|
| 次年度使用額が生じた理由 |
次年度使用額が生じた理由は主に２つの要因による．第一に，新型コロナ感染症の流行が当初予想していたよりも長引き，舞台上など現実世界において歌唱者を一箇所に集めての実験や収録を行うことが出来なかったことである．その代用をリモート合唱などで行ったが，リモート合唱の場合は実空間での実験や収録に比べて経費がかからなかったことから次年度に予算を繰り越すこととなった．第二に，演算処理系（FPGA基板など）について，電子部品の納期が異様に長くなり，物品によっては納期が52週間以上となるものもあって，当初購入を予定していた物品について当該年度での購入を諦めざるを得ないということも起こった．2022年度に入って，若干電子部品の入手に関する状況は良化してきている．しかし，本研究で導入を計画している物品の多くが輸入品であり，電子部品価格の高騰と円安によって価格が大幅に上昇しているという新たな問題が生じている．しかし，翌年度分として請求した助成金と合わせて研究費を使用できることにより，この上昇分に対応することができ，研究を滞り無く推進できるものと考えている．
|
