| 研究課題/領域番号 |
21K11956
|
|---|
| 研究機関 | 電気通信大学 |
|---|
研究代表者 |
高橋 弘太 電気通信大学, 大学院情報理工学研究科, 准教授 (10188005)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2024-03-31
|
| キーワード | リモート合唱 / 時間周波数平面 |
|---|
| 研究実績の概要 |
本年度は以下の研究に取り組み以下の成果を得ることができた．
第一は，超合唱に向けての研究である．初年度においては歌唱者の発声タイミングをずれを補正する研究に取り組んだが，このズレを解消しても，複数の歌唱音声が聴覚的には溶け込まずに分離したまま知覚されるという問題があることがわかった．以下では，この問題を調和感の問題と呼ぶことにする．本年度は，この調和感の問題が生じる原因を究明するために本研究課題で作成している歌唱音源のデータベースを利用して解析と考察を行った．具体的には，調和感の問題を残響感の差異や歌唱者の発音の癖の差異，さらにはマイクの位置差異など収録音源や収録環境による差異ごとに分けて考え，それぞれについて，時間軸，周波数軸，位相などの信号処理論的観点との結びつきを整理し一覧表にすることで，問題の起こる要因を総括した．この表に基づく考察と，歌唱音源のデータベースによる実験を元に，歌唱者のスペクトル包絡間に差異があることが，調和感の問題の要因のひとつであるとの仮説を立て，検証を行った．具体的には，複数の歌唱者の歌唱波形を時間周波数平面に展開し時間方向と周波数方向に平滑化した後，平面上の一点一点において複数の歌唱者のスペクトルを全歌唱者のスペクトルの平均的な値に近づけることにより調和感の問題解決をはかった．結果として，調和感は期待どおりに減らすことができたものの，合唱本来の多人数感が薄れるというデメリットも確認され，提案手法の利点と限界についての知見が得られた．
第二は，システムとして実装するFPGAシステム構築に関する研究である．上に述べた成果に基づき，スペクトルの包絡についてリアルタイムで適応的に修正を行うIPコアをVreilog言語による設計で制作し，論理合成と配置配線の結果，期待通りに動作していることを確かめた．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
「おおむね順調に進展している」と進捗状況を自己評価したのは以下の理由による．
第一は，超合唱に向けての研究において，発声タイミングについて基本性能としては十分な調整手法を確立できたことである．さらに，本年度においては，発声タイミングだけでなく高調波ごとの発声タイミングのずれを修正する手法にまで踏み込んで研究を進めることができており順調である．また，本年度は発声タイミングを揃えることにとどまらず，音の調和感の問題の解決にも踏み込み，信号処理的観点での定量的指標と感覚的指標の関係づけにおいてはまだ完全に解決できてはいないものの，一定の成果を出すことができている．また，収録した合唱音源に事後的に付加するリバーブ処理についてもソフトウエアを構築し利用している．
第二は．システムとしての実装である．これに関しては，FPGA上のIPコアを新たに1種類開発して動作検証できており，計画どおりに進行していると言える．
第三は，歌唱音源のデータベースについての評価であす，部分的ではあるが歌唱データを収録できてこれをWebページで公開することがでており，利用者からのフィードバックも得て改良できる環境を整えることができている．
|
| 今後の研究の推進方策 |
以上のように概ね順調に進展しているため，当初の計画から大きな変更をすることなく研究を進めて行く予定である．以下，課題を超合唱の部分，システム実装の部分，歌唱音源データベースの構築の部分の3つに分けて，順に述べていく．
超合唱に向けての研究に関しては，リモート合唱特有のステム由来の時間ずれと歌唱者由来の時間ずれについての研究について別個に取り組み，それぞれに対する別々の対処法を確立する．また，両者に対する重要度の比率についても結論を出したい．調和感の問題については，スペクトル包絡だけでなく，時間方向のエンベローブの差異に起因する音の乖離についても取り組んでいきたい．これまでの研究で，歌の発声の立ち上がりに対する対処については煮詰められてきているが，発声の終了についての個人差についてはほとんど取り組めていないので，これについても対処していきたい．本課題において現在まで作成した合唱作品においては，この発声終了の不揃いが最も大きな問題として残っているものもあるので，ぜひ解決したいと考えている．次に，リモート合唱システムについて述べる．準備として，すでに材料となるIPコアが揃ってきており，また，FPGA開発ツールの扱い方法についても熟練してきたこともあり，効率的に実装を進めていきたい．そして，最後に歌唱音源のデータベースについて述べる．このデータベースは本課題の特徴でもあるので，利用者の声を聞きながら，より多くの研究者に使ってもらえるものとして完成させたいと考えている．
|
| 次年度使用額が生じた理由 |
新型コロナ感染症の流行が収まらず，実音響空間で歌唱や伴奏を録音する作業（発声を伴うため感染のリスクが大きい）が当初の計画通りには進まなかったため，この録音に伴う経費と，録音後の処理に関する費用の支出を次年度に繰り越したため，次年度使用額が生じた．また，演算処理系（FPGA基板など）について，電子部品の納期が異様に長くなるという世界的に生じている現象は前年度に比べれば良化したものの，依然として入手がままならない部品もあり，一部の機器については導入を次年度に繰り越した．これが，次年度使用額が生じたもうひとつの理由である．
|
