2020 Fiscal Year Annual Research Report
ポップアウト・ボイスの生成・知覚基盤の解明に基づく高性能拡声音技術の開発
| Project/Area Number |
20H00291
|
|---|
| Research Institution | Aichi Shukutoku University |
|---|
Principal Investigator |
天野 成昭 愛知淑徳大学, 人間情報学部, 教授 (90396119)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
北村 達也 甲南大学, 知能情報学部, 教授 (60293594)
北原 真冬 上智大学, 外国語学部, 教授 (00343301)
田嶋 圭一 法政大学, 文学部, 教授 (70366821)
米山 聖子 大東文化大学, 外国語学部, 教授 (60365856)
近藤 眞理子 早稲田大学, 国際学術院, 教授 (00329054)
山川 仁子 尚絅大学, 文化言語学部, 准教授 (80455196)
坂野 秀樹 名城大学, 理工学部, 准教授 (20335003)
牧 勝弘 愛知淑徳大学, 人間情報学部, 教授 (50447033)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | ポップアウト / 聞き取りやすさ / 音声知覚 / 音声生成 / 音声合成 / 音声変換 |
|---|
| Outline of Annual Research Achievements |
①ポップアウトボイスの知覚側面においては，まず知覚実験用の音声刺激として,各種の音声データベースから799名が発声した文や単語を抽出した。一方，男女各5名の音声をコンピュータ上で重畳することにより複数人が同時に発声した騒がしい状況を模擬する「バブルノイズ」を作成した。これを背景雑音として流しながら，データベースから抽出した文や単語の音声刺激を実験参加者にヘッドホンで呈示し，背景雑音からその音声がポップアウトする程度を5段階で評定させる知覚実験を実施した。その評定データを各音声において平均し，ポップアウト度の評定値を得た。評定値が1～5までの広い範囲に分布し，特に評定値が4以上となる音声も存在したことから，ポップアウトをする音声の存在が確認できた。
②ポップアウトボイスの音響特徴側面においては，ポップアウトボイスの音響特徴を探るために，大きさに対応する強度，高さに対応する基本周波数，音色に対応する各周波数帯のエネルギー，音色の時間的変化に対応するデルタケプストラムのノルム等を計算し，上記の知覚実験で求めたポップアウトの評定値との相関を解析した。その結果，強度および1kHz以上の周波数帯のエネルギーと評定値との相関係数は中程度以上の0.5から0.7でありポップアウトと関係することが分かった。一方，基本周波数およびデルタケプストラムのノルムと評定値との相関係数は中程度以下の0.3～0.5でありポップアウトとあまり関係しないことが分かった。
③ポップアウトボイスの生成側面においては，口の形状や動きとポップアウトボイスとの関係を探るための音声生理学的データとして，磁気共鳴機能画像法(f-MRI)により口の動きの撮像とその音声の録音を行った。またプロのナレーターが発声した通常の声(地声)とポップアウトボイスを録音し，ポップアウトボイスの個人内変動に関する基礎データを得た。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
コロナ感染拡大のため，密閉空間である防音室での音声録音が困難となり，また多数の参加者を集めて同時に行う音声知覚実験の実施も困難となった。そのため，当初の計画よりも録音と実験の規模や回数を減少させざるを得なくなり，十分なデータを得ることができなかった。その一方で，ポップアウトボイスの特定とその音響特徴解析という研究の第1段階には完全とは言えないまでも一応到達し，国内大会において研究成果の発表を行うことができた。これらを総合すると全体としては研究の進捗にやや遅れが生じているといえる。
|
| Strategy for Future Research Activity |
①知覚側面においては，言語情報を含まない音声におけるポップアウトの性質，様々な背景雑音におけるポップアウトの性質，日本語以外の英語・中国語等の音声におけるポップアウトの性質等を探る実験を計画し，その実施を目指す。
②音響特徴側面においては，これまでの音響特徴に加えてフォルマントやパワー変動の包絡等の新たな音響特徴等を対象として解析を行う。また相関分析だけでなく重回帰分析等の多変量解析の手法も取り入れて解析を進め，ポップアウトボイスの音響特徴を明らかにする。さらに得られた音響特徴を基に，ポップアウトボイスの音声合成を試みる。
③生成側面においては，f-MRIによる口の動きのデータ収集を進めるとともに，その解析を行い，音響特徴との関係を探る。またポップアウトボイスの言語間の相異点や共通点を探るための基礎データとして，英語・中国語等の複数の言語でポップアウトボイスの録音・収集を試みる。
|
Research Products
(4 results)
