• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2022 年度 実施状況報告書

VOICE 2.0:音声コミュニケーションのエンリッチメント拡張

研究課題

研究課題/領域番号 20KK0233
研究機関北陸先端科学技術大学院大学

研究代表者

鵜木 祐史  北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (00343187)

研究分担者 赤木 正人  北陸先端科学技術大学院大学, 先端科学技術研究科, 名誉教授 (20242571)
木谷 俊介  北陸先端科学技術大学院大学, 先端科学技術研究科, 講師 (70635367)
森田 翔太  福山大学, 工学部, 講師 (70780378)
研究期間 (年度) 2020-10-27 – 2025-03-31
キーワード音声コミュニケーション / エンリッチメント / 非言語情報 / 聴覚エンリッチメント / voice 2.0 / 音声了解度
研究実績の概要

本研究では,表現豊かな音声コミュニケーションを実現するために,音声の数理工学的な情報表現において,音声のエンリッチな情報を言語・非言語・パラ言語情報にそれぞれ分離し,それらを個別に制御することで,次の5点に関する音声エンリッチメント(VOICE 2.0)を実現する.課題① 言語情報におけるエンリッチメント,課題② 非言語情報(話者性)のエンリッチメント,課題③ 非言語情報(感情)のエンリッチメント,課題④ 非言語情報(声の質感)のエンリッチメント,課題⑤ パラ言語情報(緊迫感など)のエンリッチメント.本研究の期待するところは,音声の明瞭さや,感情,個人性,発話スタイルの変化といった声質をヒトのように高低・強弱の程度を制御して,音声コミュニケーションの付加価値を高めることにある.
2022年度は,前年度課題で検討した課題②について継続して実施した.この課題では,音声の個人性と変調知覚の関係ならびに個人性と音声生成の関係を調査し,話者変換といったエンリッチメントを検討した.ここでは,話者の個人性情報を,McAdams係数を利用して制御することで話者秘匿化やプライバシー保護ができるか検討した.その結果,高い精度で秘匿可能であることを示した.次に課題③に取り組んだ.ここでは,音声の感情と変調知覚の関係を調査した.これまでに変調スペクトログラムの高次統計量を利用して感情知覚の関係を調べてきたが,すべての感情制御に共通する特徴(変調スペクトル尖度と変調スペクトル傾斜)があることを明らかにした.また,これらの特徴が雑音・残響に頑健であり,機械による感情音声認識にも有効であることも示した.最後に課題④に取り組んだ.ここでは,VoiceMOSチャレンジに参画し,音声の変調スペクトログラムに現れる特徴が音声の質評価に重要であることを明らかにした.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

2022年度は,計画どおり,前年度課題で検討した,音声の明瞭性と変調知覚の関係ならびに明瞭性と音声生成の関係に基づき,音声明瞭化といったエンリッチメントを検討した.また,音声の個人性と変調知覚の関係ならびに個人性と音声生成の関係を調査し,話者秘匿や音声プライバシーの保護といったエンリッチメントも検討した.さらに,音声の感情や質感に関しても変調知覚との関係性に着目し,重要な音響特徴を検討した.今年度もコロナ禍でドレスデン工科大を訪問して実施できない課題もあるが,他の課題(緊迫感)についても先取りして検討に取りかかった.

今後の研究の推進方策

今年度もコロナ禍のため協働研究先であるドレスデン工科大を訪問して研究することができなかった.そのため,メールやオンラインミーティングを活用するなど,訪問できなくても協働研究を進められるところから手をつけた.次年度もコロナ禍の影響から,今後いつ頃に共同研究先であるドレスデン工科大を訪問できるか不明であるため,オンラインミーティングを活用して研究を継続していく.

次年度使用額が生じた理由

コロナ禍により計画通りに一部執行できなかったため.
繰り越し分については,当初計画案に沿って対応する予定である.

  • 研究成果

    (32件)

すべて 2023 2022

すべて 雑誌論文 (6件) (うち国際共著 2件、 査読あり 6件、 オープンアクセス 5件) 学会発表 (26件) (うち国際学会 13件)

  • [雑誌論文] Method of estimating three-dimensional direction-of-arrival based on monaural modulation spectrum2023

    • 著者名/発表者名
      Wang Rui、Bui Nguyen Khanh、Morikawa Daisuke、Unoki Masashi
    • 雑誌名

      Applied Acoustics

      巻: 203 ページ: 109215~109215

    • DOI

      10.1016/j.apacoust.2023.109215

    • 査読あり / オープンアクセス
  • [雑誌論文] Contribution of Common Modulation Spectral Features to Vocal-Emotion Recognition of Noise-Vocoded Speech in Noisy Reverberant Environments2022

    • 著者名/発表者名
      Guo Taiyang、Zhu Zhi、Kidani Shunsuke、Unoki Masashi
    • 雑誌名

      Applied Sciences

      巻: 12 ページ: 9979~9979

    • DOI

      10.3390/app12199979

    • 査読あり / オープンアクセス
  • [雑誌論文] Detection of Brain Network Communities During Natural Speech Comprehension From Functionally Aligned EEG Sources2022

    • 著者名/発表者名
      Zhou Di、Zhang Gaoyan、Dang Jianwu、Unoki Masashi、Liu Xin
    • 雑誌名

      Frontiers in Computational Neuroscience

      巻: 16 ページ: -

    • DOI

      10.3389/fncom.2022.919215

    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Speaker anonymization by modifying fundamental frequency and x-vector singular value2022

    • 著者名/発表者名
      Mawalim Candy Olivia、Galajit Kasorn、Karnjana Jessada、Kidani Shunsuke、Unoki Masashi
    • 雑誌名

      Computer Speech and Language

      巻: 73 ページ: 101326~101326

    • DOI

      10.1016/j.csl.2021.101326

    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Relationship Between Speakers' Physiological Structure and Acoustic Speech Signals: Data-Driven Study Based on Frequency-Wise Attentional Neural Network2022

    • 著者名/発表者名
      Li Kai、Lu Xugang、Akagi Masato、Dang Jianwu、Li Sheng、Unoki Masashi
    • 雑誌名

      Proc. EUSIPCO2022

      巻: ー ページ: 379~383

    • DOI

      10.23919/EUSIPCO55093.2022.9909649

    • 査読あり / オープンアクセス
  • [雑誌論文] Bone-conducted Speech Enhancement Using Vector-quantized Variational Autoencoder and Gammachirp Filterbank Cepstral Coefficients2022

    • 著者名/発表者名
      Nguyen Quoc-Huy、Unoki Masashi
    • 雑誌名

      Proc. EUSIPCO2022

      巻: ー ページ: 21~25

    • DOI

      10.23919/EUSIPCO55093.2022.9909731

    • 査読あり
  • [学会発表] 骨導提示音による気導提示音の抑圧効果2023

    • 著者名/発表者名
      井上隼輔, 鳥谷輝樹, 上江洲 安史, 鵜木祐史
    • 学会等名
      日本音響学会2023年度春季研究発表会
  • [学会発表] 選択的聴取能力と耳音響放射特性の関係性の検討2023

    • 著者名/発表者名
      宮家一真, 木谷俊介, 鵜木祐史
    • 学会等名
      日本音響学会2023年度春季研究発表会
  • [学会発表] 残響音声からの変調伝達関数・音声伝送指標・室内音響パラメータのブラインド推定法2023

    • 著者名/発表者名
      鵜木祐史
    • 学会等名
      日本音響学会音声研究会
  • [学会発表] 音声に含まれる緊迫感の変調周波数帯域の検討2023

    • 著者名/発表者名
      木谷俊介,劉小テイ,郭太陽,磯山拓都,李軍鋒,赤木正人,鵜木祐史
    • 学会等名
      日本音響学会音声研究会
  • [学会発表] Reconstruction of speech spectrogram based on non-invasive EEG signal2022

    • 著者名/発表者名
      Di Zhou, Masashi Unoki, Gaoyan Zhang, Jianwu Dang
    • 学会等名
      ISCSLP2022
    • 国際学会
  • [学会発表] Vector-quantized Variational Autoencoder for Phase-aware Speech Enhancement2022

    • 著者名/発表者名
      Tuan Vu Ho, Quoc Huy Nguyen, Masato Akagi, Masashi Unoki
    • 学会等名
      Interspeech2022
    • 国際学会
  • [学会発表] Data Augmentation Using McAdams-Coefficient-Based Speaker Anonymization for Fake Audio Detection2022

    • 著者名/発表者名
      Kai Li, Sheng Li, Xugang Lu, Masato Akagi, Meng Liu, Lin Zhang, Chang Zeng, Longbiao Wang, Jianwu Dang, Masashi Unoki
    • 学会等名
      Interspeech2022
    • 国際学会
  • [学会発表] Automatic Mean Opinion Score Estimation with Temporal Modulation Features on Gammatone Filterbank for Speech Assessment2022

    • 著者名/発表者名
      Quoc-Huy Nguyen, Kai Li, Masashi Unoki
    • 学会等名
      Interspeech2022
    • 国際学会
  • [学会発表] Deep Hashing for Speaker Identification and Retrieval Based on Auditory Sparse Representation2022

    • 著者名/発表者名
      Dung Kim Tran, Masato Akagi, and Masashi Unoki
    • 学会等名
      APSIPA2022
    • 国際学会
  • [学会発表] Analysis of Amplitude and Frequency Perturbation in the Voice for Fake Audio Detection2022

    • 著者名/発表者名
      Kai Li, Yao Wang, Minh Le Nguyen, Masato Akagi and Masashi Unoki
    • 学会等名
      APSIPA2022
    • 国際学会
  • [学会発表] F0 Modification via PV-TSM Algorithm for Speaker Anonymization Across Gender2022

    • 著者名/発表者名
      Candy Olivia Mawalim, Shogo Okada, and Masashi Unoki
    • 学会等名
      APSIPA2022
    • 国際学会
  • [学会発表] Contribution of Timbre and Shimmer Features to Deepfake Speech Detection2022

    • 著者名/発表者名
      Anuwat Chaiwongyen, Norranat Songsriboonsit, Suradej Duangpummet, Jessada Karnjana, Waree Kongprawechnon, and Masashi Unoki
    • 学会等名
      APSIPA2022
    • 国際学会
  • [学会発表] Unsupervised Anomalous Sound Detection for Machine Condition Monitoring Using Temporal Modulation Features on Gammatone Auditory Filterbank2022

    • 著者名/発表者名
      Kai Li, Quoc-Huy Nguyen, Yasuji Ota, and Masashi Unoki
    • 学会等名
      DCASE2022
    • 国際学会
  • [学会発表] Study on the modulation frequency range that contributes to the perception of urgency2022

    • 著者名/発表者名
      Shunsuke Kidani, Xiaoting Liu, Taiyang Guo, Takuto Isoyama, Junfeng Li, Masashi Unoki
    • 学会等名
      International Congress of Acoustics 2022 (ICA2022)
    • 国際学会
  • [学会発表] Anomalous sound detection using objective metrics related to timbral attributes2022

    • 著者名/発表者名
      Yasuji Ota, Seigo Kura, Masashi Unoki
    • 学会等名
      International Congress of Acoustics 2022 (ICA2022)
    • 国際学会
  • [学会発表] Subjective evaluation regarding mixing ratio of bone-conducted to air-conducted speech for own-voice perception2022

    • 著者名/発表者名
      Teruki Toya, Peter Birkholz, and Masashi Unoki
    • 学会等名
      International Congress of Acoustics 2022 (ICA2022)
    • 国際学会
  • [学会発表] 聴覚フィルタバンクを用いたラフネスモデルの構築2022

    • 著者名/発表者名
      磯山 拓都, 木谷 俊介, 鵜木 祐史
    • 学会等名
      日本音響学会2022年度秋季研究発表会
  • [学会発表] 緊迫感知覚に寄与する変調周波数帯域の検討2022

    • 著者名/発表者名
      木谷 俊介, 劉 小テイ, 郭 太陽, 磯山 拓都, 李 軍鋒, 赤木 正人, 鵜木 祐史
    • 学会等名
      日本音響学会2022年度秋季研究発表会
  • [学会発表] 音色属性の客観評価指標を活用した異常音検知の検討2022

    • 著者名/発表者名
      大田 恭士, 倉 誠吾, 鵜木 祐史
    • 学会等名
      日本音響学会2022年度秋季研究発表会
  • [学会発表] 自己聴取音における音色と音高の印象に関する調査2022

    • 著者名/発表者名
      森田 翔太, 鳥谷 輝樹, 鵜木 祐史
    • 学会等名
      日本音響学会2022年度秋季研究発表会
  • [学会発表] Study on Bone-conducted Speech Enhancement Using Vector-quantized Variational Autoencoder and Gammachirp Filterbank Cepstral Coefficients2022

    • 著者名/発表者名
      Quoc-Huy Nguyen, Masashi Unoki
    • 学会等名
      電子情報通信学会信号処理研究会
  • [学会発表] Study on Relationship Between Speakers’ Physiological Structure and Acoustic Speech Signals: Data-Driven Study Based on Frequency-WiseAttentional Neural Network2022

    • 著者名/発表者名
      Kai Li, Xugang Lu, Masato Akagi, Jianwu Dang, Sheng Li, and Masashi Unoki
    • 学会等名
      電子情報通信学会信号処理研究会
  • [学会発表] 聴覚的顕著性の予測のためのSpectro-Temporal Modulation 分析の検討2022

    • 著者名/発表者名
      田中 聡一郎, 堀口 遼太郎, 木谷 俊介, 鵜木 祐史
    • 学会等名
      電子情報通信学会信号処理研究会
  • [学会発表] Dialogue scenario classification based on social factors2022

    • 著者名/発表者名
      Yuning Liu, Di Zhou, Masashi Unoki, Jianwu Dang, Aijun Li
    • 学会等名
      ISCSLP2022
    • 国際学会
  • [学会発表] Spectro-Temporal Modulationによる音声感情認識の調査2022

    • 著者名/発表者名
      村上正悟,森田翔太
    • 学会等名
      電子情報通信学会 情報・システムソサイエティ特別企画 ジュニア&学生ポスターセッション
  • [学会発表] 音色の客観指標と信号分析を組合せた異常音検知の一検討2022

    • 著者名/発表者名
      大田恭士,鵜木祐史
    • 学会等名
      第37回信号処理シンポジウム

URL: 

公開日: 2023-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi