• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2022 年度 実施状況報告書

高齢難聴者への音声感情伝達特性の解明と革新的音声モーフィング手法の開発

研究課題

研究課題/領域番号 21K19794
研究機関和歌山大学

研究代表者

入野 俊夫  和歌山大学, システム工学部, 教授 (20346331)

研究分担者 松井 淑恵  豊橋技術科学大学, エレクトロニクス先端融合研究所, 教授 (10510034)
森勢 将雅  明治大学, 総合数理学部, 専任准教授 (60510013)
研究期間 (年度) 2021-07-09 – 2024-03-31
キーワード感情伝達 / 高齢難聴 / 模擬難聴 / 音声モーフィング / 心理物理実験 / 音声分析合成系WORLD / 対人コミュニケーション / 認知症リスク
研究実績の概要

超高齢社会において認知症リスクの大きな要因である対人コミュニケーション能力の低下を防ぎ、さらに活性化するために、お年寄りに「気持ち」 (感情)を伝 える際の音声の特徴や知覚特性の解明を試み、理論として定式化する難問に挑戦する。今年度は以下の2つの実績をあげることができた。
【1】音声モーフィングと模擬難聴処理による感情伝達/知覚特性の解明と定式化: 模擬難聴システムWHISの音声を健聴者が聴取した場合の感情知覚特性に関して実験を行った。一人の話者の「はい」の感情音声のうち、喜びと悲しみのラベルがついているものに関し、声道長を変化させ複数人の声に変換したのち、モーフィングで中間的な音声を合成した。一対比較法で実施し、丁度弁別閾(JND)と主観的等価点(PSE)を算出した。その結果、模擬難聴の有無にかかわらずPSEに変化がなく、JNDも想定した以上に良かった。JNDの値を検討したところ、感情知覚よりもピッチ知覚で判別されていることが推察された。つまり目論んでいた実験とはなっていないことが結果的にわかった。この知見に基づき、次年度の実験計画案を策定した。また、バリエーションを増やすため複数話者の感情音声を集めた。ただし、発話者は感情表現ができる役者ではなく素人であったので、第3者による感情評定や、台本の影響について調査した。
【2】 音声モーフィングの自動化: WORLD音声分析合成系で音声モーフィングを高品質で実行できるようにソフトを整備した。品質を高く保ったまま、中間的な音声を合成できることを確認した。これを受けて【1】の刺激音作成に使用した。自動化に関しては、まだ検討段階ではあるが着実に知見を蓄えつつある。特徴の対応点の数と品質に関する検討を行った。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

【1】音声モーフィングと模擬難聴処理による感情伝達/知覚特性の解明と定式化: 感情知覚実験を模擬難聴者を対象と実施し結果を得た。目的に合致した実験とならなかったことが結果的にわかったが、これも次年度以降の実験構築の大きな知見となった。次年度期待できるようになったため、おおむね順調である。
【2】音声モーフィングの自動化: 基盤となるモーフィングツールを構築することができた。自動化に関してはまだであるが、検討を通して見通しも良くなってきた。

今後の研究の推進方策

【1】音声モーフィングと模擬難聴処理による感情伝達/知覚特性の解明と定式化: さまざまな感情音声単語を用いてモーフィングを行い、まずは模擬難聴者で実験する予定である。コロナの状況も改善がみられるので、実際の高齢難聴者の知覚特性についても実験を行う。
【2】音声モーフィングの自動化: 手動モーフィングが安定にできることがわかったため、提案した音声特徴量(LSP等)を用いた自動モーフィングに挑戦する。

次年度使用額が生じた理由

コロナ禍のため、学会がオンラインになり出張旅費がそれほどなかった。また、高齢者を対象とした実験もできなかったためその費用が残った。次年度は状況が改善するため、旅費・謝金の両方に使用する予定である。

  • 研究成果

    (32件)

すべて 2023 2022 その他

すべて 国際共同研究 (1件) 雑誌論文 (2件) (うち国際共著 1件、 査読あり 1件) 学会発表 (28件) (うち国際学会 5件) 産業財産権 (1件)

  • [国際共同研究] University of Cambridge(英国)

    • 国名
      英国
    • 外国機関名
      University of Cambridge
  • [雑誌論文] Modelling speaker-size discrimination with voiced and unvoiced speech sounds based on the effect of spectral lift2022

    • 著者名/発表者名
      Matsui Toshie、Irino Toshio、Uemura Ryo、Yamamoto Kodai、Kawahara Hideki、Patterson Roy D.
    • 雑誌名

      Speech Communication

      巻: 136 ページ: 23~41

    • DOI

      10.1016/j.specom.2021.10.006

    • 査読あり / 国際共著
  • [雑誌論文] 模擬難聴技術とその応用2022

    • 著者名/発表者名
      入野 俊夫
    • 雑誌名

      日本音響学会誌

      巻: 78 ページ: 718~723

    • DOI

      10.20697/jasj.78.12_718

  • [学会発表] 基本周波数適応型聴覚表現による声道長推定2023

    • 著者名/発表者名
      入野俊夫, 土庵晋太郎
    • 学会等名
      電子情報通信学会, 音声研究会
  • [学会発表] 客観評価指標 GESI による 模擬難聴音声了解度の個人別予測2023

    • 著者名/発表者名
      山本絢子, 宮﨑芙紀,田丸萌夏, 入野俊夫
    • 学会等名
      日本音響学会第149回(2023年春季)研究発表会
  • [学会発表] クラウドソーシング聴取実験のための効果的な事前参加者スクリーニング2023

    • 著者名/発表者名
      宮﨑芙紀, 山本絢子, 土庵晋太郎, 入野俊夫
    • 学会等名
      日本音響学会第149回(2023年春季)研究発表会
  • [学会発表] 音声コミュニケーション環境の対話的試験ツールについて2023

    • 著者名/発表者名
      河原 英紀,榊原 健一,程島 奈緒,坂野 秀樹,北村 達也,天野 成昭
    • 学会等名
      日本音響学会音声研究会
  • [学会発表] 音声モーフィングにおける時間軸方向の対応点数が品質に与える影響2023

    • 著者名/発表者名
      堀部貴紀,森勢将雅,河原英紀
    • 学会等名
      日本音響学会2023年春季研究発表会
  • [学会発表] モーフィング音声を用いた話者類似性判断と話者同定判断の比較: 発話単語の同異と鼻音の有無による影響2023

    • 著者名/発表者名
      内堀颯太,河原英紀,松井淑恵
    • 学会等名
      日本音響学会2023年春季研究発表会
  • [学会発表] 日本語音声のモーフィングに対する性別判断: 心理測定関数による知覚特性の調査2023

    • 著者名/発表者名
      菅野聖真,河原英紀,松井淑恵
    • 学会等名
      日本音響学会2023年春季研究発表会
  • [学会発表] 演技未経験者の感情音声の演技における台本の影響: 音響解析と主観評価による検討2023

    • 著者名/発表者名
      坂下尚史,河原英紀,松井淑恵
    • 学会等名
      日本音響学会2023年春季研究発表会
  • [学会発表] 調波複合音の基本周波数の変調に対する発声の不随意応答: 階段状ピッチシフト実験との比較2023

    • 著者名/発表者名
      廖嘉慧,河原英紀,松井淑恵
    • 学会等名
      日本音響学会2023年春季研究発表会
  • [学会発表] Improving auditory filter estimation with level-dependent cochlear noise floor2022

    • 著者名/発表者名
      Toshio Irino, Kenji Yokota, Roy D. Patterson
    • 学会等名
      International Symposium on Hearing (ISH) 2022
    • 国際学会
  • [学会発表] Speech intelligibility of simulated hearing loss sounds and its prediction using the Gammachirp Envelope Similarity Index (GESI)2022

    • 著者名/発表者名
      Toshio Irino, Honoka Tamaru, and Ayako Yamamoto
    • 学会等名
      Interspeech 2022
    • 国際学会
  • [学会発表] Effective data screening technique for crowdsourced speech intelligibility experiments: Evaluation with IRM-based speech enhancement2022

    • 著者名/発表者名
      Ayako Yamamoto, Toshio Irino, Shoko Araki, Kenichi Arai, Atsunori Ogawa, Keisuke Kinoshita, and Tomohiro Nakatani
    • 学会等名
      APSIPA ASC 2022
    • 国際学会
  • [学会発表] Intelligibility Prediction of Enhanced Speech Using Recognition Accuracy of End-To-End ASR System2022

    • 著者名/発表者名
      Kenichi Arai, Atsunori Ogawa, Shoko Araki, Keisuke Kinoshita, Tomohiro Nakatani, Naoyuki Kamo, and Toshio Irino
    • 学会等名
      APSIPA ASC 2022
    • 国際学会
  • [学会発表] Speech Intelligibility Prediction Through Direct Estimation of Word Accuracy Using Conformer2022

    • 著者名/発表者名
      Naoyuki Kamo, Kenichi Arai, Atsunori Ogawa, Shoko Araki, Tomohiro Nakatani, Keisuke Kinoshita, Marc Delcroix, Tsubasa Ochiai and Toshio Irino
    • 学会等名
      APSIPA ASC 2022
    • 国際学会
  • [学会発表] Gammachirp Envelope Similarity Index (GESI)による模擬難聴音声の了解度予測 - 防音室実験とクラウドソーシング遠隔実験の主観評価データを用いて -2022

    • 著者名/発表者名
      入野俊夫, 田丸萌夏, 山本絢子
    • 学会等名
      音学シンポジウム2022
  • [学会発表] 客観評価指標GESIによる音声了解度予測 - 強調処理音声と音圧低減音声を対象として -2022

    • 著者名/発表者名
      山本絢子, 入野俊夫, 荒木章子,田丸萌夏, 新井賢一,小川厚徳,木下慶介,中谷智広
    • 学会等名
      日本音響学会 聴覚研究会
  • [学会発表] 高齢難聴者の音声了解度客観評価を目指したGESI の開発 - 強調音声と模擬難聴音声による評価 -2022

    • 著者名/発表者名
      山本絢子, 入野俊夫, 荒木章子,田丸萌夏, 新井賢一,小川厚徳,木下慶介,中谷智広
    • 学会等名
      日本音響学会:秋季研究発表会
  • [学会発表] 拡声環境を想定した音声了解度指標GESIと従来手法との比較2022

    • 著者名/発表者名
      渡邊健太郎,小林洋介,入野俊夫
    • 学会等名
      日本音響学会:秋季研究発表会
  • [学会発表] 模擬難聴音声了解度の主観評価実験とGESIによる予測2022

    • 著者名/発表者名
      山本絢子, 宮﨑芙紀,田丸萌夏, 入野俊夫
    • 学会等名
      日本音響学会関西支部,第24回関西支部若手研究者交流研究発表会
  • [学会発表] クラウドソーシング聴取実験のための効果的な事前参加者スクリーニングの検討2022

    • 著者名/発表者名
      宮﨑芙紀,山本絢子, 土庵晋太郎, 入野俊夫
    • 学会等名
      日本音響学会関西支部,第24回関西支部若手研究者交流研究発表会
  • [学会発表] 客観評価指標 GESI による模擬難聴音声の了解度予測 - 健聴者による原音声の主観評価値のみを用いて-2022

    • 著者名/発表者名
      山本絢子, 宮﨑芙紀,田丸萌夏, 入野俊夫
    • 学会等名
      日本音響学会聴覚研究会
  • [学会発表] Comparative measurement of headphones using new test signals and side tones while voicing2022

    • 著者名/発表者名
      Hideki Kawahara, Kohei Yatabe, Toshie Matsui, Nao Hodoshima, Mitsunori Mizumachi, Ken-Ichi Sakakibara
    • 学会等名
      日本音響学会聴覚研究会
  • [学会発表] 授業や講演を妨げずに音響特性を多点同時計測する可能性について2022

    • 著者名/発表者名
      河原英紀,矢田部浩平,水町光徳,榊原健一,松﨑博季
    • 学会等名
      日本音響学会建築音響研究会
  • [学会発表] モーフィング音声を用いた話者の個人性知覚の調査: 鼻音の有無と発話単語の同異による影響2022

    • 著者名/発表者名
      内堀颯太,河原英紀,松井淑恵
    • 学会等名
      日本音響学会聴覚研究会
  • [学会発表] WORLDに基づく時変多属性任意事例数モーフィングと周辺ツールの実装について2022

    • 著者名/発表者名
      河原 英紀,森勢 将雅
    • 学会等名
      日本音響学会2022年秋季研究発表会
  • [学会発表] 同時応答測定法を応用したピッチ抽出法評価ツールの実装について2022

    • 著者名/発表者名
      河原 英紀,矢田部 浩平,榊原 健一,北村 達也,坂野 秀樹,森勢 将雅
    • 学会等名
      日本音響学会2022年秋季研究発表会
  • [学会発表] 拡張音声モーフィングによるポップアウト属性の検証可能性2022

    • 著者名/発表者名
      河原 英紀,森勢 将雅,榊原 健一,北村 達也,牧 勝弘
    • 学会等名
      日本音響学会2022年秋季研究発表会
  • [学会発表] 基本周波数の周波数変調に対する発声の不随意応答:純音・複合音を用いた検討2022

    • 著者名/発表者名
      廖嘉慧, 河原英紀, 松井淑恵
    • 学会等名
      音学シンポジウム
  • [産業財産権] 音の評価指標計算方法、評価データを生成する方法、音の評価装置、及びコンピュータプログラム2022

    • 発明者名
      入野俊夫
    • 権利者名
      入野俊夫
    • 産業財産権種類
      特許
    • 産業財産権番号
      特願2022-092345

URL: 

公開日: 2023-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi