• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2023 Fiscal Year Research-status Report

話速変換を用いる適応型オンライン会話支援の実現

Research Project

Project/Area Number 23K11204
Research InstitutionTokyo Denki University

Principal Investigator

斎藤 博人  東京電機大学, システムデザイン工学部, 教授 (00328519)

Co-Investigator(Kenkyū-buntansha) 武川 直樹  東京電機大学, システムデザイン工学部, 研究員 (20366397)
Project Period (FY) 2023-04-01 – 2026-03-31
Keywords話速変換 / 聴覚フィードバック / 発話速度
Outline of Annual Research Achievements

令和5年度の研究計画では、以下の2つを設定していた。
(1) 聴覚フィードバックの再生方法の検討(音圧、加工、再生長)
(2) 聴覚フィードバックと視覚フィードバックの同時利用をする会話の収録
上記に加え、(3)「聴取する音声の速さが一定になる話速変換処理における音声の聞き取りやすさの評価」にも関連課題として取り組んだ。各成果を報告する。(1) 話速変換を用いた会話での話し手への残余発話聴取時間を聴覚フィードバックで呈示する手法を評価した。これは従来法の課題であった自分の音声を聴取する不快感を解消した上で、相手の聴取完了地点を予測できる聴覚でのフィードバック手法の狙うものである。実験では、4種類のフィードバック音の評価を行った。結果として、再生BPMを変化させるフィードバックが従来の伸長音声を流すフィードバックと同等の精度があることを明らかにした。(2) 聴覚フィードバックと視覚フィードバックの同時利用条件での会話の収録は未実施である。令和5年度は「聴覚フィードバック」と「視覚フィードバック」を独立して使用する実験とその分析に時間を要したため、同時利用の実験は、今年度以降に実施する。
(3) 話し手の発話速度に応じて発話伸長率をリアルタイムに変更し、聞き手の聴取する音声の速さが一定となるような話速変換方式(伸長率変動方式)を提案し、音声の聞き取りやすさに与える影響を調査した。分析結果より、聞き取りやすい音声を実現するための発話伸長率の制御手法に関する調査を行い、過去3発話の平均を参照することが有効であることが明らかにした。本研究課題の成果の一部は、2024年3月国際会議、HCS研究会、NCSP24にて公表した。これらの成果は2023年度に採択された課題番号23K11204にも引き継いでいる。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

計画していた聴覚フィードバックと視覚フィードバックの同時利用条件での会話の収録は未実施となったが、これは、事前に「聴覚フィードバック」と「視覚フィードバック」を独立して使用する実験を詳細(雑談対話、説明対話)に新たに収録し、その分析に時間を要したためである。追加の課題にも新たに取り組み始めたので全体としては順調に進展している。

Strategy for Future Research Activity

令和6年度は計画どおり、会話分析の結果を反映したフィードバック生成モデルの実装に取り組む。また「聴覚フィードバック」と「視覚フィードバック」を会話の種類や話し手の発話量に応じて適応的に切り替える機能を実現する検討に着手する。
視覚フィードバック」の利点は、話し手が発話中でも、聞き手との時間差を把握できることである。この利点を「聴覚フィードバック」のみでも実現できるよう、聴覚フィードバックにおける呈示音とそのタイミングについて検討する。

Causes of Carryover

次年度額の使用はしていない.

  • Research Products

    (5 results)

All 2024 2023

All Presentation (5 results) (of which Int'l Joint Research: 2 results)

  • [Presentation] Automatic Switching between Visual Feedback and Auditory Feedback in Speech Rate Converted Conversation2024

    • Author(s)
      Kazuma BAN, Hiroto SAITO
    • Organizer
      NCSP2024
    • Int'l Joint Research
  • [Presentation] Speech rate Conversion Method with Variable Stretch Rate2024

    • Author(s)
      Miou OYAMA, Hiroto SAITO
    • Organizer
      NCSP2024
    • Int'l Joint Research
  • [Presentation] 話速変換を用いた会話における発話者への聴覚フィードバック方式の検討・聞き手の聴取完了時点を把握する呈示音の評価2023

    • Author(s)
      石川雄大,斎藤博人
    • Organizer
      HCGシンポジウム
  • [Presentation] 視聴の満足度を向上させるオンライン配信システム設計2023

    • Author(s)
      内匠桂唯,斎藤博人
    • Organizer
      HCGシンポジウム
  • [Presentation] 聴取する音声の速さが一定になる話速変換処理における音声の聞き取りやすさの評価2023

    • Author(s)
      大山美桜,斎藤博人
    • Organizer
      HCS研究会

URL: 

Published: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi