• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2019 年度 実績報告書

話者の状態に適応する話速変換会話システムの音声・映像処理とそのモデル化

研究課題

研究課題/領域番号 17K00281
研究機関東京電機大学

研究代表者

斎藤 博人  東京電機大学, システムデザイン工学部, 准教授 (00328519)

研究分担者 武川 直樹  東京電機大学, システムデザイン工学部, 教授 (20366397)
研究期間 (年度) 2017-04-01 – 2020-03-31
キーワード話速変換 / 音声フィードバック / 笑い検出 / 字幕表示 / モーラ数計測
研究実績の概要

今年度は「適応処理を組み込んだリアルタイム話速変換会話モデルの製作と最終評価」を研究計画としていた.これまで,話速変換機能を利用する会話での支援機能として,「音声フィードバック」,「視覚フィードバック」,「映像同期」をそれぞれ単独で効果を評価していたが,これらの機能を会話中の必要なときに適応的に動作させる機能の統合を課題とした.特に,話し手への音声フィードバック(ゆっくりとした再生の支援を必要としない話し手に対し,発話直後の待機中に自身の音声を受聴する)は,話速変換会話の順番交替時における発話衝突の回避に有効であるが,話し手の妨害にもなるため,動作のタイミング制御の方法が未解決になっていた.「音声フィードバック」と,発話中は妨害にならない「視覚フィードバック」の作動タイミングを適応的に決定するため,まず,発話速度を計測する「モーラ数計測」,「笑い区間の検出」,「話速変換によって生じた話し手と聞き手の間の遅延時間の計測」機能を作成し,フィードバック機能を作動させる説明変数を取得した.
また,会話実験を遠隔地間でも容易に実施できるように,デスクトップパソコンを使った会話システムから,タブレット・スマートホンでの利用を可能とするWebブラウザを使ったシステムに再構築した.具体的にはブラウザ上で(1)話速変換処理部,(2)音声フィードバック処理部,(3)視覚フィードバック処理部,(4)モーラ数算出部,(5)字幕表示部,(6)笑い検出のための表情認識部の実装が完了した.その結果の一部は「話速変換を利用する会話における音声フィードバック生成モデルの検討」を電気学会,C部門大会で公表した.

  • 研究成果

    (1件)

すべて 2019

すべて 学会発表 (1件)

  • [学会発表] 話速変換を利用する会話における音声フィードバック生成モデルの検討2019

    • 著者名/発表者名
      大場博之,斎藤博人
    • 学会等名
      電気学会 C部門大会

URL: 

公開日: 2021-01-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi