• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2017 年度 実施状況報告書

話者の状態に適応する話速変換会話システムの音声・映像処理とそのモデル化

研究課題

研究課題/領域番号 17K00281
研究機関東京電機大学

研究代表者

斎藤 博人  東京電機大学, システムデザイン工学部, 准教授 (00328519)

研究分担者 武川 直樹  東京電機大学, システムデザイン工学部, 教授 (20366397)
研究期間 (年度) 2017-04-01 – 2020-03-31
キーワード音声と映像の同期 / 話速変換 / 音声フィードバック / 音声・映像同期
研究実績の概要

29年度の研究実施計画では,話速変換を用いた会話中に「(1)ゆっくり音声を受聴する被支援者がタイムラグを知覚しない映像と音声の支援とその制御」,話し手が聞き手の聞き終わり時間を把握できるようにする「(2)フィードバック情報の生成モデルの策定」,「(3) リアルタイム環境での音声区間の検出機能,および発話モーラ測定法の策定」,「(4) プロトタイプによるインタフェースの定量的評価実験]を課題としていた.
(1)について,聞き手が会話中も映像を活用可能になる支援方法とし,話速変換した音声に映像も同期してゆっくりとする会話インタフェースを実装した.音声に映像が同期する効果を検証するために,提案する映像制御手法を実装したシステムにおける 3人会話実験を収録し,音声・映像非同期条件と,音声・映像同期条件を比較した.その結果,話速変換環境下であっても映像同期によって,タイムラグを意識することなく次発話が開始可能となり反応潜時が短縮,聞き手にとっては映像同期の正の効果が認められることが分かった.この成果は,電子情報通信学会・HCS研究会(2017年5月,2018年3月)に公表した.(2)については,話速変換を利用する会話において,参与者らの状態に依存したフィードバックモデルの提案し,音声フィードバックモデルを実装した.この成果は,国際学会NCSP18にて公表した.(3)は,音声区間の検出率向上に向けた,VADの実装を進めた.(4)は,ゆっくり音声に映像も同期するシステムを評価した.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

映像伸長処理の構築とフィードバック情報の生成モデルの策定が計画通りに進み,計画に遅れはない.

今後の研究の推進方策

H.29年度の成果を基に,研究計画の通り3つの課題を進める.
1. 話速変換に同期する映像伸長処理モデルの評価
2. フィードバック情報の生成モデルの策定(システムによる音声区間の自動検出)
3. プロトタイプによる会話実験
これからの会話実験では,聞き手には,音声と映像が同期し遅れ時間を感じない会話環境とし,話し手には,時間差を把握する音声フィードバックを適用して実施する.
2つの支援を統合した会話環境で,認知負荷の少ない理解しやすい会話の場を構築する.

次年度使用額が生じた理由

映像分析・処理用コンピュータは構成を見直してH.30年度に購入することしたため.
当初計画していたノート3台購入予定のうち,29年度は予備実験で必要な2台のみを購入したため.

  • 研究成果

    (4件)

すべて 2018 2017

すべて 雑誌論文 (1件) (うち査読あり 1件) 学会発表 (3件) (うち国際学会 1件)

  • [雑誌論文] 話速変換会話における遅れ時間の可視化とその効果2018

    • 著者名/発表者名
      斎藤 博人、熊谷 功介、徳永 弘子、武川 直樹
    • 雑誌名

      電子情報通信学会論文誌D 情報・システム

      巻: J101-D ページ: 348~358

    • DOI

      10.14923/transinfj.2017HAP0014

    • 査読あり
  • [学会発表] Implementation of voice feedback model for speaker in speech rate converted conversation2018

    • 著者名/発表者名
      Ju Hui Peng, Hiroto SAITO
    • 学会等名
      International Workshop on Nonlinear Circuits and Signal Processing NCSP18
    • 国際学会
  • [学会発表] 話速変換会話における音声への映像同期の効果2018

    • 著者名/発表者名
      小山内一樹,徳永弘子,武川直樹,斎藤博人
    • 学会等名
      電子情報通信学会HCS研究会3月
  • [学会発表] 話速変換会話における映像音声の同期・非同期再生条件の比較検討 ~ 話者が伝える宛先指定の強さは変化するのか ~2017

    • 著者名/発表者名
      小山内一樹,徳永弘子,武川直樹,斎藤博人
    • 学会等名
      電子情報通信学会HCS研究会5月

URL: 

公開日: 2018-12-17  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi