• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

話者の状態に適応する話速変換会話システムの音声・映像処理とそのモデル化

研究課題

研究課題/領域番号 17K00281
研究種目

基盤研究(C)

配分区分基金
応募区分一般
研究分野 ヒューマンインタフェース・インタラクション
研究機関東京電機大学

研究代表者

斎藤 博人  東京電機大学, システムデザイン工学部, 准教授 (00328519)

研究分担者 武川 直樹  東京電機大学, システムデザイン工学部, 教授 (20366397)
研究期間 (年度) 2017-04-01 – 2020-03-31
研究課題ステータス 完了 (2019年度)
配分額 *注記
4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円)
2019年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
2018年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2017年度: 2,600千円 (直接経費: 2,000千円、間接経費: 600千円)
キーワード話速変換 / 順番交替 / 遠隔コミュニケーション / 遅延 / 音声フィードバック / 笑い検出 / 字幕表示 / モーラ数計測 / 音声と映像の同期 / 遅延の最小化 / 音声・映像同期
研究成果の概要

話速変換を用いる会話において,被支援者がタイムラグを知覚しない映像と音声の処理手法を実現した.被支援者は,映像と音声とが同期するリップシンクが取れる会話インタフェースで会話が可能となった.また,ゆっくりとした発話の聴取の支援を必要としない「話し手」に対する支援機能として,話し手が,聞き手側のゆっくりとした発話の受聴内容を把握できるように,話し手の発話終了後に話し手自身にループバック音声(音声フィードバック)を適応的に再生するインタフェースの実装し,音声フィードバックの有効性を明らかにした.

研究成果の学術的意義や社会的意義

遠隔ミーティングや遠隔授業等の利用機会が増加している現在,多人数が参加する会話場において,ゆっくりとした発話で聴取したい参加者もいることが想定される.
本研究成果は,聞き取りに支障のある弱者が他者との対等なコミュニケーションをとるためのインタフェース設計をした.これにより,これまで周囲とのコミュニケーションが遠慮がちで孤独感を持っている人でも,会話の場に加わることができ,例えば高齢者の生活の質の向上や,非母語の学習者の言語の能力向上につながる.本研究成果は,人間同士のコミュニケーションの多様な場に応用が可能である.

報告書

(4件)
  • 2019 実績報告書   研究成果報告書 ( PDF )
  • 2018 実施状況報告書
  • 2017 実施状況報告書
  • 研究成果

    (7件)

すべて 2019 2018 2017

すべて 雑誌論文 (2件) (うち査読あり 2件、 オープンアクセス 1件) 学会発表 (5件) (うち国際学会 1件)

  • [雑誌論文] 話速変換を利用する会話における映像同期手法とその効果2019

    • 著者名/発表者名
      斎藤博人,小山内一樹,徳永弘子,武川直樹
    • 雑誌名

      電子情報通信学会 論文誌A

      巻: J102A ページ: 59-67

    • 関連する報告書
      2018 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] 話速変換会話における遅れ時間の可視化とその効果2018

    • 著者名/発表者名
      斎藤 博人、熊谷 功介、徳永 弘子、武川 直樹
    • 雑誌名

      電子情報通信学会論文誌D 情報・システム

      巻: J101-D 号: 2 ページ: 348-358

    • DOI

      10.14923/transinfj.2017HAP0014

    • ISSN
      1880-4535, 1881-0225
    • 年月日
      2018-02-01
    • 関連する報告書
      2017 実施状況報告書
    • 査読あり
  • [学会発表] 話速変換を利用する会話における音声フィードバック生成モデルの検討2019

    • 著者名/発表者名
      大場博之,斎藤博人
    • 学会等名
      電気学会 C部門大会
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 話速変換を用いた会話における話し手への音声フィードバック手法の検討2018

    • 著者名/発表者名
      大場博之,斎藤博人
    • 学会等名
      電気学会 電子・情報・システム部門大会
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] Implementation of voice feedback model for speaker in speech rate converted conversation2018

    • 著者名/発表者名
      Ju Hui Peng, Hiroto SAITO
    • 学会等名
      International Workshop on Nonlinear Circuits and Signal Processing NCSP18
    • 関連する報告書
      2017 実施状況報告書
    • 国際学会
  • [学会発表] 話速変換会話における音声への映像同期の効果2018

    • 著者名/発表者名
      小山内一樹,徳永弘子,武川直樹,斎藤博人
    • 学会等名
      電子情報通信学会HCS研究会3月
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] 話速変換会話における映像音声の同期・非同期再生条件の比較検討 ~ 話者が伝える宛先指定の強さは変化するのか ~2017

    • 著者名/発表者名
      小山内一樹,徳永弘子,武川直樹,斎藤博人
    • 学会等名
      電子情報通信学会HCS研究会5月
    • 関連する報告書
      2017 実施状況報告書

URL: 

公開日: 2017-04-28   更新日: 2021-02-19  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi