2017 Fiscal Year Research-status Report
話者の状態に適応する話速変換会話システムの音声・映像処理とそのモデル化
| Project/Area Number |
17K00281
|
|---|
| Research Institution | Tokyo Denki University |
|---|
Principal Investigator |
斎藤 博人 東京電機大学, システムデザイン工学部, 准教授 (00328519)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
武川 直樹 東京電機大学, システムデザイン工学部, 教授 (20366397)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 音声と映像の同期 / 話速変換 / 音声フィードバック / 音声・映像同期 |
|---|
| Outline of Annual Research Achievements |
29年度の研究実施計画では，話速変換を用いた会話中に「(1)ゆっくり音声を受聴する被支援者がタイムラグを知覚しない映像と音声の支援とその制御」，話し手が聞き手の聞き終わり時間を把握できるようにする「(2)フィードバック情報の生成モデルの策定」，「(3) リアルタイム環境での音声区間の検出機能,および発話モーラ測定法の策定」，「(4) プロトタイプによるインタフェースの定量的評価実験]を課題としていた．
(1)について，聞き手が会話中も映像を活用可能になる支援方法とし，話速変換した音声に映像も同期してゆっくりとする会話インタフェースを実装した．音声に映像が同期する効果を検証するために，提案する映像制御手法を実装したシステムにおける 3人会話実験を収録し，音声・映像非同期条件と，音声・映像同期条件を比較した．その結果，話速変換環境下であっても映像同期によって，タイムラグを意識することなく次発話が開始可能となり反応潜時が短縮，聞き手にとっては映像同期の正の効果が認められることが分かった．この成果は，電子情報通信学会・HCS研究会（2017年5月，2018年3月）に公表した．(2)については，話速変換を利用する会話において，参与者らの状態に依存したフィードバックモデルの提案し，音声フィードバックモデルを実装した．この成果は，国際学会NCSP18にて公表した．(3)は，音声区間の検出率向上に向けた，VADの実装を進めた．(4)は，ゆっくり音声に映像も同期するシステムを評価した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
映像伸長処理の構築とフィードバック情報の生成モデルの策定が計画通りに進み，計画に遅れはない．
|
| Strategy for Future Research Activity |
H.29年度の成果を基に，研究計画の通り3つの課題を進める．
1. 話速変換に同期する映像伸長処理モデルの評価
2. フィードバック情報の生成モデルの策定（システムによる音声区間の自動検出）
3. プロトタイプによる会話実験
これからの会話実験では，聞き手には，音声と映像が同期し遅れ時間を感じない会話環境とし，話し手には，時間差を把握する音声フィードバックを適用して実施する．
2つの支援を統合した会話環境で，認知負荷の少ない理解しやすい会話の場を構築する．
|
| Causes of Carryover |
映像分析・処理用コンピュータは構成を見直してH.30年度に購入することしたため．
当初計画していたノート3台購入予定のうち，29年度は予備実験で必要な2台のみを購入したため．
|
