2018 Fiscal Year Research-status Report
話者の状態に適応する話速変換会話システムの音声・映像処理とそのモデル化
| Project/Area Number |
17K00281
|
|---|
| Research Institution | Tokyo Denki University |
|---|
Principal Investigator |
斎藤 博人 東京電機大学, システムデザイン工学部, 准教授 (00328519)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
武川 直樹 東京電機大学, システムデザイン工学部, 教授 (20366397)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 話速変換 / 音声と映像の同期 / 遅延の最小化 |
|---|
| Outline of Annual Research Achievements |
30年度の研究実施計画では「(1)話速変換に同期する映像伸長処理モデルの評価」，「(2)フィードバック情報の生成モデルの策定（システムによる音声区間の自動検出）」，「(3)プロトタイプによる会話実験」を課題設定していた．
(1)について，会話実験では話速変換によりゆっくりになった音声に映像も同期する3人会話の会話システムを構築し，映像同期・非同期の条件間で，話し手に宛先指定された聞き手の反応潜時（聞き手が，話し手の発話の終了時点を聴取してから，次話者として発話を開始するまでの時間）を計測し比較をした．その結果，映像同期の条件の方が非同期条件よりも反応潜時の方が短くなり，映像と音声を同期してゆっくりと再生する聴取環境が，ユーザの次発話のしやすさに寄与することを示した．その成果は「 話速変換を利用する会話における映像同期手法とその効果」（電子情報通信学会，論文誌A，2019年2月）号に公表した．
(2)については，音声フィードバックを再生するタイミングを検討し，聞き手の聴取状況に応じて，再生をするか否かを適応的に切り替え，時間差を抑制する音声フィードバックを提案した．その成果は「話速変換を用いた会話における話し手への音声フィードバック手法の検討」（電気学会，電子・情報・システム部門大会，2018年9月）で公表した．
(3)について，(2)のフィードバック生成モデルを用いた会話実験を実施し現在データ分析中である．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
ゆっくりとした音声に同期して，映像もゆっくりと再生する会話システムの評価および論文誌への公表も行い，計画に遅れはない．
|
| Strategy for Future Research Activity |
研究計画のとおり，2019 年度は「適応処理を組み込んだリアルタイム話速変換会話モデルの製作と最終評価」を遂行するため，音声フィードバック，視覚フィードバック，映像同期を組み合わせたシステムと会話の評価を実施する．
|
| Causes of Carryover |
実験協力者への謝金が想定より少なかったため，次年度使用額が生じた．
次年度の会話実験では，2者会話の実験を追加するため，その謝金にも利用する計画である．
|
