2019 Fiscal Year Annual Research Report
Speech and video processing and modeling of speech rate conversion conversation system adapting to speaker state
| Project/Area Number |
17K00281
|
|---|
| Research Institution | Tokyo Denki University |
|---|
Principal Investigator |
斎藤 博人 東京電機大学, システムデザイン工学部, 准教授 (00328519)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
武川 直樹 東京電機大学, システムデザイン工学部, 教授 (20366397)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 話速変換 / 音声フィードバック / 笑い検出 / 字幕表示 / モーラ数計測 |
|---|
| Outline of Annual Research Achievements |
今年度は「適応処理を組み込んだリアルタイム話速変換会話モデルの製作と最終評価」を研究計画としていた．これまで，話速変換機能を利用する会話での支援機能として，「音声フィードバック」，「視覚フィードバック」，「映像同期」をそれぞれ単独で効果を評価していたが，これらの機能を会話中の必要なときに適応的に動作させる機能の統合を課題とした．特に，話し手への音声フィードバック（ゆっくりとした再生の支援を必要としない話し手に対し，発話直後の待機中に自身の音声を受聴する）は，話速変換会話の順番交替時における発話衝突の回避に有効であるが，話し手の妨害にもなるため，動作のタイミング制御の方法が未解決になっていた．「音声フィードバック」と，発話中は妨害にならない「視覚フィードバック」の作動タイミングを適応的に決定するため，まず，発話速度を計測する「モーラ数計測」，「笑い区間の検出」，「話速変換によって生じた話し手と聞き手の間の遅延時間の計測」機能を作成し，フィードバック機能を作動させる説明変数を取得した．
また，会話実験を遠隔地間でも容易に実施できるように，デスクトップパソコンを使った会話システムから，タブレット・スマートホンでの利用を可能とするWebブラウザを使ったシステムに再構築した．具体的にはブラウザ上で(1)話速変換処理部，(2)音声フィードバック処理部，(3)視覚フィードバック処理部，(4)モーラ数算出部，(5)字幕表示部，(6)笑い検出のための表情認識部の実装が完了した．その結果の一部は「話速変換を利用する会話における音声フィードバック生成モデルの検討」を電気学会，C部門大会で公表した．
|
