2020 Fiscal Year Research-status Report
時間伸長を知覚せずにゆっくり音声を聴取する公平な会話機会を有する会話環境の実現
| Project/Area Number |
20K11922
|
|---|
| Research Institution | Tokyo Denki University |
|---|
Principal Investigator |
斎藤 博人 東京電機大学, システムデザイン工学部, 教授 (00328519)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
武川 直樹 東京電機大学, システムデザイン工学部, 教授 (20366397)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 話速変換 / 発話速度推定 / 伸長倍率の自動化 |
|---|
| Outline of Annual Research Achievements |
令和2年度計画では「支援対象者がゆっくりと再生する区間を自動的に決定するモデルの解明と実装」を課題設定していた．具体的な進捗として，
（１）Webブラウザのみで動作する話速変換会話システムの実装
（２）話速変換を用いた会話において話し手の発話速度に応じて伸長倍率を変化させる機能の構築とその評価実験 が成果になる．
（１）について，これまでの話速変換を用いた会話実験では参加者に実験室に出向いてもらい，１人につきコンピュータ1台とモニタ２台を用意し，記録用サーバと有線接続が必要であった．現在の情勢を踏まえ，会話実験を参加者が自宅から参加できるようにWebブラウザのみで稼働する話速変換会話システムを開発し完成した．このシステムでは，遠隔地間でビデオ通話を行うための通信プロトコルにWeb RTCを使用して音声と映像の伝送を行った．話速変換の音声処理にWeb Audio API，GUIはシステム使用者の発話状況をリアルタイムに反映するため，フレームワークのVue.jsを用いた．（２）の会話実験でも新システムを利用した．
（２）について，話し手の発話速度に応じて伸長倍率を変化させる機能を実装し評価実験を行った．発話速度の指標には1秒間のモーラ数[mora/s]を用いた．発話速度の推定は，音声認識を行うWeb Speech APIの音認識結果をひらがなAPIでひらがなに変換し，そのモーラ数を音声区間検出の持続時間で割り発話速度を求めた．会話実験の結果，フィラー，笑いを含む発話での音声区間検出とモーラ数の推定に課題があり，これは次年度の継続課題とした．これらの成果は，電子情報通信学会HCGシンポジウムにて報告した．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
令和2年度は，実験を協力者宅から実施できるよう会話システムの再構成した．その副次的な成果として，それまで独立に動作していた「音声フィードバック」，「視覚フィードバック」，「音声と映像の同期再生」，「字幕の表示」が一元管理できるシステムが完成した．これにより，各種フィードバック方式の統合する研究課題の遂行にも寄与する成果を得た．
しかしながら，令和2年度の課題「支援対象者がゆっくりと再生する区間を自動的に決定するモデルの解明と実装」が完成に至っていない．設計時に想定した発話速度検出ができなかったため，伸長倍率の変化が生じたのは1回のみであり，その事例から伸長倍率の変化による話し手の発話様式への影響を検証することはできなかった．これは令和3年度も継続して取り組む．
|
| Strategy for Future Research Activity |
令和３年度は，２年目となるが「支援対象者がゆっくりと再生する区間を自動的に決定するモデルの解明と実装」を前年度から継続すると共に，ゆっくり再生の支援が必要無いユーザを対象に，話速変換会話の順番交替時における発話衝突の問題を回避する機能である「音声フィードバック」と「視覚フィードバック」を統合し，遅延量を把握するインタフェースとフィードバック生成モデルを作り，会話実験により評価をする．
|
| Causes of Carryover |
会話実験の実施数が計画よりも少なくなり，被験者への謝金および会話分析の書き起こしアルバイトの費用が少なくなったため．
|
