2015 Fiscal Year Research-status Report
時間管理モデルと感情印象の修正による話者の意図が伝わる話速変換会話システムの実現
| Project/Area Number |
26330232
|
|---|
| Research Institution | Tokyo Denki University |
|---|
Principal Investigator |
斎藤 博人 東京電機大学, 情報環境学部, 准教授 (00328519)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
武川 直樹 東京電機大学, 情報環境学部, 教授 (20366397)
|
|---|
| Project Period (FY) |
2014-04-01 – 2017-03-31
|
| Keywords | 話速変換 / 3人会話 / 音声フィードバック / 話者交替 |
|---|
| Outline of Annual Research Achievements |
H.27年度は，研究計画の通り「順番交替を支援する時間管理モデルの構築」を課題に進めた．話速変換を介した会話では，話し手の発話終了時刻と聞き手の聴取完了時刻に時間差が生じる．この時間差は，話し手と聞き手の双方に負の影響を与えるため，話速変換を利用した会話では，順番交替時の時間差の補間方法が課題となっていた．この課題に対する具体的解決法として，「話し手」には「聴覚」，「聞き手」には「視覚」による補助情報の呈示をし，順番交替を支援する２つ機能を実装した．
(1) 音声フィードバックによる「話し手」の待ち時間を補間する支援
時間伸長によって生じた話し手の待ち時間中に，話し手自身の伸長音声を聴取させる手法(音声フィードバック)を構築した．これは，話し手が聞き手側の受聴状態を把握することを目的に実装した機能である．3人会話実験の映像観測から，フィードバック音声を受聴した話し手は，発話内ポーズにおいて，自身の音声を受聴した後に後続発話を開始する発話様式をとるようになり，発話衝突回避への有効性を示した．この研究成果は電子情報通信学会HCS研究会にて発表し，同学会において2015年度ヒューマンコミュニケーション賞を受賞した．
(2) 視覚情報（メーター）による「聞き手」が次の話し手として話し始める際のタイミングを把握する支援
聞き手の聴取終了までの予定時間をメーターにより可視化するインタフェースにより実現した．このインタフェースを使った3人会話実験の映像観測からは，メーターの残量を手がかりに，話し手の発話に後続発話が有るか否かを確認してから話し始め，後続発話との発話衝突の回避に効果を示した．また，メーターの残量が上昇中か下降中かの動きを見て，伸長音声の再生終了前に後続発話が有るか否かの予測が可能になり，聴取音声が再生終了する前に次話者が発話を開始できる効果を示した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
H.27年度は計画に沿って「順番交替を支援する時間管理モデルの構築」の課題に対して，時間管理モデルを構築できた．その具体的達成度評価は以下の通りである．
・「話し手」に生ずる待ち時間は，音声フィードバックを聴取する時間とし，そのアルゴリズムとリアルタイム処理機能を実装した．さらに，会話実験によりその有用性を確認した．
・「聞き手」が，聴取時間の残量を視覚的に把握できるメーター表示機能を，リアルタイム話速変換会話システム上に実装した．
・実際の会話データを分析した結果，笑い声や雑音の伸長が会話のしにくさに影響していることがわかり，音声区間抽出の精度を向上させ，話しやすさを改善するための新たな課題が発見できた．
・ゆっくり音声に同期し，映像もゆっくりと再生する映像処理手法策定に新たに着手した．
|
| Strategy for Future Research Activity |
H.28年度は，「順番交替支援機能と，話者の意図が正確に伝わる時間管理モデルの実現」の課題設定を達成すべく，H.26, H.27年度の成果に基づき以下の3つを統合した話速変換会話インタフェースを構築し，その評価を実施する．
(1) 話し手を支援する「音声フィードバック」（聴覚）
(2) 聞き手を支援する「メーター表示」（視覚）
(3) 話速変換時の音声と映像のズレを補正する機能の実現
|
| Causes of Carryover |
旅費および，被験者への謝金が想定よりも安価になったため．
|
| Expenditure Plan for Carryover Budget |
新たな条件を追加した実験を計画している，それに伴い，会話分析は精度のよい書き起こしをするために熟練者を雇用する計画である．
|
