時間伸長を知覚せずにゆっくり音声を聴取する公平な会話機会を有する会話環境の実現
| Project/Area Number |
20K11922
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61020:Human interface and interaction-related
|
|---|
| Research Institution | Tokyo Denki University |
|---|
Principal Investigator |
斎藤 博人 東京電機大学, システムデザイン工学部, 教授 (00328519)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
武川 直樹 東京電機大学, システムデザイン工学部, 研究員 (20366397)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2022: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2021: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2020: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
|
|---|
| Keywords | 話速変換 / 遠隔対話 / 聴覚フィードバック / 視覚フィードバック / 音声フィードバック / 発話速度推定 / 伸長倍率の自動化 / 会話インタフェース / 遅延 |
|---|
| Outline of Research at the Start |
本研究は，聞き取り能力の問題により会話に取り残されがちな人が会話の場にゆっくりとした再生で受聴することにより加わることができ，意思疎通が図れる会話環境を実現する．ゆっくりと再生する手法は話速変換技術が有効だが，会話に適用した場合，音声遅延が生じるため会話のやりとりがしにくくなる問題があった．そこで本研究は，ゆっくりと再生された音声を聴取する支援対象者が聞き手となったときに，相手が実際にゆっくりと発話をしていると知覚できるインタフェース（支援を受けていると感じさせない）を実現しながら，支援の必要がない話し手も遅延を違和感なく許容でき，会話に参加する全員に公平な会話機会がある会話環境を構築する．
|
| Outline of Annual Research Achievements |
令和4年度計画は「音声（聴覚）フィードバック」，「視覚フィードバック」を統合したリアルタイム話速変換会話で，異なるフィードバック手法が話し手に与える効果を明らかにする会話実験をした．具体的には，RUP中発話開始率，発話長分布への影響の違いを計測するため，2者間の会話実験を行った．（ここでRUPは話し手の待ち時間であるRUP（Residual Utterance listening Period：残余発話聴取時間）を意味する）．会話実験は以下2種類の対話実験とした．
共同想起対話実験では，５分程度の短編アニメ映像を被験者が視聴し，映像の内容を時系列順に想起しながら2者間の対話を行ってもらった．共同想起対話は，各被験者の発話の自由度を保ちながら，自由会話や一定のテーマによる議論などの会話課題に比して，会話の内容をある程度統制することが可能である．
地図課題対話実験では，Giverが持つ地図の経路をFollowerの地図に再現する課題である．この会話の特徴は「話し手が優位な場面」であり，話し手が一方的に話すわけではない．聞き手は，目標物や経路についての質問や確認などを行う必要があるため，双方向のコミュニケーションを必要とする課題である．
実験より，音声フィードバック適用時は，視覚フィードバック適用時と比較して約2倍のRUP中発話開始が行われていた．また，発話長の分布において，音声フィードバック，視覚フィードバックに差は見られず，発話長分布の各階級における相対度数に強い相関があることがわかった．以上より，会話中に適用するフィードバックの違いは話し手の「発話内容，長さ」には影響を与えず，RUP中における発話開始のタイミングにのみ影響を与えることがわかった．この成果は研究会で公表した．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
令和4年度に計画していた「聴覚・視覚のフィードバックを会話中の状況に応じて自動選択するフィードバック」のモデル化とその実験に遅れがある．
|
| Strategy for Future Research Activity |
令和4年度の会話実験では5組（10名）から合計20回の会話データを取得しているが，すべての会話データの分析が完了していない．これらのデータを分析したのち， 2つのフィードバック手法の同時適用した実験を行い，話し手に対するフィードバック方式を適応的に切り替える機能を実現する．
|
Report
(3 results)
Research Products
(5 results)
