音声による認知フィードバックを利用した気分誘導技術の研究開発

2017 Fiscal Year Research-status Report

• Project/Area Number: 17K20011
• Research Institution: Saga University
• Principal Investigator: 大島 千佳 佐賀大学, 工学(系)研究科(研究院), 研究員 (10395147)
• Co-Investigator(Kenkyū-buntansha): 中山 功一 佐賀大学, 工学(系)研究科(研究院), 准教授 (50418498)
• Project Period (FY): 2017-06-30 – 2020-03-31
• Keywords: 音声変換 / 機械学習

Outline of Annual Research Achievements

発話音声の音高や，音量などをリアルタイムに変換し，発話者本人にフィードバックする効果を調べる実験に向けて，本年度は実験の環境を構築し，発話音声の特徴と感情との関係を分析するためのデータの取得方法を検討した．
話者2名が会話を行えるように，防音室を2箇所に設置した．音声を変換するソフトを搭載したパソコンは，防音室の外に設置し，wifiにより音声のやりとりを行う．スピーカを各部屋に設置し，変換した音声を出力する方が，被験者の身体的な負担にはならないが，自分の実際の声と，変換した音声との間に時間的な差があるため，違和感が生じている．平成30年度はヘッドフォンの使用を中心に据えて予備実験を開始する予定である．
変換方法については，音声の専門家に助言をもらい，新たな変換方法を試行できるようにプログラムした．また，発話音声の音高や音量の変化と，それによる気分の変化との関係を調べる方法を検討した．研究代表者や分担者，及び協力する学生が，数日間にわたり，朝から晩までの自分の発話をそれぞれ録音する．その際に，自分の気分が変更したことに気が付いたときに，スマートフォンのアプリケーションを使って，自分の気分を入力する．これにより，自分の発話に気分のラベル付けをすることができる．平成30年度は，これらのデータをディープラーニングにかけて，各気分のときの発話音声の音高，音量の変化の度合いを明らかにする予定である．

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

実験環境を整え，音声変換の新たな方法にも取り組むことができたため．しかし，本実験には入れなかったため，（2）とした．

Strategy for Future Research Activity

今年度は，まず，研究代表者や分担者，及び協力する学生が，自分の発話をそれぞれ録音する．自分の気分を入力し，発話に気分のラベル付けをする．これらのデータをディープラーニングにかけて，各気分のときの発話音声の音高，音量の変化の度合いを明らかにする．さらに，予備実験を開始する．スピーカやヘッドフォンから聞こえるフィードバックされた声と，自分の実際の声に遅延がある．この違和感を減らす方法を評価実験から明らかにして，本実験の準備を整える．

Causes of Carryover

防音室に生体計測センサを取り付ける予定であったが，防音室の設置が当初の予定より大幅に遅れたため，翌年度に購入，設置することとした．