感情表現が精緻に制御された音声刺激による認知症者の感情理解機能の解明

2022 Fiscal Year Research-status Report

• Project/Area Number: 22K11343
• Research Institution: Nagoya City University
• Principal Investigator: 中村 篤 名古屋市立大学, 大学院理学研究科, 教授 (50396206)
• Co-Investigator(Kenkyū-buntansha): 齊藤 千晶 社会福祉法人仁至会認知症介護研究・研修大府センター(研究部、研修部), 研究部, 主任研究主幹 (30794276)
• Project Period (FY): 2022-04-01 – 2025-03-31
• Keywords: 認知症 / 音声コミュニケーション / 声質変換 / 感情強度制御

Outline of Annual Research Achievements

(1)介護発話感情音声への分節始終端情報付与
音素バランス発話503文、ならびに介護発話50文の中立(neutral)感情音声について、手動での分節始終端情報付与を行った。より低コストでの情報付与を実現するため、喜び(happiness)、怒り(anger)感情音声への半自動情報付与を行う予定であり、その際、この中立感情音声に対する手動での付与が活かされる。付与の精度を検証した上で、専門技術を持つ機関への委託の要否を判断する。
(2)感情表現制御法の開発
分節始終端情報に基づいて分節長伸縮を行えば、感情表現変換を行うことが可能である。しかしながら正確な分節始終端情報の付与はコストが高い。そこで、分節始終端情報なしの状況を想定し、メル周波数ケプストラム特徴量に基づく動的時間伸縮によって得た伸縮関数によって感情表現変換を行った。RMSE値やケプストラム距離で評価したところ、音素バランスh発話228文について、別途人手で得た正解情報からの誤差はRMSE値で0.120sとなり、基本周波数などの変化パターンに生じるずれは約0.5モーラ分となることが示唆された。今後、より低コストで音声刺激を作成するための基礎データとなる。
(3)被験者実験の設計・実施・結果分析
過去の実験結果等に基づき、今後の被験者実験について基本的な検討を行った。本格的な実験設計・実施は、計画通り2023年度～を予定している。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

介護発話感情音声への分節始終端情報付与については、内製作業と専門技術を持つ機関への委託の切り分けの判断に時間を要しており、若干の遅れがある。
一方、感情表現制御法の開発については、分節始終端情報なしでの方法にも見通しが立つなど、計画以上の進捗があった。
さらに、実験設計についても前倒しで着手出来ている。
これらのことから、総合的にはおおむね順調に進展していると言える。

Strategy for Future Research Activity

介護発話感情音声への分節始終端情報付与、および感情表現制御法の開発をさらに進めるとともに、被験者実験の設計にも本格着手し、一部の実験を実施する。
特に、感情表現制御法の開発においては、未知音声に対する感情や、段階的な感情強度制御にも取り組む。

Causes of Carryover

被験者実験用タブレット端末の機種選定に時間を要しており、2台分予算執行が先送りとなった。
また、介護発話感情音声発話データへの時刻情報付与作業において、内製作業と、専門業者への委託作業の切り分けが未完であり、予算執行が次年度持ち越しとなった。これにともない、予備実験の被験者謝礼等の予算執行も、次年度に持ち越した。