2022 Fiscal Year Research-status Report
Development and evaluation of age-dependent degradation detection system using conversation comprehension estimation
| Project/Area Number |
22K04626
|
|---|
| Research Institution | Osaka Institute of Technology |
|---|
Principal Investigator |
脇田 由実 大阪工業大学, ロボティクス&デザイン工学部, 教授 (10590359)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
中藤 良久 九州工業大学, 大学院工学研究院, 教授 (10599955)
松田 千登勢 摂南大学, 看護学部, 教授 (70285328)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | オンライン会話音声 / サービス付き高齢者住宅 / 重なり発声除去 / 音声認識誤り特性 / ピッチ抽出 / 発声速度 |
|---|
| Outline of Annual Research Achievements |
1.オンライン会話収録システムを開発し会話収録を実施。(1)会話者側で収録は行わず、遠隔から録音者がオンラインツールに参加する、(2)画面に会話マスコット画面を提示しマイクロホンをオフにしておくことで、会話しない参加者者であることを会話者に通知する、この２点により高齢者が自然に日常会話を行える状況を実現。サービス付き高齢者住宅施設にて６名による６会話分を収録（３～４分／会話）。会話後アンケートにて自然に会話できたことを確認したため、次年度からの評価用会話データベース開発の仕様に決定。
2.オンライン会話音声の分析結果から、対面会話に比べ、相手の会話から自分の会話に切り替えるタイミングを図るのが困難で、複数話者の発声の重なりが多いことがわかった。重なり発声部分でのピッチ値の不安定さが課題。発声ごとのピッチ標準偏差値とピッチのフレーム間差分値とを用い、重なり発声部分を特定する手法を提案。現時点で重なり発声特定率80％。重なり発声部分の除去による、ピッチ値の精度向上を検討中。
3.衰え推定に用いる応答発声部分を特定するために、音声認識機能を導入し、認識結果から応答発声部分を抽出するシステムを構築。日常会話の発声曖昧さによる誤認識が課題。誤認識の分析を行い、日常会話における従来音声理解処理の課題を明確にした。成果を国際学会１件発表。（The effect of Topic-Shift Characteristics in Daily Conversation on Identification of Recognition Errors,IHIET2022)
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
以下の計画した活動が実施でき、効果を確認できた。
・オンライン会話向けシステム仕様を決めて、会話データ収録作業を開始した。
・高齢者のオンライン会話に頻繁に現れる重なり音声を除去することで安定したピッチ抽出に目途がついた。
|
| Strategy for Future Research Activity |
以下の活動を行い、最終年度の衰え度合推定の評価が円滑に行うための準備を行いたい。
・本年度(2022年度)に開発したオンライン会話システムを用いた音声データベースの追加収録
・施設職員の方々による衰え度合いの正解タグを付加した会話データベースの構築
・ピッチとパワーの時間変化を用いた衰え度合推定精度の評価と改良
・衰え度合い推定に用いる応答発声部分の特定手法の開発
|
| Causes of Carryover |
・本年度(2022年度）に参加を予定していた国際学会がオンライン実施となったため、使用しなかった海外出張旅費を、次年度（2023年度）に現地開催が既に決定している国際学会に参加し、対面での成果発表と情報収集を行うための旅費と参加費に充てる予定である。
・オンライン会話データは、収録仕様確認のためにいくつかは収録したが、オンライン会話を自然に行える高齢者を厳選していたたため、まだ会話数としても話者数としても不足している。本年度音声データ収録作業の人件費と謝礼に充てる予定である。
|
