Development and evaluation of age-dependent degradation detection system using conversation comprehension estimation
Project/Area Number |
22K04626
|
Research Category |
Grant-in-Aid for Scientific Research (C)
|
Allocation Type | Multi-year Fund |
Section | 一般 |
Review Section |
Basic Section 25020:Safety engineering-related
|
Research Institution | Osaka Institute of Technology |
Principal Investigator |
脇田 由実 大阪工業大学, ロボティクス&デザイン工学部, 教授 (10590359)
|
Co-Investigator(Kenkyū-buntansha) |
中藤 良久 九州工業大学, 大学院工学研究院, 教授 (10599955)
松田 千登勢 摂南大学, 看護学部, 教授 (70285328)
|
Project Period (FY) |
2022-04-01 – 2025-03-31
|
Project Status |
Granted (Fiscal Year 2022)
|
Budget Amount *help |
¥3,380,000 (Direct Cost: ¥2,600,000、Indirect Cost: ¥780,000)
Fiscal Year 2024: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2023: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2022: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
|
Keywords | オンライン会話音声 / サービス付き高齢者住宅 / 重なり発声除去 / 音声認識誤り特性 / ピッチ抽出 / 発声速度 / 衰え度察知システム / オンライン会話 / 高齢者サービス住宅 |
Outline of Research at the Start |
我々は従来、高齢者の会話において、相手の話に応答する発声のピッチとパワー値や頭部の頷き動作情報から高齢者が話をどこまで理解しているかを推定し、推定結果から本人の加齢による衰え度合いを判断するシステムを構築した。 本研究では、コロナ禍の環境下で実用評価実験を行うため、衰え判断システムをオンライン会話向けに改良し、認知症ではないが衰え兆候がある「サービス付き高齢者住宅」利用者を対象に衰え判断手法を評価することで、実用可能なシステムを実現することを目的とする。
|
Outline of Annual Research Achievements |
1.オンライン会話収録システムを開発し会話収録を実施。(1)会話者側で収録は行わず、遠隔から録音者がオンラインツールに参加する、(2)画面に会話マスコット画面を提示しマイクロホンをオフにしておくことで、会話しない参加者者であることを会話者に通知する、この2点により高齢者が自然に日常会話を行える状況を実現。サービス付き高齢者住宅施設にて6名による6会話分を収録(3~4分/会話)。会話後アンケートにて自然に会話できたことを確認したため、次年度からの評価用会話データベース開発の仕様に決定。
2.オンライン会話音声の分析結果から、対面会話に比べ、相手の会話から自分の会話に切り替えるタイミングを図るのが困難で、複数話者の発声の重なりが多いことがわかった。重なり発声部分でのピッチ値の不安定さが課題。発声ごとのピッチ標準偏差値とピッチのフレーム間差分値とを用い、重なり発声部分を特定する手法を提案。現時点で重なり発声特定率80%。重なり発声部分の除去による、ピッチ値の精度向上を検討中。
3.衰え推定に用いる応答発声部分を特定するために、音声認識機能を導入し、認識結果から応答発声部分を抽出するシステムを構築。日常会話の発声曖昧さによる誤認識が課題。誤認識の分析を行い、日常会話における従来音声理解処理の課題を明確にした。成果を国際学会1件発表。(The effect of Topic-Shift Characteristics in Daily Conversation on Identification of Recognition Errors,IHIET2022)
|
Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
以下の計画した活動が実施でき、効果を確認できた。 ・オンライン会話向けシステム仕様を決めて、会話データ収録作業を開始した。 ・高齢者のオンライン会話に頻繁に現れる重なり音声を除去することで安定したピッチ抽出に目途がついた。
|
Strategy for Future Research Activity |
以下の活動を行い、最終年度の衰え度合推定の評価が円滑に行うための準備を行いたい。 ・本年度(2022年度)に開発したオンライン会話システムを用いた音声データベースの追加収録 ・施設職員の方々による衰え度合いの正解タグを付加した会話データベースの構築 ・ピッチとパワーの時間変化を用いた衰え度合推定精度の評価と改良 ・衰え度合い推定に用いる応答発声部分の特定手法の開発
|
Report
(1 results)
Research Products
(2 results)