• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2021 Fiscal Year Research-status Report

加齢に伴う衰えを察知するための会話分析手法とその評価

Research Project

Project/Area Number 19K04934
Research InstitutionOsaka Institute of Technology

Principal Investigator

脇田 由実  大阪工業大学, ロボティクス&デザイン工学部, 教授 (10590359)

Co-Investigator(Kenkyū-buntansha) 中藤 良久  九州工業大学, 大学院工学研究院, 教授 (10599955)
松田 千登勢  摂南大学, 看護学部, 教授 (70285328)
Project Period (FY) 2019-04-01 – 2023-03-31
Keywords衰え度察知システム / 日常会話解析 / 高齢者会話特性 / 基本周波数の時間変化 / トピックシフト特性
Outline of Annual Research Achievements

1.会話データベースの追加構築:特別老人ホームにて収録した7会話データとWEB会議ツールを用いた5会話の書き起こしデータ、形態素解析データ、内容語の単語間意味距離データ構築を行った.
2.衰え察知システムの改良:これまでの研究活動により加齢による衰え推定には、会話中の相手の話に対する応答発声が有効であったので、2021年度は談話室や家庭内など会話現場で収録した会話データベースを用い、会話現場における実用評価とその際の課題解決に取り組んだ.具体的成果は以下である.(1)高齢者会話における話題の移り変わりの特徴を捉え、目標となる高齢者会話を特定する手法を提案した(会話特定率は90.5%).(2)マイクロホン近くの発声のみを特定する技術をシステムに組み込み評価した(目標発声特定率88.3%).(3)長時間会話における音声特徴の経時変化による衰え推定性能の変化を分析し、会話の始まり20分を超えた会話では推定性能が低下するという知見を得た.本成果を国際学会2件(内1件は2022年度発表予定)、国内学会1件の発表、論文掲載1件、論文掲載予定1件(既採録、2022年度掲載)に至っている.(1)"Topic-Shift Characteristics of Japanese Casual Conversations Between Elderlies and Between Youths"HCI2021、(2)"会話支援システムのための簡易な目標発声特定方法"2021年度音響学会秋季研究発表会.(3)"Estimation of the online lecture quality using fundamental frequency characteristics extracted from student utterances", HCI2022(投稿済、2022年6月発表予定)

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

日常生活現場での会話(老人ホーム談話室での会話、自宅からのWEBによるオンライン会話)のデータを用いて、および音声衰え推定手法と衰え察知システムの評価を行い、目標会話特定率88.3%、高齢者会話特定率90.5%のシステムを構築できた.従来、会話理解度を衰え推定の指標とした場合の衰え推定率が75.3%であったことから、実用現場で本システムを用いた場合、総合的には約60%の衰え推定率であることがわかった.コロナ禍のため、会話収録回数が少なくさらに多くのデータを用いた評価が必要であること,実用データを用いた場合、実験室で収録したデータに比べてピッチに抽出誤りが多くこの改良が必要なこと、衰え推定のための識別器の条件設定がまだ不十分であること、などが課題である.さらなる評価改良により推定率の改良が必要である.

Strategy for Future Research Activity

以下の研究を予定している
(1) 会話理解度推定性能の改良:曖昧な発声は本来あるべきピッチが検出できない問題がある。検出できた部分を用いて補完するピッチ抽出手法を開発評価する。
(2) 実用向けオンライン会話データベースの構築:疾患に至らない衰えの評価を行うため、特別老人ホームではなく「サービス付き高齢者住宅」利用者様のデータを追加するべく、オンライン会話データベース構築を行う(目標10名によるのべ50会話データベースの構築を目標)
(3) 評価手法の構築:高齢者の会話から得られる会話理解度と、施設スタッフの方々に判断頂いた衰え度合いとの相関を評価指標とした衰え推定性能評価実験を実現する.

Causes of Carryover

コロナ禍で十分に実施できなかった以下の活動における使用を計画中.
(1)オンライン会話データベース構築のための作業人件費および謝礼(\150,000)(2)本活動成果を国際学会にて発表する際の英文校正費および学会(DCAI2022)参加(\130,000).(3)技術動向調査のための国内学会旅費及び参加費(¥70,000)(4)収録データ保存用ディスクなどのPC周辺機器(\50,000)

  • Research Products

    (7 results)

All 2022 2021

All Journal Article (2 results) (of which Int'l Joint Research: 2 results,  Peer Reviewed: 2 results,  Open Access: 2 results) Presentation (5 results) (of which Int'l Joint Research: 4 results)

  • [Journal Article] Machine learning model for discrimination of mild dementia patients using acoustic features2022

    • Author(s)
      Nishikawa Kazu、Akihiro Kuwahara、Hirakawa Rin、Kawano Hideaki、Nakatoh Yoshihisa
    • Journal Title

      Cognitive Robotics

      Volume: 2 Pages: 21~29

    • DOI

      10.1016/j.cogr.2021.12.003

    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Topic-Shift Characteristics of Japanese Casual Conversations Between Elderlies and Between Youths2021

    • Author(s)
      Iida Yotaro, Yumi Wakita
    • Journal Title

      Lecture Notes in Computer Science

      Volume: 12787 Pages: 418-427

    • DOI

      10.1007/978-3-030-78111-8_28

    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Presentation] Estimation of online lecture quality using fundamental frequency characteristics extracted from student utterances2022

    • Author(s)
      Tomoyuki Takada, Yumi Wakita
    • Organizer
      24RD INTERNATIONAL CONFERENCE ON HUMAN-COMPUTER INTERACTION
    • Int'l Joint Research
  • [Presentation] System of Predicting Dementia Using Transformer Based Ensemble Learning2022

    • Author(s)
      Kazu Nishikawa, Rin Hirakawa, Hideaki Kawano, Yoshihisa Nakatoh
    • Organizer
      IEEE International Conference on Consumer Electronics
    • Int'l Joint Research
  • [Presentation] Analysis of Prosodic Features of Dementia Speech for Machine Learning2022

    • Author(s)
      Kazu Nishikawa, Rin Hirakawa, Hideaki Kawano and Yoshihisa Nakatoh
    • Organizer
      5th International Conference on Inventive Computation Technologies
    • Int'l Joint Research
  • [Presentation] Topic-Shift Characteristics of Japanese Casual Conversations Between Elderlies and Between Youths2021

    • Author(s)
      Iida Yotaro, Yumi Wakita
    • Organizer
      23RD INTERNATIONAL CONFERENCE ON HUMAN-COMPUTER INTERACTION
    • Int'l Joint Research
  • [Presentation] 会話支援システムのための簡易な目標発声特定方法2021

    • Author(s)
      小坂直人 脇田由実
    • Organizer
      2021年度日本音響学会秋季研究発表会

URL: 

Published: 2022-12-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi