• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

高齢者を対象とした音声認識・対話システム基盤技術の構築

Research Project

Project/Area Number 19H01125
Research Category

Grant-in-Aid for Scientific Research (A)

Allocation TypeSingle-year Grants
Section一般
Review Section Medium-sized Section 61:Human informatics and related fields
Research InstitutionToyohashi University of Technology

Principal Investigator

北岡 教英  豊橋技術科学大学, 工学(系)研究科(研究院), 教授 (10333501)

Co-Investigator(Kenkyū-buntansha) 小林 彰夫  筑波技術大学, 産業技術学部, 准教授 (10741168)
山本 一公  中部大学, 工学部, 准教授 (40324230)
西崎 博光  山梨大学, 大学院総合研究部, 准教授 (40362082)
西村 良太  徳島大学, 大学院社会産業理工学研究部(理工学域), 講師 (50635878)
宇津呂 武仁  筑波大学, システム情報系, 教授 (90263433)
東中 竜一郎  名古屋大学, 情報学研究科, 教授 (90396151)
Project Period (FY) 2019-04-01 – 2022-03-31
Project Status Granted (Fiscal Year 2021)
Budget Amount *help
¥45,110,000 (Direct Cost: ¥34,700,000、Indirect Cost: ¥10,410,000)
Fiscal Year 2021: ¥12,350,000 (Direct Cost: ¥9,500,000、Indirect Cost: ¥2,850,000)
Fiscal Year 2020: ¥18,200,000 (Direct Cost: ¥14,000,000、Indirect Cost: ¥4,200,000)
Fiscal Year 2019: ¥14,560,000 (Direct Cost: ¥11,200,000、Indirect Cost: ¥3,360,000)
Keywords音声対話 / 高齢者 / 音声認識 / 高齢者音声 / 対話 / 雑談 / 認知症傾向スクリーニング / 高齢者音声認識 / 認知力診断 / 雑談対話
Outline of Research at the Start

認知症の予防に有効な手段である音声対話に着目し、高齢者と高度な音声会話ができる音声対話システムを開発する。このために、高齢者を対象とした音声認識・合成および対話の基盤技術、暗黙的な高齢者の認知力推定手法を研究し、実用対話システムの実現を目指す。この目標に対して、高齢者音声認識技術、聞きやすい音声合成技術、音声対話技術(中でも雑談中の話題抽出や質問応答など)、対話相手の認知状態検知技術を研究し、これらを統合して対話システムを実現し有効性評価を実施する。

Outline of Annual Research Achievements

高齢者を対象とした音声対話システムのための音声対話基盤技術の構築を行っている。高齢者の音声認識の高度化のために、高齢者の音声を収録してデータベース化した。それを用いて、DNN-HMMベースの音声認識システム、およびTransformerベースのEnd-to-end音声認識システムの高精度化を図った。高齢者音声は機械学習に耐えるだけの量を収集することは困難である。そこで、一般成人の大量のデータに高齢者音声を複数回繰り返し混ぜたデータを使って学習する方法を試みた結果、いずれのシステムにおいても数回の繰り返しによって大幅に性能が向上することが確認された。対話戦略においては、有限オートマトンによるシナリオ制御とEnd-to-end雑談チャットボットを相互に行き来できる制御方法を開発した。雑談チャットボットは、単純に雑談を行うだけではなく、雑談をしながらある特定の質問に話題を近づけていき、いずれその質問をすると言う、雑談に質問を織り交ぜるための質問誘導モデルを構築し、実際に対話システムに実装した。これにより、例えば長谷川式認知症スケールに用いられるような対話を雑談に織り交ぜて認知テストを暗黙のうちに実施するようなことも可能となった。また、認知テストとは別に、高齢者音声から認知症の傾向をスクリーニングする方法も開発した。高齢者との雑談音声の音響的特徴を用いることで80~90%程度の精度で認知症傾向を検出できることを確認した。その際、地域差(方言)の影響を受けやすいことも見出し、地域差の影響を受けにくい特徴量を選択することで方言に頑健な検出手法も提案した。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

データベースの収集こそコロナ禍において進捗がないが、これまでに収集した限られたリソースを用いて効率的に音声認識精度を向上する手法を編み出したことで、音声認識性能に関する目標を達成しつつある。また、対話制御ではいかに高齢者が飽きずに対話を続けながら、様々な質問によって高齢者の様子をうかがうことができるかという課題に対して、質問誘導モデルを開発して実現することができた。シナリオ対話と雑談対話を融合すること自体が対話システムの研究として新しく、大きな成果を得たと考える。また、認知症のスクリーニングについては、当初考えていた読み上げ音声によるスクリーニングに対して、対話音声によるスクリーニングでも十分に性能が出せることが大きな成果となった。

Strategy for Future Research Activity

対話システムの実装は、リアルタイムで対話できる形で完了している。このシステムを高齢者施設に設置することで実証実験を行い、対話データを収集して評価する。評価の基準としては対話の継続時間や繰り返し使用頻度など、対話システムにいかに親しみを感じているかを評価できる手法を用いる。さらに収録した音声で改めて音声認識実験を行うことで音声認識性能を評価するとともに、改善方法を検討する。また、同じく収録した音声を用いて認知症傾向スクリーニング実感を行い、実環境での収録音声に対する頑健性および性能低下があった場合にはその性能向上策を検討する。

Report

(3 results)
  • 2020 Annual Research Report
  • 2019 Comments on the Screening Results   Annual Research Report

Research Products

(32 results)

All 2022 2021 2020 2019

All Journal Article (6 results) (of which Peer Reviewed: 6 results,  Open Access: 5 results) Presentation (25 results) (of which Int'l Joint Research: 8 results,  Invited: 2 results) Book (1 results)

  • [Journal Article] Response type selection for chat-like spoken dialog systems based on LSTM and multi-task learning2021

    • Author(s)
      Ohta Kengo、Nishimura Ryota、Kitaoka Norihide
    • Journal Title

      Speech Communication

      Volume: 133 Pages: 23-30

    • DOI

      10.1016/j.specom.2021.07.003

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Dementia Detection from Chat Dialogue using Dependency Structure2021

    • Author(s)
      石原 颯人、入部 百合絵、北岡 教英
    • Journal Title

      電子情報通信学会論文誌D 情報・システム

      Volume: J104-D Issue: 4 Pages: 357-367

    • DOI

      10.14923/transinfj.2020PDP0028

    • ISSN
      1880-4535, 1881-0225
    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Dynamic out-of-vocabulary word registration to language model for speech recognition2021

    • Author(s)
      Kitaoka Norihide、Chen Bohan、Obashi Yuya
    • Journal Title

      EURASIP Journal on Audio, Speech, and Music Processing

      Volume: 2021 Pages: 1-8

    • DOI

      10.1186/s13636-020-00193-1

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Collection and Analysis of Perceived Information in Chat-oriented Dialogue2020

    • Author(s)
      光田航, 東中竜一郎, 富田準二
    • Journal Title

      Transactions of the Japanese Society for Artificial Intelligence

      Volume: 35 Issue: 1 Pages: 1-10

    • DOI

      10.1527/tjsai.dsi-e

      10.1527/tjsai.DSI-E

    • NAID

      130007779294

    • ISSN
      1346-0714, 1346-8030
    • Related Report
      2019 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] An Evaluation of a Chat-oriented Dialogue System that Remembers and Uses User Information over Multiple Days2020

    • Author(s)
      Tsunomori Yuiko、Higashinaka Ryuichiro、Yoshimura Takeshi、Isoda Yoshinori
    • Journal Title

      Transactions of the Japanese Society for Artificial Intelligence

      Volume: 35 Issue: 1 Pages: DSI-B_1-10

    • DOI

      10.1527/tjsai.dsi-b

      10.1527/tjsai.DSI-B

    • NAID

      130007779288

    • ISSN
      1346-0714, 1346-8030
    • Related Report
      2019 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Improvements in the Utterance Database for Enhancing System Utterances in Chat-oriented Dialogue Systems2020

    • Author(s)
      Tsunomori Y, Higashinaka R, Yoshimura T, Yoshinori
    • Journal Title

      自然言語処理

      Volume: 27 Pages: 65-88

    • Related Report
      2019 Annual Research Report
    • Peer Reviewed
  • [Presentation] タスク外音響情報を付加したEnd-to-End音声認識モデルの設計2022

    • Author(s)
      森 大輝,太田 健吾,西村 良太,小川厚徳, 北岡 教英
    • Organizer
      日本音響学会
    • Related Report
      2020 Annual Research Report
  • [Presentation] 非流暢ラベルを用いた言い淀み整形End-to-End音声認識2022

    • Author(s)
      堀井 こはる,福田 芽衣子,太田 健吾,西村 良太,小川厚徳,北岡 教英
    • Organizer
      日本音響学会
    • Related Report
      2020 Annual Research Report
  • [Presentation] Advanced language model fusion method for encoder-decoder model in Japanese speech2021

    • Author(s)
      Daiki Mori, Kengo Ohta, Ryota Nishimura, Atsunori Ogawa, Norihide Kitaoka
    • Organizer
      APSIPA ASC 2021
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] End-to-end spontaneous speech recognition using hesitation labeling2021

    • Author(s)
      Koharu Horii, Meiko Fukuda, Kengo Ohta, Ryota Nishimura, Atsunori Ogawa, Norihide Kitaoka
    • Organizer
      APSIPA ASC 2021
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Encoder-Decoder音声認識モデルにおける暗黙的言語情報の置換法2021

    • Author(s)
      森 大輝,太田 健吾,西村 良太,小川 厚徳,北岡 教英
    • Organizer
      日本音響学会
    • Related Report
      2020 Annual Research Report
  • [Presentation] 言い淀みを考慮した自由発話のEnd-to-End音声認識2021

    • Author(s)
      堀井 こはる,福田 芽衣子,太田 健吾,西村 良太,北岡 教英
    • Organizer
      日本音響学会
    • Related Report
      2020 Annual Research Report
  • [Presentation] 雑談対話システムにおける特定の質問を行うための発話生成2021

    • Author(s)
      堀内 颯太, 東中 竜一郎
    • Organizer
      人工知能学会
    • Related Report
      2020 Annual Research Report
  • [Presentation] Learning to ask specific questions naturally in chat-oriented dialogue systems2021

    • Author(s)
      Sota Horiuchi and Ryuichiro Higashinaka
    • Organizer
      IWSDS2021
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] E2E Streaming Speech Recognition Using CTC and Local Attention2020

    • Author(s)
      Jiahao Chen, Ryota Nishimura, Norihide Kitaoka
    • Organizer
      NCSP'20
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Uni-directional LSTM と Local Attentionを用いたストリーミング音声認識,2020

    • Author(s)
      陳 家浩,西村 良太,北岡 教英
    • Organizer
      日本音響学会春季研究発表会
    • Related Report
      2019 Annual Research Report
  • [Presentation] 高齢者音声コーパス構築と音声認識への年齢・方言の影響の分析2020

    • Author(s)
      福田 芽衣子,西崎 博光,入部 百合絵,西村 良太,北岡 教英
    • Organizer
      日本音響学会春季研究発表会
    • Related Report
      2019 Annual Research Report
  • [Presentation] 書き言葉から話し言葉へのテキスト変換を用いた話し言葉音声認識用言語モデルの評価,2020

    • Author(s)
      小橋 優矢,西村 良太,北岡 教英
    • Organizer
      日本音響学会春季研究発表会
    • Related Report
      2019 Annual Research Report
  • [Presentation] 自由発話に対応した照応解析を備えた音声対話システム2020

    • Author(s)
      森 雷太,西村 良太,北岡 教英
    • Organizer
      日本音響学会春季研究発表会
    • Related Report
      2019 Annual Research Report
  • [Presentation] 人と自然にインタラクションできる対話システムを目指して2020

    • Author(s)
      東中竜一郎
    • Organizer
      名古屋大学情報学シンポジウム2020
    • Related Report
      2019 Annual Research Report
    • Invited
  • [Presentation] 接客訓練のための音声対話システムの試作2020

    • Author(s)
      佐野祐太,レオチーシャン,飯田宗一郎,西崎博光,星野准一,宇津呂武仁
    • Organizer
      日本音響学会春季研究発表会
    • Related Report
      2019 Annual Research Report
  • [Presentation] 双方向LSTMにおける先読みフレームの効果に関する検討2020

    • Author(s)
      小林彰夫,西崎博光,宇津呂武仁
    • Organizer
      日本音響学会春季研究発表会
    • Related Report
      2019 Annual Research Report
  • [Presentation] Spoken and multimodal interfaces: Interaction systems with machines2019

    • Author(s)
      Norihide Kitaoka
    • Organizer
      ICAICTA2019
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research / Invited
  • [Presentation] A new corpus of elderly Japanese speech for acoustic modeling, and a preliminary investigation of dialect-dependent speech recognition2019

    • Author(s)
      Meiko Fukuda, Ryota Nishimura, Hiromitsu Nishizaki, Yurie Iribe, Norihide Kitaoka
    • Organizer
      Oriental-COCOSDA2019
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Automatic conversion of written language into spoken language using a sequence-to-sequence model trained with a parallel corpus2019

    • Author(s)
      Yuya Obashi, Ryota Nishimura, Norihide Kitaoka
    • Organizer
      Oriental-COCOSDA2019
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Sequence-to-Sequence model を用いた話し言葉音声認識用言語モデルのための書き言葉から話し言葉へのテキスト変換2019

    • Author(s)
      小橋 優矢,西村 良太,北岡 教英
    • Organizer
      日本音響学会秋季研究発表会
    • Related Report
      2019 Annual Research Report
  • [Presentation] CTCとAttentionを用いたEnd-to-endストリーミング音声認識2019

    • Author(s)
      陳 家浩,西村 良太,北岡 教英
    • Organizer
      日本音響学会秋季研究発表会
    • Related Report
      2019 Annual Research Report
  • [Presentation] 高齢者音声認識のための音声コーパス構築と方言への適応の効果2019

    • Author(s)
      福田 芽衣子,西村 良太,西崎 博光,入部 百合絵,北岡 教英
    • Organizer
      日本音響学会秋季研究発表会
    • Related Report
      2019 Annual Research Report
  • [Presentation] Development and Evaluation of Kaldi Extension Tools with Python2019

    • Author(s)
      Yu Wang, Hiromitsu Nishizaki , Akio Kobayashi , Takehito Utsuro, Chee Siang Leow
    • Organizer
      情報処理学会音声言語情報処理研究会
    • Related Report
      2019 Annual Research Report
  • [Presentation] Speech Recognition-based Evaluation of a Noise Reduction Method in Known-Noise Environment2019

    • Author(s)
      Chee Siang Leow, Hiromitsu Nishizaki, Akio Kobayashi, Takehito Utsuro
    • Organizer
      情報処理学会音声言語情報処理研究会
    • Related Report
      2019 Annual Research Report
  • [Presentation] valuation of Real Robot Agent Interface for Spoken Dialogue System2019

    • Author(s)
      Kazumasa Yamamoto, Akira Tamagawa, Seiichi Nakagawa
    • Organizer
      GCCE 2019
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Book] Pythonでつくる対話システム2020

    • Author(s)
      東中竜一郎, 稲葉通将,水上雅博
    • Total Pages
      260
    • Publisher
      オーム社
    • ISBN
      9784274224799
    • Related Report
      2019 Annual Research Report

URL: 

Published: 2019-04-18   Modified: 2022-12-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi