• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

音声アシスタントとの対話を介した非接触・暗黙的なヘルスモニタリング技術の研究

研究課題

研究課題/領域番号 18K18136
研究種目

若手研究

配分区分基金
審査区分 小区分61060:感性情報学関連
研究機関東北大学

研究代表者

千葉 祐弥  東北大学, 工学研究科, 助教 (30780936)

研究期間 (年度) 2018-04-01 – 2020-03-31
研究課題ステータス 完了 (2019年度)
配分額 *注記
4,160千円 (直接経費: 3,200千円、間接経費: 960千円)
2019年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
2018年度: 2,730千円 (直接経費: 2,100千円、間接経費: 630千円)
キーワードユーザ状態推定 / 音声感情認識 / 音声対話システム / ヘルスケア / 音声情報処理 / ユーザ評価 / マルチモーダル対話システム / パラ言語情報処理 / マルチモーダル情報処理 / 健康状態推定
研究成果の概要

本課題ではまず,音響的非言語シグナルからユーザ状態の推定を行う手法を検討した.感情音声合成を用いてデータを増強することで音声感情認性能が従来よりも大幅に改善することを示した.また,近年注目を集める系列モデルに対してセグメント特徴量の導入とネットワークのマルチストリーム化を行うことでさらに性能を向上させた.最終的な識別精度は73.4%であり,これは人間による判別に肉薄する結果である.また,対話型システムを継続的に使うための対話制御技術に関しても検討を行った.人間同士のマルチモーダル雑談コーパスを用いて言語・非言語情報の分析を行うことで,関係性の段階による対話戦略の違いを明らかにした.

研究成果の学術的意義や社会的意義

当初の目的である健康状態の推定には至らなかったものの,雑音重畳や統計的音声合成によりデータ増強を行うことでユーザ状態推定の頑健性を向上できることを示した.この手法は音声感情認識だけでなく,様々なユーザ状態推定に応用可能であるため,音声を用いたアプリケーションの多くで有用である.また,識別器の改善により音声感情認識自体も人間による判断に匹敵する性能が得られることを示した.加えて,対話型アプリケーションが継続的に使われるための言語/非言語的ふるまいの変化に関して,包括的な対話制御モデルを構築するための手がかりとなる結果を得た.

報告書

(3件)
  • 2019 実績報告書   研究成果報告書 ( PDF )
  • 2018 実施状況報告書
  • 研究成果

    (21件)

すべて 2020 2019 2018

すべて 雑誌論文 (1件) (うち査読あり 1件、 オープンアクセス 1件) 学会発表 (20件) (うち国際学会 4件)

  • [雑誌論文] Multi-condition training for noise-robust speech emotion recognition2019

    • 著者名/発表者名
      Chiba Yuya、Nose Takashi、Ito Akinori
    • 雑誌名

      Acoustical Science and Technology

      巻: 40 号: 6 ページ: 406-409

    • DOI

      10.1250/ast.40.406

    • NAID

      130007740710

    • ISSN
      0369-4232, 1346-3969, 1347-5177
    • 年月日
      2019-11-01
    • 関連する報告書
      2019 実績報告書
    • 査読あり / オープンアクセス
  • [学会発表] Construction and Analysis of a Multimodal Chat-talk Corpus for Dialog Systems considering Interpersonal Closeness2020

    • 著者名/発表者名
      Yamazaki Yoshihiro、Chiba Yuya、Nose Takashi、Ito Akinori
    • 学会等名
      LREC
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] Labeling and Analysis of Perceived Emotion for Japanese Large-Scale Emotional Speech Database JTES2020

    • 著者名/発表者名
      Yamanaka Mai、Nose Takashi、Chiba Yuya、Ito Akinori
    • 学会等名
      NCSP
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] 音声感情認識における感情音声合成を用いたデータ拡張の効果の検証2020

    • 著者名/発表者名
      千葉祐弥、能勢隆
    • 学会等名
      音響学会春季研究発表会
    • 関連する報告書
      2019 実績報告書
  • [学会発表] セグメント特徴量とBLSTMによるマルチストリーム音声感情認識2020

    • 著者名/発表者名
      千葉祐弥、能勢隆、伊藤彰則
    • 学会等名
      音響学会春季研究発表会
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 大規模感情音声データベースJTESへの聞き手ラベルの付与と音声感情認識での利用2020

    • 著者名/発表者名
      山中麻衣、能勢 隆、千葉祐弥、伊藤彰則
    • 学会等名
      音響学会春季研究発表会
    • 関連する報告書
      2019 実績報告書
  • [学会発表] Construction of Multimodal Chat-talk Corpus Considering the Closeness in Dyads and Analysis of Dialog Act2019

    • 著者名/発表者名
      Yamazaki Yoshihiro、Chiba Yuya、Nose Takashi、Ito Akinori
    • 学会等名
      ICT Workshop
    • 関連する報告書
      2019 実績報告書
  • [学会発表] クラウドソーシングを用いた感情音声データベースJTESへの主観ラベルの付与と分析2019

    • 著者名/発表者名
      山中麻衣、能勢 隆、千葉祐弥、伊藤彰則
    • 学会等名
      電子情報通信学会技術研究報告
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 親密性を考慮した対話システムのためのマルチモーダル雑談コーパスの構築と分析2019

    • 著者名/発表者名
      山﨑善啓、千葉祐弥、能勢隆、伊藤彰則
    • 学会等名
      人工知能学会研究会資料
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 親密性を考慮したマルチモーダル雑談コーパスにおける発話意図及び韻律・表情に関する分析2019

    • 著者名/発表者名
      山﨑善啓、千葉祐弥、能勢隆、伊藤彰則
    • 学会等名
      音響工学研究会
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 話者間の親密性を考慮したマルチモーダル雑談コーパスの構築と分析2019

    • 著者名/発表者名
      山﨑善啓、千葉祐弥、能勢隆、伊藤彰則
    • 学会等名
      音響学会秋季研究発表会
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 話者・環境適応と波形正規化を用いた音声感情認識の精度改善2019

    • 著者名/発表者名
      山中麻衣、能勢 隆、千葉祐弥、伊藤彰則
    • 学会等名
      音響学会春季研究発表会
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 相互自己開示に基づく対話システムにおける傾聴的応答生成の効果の検証2019

    • 著者名/発表者名
      多田駿介、能勢 隆、千葉祐弥、伊藤彰則
    • 学会等名
      音響学会春季研究発表会
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 感情音声データベースJTESの主観ラベル付与に向けた予備的検討2019

    • 著者名/発表者名
      山中麻衣、能勢 隆、千葉祐弥、伊藤彰則
    • 学会等名
      音響学会春季研究発表会
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 話者・環境適応と波形正規化を用いた音声感情認識の精度改善2019

    • 著者名/発表者名
      山中麻衣,千葉祐弥,能勢隆,伊藤彰則
    • 学会等名
      音響学会春季研究発表会
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] 相互自己開示に基づく対話システムにおける傾聴的応答生成の効果の検証2019

    • 著者名/発表者名
      多田駿介,千葉祐弥,能勢隆,伊藤彰則
    • 学会等名
      音響学会春季研究発表会
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] 感情音声データベース JTES の主観ラベル付与に向けた予備的検討2019

    • 著者名/発表者名
      山中麻衣,千葉祐弥,能勢隆,伊藤彰則
    • 学会等名
      音響学会春季研究発表会
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] A Study on a Spoken Dialogue System with Cooperative Emotional Speech Synthesis Using Acoustic and Linguistic Information2018

    • 著者名/発表者名
      M. Yamanaka, Y. Chiba, T. Nose, A. Ito
    • 学会等名
      IIH-MSP
    • 関連する報告書
      2018 実施状況報告書
    • 国際学会
  • [学会発表] Effect of Mutual Self-disclosure in Spoken Dialog System on User Impression2018

    • 著者名/発表者名
      S. Tada, Y. Chiba, T. Nose, A. Ito
    • 学会等名
      APSIPA ASC
    • 関連する報告書
      2018 実施状況報告書
    • 国際学会
  • [学会発表] 音響情報と言語情報を用いた協調的発話感情付与に基づく音声対話システムの検討2018

    • 著者名/発表者名
      山中麻衣,千葉祐弥,能勢隆,伊藤彰則
    • 学会等名
      音響学会秋季研究発表会
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] 相互自己開示によりユーザの印象を向上させる音声対話システムの構築と評価2018

    • 著者名/発表者名
      多田駿介,千葉祐弥,能勢隆,伊藤彰則
    • 学会等名
      音声言語情報処理研究会
    • 関連する報告書
      2018 実施状況報告書

URL: 

公開日: 2018-04-23   更新日: 2021-02-19  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi