• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

対人サービスにおける共創価値は音声非言語情報から測定が可能か?

研究課題

研究課題/領域番号 23K24948
補助金の研究課題番号 22H03693 (2022-2023)
研究種目

基盤研究(B)

配分区分基金 (2024)
補助金 (2022-2023)
応募区分一般
審査区分 小区分62020:ウェブ情報学およびサービス情報学関連
研究機関筑波大学

研究代表者

善甫 啓一  筑波大学, システム情報系, 准教授 (70725712)

研究分担者 岡田 幸彦  筑波大学, システム情報系, 教授 (80432053)
前田 祐佳  筑波大学, システム情報系, 助教 (20650542)
プエンテス サンドラ  筑波大学, システム情報系, 助教 (00725765)
三浦 智史  国立研究開発法人国立がん研究センター, 東病院, 科長 (20643464)
小杉 和博  国立研究開発法人国立がん研究センター, 東病院, 医員 (30818448)
研究期間 (年度) 2024-04-01 – 2026-03-31
研究課題ステータス 交付 (2024年度)
配分額 *注記
17,290千円 (直接経費: 13,300千円、間接経費: 3,990千円)
2025年度: 2,080千円 (直接経費: 1,600千円、間接経費: 480千円)
2024年度: 4,810千円 (直接経費: 3,700千円、間接経費: 1,110千円)
2023年度: 4,940千円 (直接経費: 3,800千円、間接経費: 1,140千円)
2022年度: 5,460千円 (直接経費: 4,200千円、間接経費: 1,260千円)
キーワード対人コミュニケーション / 音声非言語情報 / 価値共創 / ストレス / 対人サービス / 非接触バイタル計測 / サービス計測
研究開始時の研究の概要

日本の非製造業(=サービス業)の生産性は先進諸外国と比較して低く,付加価値向上が求められる。しかし,サービスの価値は提供者と顧客・ 患者の適応的インタラクションを通して行われる属人的スキルに基づいているため,その価値は主観的な事後アンケートでしか評価ができない 。 本研究の目的は,声色・相槌など会話音声の非言語情報を入力とした共創価値の推測システム実現である。熟練スキルの特徴などを発展させ, これまで研究・準備・開発した環境にてバイタルを参照したサービス計測を行う。これにより接客販売や内科的医療・看護・福祉のみならずリモート環境などの幅広い対人サービスにおける支援・共創価値の向上を図る。

研究実績の概要

2024年度は,研究計画に基づき以下の進捗があった。
課題#A[小売店におけるバイタル付きVCCプロセスの収集]では,価値共創(VCC)プロセス中の参加者の認知状態や協調の度合いを客観的に評価する基盤技術の開発が進展した。具体的には,VR環境や多様な聴覚環境下において,参加者が示す認知の葛藤や信頼の度合いが,近赤外ヘモエンセファログラフィ(NIR-HEG)や皮膚コンダクタンスといった生理指標にどのように反映されるかを明らかにした 。特に,他者との協調作業における信頼性の変化が自律神経活動や脳活動に影響を与えることを定量的に示し,主観評価と客観的な生理計測を組み合わせることでVCCプロセスを多角的に理解できる可能性が示された 。
課題#C[音声の非言語情報から共創価値を推測するモデル]では,非接触で計測可能なマルチモーダル情報(音声,テキスト,生理信号)を用いて,特に医療コミュニケーション場面における患者の感情状態を推定するAIモデルの開発において顕著な成果が得られた。模擬的ながん告知といった高ストレス状況を想定した環境で収録した,ミリ波レーダー等による心拍・呼吸信号などの生体情報と会話情報(声色・テキスト)を,LSTMやCross-Modal Transformerといった深層学習モデルで統合的に分析することにより,医師の判断を上回る精度で患者の感情を分類できることを実証した。
特筆すべき点として,患者の感情の予測において,声色などの音声非言語情報が寄与する割合が大きいことを確認し,研究課題の核心である「対人サービスにおける共創価値は音声非言語情報から測定が可能か?」に対する解答が着実に出揃いつつある。

現在までの達成度
現在までの達成度

2: おおむね順調に進展している

理由

いずれの課題を担当する班も想定通りの進捗である。

今後の研究の推進方策

2024年度の研究実績を踏まえ,会話音声の非言語情報を入力とした共創価値の推測システムの実現という最終目標に向け,研究を以下のように推進する。
課題#A [小売店におけるバイタル付きVCCプロセスの収集]では,確立した生理計測・分析手法を実際の小売店舗や医療現場でのフィールド実験へと展開する。センサーネットワークやウェアラブルデバイスを活用し,自然状況下での多様なデータを長期収集・蓄積する。これらのデータと主観評価,客観的成果指標を統合分析し,VCCプロセスの客観的評価モデルを精緻化する。
課題#B [高ストレス時の音声・詳細バイタル付き価値共創データの収集の診察室]は,課題#Cの非接触感情推定技術を基に本格化する。国立がん研究センターと連携し,実際の診察に近い環境で,がん告知等の高ストレス下における患者・医療従事者の音声と詳細なバイタルデータを計測する。これにより,困難なコミュニケーション場面での共創的インタラクション特性と生理心理的反応を解明し,医療従事者支援や患者ケア向上に資する知見を得る。
課題#C[音声の非言語情報から共創価値を推測するモデル」では,最先端AI技術を活用し音声の非言語的特徴の抽出・分析精度を向上させる。課題#A・#Bで収集する多様なコンテキストのマルチモーダルデータを統合学習させ,頑健で汎用性の高い共創価値推定モデルを構築する。開発モデルは協力先の現場で実証評価し,実用化に向け改良を進める。
以上を通して,研究課題の核心である「対人サービスにおける共創価値は音声非言語情報から測定が可能か?」という問いを明らかにしてゆく。

報告書

(3件)
  • 2024 実施状況報告書
  • 2023 実績報告書
  • 2022 実績報告書
  • 研究成果

    (14件)

すべて 2024 2023 2022

すべて 雑誌論文 (8件) (うち査読あり 5件、 オープンアクセス 1件) 学会発表 (6件) (うち国際学会 6件)

  • [雑誌論文] Cognitive Conflict Classification Depending on Background Auditive Environment Using Support Vector Machine Based on Near-Infrared Hemoencephalography2024

    • 著者名/発表者名
      Yokoyama Kota, Zempo Keiichi, Puentes Sandra
    • 雑誌名

      HCI International 2024 Late Breaking Posters. HCII 2024. Communications in Computer and Information Science

      巻: 2319 ページ: 341-353

    • DOI

      10.1007/978-3-031-78516-0_37

    • ISBN
      9783031785153, 9783031785160
    • 関連する報告書
      2024 実施状況報告書
    • 査読あり
  • [雑誌論文] pSCOUTER: Time-Series Emotion Classification Using Contactless Measured Multimodal Biosignals in Medical Diagnosis2024

    • 著者名/発表者名
      Kawamura Homura, Wang Zhaolong, Harima Kotone, Yamanishi Tatuya, Miura Tomohumi, Maeda Yuka, Okada Yukihiko and Zempo Keiichi
    • 雑誌名

      Companion of the 2024 on ACM International Joint Conference on Pervasive and Ubiquitous Computing (UbiComp '24)

      巻: - ページ: 46-50

    • DOI

      10.1145/3675094.3677582

    • 関連する報告書
      2024 実施状況報告書
    • 査読あり
  • [雑誌論文] Effects of symmetrical avatar arm movements on the sense of ownership of both hands inverted in a mirror2023

    • 著者名/発表者名
      Fujita Toko、Horii Moeki、Torres Mailleux Luis David、Miyagi Masatatsu、Okada Yukihiko、Zempo Keiichi
    • 雑誌名

      Proceeding of the 29th ACM Symposium on Virtual Reality Software and Technology (VRST ’23)

      巻: 2023 ページ: 1-2

    • DOI

      10.1145/3611659.3616892

    • 関連する報告書
      2023 実績報告書
    • 査読あり
  • [雑誌論文] Rapport Building via a Digital Avatar with a “Voice” Entering into a Customer’s Personal Space2023

    • 著者名/発表者名
      Yamazaki Azusa, Wakatsuki Naoto, Mizutani Koichi, Okada Yukihiko, Zempo Keiichi
    • 雑誌名

      Proceedings of the Augmented Humans 2023

      巻: - ページ: 294-297

    • DOI

      10.1145/3582700.3583695

    • 関連する報告書
      2022 実績報告書
  • [雑誌論文] Effect of Salesperson Avatar Automatically Mimicking Customer’s Nodding on the Enjoyment of Conversation in Virtual Environments2023

    • 著者名/発表者名
      Wakabayashi Takumi, Okada Yukihiko, Zempo Keiichi
    • 雑誌名

      Proceedings of the Augmented Humans 2023

      巻: - ページ: 334-337

    • DOI

      10.1145/3582700.3583711

    • 関連する報告書
      2022 実績報告書
  • [雑誌論文] Mouth-in-the-Door: The Effect of a Sound Image of an Avatar Intruding on Personal Space That Deviates in Position From the Visual Image2022

    • 著者名/発表者名
      Zempo Keiichi, Yamazaki Azusa, Wakatsuki Naoto, Mizutani Koichi, Okada Yukihiko
    • 雑誌名

      IEEE Access

      巻: 10 ページ: 125772-125791

    • DOI

      10.1109/access.2022.3222804

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Diffrences in Speech Recognition Thresholds Emmitted From Parametric Speakers Caused by Sound Level Variation and Voice Gender2022

    • 著者名/発表者名
      Kuratomo Noko, Ebihara Tadashi, Wakatsuki Naoto, Mizutani Koichi, Zempo Keiichi
    • 雑誌名

      Proceedings of the 28th International Congress on Sound and Vibration (ICSV28)

      巻: -

    • 関連する報告書
      2022 実績報告書
    • 査読あり
  • [雑誌論文] Impact on the Quality of Interpersonal Relationships by Proximity using the Ventriloquism Effect in a Virtual Environment2022

    • 著者名/発表者名
      Yamazaki Azusa, Wakatsuki Naoto, Mizutani Koichi, Okada Yukihiko, Zempo Keiichi
    • 雑誌名

      Companion Proceedings of the 2022 Conference on Interactive Surfaces and Spaces (ISS '22)

      巻: - ページ: 22-26

    • DOI

      10.1145/3532104.3571460

    • 関連する報告書
      2022 実績報告書
  • [学会発表] Determining Thresholds for Manipulator Activation by the Trapezius Muscle: a Case Study from Non-Antagonistic Muscle Pairs2024

    • 著者名/発表者名
      Zhaolong Wang, Keiichi Zempo and Sandra Puentes
    • 学会等名
      IEEE Engineering in Medicine and Biology Society (EMBC) 2024 (Poster)
    • 関連する報告書
      2024 実施状況報告書
    • 国際学会
  • [学会発表] Evaluation of speaker stress caused by fluctuating transmission delay in online conversations2023

    • 著者名/発表者名
      Homura Kawamura, Yukihiko Okada and Keiichi Zempo
    • 学会等名
      8th International Conference on Serviceology (ICServ2023)
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Rapport Building via a Digital Avatar with a “Voice” Entering into a Customer’s Personal Space2023

    • 著者名/発表者名
      Yamazaki Azusa, Wakatsuki Naoto, Mizutani Koichi, Okada Yukihiko, Zempo Keiichi
    • 学会等名
      Augmented Humans 2023
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Effect of Salesperson Avatar Automatically Mimicking Customer’s Nodding on the Enjoyment of Conversation in Virtual Environments2023

    • 著者名/発表者名
      Wakabayashi Takumi, Okada Yukihiko, Zempo Keiichi
    • 学会等名
      Augmented Humans 2023
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Diffrences in Speech Recognition Thresholds Emmitted From Parametric Speakers Caused by Sound Level Variation and Voice Gender2022

    • 著者名/発表者名
      Kuratomo Noko, Ebihara Tadashi, Wakatsuki Naoto, Mizutani Koichi, Zempo Keiichi
    • 学会等名
      28th International Congress on Sound and Vibration (ICSV28)
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Impact on the Quality of Interpersonal Relationships by Proximity using the Ventriloquism Effect in a Virtual Environment2022

    • 著者名/発表者名
      Yamazaki Azusa, Wakatsuki Naoto, Mizutani Koichi, Okada Yukihiko, Zempo Keiichi
    • 学会等名
      2022 Conference on Interactive Surfaces and Spaces (ISS '22)
    • 関連する報告書
      2022 実績報告書
    • 国際学会

URL: 

公開日: 2022-04-19   更新日: 2025-12-26  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi