• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

対人サービスにおける共創価値は音声非言語情報から測定が可能か?

研究課題

研究課題/領域番号 23K24948
補助金の研究課題番号 22H03693 (2022-2023)
研究種目

基盤研究(B)

配分区分基金 (2024)
補助金 (2022-2023)
応募区分一般
審査区分 小区分62020:ウェブ情報学およびサービス情報学関連
研究機関筑波大学

研究代表者

善甫 啓一  筑波大学, システム情報系, 准教授 (70725712)

研究分担者 岡田 幸彦  筑波大学, システム情報系, 教授 (80432053)
前田 祐佳  筑波大学, システム情報系, 助教 (20650542)
プエンテス サンドラ  筑波大学, システム情報系, 助教 (00725765)
三浦 智史  国立研究開発法人国立がん研究センター, 東病院, 科長 (20643464)
小杉 和博  国立研究開発法人国立がん研究センター, 東病院, 医員 (30818448)
研究期間 (年度) 2022-04-01 – 2026-03-31
研究課題ステータス 交付 (2024年度)
配分額 *注記
17,290千円 (直接経費: 13,300千円、間接経費: 3,990千円)
2025年度: 2,080千円 (直接経費: 1,600千円、間接経費: 480千円)
2024年度: 4,810千円 (直接経費: 3,700千円、間接経費: 1,110千円)
2023年度: 4,940千円 (直接経費: 3,800千円、間接経費: 1,140千円)
2022年度: 5,460千円 (直接経費: 4,200千円、間接経費: 1,260千円)
キーワード音声非言語情報 / 対人サービス / 価値共創 / 非接触バイタル計測 / 対人コミュニケーション / ストレス / サービス計測
研究開始時の研究の概要

日本の非製造業(=サービス業)の生産性は先進諸外国と比較して低く,付加価値向上が求められる。しかし,サービスの価値は提供者と顧客・ 患者の適応的インタラクションを通して行われる属人的スキルに基づいているため,その価値は主観的な事後アンケートでしか評価ができない 。 本研究の目的は,声色・相槌など会話音声の非言語情報を入力とした共創価値の推測システム実現である。熟練スキルの特徴などを発展させ, これまで研究・準備・開発した環境にてバイタルを参照したサービス計測を行う。これにより接客販売や内科的医療・看護・福祉のみならずリモート環境などの幅広い対人サービスにおける支援・共創価値の向上を図る。

研究実績の概要

現在得られているデータを基にを以下のように研究を進め,また得られた知見に基づく実験の成果発表を行った。
課題#A[小売店におけるバイタル付きVCCプロセスの収集]に関して,サービス提供者の行動特性の探求と解析を行い,信頼感の違いが脳活動に与える影響についての特徴的な予備データを見出した。また,VR空間内に模擬店舗を作成し,多様な対人インタラクションが可能なプラットフォームを実装した。これにより,サービス生産中の血流量に基づく脳活動を計測し,その解析方法を検討する重要な基盤を築いた。
課題#B[高ストレス時の音声・詳細バイタル付き価値共創データの収集]に関して,病院内の倫理審査の承認を進めた。これにより,がん患者に対する診察室での感情やストレス状態を可視化するスマート診察室システムの開発で得られたデータを基に継続的な計測を可能とした。
課題#C[音声の非言語情報から共創価値を推測するモデル]に関して,病院内のがん告知時のマルチモーダルデータに基づく感情推定モデルを作成した。このモデルは,分類される感情の種類においてデータ偏りがあるものの,約85%の確率で感情推定が可能であることを確認した。この成果は,非言語情報からの価値共創の可能性を探るための手がかりであり,モーダル数を減らすことで非言語情報だけの感情推定技術の発展に寄与する。
またこれらの成果に関してそれぞれ国際会議発表の準備を進め,論文投稿を行った。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

いずれの課題を担当する班も想定通りの進捗である。

今後の研究の推進方策

実施する3つのアイディア毎に2024, 25年度の実施計画を下記する。
Idea #A: 小売店におけるバイタル付きVCCプロセスの収集 代表者_善甫と分担者_岡田は,昨年から引き続き熟練サービス提供者の提供するサービスの特徴探索をVR環境なども活用しながら引き続き行う。また,分担者_プエンテスと協力して,VR空間内に作成された模擬店舗における対人・対話サービスシステムを活用し,サービスを受けている際の脳活動を計測し,サービス消費者が提供者に対して感じている信頼感の数値化を試みる。そして,事後アンケート等の主観的評価ではない客観的なサービスに対する評価と音声の非言語情報との関係を明らかにする。 Idea #B: 高ストレス時の音声・詳細バイタル付き価値共創データの収集@診察室 分担者_三浦,分担者_前田は,診察室開発している診療中のがん患者の感情やストレス状態を可視化するスマート診察室システムの各種モジュールを活用して計測した模擬患者に対する診察時のデータの解析を引き続き行う。特にマルチモーダル信号の時系列解析を通して,適切なモーダルの同定を行う。
Idea #C: 音声の非言語情報から共創価値を推測するモデル 代表者_善甫と分担者_前田は,模擬患者に対する診察データのアノテーションを完成させて,そのデータを用いて感情の推定性能の向上を図る。また,音声の非言語情報のみから共創価値が推定可能なモデルの構築を行う。加えて,サービス提供者に対して情報を提示するインターフェースの検討を行う。いずれの代表者・分担者も必要に応じてそれぞれの研究成果をまとめて,国内外の学会や論文誌での発表準備を進める。

報告書

(2件)
  • 2023 実績報告書
  • 2022 実績報告書
  • 研究成果

    (11件)

すべて 2023 2022

すべて 雑誌論文 (6件) (うち査読あり 3件、 オープンアクセス 1件) 学会発表 (5件) (うち国際学会 5件)

  • [雑誌論文] Effects of symmetrical avatar arm movements on the sense of ownership of both hands inverted in a mirror2023

    • 著者名/発表者名
      Fujita Toko、Horii Moeki、Torres Mailleux Luis David、Miyagi Masatatsu、Okada Yukihiko、Zempo Keiichi
    • 雑誌名

      Proceeding of the 29th ACM Symposium on Virtual Reality Software and Technology (VRST ’23)

      巻: 2023 ページ: 1-2

    • DOI

      10.1145/3611659.3616892

    • 関連する報告書
      2023 実績報告書
    • 査読あり
  • [雑誌論文] Rapport Building via a Digital Avatar with a “Voice” Entering into a Customer’s Personal Space2023

    • 著者名/発表者名
      Yamazaki Azusa, Wakatsuki Naoto, Mizutani Koichi, Okada Yukihiko, Zempo Keiichi
    • 雑誌名

      Proceedings of the Augmented Humans 2023

      巻: - ページ: 294-297

    • DOI

      10.1145/3582700.3583695

    • 関連する報告書
      2022 実績報告書
  • [雑誌論文] Effect of Salesperson Avatar Automatically Mimicking Customer’s Nodding on the Enjoyment of Conversation in Virtual Environments2023

    • 著者名/発表者名
      Wakabayashi Takumi, Okada Yukihiko, Zempo Keiichi
    • 雑誌名

      Proceedings of the Augmented Humans 2023

      巻: - ページ: 334-337

    • DOI

      10.1145/3582700.3583711

    • 関連する報告書
      2022 実績報告書
  • [雑誌論文] Mouth-in-the-Door: The Effect of a Sound Image of an Avatar Intruding on Personal Space That Deviates in Position From the Visual Image2022

    • 著者名/発表者名
      Zempo Keiichi, Yamazaki Azusa, Wakatsuki Naoto, Mizutani Koichi, Okada Yukihiko
    • 雑誌名

      IEEE Access

      巻: 10 ページ: 125772-125791

    • DOI

      10.1109/access.2022.3222804

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Diffrences in Speech Recognition Thresholds Emmitted From Parametric Speakers Caused by Sound Level Variation and Voice Gender2022

    • 著者名/発表者名
      Kuratomo Noko, Ebihara Tadashi, Wakatsuki Naoto, Mizutani Koichi, Zempo Keiichi
    • 雑誌名

      Proceedings of the 28th International Congress on Sound and Vibration (ICSV28)

      巻: -

    • 関連する報告書
      2022 実績報告書
    • 査読あり
  • [雑誌論文] Impact on the Quality of Interpersonal Relationships by Proximity using the Ventriloquism Effect in a Virtual Environment2022

    • 著者名/発表者名
      Yamazaki Azusa, Wakatsuki Naoto, Mizutani Koichi, Okada Yukihiko, Zempo Keiichi
    • 雑誌名

      Companion Proceedings of the 2022 Conference on Interactive Surfaces and Spaces (ISS '22)

      巻: - ページ: 22-26

    • DOI

      10.1145/3532104.3571460

    • 関連する報告書
      2022 実績報告書
  • [学会発表] Evaluation of speaker stress caused by fluctuating transmission delay in online conversations2023

    • 著者名/発表者名
      Homura Kawamura, Yukihiko Okada and Keiichi Zempo
    • 学会等名
      8th International Conference on Serviceology (ICServ2023)
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Rapport Building via a Digital Avatar with a “Voice” Entering into a Customer’s Personal Space2023

    • 著者名/発表者名
      Yamazaki Azusa, Wakatsuki Naoto, Mizutani Koichi, Okada Yukihiko, Zempo Keiichi
    • 学会等名
      Augmented Humans 2023
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Effect of Salesperson Avatar Automatically Mimicking Customer’s Nodding on the Enjoyment of Conversation in Virtual Environments2023

    • 著者名/発表者名
      Wakabayashi Takumi, Okada Yukihiko, Zempo Keiichi
    • 学会等名
      Augmented Humans 2023
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Diffrences in Speech Recognition Thresholds Emmitted From Parametric Speakers Caused by Sound Level Variation and Voice Gender2022

    • 著者名/発表者名
      Kuratomo Noko, Ebihara Tadashi, Wakatsuki Naoto, Mizutani Koichi, Zempo Keiichi
    • 学会等名
      28th International Congress on Sound and Vibration (ICSV28)
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Impact on the Quality of Interpersonal Relationships by Proximity using the Ventriloquism Effect in a Virtual Environment2022

    • 著者名/発表者名
      Yamazaki Azusa, Wakatsuki Naoto, Mizutani Koichi, Okada Yukihiko, Zempo Keiichi
    • 学会等名
      2022 Conference on Interactive Surfaces and Spaces (ISS '22)
    • 関連する報告書
      2022 実績報告書
    • 国際学会

URL: 

公開日: 2022-04-19   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi