2023 Fiscal Year Annual Research Report
Can co-creation value in interpersonal services be measured from spoken nonverbal information?
| Project/Area Number |
22H03693
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
善甫 啓一 筑波大学, システム情報系, 准教授 (70725712)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
岡田 幸彦 筑波大学, システム情報系, 教授 (80432053)
前田 祐佳 筑波大学, システム情報系, 助教 (20650542)
プエンテス サンドラ 筑波大学, システム情報系, 助教 (00725765)
三浦 智史 国立研究開発法人国立がん研究センター, 東病院, 科長 (20643464)
小杉 和博 国立研究開発法人国立がん研究センター, 東病院, 医員 (30818448)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Keywords | 対人コミュニケーション / 音声非言語情報 / 価値共創 / ストレス |
|---|
| Outline of Annual Research Achievements |
現在得られているデータを基にを以下のように研究を進め，また得られた知見に基づく実験の成果発表を行った。
課題#A[小売店におけるバイタル付きVCCプロセスの収集]に関して，サービス提供者の行動特性の探求と解析を行い，信頼感の違いが脳活動に与える影響についての特徴的な予備データを見出した。また，VR空間内に模擬店舗を作成し，多様な対人インタラクションが可能なプラットフォームを実装した。これにより，サービス生産中の血流量に基づく脳活動を計測し，その解析方法を検討する重要な基盤を築いた。
課題#B[高ストレス時の音声・詳細バイタル付き価値共創データの収集]に関して，病院内の倫理審査の承認を進めた。これにより，がん患者に対する診察室での感情やストレス状態を可視化するスマート診察室システムの開発で得られたデータを基に継続的な計測を可能とした。
課題#C[音声の非言語情報から共創価値を推測するモデル]に関して，病院内のがん告知時のマルチモーダルデータに基づく感情推定モデルを作成した。このモデルは，分類される感情の種類においてデータ偏りがあるものの，約85%の確率で感情推定が可能であることを確認した。この成果は，非言語情報からの価値共創の可能性を探るための手がかりであり，モーダル数を減らすことで非言語情報だけの感情推定技術の発展に寄与する。
またこれらの成果に関してそれぞれ国際会議発表の準備を進め，論文投稿を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
いずれの課題を担当する班も想定通りの進捗である。
|
| Strategy for Future Research Activity |
実施する3つのアイディア毎に2024, 25年度の実施計画を下記する。
Idea #A: 小売店におけるバイタル付きVCCプロセスの収集 代表者_善甫と分担者_岡田は，昨年から引き続き熟練サービス提供者の提供するサービスの特徴探索をVR環境なども活用しながら引き続き行う。また，分担者_プエンテスと協力して，VR空間内に作成された模擬店舗における対人・対話サービスシステムを活用し，サービスを受けている際の脳活動を計測し，サービス消費者が提供者に対して感じている信頼感の数値化を試みる。そして，事後アンケート等の主観的評価ではない客観的なサービスに対する評価と音声の非言語情報との関係を明らかにする。 Idea #B: 高ストレス時の音声・詳細バイタル付き価値共創データの収集@診察室 分担者_三浦，分担者_前田は，診察室開発している診療中のがん患者の感情やストレス状態を可視化するスマート診察室システムの各種モジュールを活用して計測した模擬患者に対する診察時のデータの解析を引き続き行う。特にマルチモーダル信号の時系列解析を通して，適切なモーダルの同定を行う。
Idea #C: 音声の非言語情報から共創価値を推測するモデル 代表者_善甫と分担者_前田は，模擬患者に対する診察データのアノテーションを完成させて，そのデータを用いて感情の推定性能の向上を図る。また，音声の非言語情報のみから共創価値が推定可能なモデルの構築を行う。加えて，サービス提供者に対して情報を提示するインターフェースの検討を行う。いずれの代表者・分担者も必要に応じてそれぞれの研究成果をまとめて，国内外の学会や論文誌での発表準備を進める。
|
