| Project/Area Number |
23K24948
|
|---|
| Project/Area Number (Other) |
22H03693 (2022-2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2022-2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 62020:Web informatics and service informatics-related
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
善甫 啓一 筑波大学, システム情報系, 准教授 (70725712)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
岡田 幸彦 筑波大学, システム情報系, 教授 (80432053)
前田 祐佳 筑波大学, システム情報系, 助教 (20650542)
プエンテス サンドラ 筑波大学, システム情報系, 助教 (00725765)
三浦 智史 国立研究開発法人国立がん研究センター, 東病院, 科長 (20643464)
小杉 和博 国立研究開発法人国立がん研究センター, 東病院, 医員 (30818448)
|
|---|
| Project Period (FY) |
2024-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥17,290,000 (Direct Cost: ¥13,300,000、Indirect Cost: ¥3,990,000)
Fiscal Year 2025: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
Fiscal Year 2024: ¥4,810,000 (Direct Cost: ¥3,700,000、Indirect Cost: ¥1,110,000)
Fiscal Year 2023: ¥4,940,000 (Direct Cost: ¥3,800,000、Indirect Cost: ¥1,140,000)
Fiscal Year 2022: ¥5,460,000 (Direct Cost: ¥4,200,000、Indirect Cost: ¥1,260,000)
|
|---|
| Keywords | 対人コミュニケーション / 音声非言語情報 / 価値共創 / ストレス / 対人サービス / 非接触バイタル計測 / サービス計測 |
|---|
| Outline of Research at the Start |
日本の非製造業(=サービス業)の生産性は先進諸外国と比較して低く，付加価値向上が求められる。しかし，サービスの価値は提供者と顧客・ 患者の適応的インタラクションを通して行われる属人的スキルに基づいているため，その価値は主観的な事後アンケートでしか評価ができない 。 本研究の目的は，声色・相槌など会話音声の非言語情報を入力とした共創価値の推測システム実現である。熟練スキルの特徴などを発展させ， これまで研究・準備・開発した環境にてバイタルを参照したサービス計測を行う。これにより接客販売や内科的医療・看護・福祉のみならずリモート環境などの幅広い対人サービスにおける支援・共創価値の向上を図る。
|
| Outline of Annual Research Achievements |
2024年度は，研究計画に基づき以下の進捗があった。
課題#A[小売店におけるバイタル付きVCCプロセスの収集]では，価値共創（VCC）プロセス中の参加者の認知状態や協調の度合いを客観的に評価する基盤技術の開発が進展した。具体的には，VR環境や多様な聴覚環境下において，参加者が示す認知の葛藤や信頼の度合いが，近赤外ヘモエンセファログラフィ（NIR-HEG）や皮膚コンダクタンスといった生理指標にどのように反映されるかを明らかにした 。特に，他者との協調作業における信頼性の変化が自律神経活動や脳活動に影響を与えることを定量的に示し，主観評価と客観的な生理計測を組み合わせることでVCCプロセスを多角的に理解できる可能性が示された 。
課題#C[音声の非言語情報から共創価値を推測するモデル]では，非接触で計測可能なマルチモーダル情報（音声，テキスト，生理信号）を用いて，特に医療コミュニケーション場面における患者の感情状態を推定するAIモデルの開発において顕著な成果が得られた。模擬的ながん告知といった高ストレス状況を想定した環境で収録した，ミリ波レーダー等による心拍・呼吸信号などの生体情報と会話情報（声色・テキスト）を，LSTMやCross-Modal Transformerといった深層学習モデルで統合的に分析することにより，医師の判断を上回る精度で患者の感情を分類できることを実証した。
特筆すべき点として，患者の感情の予測において，声色などの音声非言語情報が寄与する割合が大きいことを確認し，研究課題の核心である「対人サービスにおける共創価値は音声非言語情報から測定が可能か？」に対する解答が着実に出揃いつつある。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
いずれの課題を担当する班も想定通りの進捗である。
|
| Strategy for Future Research Activity |
2024年度の研究実績を踏まえ，会話音声の非言語情報を入力とした共創価値の推測システムの実現という最終目標に向け，研究を以下のように推進する。
課題#A [小売店におけるバイタル付きVCCプロセスの収集]では，確立した生理計測・分析手法を実際の小売店舗や医療現場でのフィールド実験へと展開する。センサーネットワークやウェアラブルデバイスを活用し，自然状況下での多様なデータを長期収集・蓄積する。これらのデータと主観評価，客観的成果指標を統合分析し，VCCプロセスの客観的評価モデルを精緻化する。
課題#B [高ストレス時の音声・詳細バイタル付き価値共創データの収集の診察室]は，課題#Cの非接触感情推定技術を基に本格化する。国立がん研究センターと連携し，実際の診察に近い環境で，がん告知等の高ストレス下における患者・医療従事者の音声と詳細なバイタルデータを計測する。これにより，困難なコミュニケーション場面での共創的インタラクション特性と生理心理的反応を解明し，医療従事者支援や患者ケア向上に資する知見を得る。
課題#C[音声の非言語情報から共創価値を推測するモデル」では，最先端AI技術を活用し音声の非言語的特徴の抽出・分析精度を向上させる。課題#A・#Bで収集する多様なコンテキストのマルチモーダルデータを統合学習させ，頑健で汎用性の高い共創価値推定モデルを構築する。開発モデルは協力先の現場で実証評価し，実用化に向け改良を進める。
以上を通して，研究課題の核心である「対人サービスにおける共創価値は音声非言語情報から測定が可能か？」という問いを明らかにしてゆく。
|
