2023 Fiscal Year Research-status Report
非言語情報の関連性に基づき対話の雰囲気と存在感を伝える遠隔コミュニケーション支援
| Project/Area Number |
22K12110
|
|---|
| Research Institution | Wakayama University |
|---|
Principal Investigator |
伊藤 淳子 和歌山大学, システム工学部, 助教 (30403364)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | コミュニケーション支援 / 遠隔コミュニケーション / 非言語情報 / 発言支援 / 対話 / 視覚化 / 表情 |
|---|
| Outline of Annual Research Achievements |
本研究では，人にやさしいインタフェースを備えた「さりげなく」かつ「発言につながる」よう支援する遠隔コミュニケーションシステムの開発を目指す．支援の場は，遠隔環境における2～4名程度の学生による討論および日常会話である．カメラ映像を直接伝達するのではなく，カメラ，マイクなどのセンサから得たユーザらの状況を間接的に視覚化し，さりげなく話しやすさや発話機会を提供するシステムの開発を目指す．前年度に引き続き遠隔グループワークや遠隔対話を複数回実施し，声量や顔表情，心拍数などから推定したユーザ，とりわけ聞き手の状況を画面に表示するシステムを実装して，運用実験を行った．その結果，以下の成果を得た．
１．遠隔アイスブレイクの実施が対話の緊張感を緩和する効果は引き続き確認された．また，自己開示と他者認知を促進させる仕組みを取り入れた結果，消極的参加者の発言量の増加そのものは確認できなかったが，相槌の増加など，対話への参加意識を高める効果が確認された．
２．発言時の聞き手の状況伝達のため，発話内容を自動的に文字起こしして聞き手の表情に応じて表示を変えるシステムを実装し，検証実験を行った．話し手は発言中だけでなく発言後にも表示を見て聞き手の表情を確認できる．実験の結果，話しやすさは改善せず，カメラの非表示により失われる頷きや口元の動作，表情の機微などの非言語情報を補うには，表情のほかにも情報が必要であることがわかった．
３．対話相手の心拍数をもとに，ポアンカレプロットを用いて緊張の度合いなどの内面状態を可視化した結果，対話が苦手な対話者ほど，システムの利用により対話中の心理的負荷が小さくなる傾向が確認された．また，対話者の心拍数の平均値を基準とした音楽をBGMとして共有することにより，会話の阻害につながる発話衝突の回数が減少し，間の取りづらさを改善する効果があることが示唆された．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2023年度で取り組む内容は，前年度までに調査した，遠隔会話で得られる情報の種類や伝えるべき情報の特徴をもとに，対話支援のためのプロトタイプシステムを構築すること，および実験と評価を通じて提示情報やインタフェースの妥当性を検証することである．センサを通じてユーザから得る情報は，映像，特に顔表情，音声，心拍数である．この検証のため，複数のシステムを構築し，2名～4名の対話データを取得して，発話の内容や発話衝突，沈黙時間，社会的スキルの高低による効果の違いを分析した．
１．前年度に引き続き，参加者の討論を妨げない範囲でデータを取得する仕組みを取り入れた．使用したセンサは，ウェブカメラ，マイク，心拍を測定可能なスマートウォッチである．これらは安価で，装着や使用にも特別な技術が必要ではない．実験においても対話の妨げにはならないことが確認された．
２．情報提示において，社会的スキルが高いほど心拍情報を数値のまま相手に伝えても心理的負荷が小さい傾向が見られた．一方，抵抗感を覚えるユーザも多く，社会的スキルが高くないユーザに対して，心拍情報をイラストに加工して共有するメリットが認められた．スマートウォッチの振動機能や画面表示機能の利用も検討したところ，対話中に通知を行っても発言の妨げにはなりづらい様子が観察された．
３．カメラ映像から得られる情報として顔表情を利用したが，対話終了後の対話状況の振り返りには役立ったものの対話中の発言支援には結びつかなかった．心拍情報を入力とした内面状態の可視化とBGM共有という，複数の媒体の組み合わせによる情報提示については，社会的スキルの高低により効果が分かれることがわかった．
これらの成果の一部は2023年度中に複数の国内会議に投稿し，発表を行っている．
以上から，本課題はおおむね順調に進展している．
|
| Strategy for Future Research Activity |
2023年度までは，遠隔対話中にセンサから取得できるデータを収集し，対話相手の状況の可視化手法と情報提示による話しやすさへの影響について，個々の状況に応じて検証した．2024年度は最終年度であり，個別に収集，検証した手法を統合してシステムの適用実験に取り組む．
複数のデータの取得方法や可視化手法において，利用者からは対話の妨げにはならないという意見が得られている．また，心拍情報から得られる内面状態の可視化と音声に関しては連携できている．一方，複数の情報を一つの画面に統合して表示させる際の，直感的にわかりやすく見落としづらい提示方法についてはまだ議論できていない．2024年度はこの点についてまず検証が必要である．
各手法の個別の検証の結果，特に社会的スキルの高くない利用者ほど発言時の心理的負荷の軽減や対話への参加姿勢が積極的になる傾向が確認された．本研究では，グループワークや対話の中で，特に発言しづらいと感じるユーザを対象としている．したがって，今年度も同様の方針で対話の支援手法を実装していく予定である．
使用デバイスは，データ取得・提示において有用であると判断できれば，さらに増やしていくことも検討している．スマートウォッチの振動や画面表示，骨伝導イヤフォンによる対話音声とは異なる方法による音情報の伝達，モーションセンサによる指の動作認識がその一例である．カメラから得られる情報については，顔表情だけではなく頷き，視線方向の利用も検証対象である．
最終的には，構築したシステムを使用した対話実験を複数回行い，社会的スキルの高くない利用者の発言数や発言時間の増加，全体の沈黙時間の減少，発話衝突回数の減少，心理的負荷の低減，相手の心理状態の推測可能性向上およびそれによる話しやすさの向上について検証する．これらは対話の様子の録画データや心理アンケート調査によりデータを収集し分析する予定である．
|
Research Products
(4 results)
