2022 Fiscal Year Research-status Report
非言語情報の関連性に基づき対話の雰囲気と存在感を伝える遠隔コミュニケーション支援
| Project/Area Number |
22K12110
|
|---|
| Research Institution | Wakayama University |
|---|
Principal Investigator |
伊藤 淳子 和歌山大学, システム工学部, 助教 (30403364)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | コミュニケーション支援 / 遠隔コミュニケーション / 非言語情報 / 発言支援 / 対話 / 視覚化 |
|---|
| Outline of Annual Research Achievements |
本研究は，人にやさしいインタフェースを備えた「さりげなく」かつ「発言につながる」よう支援する遠隔コミュニケーションシステムの開発を目指す．支援の場として，遠隔環境における2～4名程度の学生による討論および日常会話に着目する．カメラ映像を直接伝達するのではなく，カメラ，マイクなどのセンサから得られたユーザらの状況を間接的に視覚化し，さりげなく発話機会を提供するシステムの開発を目指す．
アイスブレイクを伴う，学生らによる遠隔グループワークを複数回実施し，声量や心拍数の取得，取得データをもとに判断したユーザの状況を画面に表示するシステムを実装して，運用実験を行った．その結果，以下の成果を得た．
１．グループワークの最中だけの支援ではなく，遠隔アイスブレイクの実施により対話への緊張感が緩和され，グループワーク開始まで発言しやすい環境を構築することができた．ただし，対面時と同等の，自己紹介などの自己開示を主とした内容では効果が薄いことも明らかになった．カメラ映像が伝達されない分，発言や共有画面への入力を伴う簡単な共同作業を行わせ，参加者らが能動的に対話状況を把握できる方法が，その後の討論での発言のしやすさや満足感につながることがわかった．
２．参加者全員の発言時の声量や発言時間を風船状のアバターにより視覚化し，特定の参加者のみが発言を続けている状況を把握できるシステムを実装し，検証実験を実施した．このシステムは，参加者全員が均等に発言できる環境を構築することを狙っている．実験の結果，消極的参加者の発言時間を増加させ，参加者全体の発言時間を均等に近づけることができた．この成果から，音量や発言時間の計測，およびその可視化は，討論への参加を促す効果があることが明らかになった．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2022年度で取り組む内容は，取得情報の種類や，提示情報・インタフェースの検討，実験システムの構築であった．これに対し，遠隔グループワーク中のデータを収集，可視化し，その内容を調査分析することによって，発言のしやすさにつながる要素の一部を検証した．また，社交性の高低による発言の様子の違いについても分析した．心拍や頷きなどのデータも取得したが，その適切な表現方法についてはまだ検討の余地がある．
１．参加者の討論を妨げない範囲で能動的に入力できる仕組みを検証した．マウスなどによる操作やウィンドウの切り替えは討論時の発言を抑制する可能性がある．そのため，指や腕の振りなどによる何気ない小さなアクションによる意図の伝達が可能であるかを調査した．スマートウォッチを利用した検証の結果，装着中の腕の振りにより，物を持ち替えることなく，他の動作と区別可能な状態で入力動作を取得できることが確かめられた．
２．スマートウォッチにより心拍を取得し，緊張している，リラックスしているなどの状況を推定することができた．一方で，心拍には個人差が強く影響するため，参加者全員のデータを統一的に扱うには個人差の影響を受けないような分析方法を検討する必要がある．
３．社交性の高い参加者の発言時間は長く，低い参加者の発言時間は短くなる傾向がある．全体的な発言量を落とさずに，すなわち社交性の高い参加者の発言を強く抑制せずに社交性の低い参加者の発言量を増やす必要がある．これに対し，グループワーク中の発言量に関する気づきを与えたところ，参加者全員が発言量を直感的に把握できる手法が最も効果があることが確かめられた．
これらの成果の一部は2022年度中に複数の国内会議に投稿し，発表を行っている．また，国内の論文誌にも投稿し，実験条件や非言語情報の組み合わせに関する建設的な意見が得られた．以上から，本課題はおおむね順調に進展している．
|
| Strategy for Future Research Activity |
2022年度は，遠隔グループワーク中のデータを収集，可視化し，その内容を調査分析することによって，発言のしやすさにつながる要素の一部を検証した．2023年度では，声量以外の声や音に関する情報，心拍，感情などを用いたシステムの構築に取り組む．
上記の各データは取得できているものの，個別に取得，運用されている状況であり，データ間の連携や実際の対話場面での適用ができていないものも含まれる．対話中に画面に表示するアバターに関して，呼吸に関する動きを付与して効果を検証したところ，呼吸動作のみを付与した場合と，視線方向に関する情報もあわせて付与した場合とで，その効果に違いが生じた．このように，複数の非言語情報を組み合わせた場合に単独で得られていた効果が失われる，あるいは他の効果を生じさせる可能性がある．このため，2022年度で得られた声量，発言量，腕の振り，心拍などの情報の統合方法や表現方法について，さらなるデータ取得と分析，考察が必要である．
また，取得できていないデータとして，感情，視線などがある．これらのデータを得る方法や提示する方法についても議論する．その結果を遠隔グループワーク支援システム内で参加者らが共有・視認可能な情報として提示する．このシステムのインタフェースや表現方法の妥当性の検証，見直しを2023年度では行う．
最終的には，社交性が低い参加者であっても，システムがなくとも討論に参加して発言が可能になることを目指している．そのため，使用中の効果だけに着目するのではなく，発言のタイミングや意思表示など，何に注意しなければならないかをシステムからのフィードバックによって気づかせる仕組みを実装しなければならない．最終年度に向け，この学習方法についても検討を始める．
|
Research Products
(3 results)
