Enhancing User Experience with Partner Robot

Research Project

Project/Area Number	23K13286
Research Category	Grant-in-Aid for Early-Career Scientists
Allocation Type	Multi-year Fund
Review Section	Basic Section 20020:Robotics and intelligent system-related
Research Institution	Saitama University
Principal Investigator	鈴木亮太埼玉大学, 理工学研究科, 助教 (40965985)
Project Period (FY)	2023-04-01 – 2028-03-31
Project Status	Granted (Fiscal Year 2023)
Budget Amount *help	¥4,810,000 (Direct Cost: ¥3,700,000、Indirect Cost: ¥1,110,000) Fiscal Year 2027: ¥260,000 (Direct Cost: ¥200,000、Indirect Cost: ¥60,000) Fiscal Year 2026: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000) Fiscal Year 2025: ¥390,000 (Direct Cost: ¥300,000、Indirect Cost: ¥90,000) Fiscal Year 2024: ¥260,000 (Direct Cost: ¥200,000、Indirect Cost: ¥60,000) Fiscal Year 2023: ¥3,250,000 (Direct Cost: ¥2,500,000、Indirect Cost: ¥750,000)
Keywords	ヒューマン・ロボット・インタラクション / AR・VR / VR / ヒューマン・コミュニケーション
Outline of Research at the Start	本研究は、長期間、様々な場所でユーザと活動を共にするパートナーロボットが遠隔地のユーザの代理となったり、ユーザとの過去の経験の語り手となったりすることで、ユーザの体験を時間的空間的に増強するものである。具体的な場面として、高齢者が自宅からテレビ電話を介して買い物に参加する遠隔買い物を取り上げる。パートナーロボットとの過去の協働体験の記録をVR空間へ引き継ぎ、ユーザに提示することで、仮想世界と現実世界の接続性を認知的に高めることで，ユーザの過去体験の振り返りを大幅に増強する。
Outline of Annual Research Achievements	実績概要ロボットとAR・VRを援用した体験の時間的空間的な増強を目指し、下記3項目の小研究課題に取り組み、それぞれ実績を挙げた。 ①本研究の基礎である人・ロボット間のコミュニケーションの増強について、大規模言語モデルを用いた言語的なコミュニケーションと連携した、ロボットのジェスチャによる感情表現による非言語的なコミュニケーションを行うパートナーロボットの開発を行った。実験室環境でのユーザ評価実験により、より動きの自由度の低いロボットでもユーザが読み取れる感情表現が可能であり、そのような感情表現が会話の楽しさを向上しうるという結果を得た。本研究成果について、国際会議ICIC2024に採択され、2024年8月に発表予定である。 ②VR空間と現実空間で同一の見た目を持つデジタルツインロボットがパートナーとして友人のようにユーザと会話しながらVR観光および現実での振り返りを協働で行うシステムを開発した。実験室環境でのユーザ評価実験により、これまでの研究ではVR体験の現実での定着について検討があまりされていなかったところ、親しい関係性を築いたロボットとの協働体験がVR体験の現実世界での定着度を向上しうるという結果を得た。本研究成果について国際会議に投稿予定である。 ③現実での過去体験を現在の体験にARとパートナーロボットを用いて重畳し、体験を照らし合わせることにより両時間の体験を協調的に強化するシステムの開発を行った。予備的な実験室環境でのユーザ評価実験を行った結果、ARにより過去に見た絵画を現実の絵画の横に表示し、また過去にパートナーロボットと会話した内容と関連させてロボットが会話することで、過去の体験思い出せ、また今見ている絵画もより豊かな分析を行いやすくなるという意見が得られた。本研究成果について国内会議インタラクション2024にて発表を行った。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 初年度の目標としていた、研究全体の施行に必要である基礎システムの開発を行うことができた。更に、基礎的検討を行い、その結果について学会や論文誌への論文投稿を行い、採択されるに至っている。
Strategy for Future Research Activity	当初の予定通り、開発された基礎システムをもとに、ユーザ体験の時間的空間的な拡張にむけたシステムの改良を行っていく。具体的には、ロボットの感情表現の強化や移動能力の増強を行い、高齢者介護施設のような現場環境でも動作可能である遠隔コミュニケーションロボットの開発を進めていく。また、移動において用いられる地理情報をVR・ARと連携し、コミュニケーションに活用していく枠組みの開発を行っていく。そして、適宜ユーザ実験を交えながら効果検証を行っていき、その中間結果を学会や論文誌への論文投稿を行っていく。