| Project/Area Number |
22K12131
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61020:Human interface and interaction-related
|
|---|
| Research Institution | Okayama Prefectural University |
|---|
Principal Investigator |
伊藤 照明 岡山県立大学, 情報工学部, 教授 (90284306)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2024: ¥390,000 (Direct Cost: ¥300,000、Indirect Cost: ¥90,000)
Fiscal Year 2023: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2022: ¥2,730,000 (Direct Cost: ¥2,100,000、Indirect Cost: ¥630,000)
|
|---|
| Keywords | ヒューマンインタフェース / コミュニケーションロボット / かかわり / 身体的引き込み / 運動強調ディスプレイ / ロボットアーム / ジェスチャ / 運動協調ディスプレイ |
|---|
| Outline of Research at the Start |
本研究は、人の動きに反応して感情投影を誘発する生き物のような動きを生成する深層生成モデルにより運動協調ディスプレイを制御し、身体的引き込み動作を通じて遠隔者とのかかわりを感じさせるコミュニケーション支援システムに関する研究である。先行研究での成果を踏まえて運動協調ディスプレイで利用するための深層生成モデルを提案し、声かけに反応して感情投影を誘発するようにタブレットの反応動作を生成する空間配置手法を提案する。
|
| Outline of Annual Research Achievements |
コロナ禍等によるテレワーク拡大により利用が急増したビデオコミュニケーションシステムでは，対面会議との違いに起因する問題として，存在感の欠如，場の共有の欠如，遠隔者との“かかわり”を感じないなどが指摘されている．特に“かかわり”はインタフェース研究者にとって重要なテーマとなり，様々なアプローチで研究が行われている．本研究ではこの“かかわり”の問題に着目し，まず，人の動きに反応し，感情投影を誘発する生き物のような動きを生成する深層生成モデルを提案する．そして，このモデルによる動作生成を利用することで，声かけに反応し，感情投影を誘発するようにタブレットの反応動作を生成する空間配置手法を提案する．この２つの提案について，運動強調ディスプレイ型テレプレゼンスロボットを用いて実装し，ロボット動作による感情投影効果の検証を通じて，生成動作と“かかわり”との関連性を明らかにする．
申請者は，上記の２つ提案を具現化するために，タブレット端末に物理的な動きを付与するロボットアームとタブレット端末を統合した遠隔会議システムARM-COMS(ARm-supported eMbodied COmmunication Monitor System)への適応技術開発を目標とし，令和４年度は卓上に設置できる協働型アームロボットシステムを導入した．そして令和5年度では基本動作確認と制御方式の検討を中心について取り組み，本研究で目標とする感情投影を引き起こす動きを実装するために，制御方式の検討を中心に取り組んだ．今後は，深層生成モデルの開発に着手し，そのモデルによる制御でディスプレイに生き物のような動きをさせる制御を行い，ディスプレイを介した遠隔者との間に“かかわり”を感じさせるシステム開発に取り組む予定である．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
関連研究により，人間同士の対面会話では相手の身体動作を繊細に感じ取り，そのフィードバックが相手に返され，結果として身体的引き込み動作として現れることが示されている．本研究では，この身体動作を利用して運動強調ディスプレイを制御し，遠隔者の存在をより身近に感じられるようにすることを目指している．ただし，認識された身体動作をそのまま再現するのではなく，人の動きに反応し，感情を喚起する生物のような動きを生成するアプローチで運動強調ディスプレイを制御することを目標として研究に取り組んでいる．
令和4年度で導入したアームロボットシステムにおいて，タブレット端末に物理的な動きを付与するロボットアームとタブレット端末を統合した遠隔会議システムARM-COMS(ARm-supported eMbodied COmmunication Monitor System)の基礎環境を構築することができた．令和5年度では，組み込みOS(Windows10 IoT Enterprise)とコントローラ(RC8)で構成されるオープンソースネットワーク(ORiN)対応のシステム構成として構築することを検討したが，拡張性を考えたときにORiNではなく，ROS2とb-CAPプロトコール通信で制御する方式が妥当であるとの結論となった．こうした検討により，人の動きに反応し，感情投影を誘発する生き物のような動きを生成する深層生成モデルの提案と，このモデルによる動作生成を利用することで，声かけに反応し，感情投影を誘発するようにタブレットの反応動作を生成する空間配置手法を提案に向けた基礎的な取り組みを行うことができた．
|
| Strategy for Future Research Activity |
本研究は，対象物が人間に対して生き物のようは反応を見せると，人間はそこに感情を投影してしまうという現象に着目している．先行研究では，マルチモーダルな情報を組み合わせて運動強調ディスプレイを制御したが，いくら精度を上げても，生き物のような動きになるわけではない．そこで本研究では，ロボットが多用な環境に対して柔軟な動作を自動生成する技術として，深層ニューラルネットワークを用いた深層生成モデルに着目し，生き物のような動きを自動生成させる．その結果，ディスプレイに生き物のような動きをさせ，それを介した遠隔者との間に間接的なかかわりを感じさせることを目指して今後の研究を推進する．
令和４年度は，タブレット端末に物理的な動きを付与するロボットアームとタブレット端末を統合した遠隔会議システムARM-COMS(ARm-supported eMbodied COmmunication Monitor System)への適応技術開発を目標とし，卓上に設置できる協働型アームロボットシステムを導入した．令和5年度は，組み込みOS(Windows10 IoT Enterprise)とコントローラ(RC8)で構成されるオープンソースネットワーク(ORiN)対応のシステム構成として構築することを検討した．令和6年度は，ROS2とb-CAPプロトコール通信で制御する方式を採用することとし，ROS2から制御コマンドでロボットを制御するための通信モジュールの開発に取り組む予定である．そして，人の動きに反応し，感情投影を誘発する生き物のような動きを生成する深層生成モデルの提案と，このモデルによる動作生成を利用することで，声かけに反応し，感情投影を誘発するようにタブレットの反応動作を生成する空間配置手法を提案することに取り組み予定である．
|
