2022 Fiscal Year Research-status Report
感情投影を誘発する生物的な動きで遠隔者とのかかわりを実感させるインタフェース
| Project/Area Number |
22K12131
|
|---|
| Research Institution | Okayama Prefectural University |
|---|
Principal Investigator |
伊藤 照明 岡山県立大学, 情報工学部, 教授 (90284306)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | ヒューマンインタフェース / コミュニケーションロボット / かかわり / 身体的引き込み / 運動強調ディスプレイ / ロボットアーム / ジェスチャ |
|---|
| Outline of Annual Research Achievements |
コロナ禍等によるテレワーク拡大によりビデオコミュニケーションシステムの利用が急増している．対面会議との違いから指摘されている問題として，存在感の欠如，場の共有の欠如，遠隔者との“かかわり”を感じないなどが指摘されている．特に“かかわり”はインタフェース研究者にとって重要なテーマとなり，様々なアプローチで研究が行われている．本研究ではこの“かかわり”の問題に着目し，まず，人の動きに反応し，感情投影を誘発する生き物のような動きを生成する深層生成モデルを提案する．そして，このモデルによる動作生成を利用することで，声かけに反応し，感情投影を誘発するようにタブレットの反応動作を生成する空間配置手法を提案する．この２つの提案について，運動強調ディスプレイ型テレプレゼンスロボットを用いて実装し，ロボット動作による感情投影効果の検証を通じて，生成動作と“かかわり”との関連性を明らかにする．
申請者は，上記の提案を具現化するために，タブレット端末に物理的な動きを付与するロボットアームとタブレット端末を統合した遠隔会議システムARM-COMS(ARm-supported eMbodied COmmunication Monitor System)への適応技術とすることを目標とし，令和４年度は本研究のための環境構築を中心として取り組み，感情投影を引き起こす動きを実装するために，本研究では卓上に設置できる協働型アームロボットシステムを導入した．そして基本動作確認と制御方式の検討を中心について取り組んだ．今後は、深層生成モデルの開発に着手し，そのモデルによる制御でディスプレイに生き物のような動きをさせる制御を行い，ディスプレイを介した遠隔者との間に“かかわり”を感じさせるシステム開発に取り組む．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
一般的に，人間同士の対面会話の場合，対面相手の身体動作を繊細に感じ取り，そのフィードバックが相手に返され，結果として身体的引き込み動作として発現することが関連研究によって認められている．本研究では，この身体動作を利用して運動強調ディスプレイを制御することで，遠隔者の存在をより身近に感じられるようにすることを目標としている．ただし，認識された身体動作をそのまま再現するのではなく，人の動きに反応し，感情投影を誘発する生き物のような動きを生成するアプローチで運動強調ディスプレイの制御を行うことに取り組んでいる．
上記を踏まえて，令和４年度は本研究で用いるロボットハードウエアの導入と，制御方式の検討について取り組んだ．まず，感情投影を引き起こす動きを実装するために，本研究では卓上に設置できる協働型アームロボットシステムを導入した．また，このロボットがタブレットを把持するための特殊フォルダーを設計し，組み合わせることでシステムを構成するための仕様検討を行った．ネットワークカメラとの接続により，音声と動画を取得し，AIモジュールを介してロボットを制御するための基本構成を構築するための仕様検討を行った．また，ロボット直付けのカメラはタブレットとユーザとの位置関係を性格に把握するために利用することも検討した．
|
| Strategy for Future Research Activity |
本研究は，対象物が人間に対して生き物のような反応を見せると，人間はそこに感情を投影してしまうという現象に着目している．先行研究では，マルチモーダルな情報を組み合わせて運動強調ディスプレイを制御したが，いくら精度を上げても，生き物のような動きになるわけではない．そこで本研究では，ロボットが多用な環境に対して柔軟な動作を自動生成する技術として，深層ニューラルネットワークを用いた深層生成モデルに着目し，生き物のような動きを自動生成させる．その結果，ディスプレイに生き物のような動きをさせ，それを介した遠隔者との間に間接的なかかわりを感じさせることを目指して今後の研究を推進する．
令和５年度では上記の点を踏まえて研究を進めて行く予定である．まず，令和4年度で導入したアームロボットシステムにおいて，組み込みOS(Windows10 IoT Enterprise)とコントローラ(RC8)で構成されるオープンソースネットワーク(ORiN)対応のシステム構成として構築する．そのため，ロボット外部に設置する制御用PCで生成する制御コマンドを，b-CAPプロトコール通信で制御するための通信モジュールを開発し，後に開発する深層生成モデルで生成される制御コマンドを送信するためのモジュールとする．そして，生き物のような動きをさせるための深層生成モデルの開発に着手し，令和6年度の研究活動でのモデル構築につなげてゆく予定である．
|
