| 研究課題/領域番号 |
22K12131
|
|---|
| 研究種目 |
基盤研究(C)
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分61020:ヒューマンインタフェースおよびインタラクション関連
|
|---|
| 研究機関 | 岡山県立大学 |
|---|
研究代表者 |
伊藤 照明 岡山県立大学, 情報工学部, 教授 (90284306)
|
|---|
| 研究期間 (年度) |
2022-04-01 – 2025-03-31
|
| 研究課題ステータス |
交付 (2022年度)
|
| 配分額 *注記 |
4,160千円 (直接経費: 3,200千円、間接経費: 960千円)
2024年度: 390千円 (直接経費: 300千円、間接経費: 90千円)
2023年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
2022年度: 2,730千円 (直接経費: 2,100千円、間接経費: 630千円)
|
|---|
| キーワード | ヒューマンインタフェース / コミュニケーションロボット / かかわり / 身体的引き込み / 運動強調ディスプレイ / ロボットアーム / ジェスチャ / 運動協調ディスプレイ |
|---|
| 研究開始時の研究の概要 |
本研究は、人の動きに反応して感情投影を誘発する生き物のような動きを生成する深層生成モデルにより運動協調ディスプレイを制御し、身体的引き込み動作を通じて遠隔者とのかかわりを感じさせるコミュニケーション支援システムに関する研究である。先行研究での成果を踏まえて運動協調ディスプレイで利用するための深層生成モデルを提案し、声かけに反応して感情投影を誘発するようにタブレットの反応動作を生成する空間配置手法を提案する。
|
| 研究実績の概要 |
コロナ禍等によるテレワーク拡大によりビデオコミュニケーションシステムの利用が急増している．対面会議との違いから指摘されている問題として，存在感の欠如，場の共有の欠如，遠隔者との“かかわり”を感じないなどが指摘されている．特に“かかわり”はインタフェース研究者にとって重要なテーマとなり，様々なアプローチで研究が行われている．本研究ではこの“かかわり”の問題に着目し，まず，人の動きに反応し，感情投影を誘発する生き物のような動きを生成する深層生成モデルを提案する．そして，このモデルによる動作生成を利用することで，声かけに反応し，感情投影を誘発するようにタブレットの反応動作を生成する空間配置手法を提案する．この２つの提案について，運動強調ディスプレイ型テレプレゼンスロボットを用いて実装し，ロボット動作による感情投影効果の検証を通じて，生成動作と“かかわり”との関連性を明らかにする．
申請者は，上記の提案を具現化するために，タブレット端末に物理的な動きを付与するロボットアームとタブレット端末を統合した遠隔会議システムARM-COMS(ARm-supported eMbodied COmmunication Monitor System)への適応技術とすることを目標とし，令和４年度は本研究のための環境構築を中心として取り組み，感情投影を引き起こす動きを実装するために，本研究では卓上に設置できる協働型アームロボットシステムを導入した．そして基本動作確認と制御方式の検討を中心について取り組んだ．今後は、深層生成モデルの開発に着手し，そのモデルによる制御でディスプレイに生き物のような動きをさせる制御を行い，ディスプレイを介した遠隔者との間に“かかわり”を感じさせるシステム開発に取り組む．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
一般的に，人間同士の対面会話の場合，対面相手の身体動作を繊細に感じ取り，そのフィードバックが相手に返され，結果として身体的引き込み動作として発現することが関連研究によって認められている．本研究では，この身体動作を利用して運動強調ディスプレイを制御することで，遠隔者の存在をより身近に感じられるようにすることを目標としている．ただし，認識された身体動作をそのまま再現するのではなく，人の動きに反応し，感情投影を誘発する生き物のような動きを生成するアプローチで運動強調ディスプレイの制御を行うことに取り組んでいる．
上記を踏まえて，令和４年度は本研究で用いるロボットハードウエアの導入と，制御方式の検討について取り組んだ．まず，感情投影を引き起こす動きを実装するために，本研究では卓上に設置できる協働型アームロボットシステムを導入した．また，このロボットがタブレットを把持するための特殊フォルダーを設計し，組み合わせることでシステムを構成するための仕様検討を行った．ネットワークカメラとの接続により，音声と動画を取得し，AIモジュールを介してロボットを制御するための基本構成を構築するための仕様検討を行った．また，ロボット直付けのカメラはタブレットとユーザとの位置関係を性格に把握するために利用することも検討した．
|
| 今後の研究の推進方策 |
本研究は，対象物が人間に対して生き物のような反応を見せると，人間はそこに感情を投影してしまうという現象に着目している．先行研究では，マルチモーダルな情報を組み合わせて運動強調ディスプレイを制御したが，いくら精度を上げても，生き物のような動きになるわけではない．そこで本研究では，ロボットが多用な環境に対して柔軟な動作を自動生成する技術として，深層ニューラルネットワークを用いた深層生成モデルに着目し，生き物のような動きを自動生成させる．その結果，ディスプレイに生き物のような動きをさせ，それを介した遠隔者との間に間接的なかかわりを感じさせることを目指して今後の研究を推進する．
令和５年度では上記の点を踏まえて研究を進めて行く予定である．まず，令和4年度で導入したアームロボットシステムにおいて，組み込みOS(Windows10 IoT Enterprise)とコントローラ(RC8)で構成されるオープンソースネットワーク(ORiN)対応のシステム構成として構築する．そのため，ロボット外部に設置する制御用PCで生成する制御コマンドを，b-CAPプロトコール通信で制御するための通信モジュールを開発し，後に開発する深層生成モデルで生成される制御コマンドを送信するためのモジュールとする．そして，生き物のような動きをさせるための深層生成モデルの開発に着手し，令和6年度の研究活動でのモデル構築につなげてゆく予定である．
|
