2019 Fiscal Year Research-status Report
目鼻口を用いた身体的引き込み動作で遠隔者とのかかわりを実感させるインタフェース
| Project/Area Number |
19K12082
|
|---|
| Research Institution | Okayama Prefectural University |
|---|
Principal Investigator |
伊藤 照明 岡山県立大学, 情報工学部, 教授 (90284306)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | ヒューマンインタフェース / コミュニケーションロボット / かかわり / 身体的引き込み / 運動強調ディスプレイ / ロボットアーム / ジェスチャ |
|---|
| Outline of Annual Research Achievements |
TV会議などの遠隔コミュニケーションシステムが普及するにつれて、遠隔者の存在感が伝わらない，場の雰囲気が共有できない、遠隔者とのかかわりを感じないといった根本的な問題が指摘されている。申請者は、対面コミュニケーションで使用されるノンバーバル情報としての頭部身体動作に着目し、運動強調ディスプレイによってその動作を表現することで遠隔者とのかかわりを実感するための手法を提案している。先行研究では、遠隔者とのかかわりに関する問題に焦点を当て、運動強調ディスプレイを介した遠隔コミュニケーションを提案した。その結果、身体的引き込みの効果を確認し、遠隔者とのかかわりを感じる機能実装の可能性を示した。しかし、頭部動作駆動方式による運動強調ディスプレイの弱点と無動作状態への対応に関する課題が明らかとなった。本研究では、物理的な身体運動を直接利用せずに、人の生体情報（目・鼻・口）を利用することで間接的に身体動作と関連づける。つまり遠隔側では視線計測による眼球運動情報（目）と画像解析による頭部動作情報（鼻）を、また手元のディスプレイ対面側では、シグナル解析による音声情報（口）を検出し、それら３種類の入力合成信号で運動強調ディスプレイを制御し遠隔者とのかかわりを感じる身体的引き込み動作について研究する。
申請者は、上記の提案を具現化するために、タブレット端末に物理的な動きを付与するロボットアームとタブレット端末を統合した遠隔会議システムARM-COMS(ARm-supported eMbodied COmmunication Monitor System)のプロトタイプシステムの開発に取り組んだ。平成31年度（令和元年度）は本研究で用いるロボットハードウエア開発を中心として実施し、基本となるロボットシステムの開発を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成31年度（令和元年度）は本研究で用いるロボットハードウエア開発を中心として実施した。まず先行研究で作製したコンセプト試作機を見直すところから始めた。決定論的設計手法に基づき，ARM-COMSロボットアーム装置の設計仕様を再度詳細に検討し，試作機のメカニズム設計およびハードウエア作製・動作確認を行った。その結果、ハードウエア構成は、サーボモータをアクチュエータとする５軸構成とし、デスクトップに設置できるように、高さ・幅・奥行きともに500mm以内の筐体となる仕様とした。また、筐体にはアクチュエータに加えて、カメラ、マイク、スピーカを含めてSBC（シングル・ボード・コンピュータ）で制御する仕様として設計した。SBCはUbuntuをOSとして搭載し、ROS（ロボット・オペレーティング・システム）をロボット開発用のソフトウエアプラットフォームとして構築した。しかし、タブレットを把持してロボットアームを動作させると、タブレット画面を常に正面に配置するような制御をすることが困難であることが分かった。そこで１軸追加した６軸構成で設計をし直した。
ロボットは２台作成し、ROSを搭載したサーバーを介して、それら２台のロボットが制御される仕組みとして構築した。タブレットをロボットに把持させ、ROSによってアーム動作ができることを確認した。しかし、アクチュエータ構成を５軸から６軸と変更したことにより、シミュレーションモデルの作成までには至っていない。
|
| Strategy for Future Research Activity |
今後は下記の点を考慮しながら、研究を進めてゆく予定である。
頭部動作駆動方式の弱点：実験中に行う恣意的で明白な動作については検出可能であり、その検出データを用いたARM-COMS制御の可能性については確認できている。一般的に、対面会話の場合は、対面相手のごく僅かな身体動作であっても非常に繊細に感じ取り、そのフィードバックが相手に返され、結果として身体的引き込み動作として発現する。対して、モニタを介した通常の遠隔コミュニケーションでは、会話中に身体を大きく動作させることは稀であり、検出が困難な微妙な動きを用いた強調動作制御が求められることになる。
無動作状態の対応：運動強調ディスプレイは、動いている物体の物体座標系にディスプレイの動きを同期させることで映像内の動きを強調する臨場感創出法で、映像だけでは伝わらない臨場感の提示効果が報告されている。ARM-COMSではこの方式を応用し、ディスプレイ内の人の動きから得られる頭部動作に同期して、ディスプレイの物理動作が制御される。そのため、頭部動作が検出されない場合は運動強調が行われない。一般の対面会話の場合、聞き手側にお辞儀等の大きな身体動作がない場合でも、生体反応としての息遣いや瞬きなど聞き手としての応答を感じて会話を行っている。しかし、制御駆動元となる人がほとんど動かずに静止状態の場合、ディスプレイの物理動作は行われず、聞き手としての応答が行われない状態が続く。つまり、頭部動作駆動型では、遠隔にいる聞き手側に大きな身体動作が行われない場合、ARM-COMSを介した身体的引き込み動作の効果を引き出すことは困難である。
|
