2020 Fiscal Year Research-status Report
目鼻口を用いた身体的引き込み動作で遠隔者とのかかわりを実感させるインタフェース
| Project/Area Number |
19K12082
|
|---|
| Research Institution | Okayama Prefectural University |
|---|
Principal Investigator |
伊藤 照明 岡山県立大学, 情報工学部, 教授 (90284306)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | ヒューマンインタフェース / コミュニケーションロボット / かかわり / 身体的引き込み / 運動強調ディスプレイ / ロボットアーム / ジェスチャ / AIスピーカ |
|---|
| Outline of Annual Research Achievements |
昨今のテレワーク勤務の拡大から、TV会議などの遠隔コミュニケーションシステムが普及している。利便性の高いツールである反面、遠隔者の存在感が伝わらない，場の雰囲気が共有できない、遠隔者とのかかわりを感じないといった根本的な問題が指摘されている。申請者は、対面コミュニケーションで使用されるノンバーバル情報としての頭部身体動作に着目し、運動強調ディスプレイによってその動作を表現することで遠隔者とのかかわりを実感するための手法を提案している。先行研究では、遠隔者とのかかわりに関する問題に焦点を当て、運動強調ディスプレイを介した遠隔コミュニケーションを提案した。その結果、身体的引き込みの効果を確認し、遠隔者とのかかわりを感じる機能実装の可能性を示した。しかし、頭部動作駆動方式による運動強調ディスプレイの弱点と無動作状態への対応に関する課題が明らかとなった。本研究では、物理的な身体運動連動とは違った視点から、人の生体情報（目・鼻・口）を利用することで間接的に身体動作と関連づける。つまり遠隔側では視線計測による眼球運動情報（目）と画像解析による頭部動作情報（鼻）を、また手元のディスプレイ対面側では、シグナル解析による音声情報（口）を検出し、それら３種類の入力合成信号で運動強調ディスプレイを制御し遠隔者とのかかわりを感じる身体的引き込み動作について研究している。
申請者は、上記の提案を具現化するために、タブレット端末に物理的な動きを付与するロボットアームとタブレット端末を統合した遠隔会議システムARM-COMS(ARm-supported eMbodied COmmunication Monitor System)のプロトタイプシステムの開発に取り組んだ。令和２年度は本研究で用いるロボットハードウエアの動作確認と、制御方式の検討を中心について取り組んだ。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
令和2年度は、本研究で用いるロボットハードウエアの動作確認と、制御方式の検討について取り組んだ。
一般的に、人間同士の対面会話の場合、対面相手のごく僅かな身体動作であっても非常に繊細に感じ取り、そのフィードバックが相手に返され、結果として身体的引き込み動作として発現する。この身体動作を利用して運動強調ディスプレイを制御することで、遠隔者の存在をより身近に感じられるようにすることが本研究の目標である。ただし、会話中に頭部を大きく動作させることは稀であり、検出が困難な微妙な動きを用いた強調動作制御が求められることになる。そこで、本研究では、物理的な身体運動を直接利用せずに、人の生体情報（目・鼻・口）を利用することで間接的に身体動作と関連づける。
頭部の動きを取り入れるために、顔の画像検出を行い、鼻を中心とした顔の動きを検出し、その動きによって強調ディスプレイを連動させる仕組みを作った。鼻にマーカー有り・無しの両方の動作検出の実験を行い、いずれの場合も画像処理による顔の動き検出を用いて強調ディスプレイを制御することができた。ただし、微妙な動作をディスプレイ動作で確認するためには、バイアス電圧を加えて動作拡大をする必要があった。しかし、顔の動作を全て反映すると、ディスプレイが常時動いた状態となり、本来の目的である遠隔会議に支障となることから、閾値を設けた処理で対応した。
音声情報（口）を取り入れるため、ローカル側の音声によるディプレイ動作の仕組みについて検討した。これはリモート側の参加者の動作が検出できない使えない場合でも、ローカル側の音声反応を利用することで、遠隔者とのかかわりを感じる身体的引き込み動作を連動させるためである。今年度は、音声認識による情報検出を試み、AIスピーカ、コミュニケーションロボットなどを用いたインタラクションの検証を行ない、基礎データを得ることができた。
|
| Strategy for Future Research Activity |
令和３年度では、下記の点を考慮しながら研究を進めて行く予定である。
本研究では物理的な身体運動を直接利用せずに、人の生体情報（目・鼻・口）を利用することで間接的に身体動作と関連づける手法について取り組んでいる。つまり遠隔側では視線計測による眼球運動情報（目）と画像解析による頭部動作情報（鼻）を、また手元のディスプレイ対面側では、シグナル解析による音声情報（口）を検出し、それら３種類の入力合成信号で運動強調ディスプレイを制御し遠隔者とのかかわりを感じる身体的引き込み動作についての研究である。
画像解析による頭部動作情報（鼻）検出については、連動する仕組みを作成することができた。しかし、モニタを介した通常の遠隔コミュニケーションでは、会話中に頭部を大きく動作させることは稀であり、画像解析による検出が困難となる微妙な動きを用いた強調動作制御が求められることになる。その反面、全ての微妙な動きにバイアス電圧をかけてしまうと、ディスプレイが常時動いた状態となり、本来の目的である遠隔会議に支障となる。そのため閾値を設けた処理で対応したが、一律的な処理の対応では十分な対応が得られないことから、微妙な動作と閾値処理の統合を検討することが今後の課題である。
シグナル解析による音声情報（口）に関しては、ローカル側の参加者の声による反応に合わせるディプレイを動作に関する仕組みを実装するために、AIスピーカ、コミュニケーションロボットなどを用いたインタラクションの検証を行い、有意義な基礎データを得ることができた。得られた結果から、ARM-COMとの連携について検討することが今後の課題である。
視線計測による眼球運動情報（目）によるディスプレイ動作連動についてはこれまで十分に検討が行われていない。本研究で提案する３つのアプローチの一つとして、令和３年度では取り組む予定である。
|
