2023 Fiscal Year Research-status Report
Development of a robot partner that understands emotions and communicates with people
| Project/Area Number |
23K17261
|
|---|
| Research Institution | Tokyo University of Technology |
|---|
Principal Investigator |
禹 珍碩 東京工科大学, 工学部, 講師 (80806068)
|
|---|
| Project Period (FY) |
2023-04-01 – 2027-03-31
|
| Keywords | ロボットパートナー / 情動モデル / ヒューマンロボットインタラクション |
|---|
| Outline of Annual Research Achievements |
今年度は、[課題１]の内容であるユーザの状態推定を行うための計測システムの開発を目標にして研究活動を行った。ここでは、ユーザが用いる非言語コミュニケーション要素を計測対象として、身振り手振りなどと関連したジャスチャとユーザのまなざしが計測できるような環境構築を行った。まず、身近な場面で自然としたユーザの状態計測ができるようにするため、実験空間（研究室内）にスマートホームシステムを導入した。
ユーザの状態計測を行うためのセンサ選定後、それぞれのセンサを用いた計測システムを構築した。まずは、ユーザのジェスチャを認識させるためにKinect（距離画像）センサを用いてユーザの身体情報の計測し、簡単なジェスチャの識別を可能にした。
さらに、ユーザの視線や手の動きが計測できる、Microsoft社のHoloLens 2に搭載された計測センサを用いてユーザの視線や手の動きの変化が計測できるようにした。ユーザがいる実験空間を、HoloLens 2の仮想空間上に再現し、遠隔から家電を操作するという実験を複数人の被験者に対して実施した。ここでは、ユーザを外から見たときにわかる「視線データ」とユーザ自身がわかる「注意」の違いがあるか確認を行った。得たデータから、ユーザに合わせたサービスを提供するためには、視線判定領域を調整する必要があると判断した。さらに、上記の非言語要素のデータ収集と、情報の分析や共有を行うために、計測データに関連するデータベース構築を行っており、データ構造に関して検討を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
今年度は、人の状態推定するための計測システム開発が具体的な課題である。まず、身近な場面における人の状態の測定を行うために実験空間（研究室内）にスマートホームシステムを導入し、ユーザとの自然なインタラクションが行える実験環境を構築した。ジェスチャに関する研究としては、実験空間内でKinect（距離画像）センサを用いた時系列的な人の動作に関する計測し、スマートホームシステムとの相互作用ができるようにした。ここではユーザの計測情報を基にDTW(Dynamic Time Warping)と呼ばれる時系列データの類似性を用いて簡単なジェスチャの識別が可能になった。
そして、HoloLens 2に搭載されているセンサを用いてユーザの視線や手の動きについての状態計測を行った。ここでは、視線を分析するためのMR環境をHoloLens 2の仮想空間上に再現し、遠隔から家電を操作する実験を複数人の被験者に対して実施した。実験から得た視線データについて分析した結果、色の違いや仮想空間が表示される高さなどが要因とみられる差が生じていた。このようなユーザの認識と測定データの分析結果の差を埋めるために、得たデータから、ユーザに合わせたサービスを提供するためには、視線判定領域を調整する必要があると判断した。現在は情動調律モデルを構築するために、データベースの構築を行いながら、データ構造に関して検討を行っている。
以上の進捗状況より、これは今年度の課題の内容である「人の状態を測定するための計測システム開発」を計画に沿って進行できていると考えられる。
|
| Strategy for Future Research Activity |
今後はこれまでの研究に引き続き、以下の研究項目について実施する予定である。
まずは、ユーザのジェスチャや視線情報などの非言語要素の時系列データの収集とデータベース化を継続的に行い、入力データを分類し、計測データとユーザ状態の関連性について調べる。その後、[課題１]で開発しているHoloLens 2や Kinectセンサから計測されたデータからユーザの状態を推定するための学習データを構築し、[課題2]からは情動調律のための非言語要素のデータの分析を行う。人間の情動は時系列的な環境の変化に依存されるため、人の情動の流れを推定する手法を検討する。
上記の分析を踏まえて、ユーザとロボットの情動調律モデルに関する手法を検討し、ロボットシステムの構築のための定式化を行う予定である。さらに、これらのシステムが使用される用途に応じて、システムの移植と活用が簡単に行われるようなシステムのモデルを提案する予定である。最後に、ロボットシステムからユーザの情動状態に基づくヒューマンロボットインタラクションができるような方法論について議論を行う予定である。
|
| Causes of Carryover |
ユーザのまなざしや手の動きを計測するため、センサの選定から利用方法について検討を行った。その結果デバイスの購入から実験とシステムの開発に時間が必要であったため、初年度のHoloLens2以外の物品はこれらのシステムに関する仕様検討が終わった後に購入するため次年度使用額が生じた。これらの次年度使用額については、今年度の予算と合わせて実験システムの構築や外部研究者と研究議論を行うための国際学会などの対外発表に参加するために使用する予定である。
|
