| Project/Area Number |
23K17261
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 90150:Medical assistive technology-related
|
|---|
| Research Institution | Tokyo University of Technology |
|---|
Principal Investigator |
禹 珍碩 東京工科大学, 工学部, 講師 (80806068)
|
|---|
| Project Period (FY) |
2023-04-01 – 2027-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2026: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2025: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2024: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2023: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
|
|---|
| Keywords | ロボットパートナー / 情動モデル / ヒューマンロボットインタラクション |
|---|
| Outline of Research at the Start |
人との情動調律、すなわち相手の行動や表情などから、相手の心的状態を推察し、その心的状態を共有する能力をロボットシステムにもたせることで、人の感情を捉え、人に寄り添ったサービスが行えるロボットパートナーの開発を目的とする。つまり、「乳幼児」の「情動調律」過程に注目し、乳幼児の学習過程を人工的な操作に置き換えることを考えた。そのため、試行錯誤を通して目標に近づけるように、乳幼児の学習過程を再現させる。これにより、人の非言語的な要素(顔の表情やジェスチャ)から情動を解釈し、心的状態を共有することで、人に寄り添った相互作用システムとして役立つ技術を開発する。
|
| Outline of Annual Research Achievements |
今年度は、[課題１]の内容であるユーザの状態推定を行うための計測システムの開発を目標にして研究活動を行った。ここでは、ユーザが用いる非言語コミュニケーション要素を計測対象として、身振り手振りなどと関連したジャスチャとユーザのまなざしが計測できるような環境構築を行った。まず、身近な場面で自然としたユーザの状態計測ができるようにするため、実験空間（研究室内）にスマートホームシステムを導入した。
ユーザの状態計測を行うためのセンサ選定後、それぞれのセンサを用いた計測システムを構築した。まずは、ユーザのジェスチャを認識させるためにKinect（距離画像）センサを用いてユーザの身体情報の計測し、簡単なジェスチャの識別を可能にした。
さらに、ユーザの視線や手の動きが計測できる、Microsoft社のHoloLens 2に搭載された計測センサを用いてユーザの視線や手の動きの変化が計測できるようにした。ユーザがいる実験空間を、HoloLens 2の仮想空間上に再現し、遠隔から家電を操作するという実験を複数人の被験者に対して実施した。ここでは、ユーザを外から見たときにわかる「視線データ」とユーザ自身がわかる「注意」の違いがあるか確認を行った。得たデータから、ユーザに合わせたサービスを提供するためには、視線判定領域を調整する必要があると判断した。さらに、上記の非言語要素のデータ収集と、情報の分析や共有を行うために、計測データに関連するデータベース構築を行っており、データ構造に関して検討を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
今年度は、人の状態推定するための計測システム開発が具体的な課題である。まず、身近な場面における人の状態の測定を行うために実験空間（研究室内）にスマートホームシステムを導入し、ユーザとの自然なインタラクションが行える実験環境を構築した。ジェスチャに関する研究としては、実験空間内でKinect（距離画像）センサを用いた時系列的な人の動作に関する計測し、スマートホームシステムとの相互作用ができるようにした。ここではユーザの計測情報を基にDTW(Dynamic Time Warping)と呼ばれる時系列データの類似性を用いて簡単なジェスチャの識別が可能になった。
そして、HoloLens 2に搭載されているセンサを用いてユーザの視線や手の動きについての状態計測を行った。ここでは、視線を分析するためのMR環境をHoloLens 2の仮想空間上に再現し、遠隔から家電を操作する実験を複数人の被験者に対して実施した。実験から得た視線データについて分析した結果、色の違いや仮想空間が表示される高さなどが要因とみられる差が生じていた。このようなユーザの認識と測定データの分析結果の差を埋めるために、得たデータから、ユーザに合わせたサービスを提供するためには、視線判定領域を調整する必要があると判断した。現在は情動調律モデルを構築するために、データベースの構築を行いながら、データ構造に関して検討を行っている。
以上の進捗状況より、これは今年度の課題の内容である「人の状態を測定するための計測システム開発」を計画に沿って進行できていると考えられる。
|
| Strategy for Future Research Activity |
今後はこれまでの研究に引き続き、以下の研究項目について実施する予定である。
まずは、ユーザのジェスチャや視線情報などの非言語要素の時系列データの収集とデータベース化を継続的に行い、入力データを分類し、計測データとユーザ状態の関連性について調べる。その後、[課題１]で開発しているHoloLens 2や Kinectセンサから計測されたデータからユーザの状態を推定するための学習データを構築し、[課題2]からは情動調律のための非言語要素のデータの分析を行う。人間の情動は時系列的な環境の変化に依存されるため、人の情動の流れを推定する手法を検討する。
上記の分析を踏まえて、ユーザとロボットの情動調律モデルに関する手法を検討し、ロボットシステムの構築のための定式化を行う予定である。さらに、これらのシステムが使用される用途に応じて、システムの移植と活用が簡単に行われるようなシステムのモデルを提案する予定である。最後に、ロボットシステムからユーザの情動状態に基づくヒューマンロボットインタラクションができるような方法論について議論を行う予定である。
|
