| Project/Area Number |
18H04108
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (A)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Review Section |
Medium-sized Section 61:Human informatics and related fields
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
KUNIYOSHI Yasuo 東京大学, 大学院情報理工学系研究科, 教授 (10333444)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
長久保 晶彦 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (00357617)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Project Status |
Completed (Fiscal Year 2021)
|
| Budget Amount *help |
¥44,330,000 (Direct Cost: ¥34,100,000、Indirect Cost: ¥10,230,000)
Fiscal Year 2020: ¥12,350,000 (Direct Cost: ¥9,500,000、Indirect Cost: ¥2,850,000)
Fiscal Year 2019: ¥15,860,000 (Direct Cost: ¥12,200,000、Indirect Cost: ¥3,660,000)
Fiscal Year 2018: ¥16,120,000 (Direct Cost: ¥12,400,000、Indirect Cost: ¥3,720,000)
|
|---|
| Keywords | ロボティクス / 身体性 / 遠隔操作 / 深層模倣学習 / 視線計測 / 神経情報計測 / バーチャルリアリティ |
|---|
| Outline of Final Research Achievements |
Deep imitation learning enables the learning of complex visuomotor skills from raw pixel inputs. However, this approach suffers from the problem of overfitting to the training images. The neural network can easily be distracted by task-irrelevant objects. In this research, we use the human gaze measured by a head-mounted eye tracking device to discard task-irrelevant visual distractions. We propose a mixture-density network-based behavior cloning method that learns to imitate the human gaze. The model predicts gaze positions from raw pixel images and crops images around the predicted gazes. Only these cropped images are used to compute the output action. This cropping procedure can remove visual distractions becase the gaze is rarely fixated on task-irrelevant objects. We evaluated our method on several manipulation tasks including handling multiple objects, needle threding, picking a small object, knot tying, and banana peeling.
|
| Academic Significance and Societal Importance of the Research Achievements |
本研究は、自律ロボットの物体操作能力の向上のための基盤技術に関するものである。現状のロボット技術では、食材のように形状や固さなどのばらつきが多い対象物体はモデル化が困難であり、扱うことができなかった。我々は、深層模倣学習に着目した。人が直感的にロボットを遠隔操作するためのシステムと操縦時の視線情報を計測するプラットフォームを開発した。人が物体操作時に重要な情報を持つ部分に注意を向けることを利用し、人の視線情報を模倣することで、複雑な環境や対象物体において、特に重要な情報のみを用いて模倣学習を行うことで、格段に性能向上可能であることを実証した。
|
