Interaction between Humans and Puppets: Humanoid Robot Design using Empirical mode decomposition and Deep learning
| Project/Area Number |
20K23352
|
|---|
| Research Category |
Grant-in-Aid for Research Activity Start-up
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
1002:Human informatics, applied informatics and related fields
|
|---|
| Research Institution | Tokyo University of Technology |
|---|
Principal Investigator |
DONG Ran 東京工科大学, コンピュータサイエンス学部, 助教 (80879891)
|
|---|
| Project Period (FY) |
2020-09-11 – 2022-03-31
|
| Project Status |
Completed (Fiscal Year 2021)
|
| Budget Amount *help |
¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
Fiscal Year 2021: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2020: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
|
|---|
| Keywords | 経験的モード分解 / ロボット / インタラクションデザイン / 序破急 / 伝統芸能 / 人形浄瑠璃 / モーションデザイン / ヒューマンロボットインタラクション / 深層学習 / モーション解析 / ロボット工学 / 人形浄瑠璃文楽 |
|---|
| Outline of Research at the Start |
ユネスコ無形文化遺産「人形浄瑠璃文楽」は，3人の人形遣いが一体の人形を操作し，義太夫と三味線使いが義太夫節と呼ばれる音楽により物語を語り，三業一身で舞台を構成する．本研究では，「文楽カラクリ×文楽人形感情表現の匠×序破急メカニズム」の視点から，文楽の動きを周波数領域空間において分解し，抽出された特徴量をAIに学習させる．序破急という非決定論的日本伝統芸能メカニズムを，人工情動知能アシスタントと連動できるコミュニケーションロボットのインタラクションに応用する．
|
| Outline of Final Research Achievements |
In Ningyo Joruri (puppet theater), the puppeteers use an unparalleled method to manipulate one puppet, and their movements have been praised as the most beautiful emotional expressions in the world. This is made possible by the use of a traditional performing technique in which the puppeteers perform the story to synchronize a Japanese musical form called Gidayu-bushi (Gidayu and Shamisen). In this study, we proposed a method for analyzing emotional expressions in the frequency domain from the viewpoint of Jo-Ha-Kyu that are considered important in this technique using the Hilbert-Huang transform. We also developed a robot motion generation framework that adopts the extracted features as training data for deep learning. Furthermore, we were able to apply the method developed in this study for interdisciplinary fusion and contribute to nonlinear problems in different fields.
|
| Academic Significance and Societal Importance of the Research Achievements |
本研究では，初めて「音×動き×序破急メカニズム」の視点から，伝統芸能の動きを周波数領域空間で解析を行った．序破急という非決定論的日本伝統芸能メカニズムを用いることにより，人工情動知能アシスタントと連動できるコミュニケーションAIのインタラクション手法の確立に寄与できる．本研究が実施した伝統芸能からのロボット創造は，現在世界に注目されている日本文化や日本的感性のテクノロジーを世界へ発信できる学術研究として期待できると同時に，これまでのAIアシスタントの普及を妨げてきた，対人感覚の欠如を改善し，利用の広がりを飛躍的に進める可能性がある．
|
Report
(3 results)
Research Products
(14 results)
