Interactive humanoid robot design using Bunraku puppet structure and Jo-ha-kyu Principle
| Project/Area Number |
21K17833
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 61050:Intelligent robotics-related
|
|---|
| Research Institution | Tokyo University of Technology |
|---|
Principal Investigator |
董 然 東京工科大学, コンピュータサイエンス学部, 助教 (80879891)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2023: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2022: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2021: ¥3,120,000 (Direct Cost: ¥2,400,000、Indirect Cost: ¥720,000)
|
|---|
| Keywords | 文楽人形 / 周波数解析 / 深層学習 / インタラクションデザイン / 序破急 / ノンバーバルコミュニケーション / モーションデザイン / ヒルベルト-ファン変換 / 経験的モード分解 / ロボットインタラクション / 人工知能 / 人形浄瑠璃 / 伝統芸能 / ヒューマンロボットインタラクション / 感情表現 |
|---|
| Outline of Research at the Start |
人形浄瑠璃文楽は，3人の人形遣いが独特な人形カラクリと人形感情表現プリンシプルを用いて感情表現を行う．人形の所作は義太夫節と呼ばれる音楽（義太夫と三味線使い）に合わせており，序破急メカニズムに基づいて三業一身で舞台を構成する．人形のカラクリ（頭の「円」と呼ばれる動きと伸縮表現など）は，序破急を表現できるように設計されている．本研究では，日本独特の三業から抽出された人形カラクリとその序破急メカニズムをベースに，やわらかい新しいロボット骨格をデザインし，その動作に合わせた人工感情表現の構築を行う．不気味の谷現象を超える人型AIアシスタントのインタラクションデザイン法を確立させる．
|
| Outline of Annual Research Achievements |
研究成果：1．文楽人形のインタラクションメカニズムを用いたCGキャラクターアニメーションにおけるモーションデザイン．2．ヒルベルト・ファン変換を用いた周波数領域でのモーション解析手法の開発．
１． 文楽人形に使われている感情表現技法のメカニズムは，西洋のものと異なっている．このメカニズムをロボットに実装することで，感情表現のあるロボットインタラクションデザインができると考えられる．文楽の表現をロボットに実装することを検証するため，CGキャラクターでの実証実験を行った．その結果，いままでの研究で解析してきた文楽人形の序破急（緩急）と呼ばれている日本の伝統芸能を用いて，キャラクターアニメーションを作ることで，西洋と異なる表現でのデザインができることを確認できた．
２．文楽人形の細かい感情表現を解析し，ロボットでその感情表現を再現するには，より精度の高いモーション解析手法およびモーション特徴量の抽出手法が必要である．文楽人形の所作は，複数のモーションプリミティブで一つの所作を構成している．さらに，3人が同調して人形の異なる部位を操作するため，採取された人形のモーションデータは，異なるスピードのモーションプリミティブや三味線の異なる拍子に合わせた人形師の動きが，時系列においてオーバーラップ状態になっている．これらを解析するため，重なっている所作を周波数領域に分解する必要があるが，フーリエ変換などの一般的に使われている周波数解析手法は，モーションのような非線形データに対応していない．本研究は非線形周波数解析ができるヒルベルト・ファン変換を用いて，さまざまなモーションデータへの適用可能性を検討した．また，この手法は数学的な証明がないため，統計学による検証の手法も併せて提案し，その有用性を検証した．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
文楽人形のカラクリを取り入れたロボット開発とそのインタラクションメカニズムを実装するため，インタラクション技法の視点から採取された文楽人形モーションの解析を行った．さらに，これらのメカニズムを抽出できる非線形周波数解析手法も確立させ，今後の深層学習を用いた文楽人形のインタラクティブのモーション自動生成に使用される学習データの用意ができた．しかしながら，研究で得られた解析結果から，文楽のインタラクションメカニズムは，3人の人形師，義太夫および三味線により三業一体で行われているため，その自由度が高く，現在開発した文楽ロボットに直接適用するには難しいということが判明し，ロボットのシミュレーターの開発とそのモーション実装がやや遅れている．
|
| Strategy for Future Research Activity |
データ駆動型の手法が注目を浴びている中，ニューラルネットワークに基づいた深層学習は非線形の学習に対して，高いパフォーマンスを見せている．本研究では，人形浄瑠璃において，人形の所作，義太夫と三味線で表現した文楽人形劇に使われている「序破急」（緩急）と呼ばれる日本の伝統芸能の技法（インタラクションメカニズム）を，すでに非線形の周波数領域に抽出することに成功している．一方，文楽では3人の人形遣いは「ホド」「ズ」と言われる独特のリズムを使った合図のみで人形を操作する．文楽人形使いは，このリズムを使用して演技をし，観客とのインタラクションを行う．本研究はインタラクションメカニズムの視点から，文楽人形の感情表現技法の解析を行った．解析の結果から，この独特のリズムは，今までの研究で解析していた序破急の表現方法に関連していることがわかり，文楽人形のカラクリを取り入れたロボットへのインタラクションデザインに不可欠であることを確認できた．
本研究はすでにこの文楽人形の人形遣いに使われている「ホド」「ズ」という独特のリズムをヒルベルト・ファン変換で学習データとして抽出することに成功している．したがって，今後の研究の推進方策として，まずヒルベルト・ファン変換を用いた深層学習による非線形周波数の学習フレームワークを確立させる．さらに，提案された手法を用いて，文楽人形のインタラクションの自動生成に適用し，作成した文楽人形ロボットにインタラクティブのモーションを実装し，文楽のエッセンスを取り入れたインタラクションをロボットで再現する．
|
Report
(2 results)
Research Products
(14 results)
