| 研究課題/領域番号 |
21K17833
|
|---|
| 研究機関 | 東京工科大学 |
|---|
研究代表者 |
董 然 東京工科大学, コンピュータサイエンス学部, 助教 (80879891)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2024-03-31
|
| キーワード | 文楽人形 / 周波数解析 / 深層学習 / インタラクションデザイン / 序破急 / ノンバーバルコミュニケーション |
|---|
| 研究実績の概要 |
研究成果：1．文楽人形のインタラクションメカニズムを用いたCGキャラクターアニメーションにおけるモーションデザイン．2．ヒルベルト・ファン変換を用いた周波数領域でのモーション解析手法の開発．
１． 文楽人形に使われている感情表現技法のメカニズムは，西洋のものと異なっている．このメカニズムをロボットに実装することで，感情表現のあるロボットインタラクションデザインができると考えられる．文楽の表現をロボットに実装することを検証するため，CGキャラクターでの実証実験を行った．その結果，いままでの研究で解析してきた文楽人形の序破急（緩急）と呼ばれている日本の伝統芸能を用いて，キャラクターアニメーションを作ることで，西洋と異なる表現でのデザインができることを確認できた．
２．文楽人形の細かい感情表現を解析し，ロボットでその感情表現を再現するには，より精度の高いモーション解析手法およびモーション特徴量の抽出手法が必要である．文楽人形の所作は，複数のモーションプリミティブで一つの所作を構成している．さらに，3人が同調して人形の異なる部位を操作するため，採取された人形のモーションデータは，異なるスピードのモーションプリミティブや三味線の異なる拍子に合わせた人形師の動きが，時系列においてオーバーラップ状態になっている．これらを解析するため，重なっている所作を周波数領域に分解する必要があるが，フーリエ変換などの一般的に使われている周波数解析手法は，モーションのような非線形データに対応していない．本研究は非線形周波数解析ができるヒルベルト・ファン変換を用いて，さまざまなモーションデータへの適用可能性を検討した．また，この手法は数学的な証明がないため，統計学による検証の手法も併せて提案し，その有用性を検証した．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
文楽人形のカラクリを取り入れたロボット開発とそのインタラクションメカニズムを実装するため，インタラクション技法の視点から採取された文楽人形モーションの解析を行った．さらに，これらのメカニズムを抽出できる非線形周波数解析手法も確立させ，今後の深層学習を用いた文楽人形のインタラクティブのモーション自動生成に使用される学習データの用意ができた．しかしながら，研究で得られた解析結果から，文楽のインタラクションメカニズムは，3人の人形師，義太夫および三味線により三業一体で行われているため，その自由度が高く，現在開発した文楽ロボットに直接適用するには難しいということが判明し，ロボットのシミュレーターの開発とそのモーション実装がやや遅れている．
|
| 今後の研究の推進方策 |
データ駆動型の手法が注目を浴びている中，ニューラルネットワークに基づいた深層学習は非線形の学習に対して，高いパフォーマンスを見せている．本研究では，人形浄瑠璃において，人形の所作，義太夫と三味線で表現した文楽人形劇に使われている「序破急」（緩急）と呼ばれる日本の伝統芸能の技法（インタラクションメカニズム）を，すでに非線形の周波数領域に抽出することに成功している．一方，文楽では3人の人形遣いは「ホド」「ズ」と言われる独特のリズムを使った合図のみで人形を操作する．文楽人形使いは，このリズムを使用して演技をし，観客とのインタラクションを行う．本研究はインタラクションメカニズムの視点から，文楽人形の感情表現技法の解析を行った．解析の結果から，この独特のリズムは，今までの研究で解析していた序破急の表現方法に関連していることがわかり，文楽人形のカラクリを取り入れたロボットへのインタラクションデザインに不可欠であることを確認できた．
本研究はすでにこの文楽人形の人形遣いに使われている「ホド」「ズ」という独特のリズムをヒルベルト・ファン変換で学習データとして抽出することに成功している．したがって，今後の研究の推進方策として，まずヒルベルト・ファン変換を用いた深層学習による非線形周波数の学習フレームワークを確立させる．さらに，提案された手法を用いて，文楽人形のインタラクションの自動生成に適用し，作成した文楽人形ロボットにインタラクティブのモーションを実装し，文楽のエッセンスを取り入れたインタラクションをロボットで再現する．
|
| 次年度使用額が生じた理由 |
次年度使用額が生じる理由は，ロボットのシミュレーター開発とそのモーション実装が遅れているためである．その結果，実験に予定されているデバイスや人件費などは未使用額として生じた．
使用計画について，ロボットのシミュレーターを開発する必要があるため，深層学習を用いたニューラルネットワークの構築が必要とされる．そのため，深層学習に必要なGPUサーバ使用料等，また実験に必要なデバイスなどに当てる予定である．
|
