| 研究課題/領域番号 |
20K23352
|
|---|
| 研究機関 | 東京工科大学 |
|---|
研究代表者 |
董 然 東京工科大学, コンピュータサイエンス学部, 助手 (80879891)
|
|---|
| 研究期間 (年度) |
2020-09-11 – 2022-03-31
|
| キーワード | ヒューマンロボットインタラクション / 人形浄瑠璃 / 深層学習 / 経験的モード分解 / モーション解析 / モーションデザイン / 序破急 / ロボット工学 |
|---|
| 研究実績の概要 |
2020年度に実施した主な成果は次の3点である．1．多変量経験的モード分解を用いたモーション特徴解析手法の確立．2．モーションキャプチャによる人形浄瑠璃モーション，義太夫および三味線の音声のデータ採集と解析．3．経験的モード分解と深層学習を用いた周波数空間のマニフォールド抽出．
まず人形の感情表現所作を周波数領域で解析をするため，1においては多変量経験的モード分解を用いて，周波数領域にモーションを非線形モードに分解する手法を確立させた．
2においては，人形浄瑠璃の複数シーン（日高川入相花王など）の人形の感情表現動作，義太夫の声，および三味線の音をデータ化できた．1で確立した手法を用いて，採集された人形のモーションデータおよび義太夫と三味線の音声データを，西洋ダンスと比較を行い，モーションスピードと音楽のビートの構成に使われている技法は全く異なるであることを確認できた．西洋ダンスは音楽とモーションスピードが一定していることに対し，日本伝統芸能の浄瑠璃人形では，義太夫の語りのテンポと三味線のビート変化に合わせて，人形モーションスピード（周波数パターン）が変化する．すなわち，人形浄瑠璃は序破急（緩急）という技法を使って，演技をしていることを確認できた．
3においては，2で得られた解析結果に基づいて，本研究ではこの「序破急」の感情移入に光を当てた．人形浄瑠璃所作を優れる学習性能をもつ畳み込みネットワークオートエンコーダを用いて，採集した人形の感情表現モーションを時間窓にかけ，周波数領域に分解された感情表現空間を抽出できた．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
本研究目的(人形浄瑠璃のメカニズムを取り入れた人型AIロボットのインタラクションデザイン法)を達成させるため，2020年度では，人形浄瑠璃の所作をモーションキャプチャで三次元データを採集できた．また，所作が合わせた義太夫の謡と三味線の音も採集できた．感情表現メカニズムを解析するため，人形の所作を経験的モード分解で非線形周波数成分に分解する手法も確立させた．これにより，人形浄瑠璃のインタラクションメカニズム，および人形所作の匠を深層学習で編集可能な非線形モードに分解できるようになった．さらに，抽出された非線形モードと深層学習と組み合わせたニューラルネットワークの手法の確立も進んでいるため，おおむね順調に進展していると考える
|
| 今後の研究の推進方策 |
2020年度ではまず，人形の所作に焦点を当て，解析，学習と生成を進めてきた．しかしながら，日本の伝統芸能「人形浄瑠璃」は，人形遣いが独特なカラクリで人形を操作し，義太夫と三味線使いが義太夫節と呼ばれる音楽により物語を語り，三業一身で舞台を構成する．したがって，義太夫の謡と三味線の音を考慮したニューラルネットワークの設計が今後の課題であり，自動的にインタラクションを実現させるためには，人形の動きのみならず，義太夫と三味線をすべて網羅した三業一身を対象とする研究が不可欠である．そのため，日本独特の三業により，観客に叙情的に感情移入させる人形浄瑠璃の洗煉された舞台構成原理（人形の動きと音）を周波数領域空間において抽出し，人工知能によるインタラクション技法の自動生成への学習が必要である．
今後の研究では，畳み込みネットワークオートエンコーダを用いて，人形の感情表現モーションを，義太夫と三味線の音声に合わせて時間窓にかけ，周波数領域に分解されたインタラクション感情表現空間を抽出する．人形の感情表現マニフォールドを隠れ層で編集し，出力層で制約にすることにより，抽出された解空間から，序破急のインタラクションができるモーションを実現させる．さらに，義太夫の「謡」（語り）からテンポをインプットにすることで，ロボットの感情表現モーションが人間の音声に合わせて自動的に生成することを試みる．これらの研究により，人とロボットのインタラクションへの応用が可能になると考える．
|
| 次年度使用額が生じた理由 |
次年度使用額が生じる理由について，2020年9月から2021年3月までの研究期間では，参加した学会と研究会，および研究の打ち合わせはすべてオンライン開催になった．そのため，予定していた旅費がすべて未使用額として生じた．
未使用額の使用計画について，2020年度ではモーションをメインとして研究を行った．そのため，音声認識の機能が搭載されていないロボットでの研究は十分であった．しかしながら，推進方策が示すように，人形のモーションを義太夫の謡と三味線の音と合わせて学習させる必要がある．したがって，人形浄瑠璃の三つの要素（所作，義太夫の謡，三味線の音）を取り入れたロボットの実装と評価が必要である．本研究は2020年度に得られた人形のメカニズムをロボットに適応させ，インタラクティブな感情表現所作の実現を予定している．訓練されたニューラルネットワークから生成したデータをロボットに実装し，評価を行う．未使用額と合わせて，動き以外に音声認識ができるロボットを2021年度に購入する．
|
