Human-Robot Interaction Using Ningyo Joruri Bunraku Performance and Generative AI Diffusion Probabilistic Model

• Project/Area Number: 24K02970
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 61020:Human interface and interaction-related; Basic Section 62040:Entertainment and game informatics-related; Sections That Are Subject to Joint Review: Basic Section61020:Human interface and interaction-related , Basic Section62040:Entertainment and game informatics-related
• Research Institution: University of Tsukuba
• Principal Investigator: 蔡 東生 筑波大学, システム情報系, 准教授 (70202075)
• Co-Investigator(Kenkyū-buntansha): 早野 慎吾 都留文科大学, 文学部, 教授 (90381053) ; 續木 大介 高知大学, 教育研究部自然科学系理工学部門, 講師 (50646346) ; 浅井 信吉 会津大学, コンピュータ理工学部, 上級准教授 (80325969) ; 董 然 中京大学, 工学部, 講師 (80879891)
• Project Period (FY): 2024-04-01 – 2027-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥10,530,000 (Direct Cost: ¥8,100,000、Indirect Cost: ¥2,430,000); Fiscal Year 2026: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000); Fiscal Year 2025: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000); Fiscal Year 2024: ¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
• Keywords: 文楽 / 序破急 / 息 / ヒルベルトファン変換 / Volatility

Outline of Research at the Start

人がロボットに対して肯定的感情を持ち、親和的共生実現のための新しい要素を導出し、それらをロボットに実装することを目的として、不気味の谷を越えヒトにとって親和的で、伝統芸能である文楽の人形の所作、義太夫節のリズム抽出（蔡、董）、解析（續木、早野）を行う。
文楽を文楽たらしめる、操り人形そのものの美しい所作、太夫の吟誦する義太夫節のリズムに焦点を当て、マルチモーダル情報の中に含まれる、文楽に特有のリズムと抑揚の特徴を計測（早野）、抽出（董）し、解析によって得られた知見を定量化（蔡）しヒトとロボットが自然にインタラクションし、共生できる、AI ロボットへの実装（蔡、董、山口（協力者））を試みる。