| 研究概要 |
本研究では"異種の感覚モダリティのマッピング"を工学的手法により実現することを目的とする.本年度は特に視覚と聴覚のマッピングに着目し,音響信号を表現するロボットモーションの生成や,物体挙動を表現する音響信号生成を実現する.本技術は,多自由度ロボットのダンスパターンの自動生成や,情景に合わせた効果音自動生成などに応用可能と期待される.さらに"共感覚"などの心理学の知見との関連に関する議論も期待できる.
多様な音響信号と画像信号の対応を,全て保存・管理することは極めて難しい.現実には少数のデータから他のデータを類推可能とする情報汎化が不可欠である.本研究では汎化能力に優れる神経回路モデルであるRecurrent Neural Network with Parametric Bias (RNNPB)を学習器として用いた.RNNPBは複数のシーケンスを学習すると共にその汎化表現を獲得できる.また入力に欠損があっても,連想により欠損情報を再現することができる.
NICTによって開発された小型ロボットKeeponに提案システムを実装した.箱状物体の左右往復動作(摩擦音),円弧動作(摩擦音),落下動作(衝突音),横転動作(衝突音)を教示した.Keeponに音響信号のみを与えたところ,対応する画像情報を連想し,動作として表現させることが可能となった.逆に画像信号のみから音響情報を連想も実現であった.
さらに未学習の音響・画像入力について検証を行った.ビニールをはたく音に対しては,縦横の高速度動作を生成した.逆に箱を上下運動させた際の画像信号に対しては,周期的な音響信号を生成した.以上から,提案手法は未知感覚入力に対して妥当なモダリティ変換を実現していると結論付けられる.
|
