工学的読唇の実現のための口形画像抽出と高速母音識別アルゴリズムの研究

1996 Fiscal Year Annual Research Report

• Project/Area Number: 07650314
• Research Category: Grant-in-Aid for Scientific Research (C)
• Research Institution: Kinki University
• Principal Investigator: 黒須 顕二 近畿大学, 九州工学部, 教授 (30117303)
• Keywords: ビジュアル・サーボ / ニューラル・ネット / 読唇 / 画像処理

Research Abstract

工学的読唇を実行するためには、口形を正確に画像として取り込むことが必要である。しかし、普通は、顔は上下左右に動くものであり、この動く顔から、常時、的確に口形画像を取り込むためにロボットのハンドにCCDカメラを取り付け、顔の動きを追従するビジュアルサーボの開発を行った。
本年は、実際の口形の代わりに、口形を模擬した一次元および二次元マーカーを追尾するニューラル・ネットワーク・リアルタイム追従制御系を設計し、実験を行った。
実験の概要と主な実験結果は次の通りである。
ニューラル・ネットワークとして入力数6、中間層のニュロン数20、出力数5を用いている。入力としては、初期画像と目標画像の特徴点を各3点とし、出力として、位置誤差をゼロとするための関節角度駆動量5個を用いて、BP学習をおこなわせた。
ロボットはム-ブマスターEX、画像処理ボードTRP-IMG,トランスピュータTRPM-401を用いている。この方法によって、未学習の初期値に対しても、その誤差範囲が小さければ、ほぼ1回の動作で目標位置と一致させることが出来た。また、ニューラル・ネットワークの出力値として、関節角度変位の場合とマニピュレータ状態変位の場合の2通りに対して行ってみたが、マニピュレータ状態変位として行った方が少ない学習回数で誤差を少なく、スムーズにマニピュレータを移動させることが出来た。

Research Products

• [Publications] 黒須顕二,守田圭他: "視覚特徴量を用いたマニピュレータの位置・姿勢制御" 近畿大学九州工学部研究報告(理工学編). 25巻. 111-130 (1996)
• [Publications] K.KUROSU et al: "A Study on Assembling of Subpictures with Visual Servo" Proc. of the '96 IEEE IECON. 2. 864-869 (1996)
• [Publications] 黒須顕二,守田圭他: "視覚特徴量を入力としたニューラルネットによるマニピュレータの位置・姿勢制御" 第15回計測自動制御学会九州支部学術講演会予講集. 227-230 (1996)