2022 Fiscal Year Annual Research Report
視覚神経系の時空間応答特性に学んだ小型・リアルタイム手話認識システム
| Project/Area Number |
19K12916
|
|---|
| Research Institution | Osaka Institute of Technology |
|---|
Principal Investigator |
奥野 弘嗣 大阪工業大学, 情報科学部, 准教授 (30531587)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | ニューロモーフィック / 画像処理 / ロボットビジョン / 手話認識 / 人工知能 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は，時空間視覚特徴の抽出，及びこの特徴を利用した視覚情報認識を効率よく行っている生体の視覚神経系に学び，手のひらサイズで実時間動作する手話認識システムの開発を行うことである．この目的を実現するため，本年度は(1)生体の一次視覚野の空間応答特性を模擬したマルチスケールの特徴量を抽出できる回路の設計を行い，(2)マルチスケールの特徴量抽出を画像前処理として用いた場合の，指文字識別率の評価を行った．
(1)では，一次視覚野の空間応答特性を模擬した，マルチスケールガボールフィルタの回路実装を行った．スケールの大きなフィルタ処理（一般に計算量が大きい）を効率よく実装するため，fast filter transform（P. J. Burt, Computer Graphics and Image Processing, 1981）を応用したフィルタリング手法を用いた．まず，Pythonを用いたシミュレーションによって，空間周波数選択性や方位選択性の調整を行い，このシミュレーションにより検討した手法・パラメータを回路化し，FPGAに実装した．
(2)では，(1)で確立した特徴量抽出を活用した物体識別・指文字識別手法の開発・評価を行った．識別器としては，畳み込みニューラルネットワーク（CNN)を用いた．評価用の画像セットとして用いるために，複数名の手による指文字を撮影した．訓練用画像の指文字を形成した人物と，テスト用画像の指文字を形成した人物は異なるものとした．上記画像セットに対し，以下の三種類の前処理手法に対する識別率を評価した：(a)単一スケールのガボールフィルタ，(b)複数スケールのガボールフィルタ，(c)前処理なし．結果，ガボールフィルタが識別率の向上に有効であること，複数スケールを利用すると識別率が最も高くなることを確認した．
|
Research Products
(10 results)
