|
本課題では「空中に文字を書く動作(ジェスチャー)」から、その「三次元的に書かれた文字」が「何の文字であるか」「誰が書いているか」「本人が書いているのか」をコンピュータで認識・認証する研究を行った。また、その技術を応用して、現実空間や仮想空間において文字を記録する「空中筆記インタフェース」の開発を行った。
(1) 空中筆記インタフェース：指先筆記とペン筆記の2種類の空中筆記について、手・指の位置座標を検出する深度カメラ、加速度センサを内蔵したペン、加速度センサを内蔵した腕輪、表面筋電位センサの腕輪、これらを利用して筆記するシステムを構築した。また、カメラを設置した室内において、日常動作と筆記動作を区別するためのジェスチャー開始動作を考案した。
(2) 空中手書き文字認識：指先で文字を書く、小さなモーションの信号を(1)の筆記具で収集し、隠れマルコフモデル、さらには深層化したリカレントニューラルネットワークで文字認識し、認識精度を向上した。
(3) 空中筆記認証：指先で空中署名した文字を用いた個人認証では、筆跡を三次元点群とみなして、文字の拡大縮小・平行移動・三次元的な回転に対応した順序制約付きのICPアルゴリズムを考案した。また、見えない署名の崩れに対応した文字分割・連結による照合法を考案した。ペンの持ち方を用いた個人認証では、手の関節構造を利用したグラフ畳み込みニューラルネットワークを考案した。
(4) 仮想空間筆記インタフェース：いつでもどこでも書ける仮想ホワイトボードを構想し、指先の三次元位置座標を追跡して筆記するインタフェースを構築した。また、指先で一筆書きした軌跡から非筆記部分を削除して画単位の筆跡を抽出する手法を開発した。これによって、一画ずつ筆記するよりも素早く滑らかに書けるようになった。また、仮想空間に筆記した線画像で3Dモデルを検索する手法も提案した。
|
