コンピュータビジョンと拡張現実感を融合した知的学習机の開発

2001 Fiscal Year Annual Research Report

• Project/Area Number: 11558018
• Research Institution: The University of Electro-Communications
• Principal Investigator: 小池 英樹 電気通信大学, 大学院・システム学研究科, 助教授 (70234664)
• Keywords: コンピュータビジョン / 拡張現実感 / ICAI / 画像処理

Research Abstract

本年度は以下の研究を行った.
(1)アプリケーションの開発
開発した机システムを用いて以下のようなアプリケーションを開発し評価を行った.
-理科アプリケーション
利用者が理科の教科書を開くと,教科書にあらかじめ添付されたバーコードを認識し,対応するビデオあるいはCGシミュレーションを机上に表示する.利用者は自分自身の手で,投影された電子情報(ビデオやCG)を直接操作することができた.なお本研究では従来の研究ではできなかった,実時間(20frame/sec)での認識を手認識を実現した.
-図形描画システム
両手を利用して図形を描画するシステムを開発した.図形の位置指定,移動-回転操作,コピー・ペーストなどがすべて手だけで実現できた.左手周辺には本研究で新たに開発した円形メニューが表示される.また,ジェスチャ認識による図形指定(形と大きさ),把持操作,メニューの表示・非表示などを実現した.そして既存の図形描画ツールとの被験者実験を行った結果,簡単な図の描画では既存のシステムに比べ,ほぼ同等かそれ以上の成績を収めることがわかった.
(2)両手ジェスチャ認識の高機能化
これまでに開発した実時間手認識手法を用いて,さらに高機能なジェスチャ認識を実現した.具体的には隠れマルコフモデル(HMM)を用いて,10種類のジェスチャ認識を行えるようになった.ジェスチャの種類にもよるが平均では95%以上の認識率を達成した.このジェスチャ認識手法は上記の図形描画システムに利用された.
以上のように,3年間の研究により,当初の目的どおりの机システムとそのアプリケーションの開発を行うことができた.今後は,このシステムの実用化(低価格化,およびコンパクト化)を考えていきたい.
また,遠隔に離れた2つの机システムを通信で結び,遠隔教育の実験を行えればと考えている.