2011 Fiscal Year Annual Research Report
インタラクティブな複合現実システムの開発と教育利用
| Project/Area Number |
21500894
|
|---|
| Research Institution | Iwate University |
|---|
Principal Investigator |
井上 祥史 岩手大学, 教育学部, 教授 (00211061)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
伊藤 敏 岐阜聖徳学園大学, 経済情報学部, 教授 (80130946)
|
|---|
| Keywords | バーチャルリアリティ / 音声認識 / 教育工学 / 科学教育 |
|---|
| Research Abstract |
1.ミックスト・リアリティ
遺跡の上で歴史建造物を復元するミックスト・リアリティの教育利用を図るために,作成したGPSを用いたシステムの評価を行い,その実用性を示した.さらに簡便なシステムにするために,画像の特徴点の動きからカメラ位置を把握するParallel Tracking and Mapping(PTAM烈)システムの動作検証を行い,特性を評価した.その結果,空間座標軸のマニュアル設定を行うことにより屋内外での実用化が可能であると判断し,PTAMシステムの修正に取り掛かかった.
2.音声対話システム
仮想的な歴史上の人物と対話をするために,時代および地域に固有な名詞もかなり高い精度で認識できる音声認識システムを作成した.システム作成の負荷を軽減するために,Juliusを用いて記述文法と一般的な連続音声認識とを併用してスコアの高いものを認識結果とした.また音声入力に伴う単語を,助詞と品詞によりカテゴリごとに分類し蓄積することによって,会話の進展に伴って応答文の内容が豊かになる対話システムのプロトタイプを作成した.応答文の音声合成にはGalateatalkを用いた.
3.自律神経機能の測定
血脈流による交感神経・副交感神経の活動度を測定する装置を開発したので,それを用いていくつかの学習過程で自律神経機能を測定した.その結果,評価されるときのストレスや初めて触れる課題に対するストレスと慣れなど,学習活動に特徴的な自律神経活動の変化が起きることを見出した.現在の測定法はデータを記録してから解析する方式のため即時性はない.タイムタグを除いてミックスト・リアリティ・システムや音声対話システムと連携させて,インタラクティブに人物の表情や応答内容を変化させることが最終目標であり,このためのリアルタイム解析の準備を始めた,
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
ミックスト・リアリティ・システムの実用評価でほぼ満足できる結果を得た・センサを用いずに画像の特徴点からカメラ位置を特定する方式の仮想現実システムの動作特性を把握し,簡便なミックスト・リアリティ・システムを構成する手掛かりを得た.また学習時における特徴的な自律神経機能の表れ方を把握するとともに,新しい自律神経活動の表示法を開発するなどの成果を上げている,さらに音声対話では,歴史遺産を鑑賞し学ぶ時の固有名詞を高い精度で認識させて,システムとの対話による知識獲得を行うプロトタイプのシステムを作成することがてきた.
|
| Strategy for Future Research Activity |
学習者が動き,対話し,驚きや興味などの自律神経の動きをインタラクティブに捕えながら対話できるシステムの構築に向けて,個別に作成したシステムの統合化を進めて行く.過度の統合化ではなく,開発したシステムを公開して評価を受けながらそれぞれのシステムが特性を発揮できるレベルの統合化を図ることになる.また,画像の特徴点から空間位置を把握する簡便でハードウェアの制約の少ない仮想現実システムと他のシステムとの統合化を検討していく.そして歴史遺産について学ぶ環境としての評価を行う,
|
Research Products
(9 results)
