身体性を活かす知覚的インタフェースを有する没入型プログラミング学習支援システム

2002 Fiscal Year Annual Research Report

• Project/Area Number: 14380090
• Research Institution: National Institute of Multimedia Education
• Principal Investigator: 大澤 範高 メディア教育開発センター, 研究開発部, 助教授 (30251721)
• Co-Investigator(Kenkyū-buntansha): 鈴木 一史 メディア教育開発センター, 研究開発部, 助手 (90332147) ; 高橋 秀明 メディア教育開発センター, 研究開発部, 助教授 (30251002) ; 仁科 エミ メディア教育開発センター, 研究開発部, 助教授 (20260010)
• Keywords: 仮想現実感 / プログラミング / 知覚的ユーザインタフェース / 知覚的フィードバック / 身体性 / 没入型 / グリフ / ジグソーパズル的

Research Abstract

情報処理教育に、身体性を活用した没入型仮想現実感システムおよび知覚的ユーザインタフェース技術を導入することによって、従来の教育方法よりも効果が得えられることおよびその効果を得るための条件を実証的な評価によって明らかにすることを目的としており、初年度の研究として、これまでに開発している没入型仮想現実感システムの機能および使い勝手を向上させるために、基礎となる技法についての研究を中心に行った。
没入型環境におけるプログラミングでの関係および構文の表現として、ジグソーパズル的な可視化表現および可聴化表現を研究した。関係としてはJava言語におけるクラスの継承関係を対象とした。Java2 Standard Editionの1500を超えるクラスに対して、継承関係をジグソーパズル的な包含関係によって表す形状(グリフ)や音の包含関係によって表現する音列(サウンドグリフ)の生成技法を研究し、基礎的な評価を行った。また、継承関係だけではなく、プログラミング言語の構文規則を表す可視化技法を研究し、文脈自由文法の制約を満たすグリフの生成技法を開発した。成果は、国際会議において発表を行った。
また、プログラミングの際には、一連の処理をまとめて扱う必要があり、その機能は一般的に抽象的である。この処理単位の意味を表すためには図形的表現のみでは不十分であり、言語表現を用いる必要がある。このための入力を没入空間で行うための新しい方法を研究し、それを実現するウィジェットを開発した。開発したウィジェットでは、音声認識と手による編集操作が可能であり、発話され、認識された文の単語、文字といった単位での編集を可能にしており、適切な選択による効率的な入力を可能にしている。また、発話され、認識された文の奥行き方向に配置し、3次元空間を有効利用すると共に、雑音などによる誤認識によって有効な認識結果が消えてしまって利用できなくなることを防ぐことを可能にした。

Research Products

• [Publications] Noritaka Osawa, Kikuo Asai, Fumihiko Saito: "An Interactive Toolkit Library for 3D Applications : it3d"Eighth Eurographics Workshop on Virtual Environments. 149-157 (2002)
• [Publications] Noritaka Osawa: "Sound Glyphs Representing Inheritance Relationships"6th International Conference on Information Visualisation. 10-15 (2002)
• [Publications] Noritaka Osawa: "Jigsaw-puzzle-like 3D Diagrams to Represent Syntactical Constraints"6th International Conference on Information Visualisation. 421-426 (2002)
• [Publications] Noritaka Osawa, Yuji Y.Sugimoto: "Multimodal Text Input in an Immersive Environment"The 12th International Conference on Artificial Reality and Telexistence. 85-92 (2002)
• [Publications] Noritaka Osawa, Kikuo Asai, Motofumi Suzuki, Yuji Y.Sugimoto: "An Immersive Programming System : Ougi"The 12th International Conference on Artificial Reality and Telexistence. 36-43 (2002)
• [Publications] Noritaka Osawa, Xiangshi Ren, Motofumi T.Suzuki: "An Evaluation of Text Entry Methods in a Standing Posture for Application to an Immersive Virtual Environment"10th International Conference on Human-Computer Interaction. (To appear). (2003)