A Programming Environment utilizing Embodiment with Three-dimensional Entity and Taste

• Project/Area Number: 15K12164
• Research Category: Grant-in-Aid for Challenging Exploratory Research
• Allocation Type: Multi-year Fund
• Research Field: Learning support system
• Research Institution: Chiba University
• Principal Investigator: Osawa Noritaka 千葉大学, 大学院工学研究院, 教授 (30251721)
• Co-Investigator(Kenkyū-buntansha): 梅澤 猛 千葉大学, 大学院工学研究院, 助教 (50450698)
• Project Period (FY): 2015-04-01 – 2018-03-31
• Project Status: Completed (Fiscal Year 2017)
• Budget Amount: ¥3,510,000 (Direct Cost: ¥2,700,000、Indirect Cost: ¥810,000); Fiscal Year 2017: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000); Fiscal Year 2016: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000); Fiscal Year 2015: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
• Keywords: プログラミング環境 / 可視化 / 複合現実感 / 3次元プリンタ / 学習支援 / 屋内位置推定 / 行動分析 / 屋内位置測位

Outline of Final Research Achievements

This research investigated embodiment methods of programs with three dimensional entity using a 3D printer in order to enhance learners' interests in programming and promote learners' understanding of abstraction which is important in programming. We also studied programming environments where both materialized program components and virtual program components can be used by utilizing mixed reality technologies.
Moreover, we developed a behavior classification method and indoor positioning methods which are needed to analyze actions of programming learners in virtual and mixed reality environments indoors. The behavior classification method is based on movements of both hands. The developed indoor positioning method integrates radio fingerprinting and dead reckoning differently from conventional ones.

Research Products

• [Presentation] An Indoor Area Estimation Method Analyzing Spectrograms of Environmental Ultrasounds by Convolutional Neural Network (2018)
  • Author(s): Tatsuro Tsuchiya, Takeshi Umezawa, and Noritaka Osawa
  • Organizer: International Conference and Exhibition on Ubiquitous Positioning, Indoor Navigation and Location-Based Services
  • Int'l Joint Research
• [Presentation] An Indoor Positioning Method Based on Regression Models with Compound Location Fingerprints (2018)
  • Author(s): Tomofumi Takayama, Takeshi Umezawa, Nobuyoshi Komuro, and Noritaka Osawa
  • Organizer: International Conference and Exhibition on Ubiquitous Positioning, Indoor Navigation and Location-Based Services
  • Int'l Joint Research
• [Presentation] Daily activity recognition based on acceleration of both wrists (2018)
  • Author(s): Junyan Li, Takeshi Umezawa, Noritaka Osawa
  • Organizer: HCI International 2018
  • Int'l Joint Research
• [Presentation] Three-finger-tap Methods for Navigation in 3D Scenes on Tablet (2017)
  • Author(s): Hongyu Wang, Takeshi Umezawa, Noritaka Osawa
  • Organizer: HCI International 2017
  • Place of Presentation: Vancouver Convention Centre, Vancouver, Canada
  • Year and Date: 2017-07-12
  • Int'l Joint Research
• [Presentation] 没入型仮想現実感システムにおける映像刺激による転倒防止のための身体動揺の予測 (2017)
  • Author(s): 渡部裕貴，梅澤 猛，大澤範高
  • Organizer: 情報処理学会 第79回全国大会
  • Place of Presentation: 名古屋大学
  • Year and Date: 2017-03-16
• [Presentation] 両腕に装着した加速度センサに基づく日常動作の識別に適した機械学習手法の検討 (2017)
  • Author(s): 李 俊燕, 梅澤 猛, 大澤 範高
  • Organizer: 第16回情報科学技術フォーラム (FIT 2017) M-004
• [Presentation] ソースコード読解支援のためのファイルと関連要素の縮小表示を用いるナビゲーション機能 (2017)
  • Author(s): 後藤 洋二朗，梅澤 猛，大澤 範高
  • Organizer: 情報処理学会 第79回全国大会 2J-01
• [Presentation] 暗証番号入力時の腕の加速度を用いた携帯端末向け個人認証 (2016)
  • Author(s): 味岡 孝昇，梅澤 猛，大澤 範高
  • Organizer: 第81回モバイルコンピューティングとパーベイシブシステム研究会
  • Place of Presentation: 石川県政記念 しいのき迎賓館
  • Year and Date: 2016-12-08
• [Presentation] 屋内における移動前後の位置指紋と相対位置に基づいて構成された非線形回帰モデル (2016)
  • Author(s): 高山智史，梅澤 猛，大澤範高
  • Organizer: 第81回モバイルコンピューティングとパーベイシブシステム研究会
  • Place of Presentation: 石川県政記念 しいのき迎賓館
  • Year and Date: 2016-12-08
• [Presentation] 3点タッチを利用した3次元仮想空間内視点移動手法の検討 (2016)
  • Author(s): 王 宏宇, 梅澤 猛, 大澤範高
  • Organizer: 第15回情報科学技術フォーラム (FIT 2017)
  • Place of Presentation: 富山大学
  • Year and Date: 2016-09-07
• [Presentation] 位置推定システムにおけるデータ提供ユーザへのインセンティブに関する一考察 (2016)
  • Author(s): 梅澤 猛, 大澤範高
  • Organizer: 第15回情報科学技術フォーラム (FIT 2017)
  • Place of Presentation: 富山大学
  • Year and Date: 2016-09-07
• [Presentation] 畳み込みニューラルネットを用いた画像認識における対象物体の情報欠損による認識への影響の調査 (2016)
  • Author(s): 山本 矩嗣, 梅澤 猛, 大澤 範高
  • Organizer: 第19回画像の認識・理解シンポジウム (MIRU 2016)
  • Place of Presentation: アクトシティ浜松
  • Year and Date: 2016-08-02
• [Presentation] 背表紙画像を用いた書籍の位置特定のための特徴点マッチングにおける特徴量の比較評価 (2016)
  • Author(s): 山内 翔平, 梅澤 猛, 大澤 範高
  • Organizer: 情報処理学会 第78回全国大会 6N-01
  • Place of Presentation: 慶應義塾大学
  • Year and Date: 2016-03-12
• [Presentation] 仮想物体の位置と方向を手指の動作によって定める操作の検討 (2016)
  • Author(s): 松井勇樹, 梅澤 猛, 大澤 範高
  • Organizer: 情報処理学会 第78回全国大会 1Y-07
  • Place of Presentation: 慶應義塾大学
  • Year and Date: 2016-03-10
• [Presentation] 複数地点で観測した電波強度による位置指紋の相対位置を利用した屋内位置推定 (2016)
  • Author(s): 吾妻 悠太, 梅澤 猛, 大澤 範高
  • Organizer: 知的環境とセンサネットワーク研究会 (ASN) MoNA2015-37 pp.1-6
  • Place of Presentation: 箱根湯本温泉の旅館 ホテルおかだ
  • Year and Date: 2016-01-28
• [Presentation] 携帯端末による環境センシングによる自己位置推定手法の検討 (2015)
  • Author(s): 梅澤 猛, 大澤 範高
  • Organizer: 第14回 情報科学技術フォーラム2015 (FIT2015) M-012
  • Place of Presentation: 愛媛大学
  • Year and Date: 2015-09-16
• [Presentation] 空中におけるつまむ動作を用いた効率的な文字入力の検討 (2015)
  • Author(s): 小澤 宗馬, 梅澤 猛, 大澤 範高
  • Organizer: 第14回 情報科学技術フォーラム2015 (FIT2015) J-036
  • Place of Presentation: 愛媛大学
  • Year and Date: 2015-09-15