• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Implementation and Practical Application of 3D Motion Sensor for Dexterous Motion Tracking

Research Project

Project/Area Number 17J04295
Research Category

Grant-in-Aid for JSPS Fellows

Allocation TypeSingle-year Grants
Section国内
Research Field Human interface and interaction
Research InstitutionTohoku University

Principal Investigator

黄 佳維  東北大学, 情報科学研究科, 特別研究員(DC1)

Project Period (FY) 2017-04-26 – 2020-03-31
Project Status Completed (Fiscal Year 2019)
Budget Amount *help
¥2,500,000 (Direct Cost: ¥2,500,000)
Fiscal Year 2019: ¥800,000 (Direct Cost: ¥800,000)
Fiscal Year 2018: ¥800,000 (Direct Cost: ¥800,000)
Fiscal Year 2017: ¥900,000 (Direct Cost: ¥900,000)
Keywordsモーションキャプチャー / モーションセンサ / 機械学習 / フィルタリング / ユーザインタフェース
Outline of Annual Research Achievements

今年は計画通り、磁気式モーショントラッキングシステムの開発と改善、それから本システムに基づき、新たなアプリケーションを開発した。
システム自体は、DNNと新しく設計したStructure-aware Bilateral Temporal Filter (SABTF)により、精度、速度、フレックシビリティなどが高まり、実用的なシステムになった。しかし、論文投稿はうまくいっていない。システムの論文はSIGGRAPH Asia 2019にぎりぎり落ちて、今はTVCG(IF 4)に投稿し、Major Revisionを作成中で、2020年内に発表する見込みである。
このシステムに基づいて、我々は少ない磁気マーカを利用して、リアリスティックな手操作アニメーションを作る技術について研究をした。従来手法は光学式システムを使うのがほとんどで、大量なマーカを手に付ける必要があり、手操作の邪魔になるが、我々のシステムは7個のマーカだけでこのタスクを達成することができる。7個のマーカから手の姿勢全体を推定するのに、バーチャルな手のモデル(リグ)を、実際のアクターの手に綿密に合わせることが重要である。そこで我々は、自動的に、キャプチャーされたデータから、リグのキャリブレーションを自動的に行うアルゴリズムを開発した。このアルゴリズムにより計算された手のモデルは、実際のアクターの手と比べ、誤差がわずかの10%で、手の姿勢を推定するのに役に立った。この研究の論文は現在作成しており、今年のSIGGRAPHに投稿する予定。
研究成果の一つであるSABTFを特許化する活動が始まっている。このフィルタリング技術はノイズ除去だけでなく、原データから、モーションデータの欠損を補完することができるので、ほかのトラッキングシステムへも応用できると予想され、今は光学式システムへの応用を検討中である。

Research Progress Status

令和元年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和元年度が最終年度であるため、記入しない。

Report

(3 results)
  • 2019 Annual Research Report
  • 2018 Annual Research Report
  • 2017 Annual Research Report
  • Research Products

    (9 results)

All 2019 2018 2017

All Presentation (9 results) (of which Int'l Joint Research: 6 results)

  • [Presentation] Random-Forest-Based Initializer for Real-time Optimization-based 3D Motion Tracking Problems2019

    • Author(s)
      黄 佳維, 菅原 諒, 幸村 琢, 北村 喜文
    • Organizer
      ICAT-EGVE 2019 - International Conference on Artificial Reality and Telexistence and Eurographics Symposium on Virtual Environments
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Interacting with 3D Images on a Rear-projection Tabletop 3D Display Using Wireless Magnetic Markers and an Annular Coil Array2019

    • Author(s)
      吉田 俊介, 菅原 諒, 黄 佳維, 北村 喜文
    • Organizer
      Proceeding of IEEE Conference on Virtual Reality and 3D User Interfaces 2019 Poster
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Interacting with 3D Images on a Rear-projection Tabletop 3D Display Using Wireless Magnetic Markers and an Annular Coil Array2019

    • Author(s)
      Ryo Sugawara, Yoshifumi Kitamura, Jiawei Huang and Shunsuke Yoshida
    • Organizer
      IEEE Conference on Virtual Reality and 3D User Interfaces 2019 Poster
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Random-Forest-Based Initializer for Solving Inverse Problem in 3D Motion Tracking Systems2018

    • Author(s)
      Ryo Sugawara, Jiawei Huang, Kazuki Takashima, Taku Komura and Yoshifumi Kitamura
    • Organizer
      VRST '18 Proceedings of the 24th ACM Symposium on Virtual Reality Software and Technology
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 磁気式モーションセンサと CNN を用いたオクルージョンに強い非グローブ型手形状・位置・姿勢推定手法2018

    • Author(s)
      菅原 諒, 黄 佳維, 高嶋 和毅, 北村 喜文
    • Organizer
      第 23 回日本バーチャルリアリティ学会大会
    • Related Report
      2018 Annual Research Report
  • [Presentation] Cubeharmonic: A New Interface from a Magnetic 3D Motion Tracking System to Music Performance2018

    • Author(s)
      Mannnone Maria, Eri Kitamura, Jiawei Huang, Ryo Sugawara and Yoshifumi Kitamura
    • Organizer
      International Conference on New Interfaces for Musical Expression 2018
    • Related Report
      2018 Annual Research Report
  • [Presentation] CubeHarmonic: A New Interface from a Magnetic 3D Motion Tracking System to Music Performance2018

    • Author(s)
      Maria Mannone, Eri Kitamura, Jiawei Huang, Ryo Sugawara, Yoshifumi Kitamura
    • Organizer
      New Interfaces for Musical Expression (NIME)
    • Related Report
      2017 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 最適解計算に基づく3次元モーションセンサのためのランダムフォレストを用いた初期値推定法2017

    • Author(s)
      菅原 諒, 黄 佳維, 高嶋 和毅, 幸村 琢, 北村 喜文
    • Organizer
      第22回日本バーチャルリアリティ学会大会
    • Related Report
      2017 Annual Research Report
  • [Presentation] Light-tracing: Ray-Casted Movement for Improved Character Control in Platform Virtual Reality Gaming2017

    • Author(s)
      Clinton Anderson, Jiawei Huang, Kazuki Takashima, and Yoshifumi Kitamura
    • Organizer
      SIGGRAPH Asia 2017 VR Showcase
    • Related Report
      2017 Annual Research Report
    • Int'l Joint Research

URL: 

Published: 2017-05-25   Modified: 2024-03-26  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi