• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2020 Fiscal Year Annual Research Report

Acquisition, Description and Authentication of Personal Digital Twin

Research Project

Project/Area Number 20H00599
Research InstitutionThe University of Tokyo

Principal Investigator

中村 仁彦  東京大学, 大学院工学系研究科(工学部), 特任研究員 (20159073)

Co-Investigator(Kenkyū-buntansha) 張 添威  東京大学, 大学院情報理工学系研究科, 特任助教 (10870181) [Withdrawn]
池上 洋介  東京大学, 大学院情報理工学系研究科, 助教 (90774414)
Project Period (FY) 2020-04-01 – 2023-03-31
Keywordsデジタルツイン / ボルメトリック・モーションキャプチャ / ビデオ・モーションキャプチャ / 個人認証 / ストリーミング
Outline of Annual Research Achievements

本研究は、ビデオモーションキャプチャによる運動解析を骨格運動と筋活動の再現からさらに発展させ、人間の個性を抽出して情報表現するための基盤技術を確立することを目的として研究を実施している。「①ビデオ・モーションキャプチャ」や「②ボルメトリック・モーションキャプチャ」をネットワークとGPUクラウドを利用して実現して「③記号表象学」、「④統計的表象学」、「⑤運動制御表象学」、「⑥個人認証」に発展させようとしている。2020年度は、「①ビデオ・モーションキャプチャ」を発展させ、グラウンドのような広い空間で複数の人間が運動する様子を複数のカメラ映像から同時に3次元再構成する基礎技術を開発した。一人の人間を囲む最小のバウンディングボックスを使うことで複数の人間の間のオクルージョン問題を解決できることを実証した。「②ボルメトリック・モーションキャプチャ」では体型と運動を同時に三次元再構成するビデオモーキャップの基礎技術を開発した。体型と運動の時系列データから個人の特徴の抽出に応用する提案を行った。これは「⑥個人認証」のための基礎になると考えている。「③記号表象学」ではチームスポーツの各選手の運動情報に基づく連携動作の言語化に取り組んだ。「⑤運動制御表象学」へのアプローチとして体操選手の運動と筋活動の関係の表現に取り組んだ。スポーツ選手の身体技能の違いを筋張力データから抽出することも検討を始めた。これはスポーツ外傷のリスクを客観的に提示する方法につながる可能性がある。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

2020年度には「②ボルメトリック・モーションキャプチャ」を担当していた分担者が、コロナパンデミックに関係した家族の事情で帰国せざるを得なくなるという事態が発生した。これによって②の予定の遅れが生じた。その代わりとしてモーションキャプチャのCNNの学習用のアノテーションデータを外注によって作成することで①の研究を加速させた。②については次年度以降に遅れを取り戻す計画である。全体としては「(2)おおむね順調に進展している」と判断している。

Strategy for Future Research Activity

2020年度には「①ビデオ・モーションキャプチャ」、「②ボルメトリック・モーションキャプチャ」、「③記号表象学」、「⑤運動制御表象学」、「⑥個人認証」の各項目について、今後の基礎になるような重要な成果を得ることができた。今後は、①を強化することで大規模な運動データを取得し「④統計的表象学」につなげる共に、「②ボルメトリック・モーションキャプチャ」の遅れを取り戻し、運動データのより深い理解とそれに基づく応用分野を開拓する。2021年度には新しく研究分担者を追加することを予定している。

  • Research Products

    (24 results)

All 2021 2020 Other

All Journal Article (4 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 4 results) Presentation (13 results) (of which Int'l Joint Research: 2 results,  Invited: 5 results) Remarks (2 results) Patent(Industrial Property Rights) (5 results)

  • [Journal Article] Synergetic reconstruction from 2D pose and 3D motion for wide-space multi-person video motion capture in the wild2020

    • Author(s)
      Ohashi Takuya、Ikegami Yosuke、Nakamura Yoshihiko
    • Journal Title

      Image and Vision Computing

      Volume: 104 Pages: 104028~104028

    • DOI

      10.1016/j.imavis.2020.104028

    • Peer Reviewed
  • [Journal Article] Motion and Muscle Activity of Synchronized Rolling-Type Double-Leg Circles on a Pommel Horse2020

    • Author(s)
      Nawa Motoyuki、Yamada Ayaka、Nishiwaki Kazuie、Yamawaki Kyoji、Ikegami Yosuke、Nakamura Yoshihiko、Yamasaki Taiga
    • Journal Title

      Conference of International Sports Engineering Association

      Volume: Proceedings of the 13th Pages: 1-6

    • DOI

      10.3390/proceedings2020049031

    • Peer Reviewed
  • [Journal Article] FlowFusion: Dynamic Dense RGB-D SLAM Based on Optical Flow2020

    • Author(s)
      Zhang Tianwei、Zhang Huayan、Li Yang、Nakamura Yoshihiko、Zhang Lei
    • Journal Title

      IEEE International Conference on Robotics and Automation

      Volume: Proceedings of Pages: 7322-7328

    • DOI

      10.1109/ICRA40945.2020.9197349

    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Muscles Cooperation Analysis Using Akaike Information Criteria for Anterior Cruciate Ligament Injury Prevention2020

    • Author(s)
      Uchiyama Emiko、Suzuki Hinako、Ikegami Yosuke、Nakamura Yoshihiko、Taketomi Shuji、Kawaguchi Kohei、Mizutani Yuri、Doi Tokuhide
    • Journal Title

      Annual International Conference of the IEEE Engineering in Medicine and Biology Society

      Volume: Proceedings of the 42nd Pages: 4799-4802

    • DOI

      10.1109/EMBC44109.2020.9175811

    • Peer Reviewed
  • [Presentation] 高速でインタラクティブな筋骨格情報の描画法とスポーツトレーニングに向けたV R 実装2021

    • Author(s)
      櫻井彬光, 池上洋介, 山本江, Milutin Nikolic, 中村仁彦
    • Organizer
      日本IFToMM会議シンポジウム
  • [Presentation] 高速でインタラクティブな筋骨格情報の描画法とスポーツトレーニングに向けたV R実装2021

    • Author(s)
      櫻井彬光, 池上洋介, 山本江, Milutin Nikolic, 中村仁彦
    • Organizer
      日本IFToMM会議シンポジウム
  • [Presentation] Robotics and Human-Motion Data Science2021

    • Author(s)
      Yoshihiko Nakamura
    • Organizer
      2nd Japan-Mexco Colloquium on Mexican and Japanese Studies, UTokyo Latin American and Iberian Network for Academic Collaboration
    • Int'l Joint Research / Invited
  • [Presentation] チームスポーツの各選手の運動情報に基づく連携動作の言語化2020

    • Author(s)
      大桶夏津, 池上洋介, 山本江, 高野渉, 山田文香, Milutin Nikolic, 櫻井彬光, 中村仁彦
    • Organizer
      日本機械学会ロボティクス・メカトロニクス講演会
  • [Presentation] 体型と運動を同時に三次元再構成するビデオモーキャップとそれを用いた個人認証2020

    • Author(s)
      赤瀬稔尚, 張添威, 池上洋介, 山本江, 中村仁彦
    • Organizer
      日本機械学会ロボティクス・メカトロニクス講演会
  • [Presentation] ハイスピードカメラとビデオカメラを同期させた打撃系スポーツの運動解析2020

    • Author(s)
      西川晃平, 池上洋介、山嵜康平、山本江、中村仁彦
    • Organizer
      日本機械学会ロボティクス・メカトロニクス講演会
  • [Presentation] スポーツ外傷予防のための筋張力時系列データ解析手法の検討2020

    • Author(s)
      内山瑛美子, 鈴木比奈子, 池上洋介, 中村仁彦, 武冨修治, 川口航平, 水谷有里
    • Organizer
      日本機械学会ロボティクス・メカトロニクス講演会
  • [Presentation] 敵対的生成法を用いた単眼カメラ映像からの人間のモーションキャプチャ2020

    • Author(s)
      西田知生, 萩原啓介, 山本江, 中村仁彦
    • Organizer
      日本機械学会ロボティクス・メカトロニクス講演会
  • [Presentation] あん馬旋回演技の様々な技術に対するリサージュ評価の汎用化2020

    • Author(s)
      名和 基之,西脇 一宇,山脇 恭二、 山田 文香,池上 洋介,中村 仁彦,山崎 大河
    • Organizer
      日本機械学会 シンポジウム:スポーツ工学・ヒューマンダイナミクス
  • [Presentation] During the Voyages of H.M.S. Beagle Round the Robotics2020

    • Author(s)
      中村仁彦
    • Organizer
      日本機械学会ロボティクス・メカトロニクス講演会
    • Invited
  • [Presentation] ヒューマンモーション・データサイエンス2020

    • Author(s)
      中村仁彦
    • Organizer
      日本学術会議公開シンポジウム「こころ・からだ・細胞を運動でつなぐアプローチ」
    • Invited
  • [Presentation] VMocapとバイオメカニクスが開く科学的トレーニング2020

    • Author(s)
      中村仁彦
    • Organizer
      スポーツビジネスジャパン2020
    • Invited
  • [Presentation] What we talk when we talk about society and robots2020

    • Author(s)
      Yoshihiko Nakamura
    • Organizer
      IFRR Colloquium Society and Robots, International Foundation of Robotics Research
    • Int'l Joint Research / Invited
  • [Remarks] Human Motion Data Science Laboratory

    • URL

      https://roboticsynl.com/hmds/

  • [Remarks] Yoshihiko Nakamura Laboratory

    • URL

      https://roboticsynl.com/nakamura/

  • [Patent(Industrial Property Rights)] 3D位置取得方法及び装置2021

    • Inventor(s)
      中村仁彦, 池上洋介, 大橋拓也
    • Industrial Property Rights Holder
      東京大学、株式会社NTTドコモ
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      2021036594
  • [Patent(Industrial Property Rights)] 皮膚情報を用いた運動特徴量の取得方法及び装置2020

    • Inventor(s)
      中村仁彦, 池上洋介, 張添威, 赤瀬稔尚
    • Industrial Property Rights Holder
      東京大学
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      2020090047
  • [Patent(Industrial Property Rights)] モーションキャプチャ・カメラシステム、及び、当該カメラシステムを用いた動画データ取得方法2020

    • Inventor(s)
      中村仁彦, 池上洋介, 赤瀬稔尚, 西川晃平, 山嵜康平
    • Industrial Property Rights Holder
      東京大学、株式会社ナックイメージテクノロジー
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      2020089257
  • [Patent(Industrial Property Rights)] カメラのキャリブレーション方法2020

    • Inventor(s)
      中村仁彦, 池上洋介, 赤瀬稔尚, 西川晃平 , 山嵜康平
    • Industrial Property Rights Holder
      東京大学、株式会社ナックイメージテクノロジー
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      2020141297
  • [Patent(Industrial Property Rights)] 情報解析装置および情報解析方法2020

    • Inventor(s)
      中村仁彦,高野渉,牧敦,小松佑人,佐野健太郎,網野梓,姚卓男
    • Industrial Property Rights Holder
      東京大学、株式会社日立製作所
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      2020116163

URL: 

Published: 2022-12-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi