• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

機械学習に基づいた未言語事象の理解と説明に関する研究

Research Project

Project/Area Number 22H00545
Research Category

Grant-in-Aid for Scientific Research (A)

Allocation TypeSingle-year Grants
Section一般
Review Section Medium-sized Section 61:Human informatics and related fields
Research InstitutionNational Institute of Advanced Industrial Science and Technology

Principal Investigator

佐川 立昌  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 協力研究員(招へい型)) (30362627)

Co-Investigator(Kenkyū-buntansha) 吉安 祐介  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究チーム長 (10712234)
高野 渉  大阪大学, 数理・データ科学教育研究センター, 特任教授(常勤) (30512090)
鮎澤 光  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 上級主任研究員 (60649086)
今村 由芽子  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (60760436)
山野辺 夏樹  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (90455436)
Project Period (FY) 2022-04-01 – 2027-03-31
Project Status Granted (Fiscal Year 2025)
Budget Amount *help
¥41,600,000 (Direct Cost: ¥32,000,000、Indirect Cost: ¥9,600,000)
Fiscal Year 2025: ¥8,190,000 (Direct Cost: ¥6,300,000、Indirect Cost: ¥1,890,000)
Fiscal Year 2024: ¥8,580,000 (Direct Cost: ¥6,600,000、Indirect Cost: ¥1,980,000)
Fiscal Year 2023: ¥10,530,000 (Direct Cost: ¥8,100,000、Indirect Cost: ¥2,430,000)
Fiscal Year 2022: ¥9,360,000 (Direct Cost: ¥7,200,000、Indirect Cost: ¥2,160,000)
Keywords未言語事象 / 教師なし学習 / 理解モデル / 人の行動モデル化
Outline of Research at the Start

機械学習による主要な認識タスクの1つは、入力データに対応するラベルの推定問題であるが、現実世界では自然言語で説明し難い事象が多くあり、推定すべきラベルを適切に設定できないことがある。明示的にラベルと対応付けられない事象を「未言語事象」と呼ぶことにすると、未言語事象の理解は、言語のように個人間で共有されていないため、コミュニケーションの齟齬が生じる問題がある。そこで本提案では、未言語事象における各個人固有の理解モデルを観測データから構築し、言語を介せず説明、比較する手法を実現することによってコミュニケーション齟齬解消に貢献する。

Outline of Annual Research Achievements

機械学習による主要な認識タスクの1つは、入力データに対応するラベルの推定問題である。しかし一方で、現実世界では自然言語で説明し難い事象が多くあり、推定すべきラベルを適切に設定できないことがある。本研究課題では、明示的にラベルと対応付けられない事象を「未言語事象」と呼ぶことにする。未言語事象における各個人固有の理解モデルを観測データから構築し、することによって、教師なし学習に基づいて構造化した理解モデルを、言語を介せず説明、比較する手法の実現を目指す。
本年度は、未言語事象の理解モデルを構築する方法として、アテンション機構に基づいて特徴量を抽出し、その特徴量を量子化するステップと組み合わせて、離散的な構造表現を抽出する方法を提案した。抽出した離散的な表現を用いて、時間方向のセグメンテーション、動作のスキル推定などの認識タスクを学習し、離散的表現が認識に必要な情報を保持していることを示し、時間軸に沿った離散状態間の遷移グラフを作ることで、状態の相関性に関する分析を行った。また、動作系列の補間と予測に向けて、人の動作の力学的な分析を行うととともに、ロボット動作生成のための強化学習、最適制御に基づいた動作生成の方法について研究を行った。また、人の理解に基づいた実世界の表現と、離散表現の対応を調べる例として、物理的な接触状態や感性的な動作表現について研究を行い、学習において扱う動作の種類を多様化した。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本年度は、昨年度から研究開発したデータ内に共通する要素を抽出する手法を改善し、評価用のタスクとして、時間方向のセグメンテーション、動作のスキル推定のタスクを学習し、抽出した状態がこれらのタスクに有用であること、および状態間の相関性を状態遷移グラフとして分析した。また、状態の意味を人の知識と関連付ける応用として接触状態を推定する問題に応用し、国内会議において発表を行った。動作系列の補間と予測の事前準備として、人の動作の力学的な分析を行うとともに、強化学習に基づく動作の生成方法の研究を行い、国際会議および国際論文誌において研究発表を行った。また、動作に含まれる感性的な表現のデータ取得を行うとともに、公開データセットの利用、シミュレーションに基づいたデータ取得など異なるドメインのデータに対して離散状態の抽出のテストを行い、それに基づいたロボット動作生成への応用について研究した。上記の研究内容について複数の研究発表を行い、概ね計画通りの進捗を得た。

Strategy for Future Research Activity

本年度は、昨年度から研究してきたデータ内に共通する離散要素を抽出する手法に基づいて、複数のデータセットに対して手法を適用し、時間方向のセグメンテーションなど複数のタスクを利用できることを確かめた。今後の研究では、次の段階として抽出した離散的要素を生かす応用について研究する。まず1つ目は、人が持つ知識を関連付けを行うことを考え、アノテーションコストを下げる効果を得ることを目指す。また2つ目に、離散的要素を用いて生成に利用することを考え、離散要素からのロボット動作の生成を行う方法を研究する予定である。並行してマルチモーダルデータ計測を簡便に行うための環境と人物の計測方法についても研究し、データセット作成を図る。

Report

(3 results)
  • 2023 Annual Research Report
  • 2022 Comments on the Screening Results   Annual Research Report
  • Research Products

    (10 results)

All 2024 2023 2022

All Journal Article (6 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 5 results,  Open Access: 5 results) Presentation (4 results) (of which Int'l Joint Research: 2 results)

  • [Journal Article] Fast Direct Optimal Control for Humanoids Based on Dynamics Representation in FPC Latent Space2024

    • Author(s)
      Shimizu Soya、Ayusawa Ko、Venture Gentiane
    • Journal Title

      IEEE Robotics and Automation Letters

      Volume: 9 Issue: 4 Pages: 3823-3830

    • DOI

      10.1109/lra.2024.3371291

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed
  • [Journal Article] A Generative Model to Embed Human Expressivity into Robot Motions2024

    • Author(s)
      Osorio Pablo、Sagawa Ryusuke、Abe Naoko、Venture Gentiane
    • Journal Title

      Sensors

      Volume: 24 Issue: 2 Pages: 569-569

    • DOI

      10.3390/s24020569

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Fast Inverse Kinematics Based on Pseudo-Forward Dynamics Computation: Application to Musculoskeletal Inverse Kinematics2023

    • Author(s)
      Ayusawa Ko、Murai Akihiko、Sagawa Ryusuke、Yoshida Eiichi
    • Journal Title

      IEEE Robotics and Automation Letters

      Volume: 8 Issue: 9 Pages: 5775-5782

    • DOI

      10.1109/lra.2023.3300207

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] A Hierarchical Robot Learning Framework for Manipulator Reactive Motion Generation via Multi-Agent Reinforcement Learning and Riemannian Motion Policies2023

    • Author(s)
      Wang Yuliu、Sagawa Ryusuke、Yoshiyasu Yusuke
    • Journal Title

      IEEE Access

      Volume: 11 Pages: 126979-126994

    • DOI

      10.1109/access.2023.3324039

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Self-supervised Extraction of Human Motion Structures via Frame-wise Discrete Feature2023

    • Author(s)
      Tetsuya Abe, Ryusuke Sagawa, Ko Ayusawa, Wataru Takano
    • Journal Title

      arXiv

      Volume: 2309.05972

    • Related Report
      2023 Annual Research Report
    • Open Access
  • [Journal Article] Estimating Muscle Activity from the Deformation of a Sequential 3D Point Cloud2022

    • Author(s)
      Niu Hui、Ito Takahiro、Desclaux Damien、Ayusawa Ko、Yoshiyasu Yusuke、Sagawa Ryusuke、Yoshida Eiichi
    • Journal Title

      Journal of Imaging

      Volume: 8 Issue: 6 Pages: 168-168

    • DOI

      10.3390/jimaging8060168

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Presentation] 機械学習に基づく人型システムの接触状態の推定2023

    • Author(s)
      三宅 響, 佐川 立昌, 鮎澤 光, 室岡 雅樹, 吉田 英一
    • Organizer
      ロボティクス・メカトロニクス講演会2023
    • Related Report
      2023 Annual Research Report
  • [Presentation] Gait Changes with Powered Wear for Walking Aid: Verification Experiment Measuring Walking Motion and Physical Characteristics2023

    • Author(s)
      Imamura Yumeko、Sumitani Masahiko、Otake Yuko、Hanzawa Fumiya、Kishimoto Kazuaki
    • Organizer
      IEEE SMC2023
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Deformable Mesh Transformer for 3D Human Mesh Recovery2023

    • Author(s)
      Yusuke Yoshiyasu
    • Organizer
      The IEEE/CVF Conference on Computer Vision and Pattern Recognition 2023
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Attentionの可視化による人間行動の構造解析2022

    • Author(s)
      阿部 哲也, 佐川 立昌, 伊藤 孝浩, 酒井 勁佑
    • Organizer
      第25回 画像の認識・理解シンポジウム
    • Related Report
      2022 Annual Research Report

URL: 

Published: 2022-04-19   Modified: 2025-06-20  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi