• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

機械学習に基づいた未言語事象の理解と説明に関する研究

研究課題

研究課題/領域番号 22H00545
研究種目

基盤研究(A)

配分区分補助金
応募区分一般
審査区分 中区分61:人間情報学およびその関連分野
研究機関国立研究開発法人産業技術総合研究所

研究代表者

佐川 立昌  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 協力研究員(招へい型)) (30362627)

研究分担者 吉安 祐介  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究チーム長 (10712234)
高野 渉  大阪大学, 数理・データ科学教育研究センター, 特任教授(常勤) (30512090)
鮎澤 光  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 上級主任研究員 (60649086)
今村 由芽子  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (60760436)
山野辺 夏樹  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (90455436)
研究期間 (年度) 2022-04-01 – 2027-03-31
研究課題ステータス 交付 (2025年度)
配分額 *注記
41,600千円 (直接経費: 32,000千円、間接経費: 9,600千円)
2025年度: 8,190千円 (直接経費: 6,300千円、間接経費: 1,890千円)
2024年度: 8,580千円 (直接経費: 6,600千円、間接経費: 1,980千円)
2023年度: 10,530千円 (直接経費: 8,100千円、間接経費: 2,430千円)
2022年度: 9,360千円 (直接経費: 7,200千円、間接経費: 2,160千円)
キーワード未言語事象 / 教師なし学習 / 理解モデル / 人の行動モデル化
研究開始時の研究の概要

機械学習による主要な認識タスクの1つは、入力データに対応するラベルの推定問題であるが、現実世界では自然言語で説明し難い事象が多くあり、推定すべきラベルを適切に設定できないことがある。明示的にラベルと対応付けられない事象を「未言語事象」と呼ぶことにすると、未言語事象の理解は、言語のように個人間で共有されていないため、コミュニケーションの齟齬が生じる問題がある。そこで本提案では、未言語事象における各個人固有の理解モデルを観測データから構築し、言語を介せず説明、比較する手法を実現することによってコミュニケーション齟齬解消に貢献する。

研究実績の概要

機械学習による主要な認識タスクの1つは、入力データに対応するラベルの推定問題である。しかし一方で、現実世界では自然言語で説明し難い事象が多くあり、推定すべきラベルを適切に設定できないことがある。本研究課題では、明示的にラベルと対応付けられない事象を「未言語事象」と呼ぶことにする。未言語事象における各個人固有の理解モデルを観測データから構築し、することによって、教師なし学習に基づいて構造化した理解モデルを、言語を介せず説明、比較する手法の実現を目指す。
本年度は、未言語事象の理解モデルを構築する方法として、アテンション機構に基づいて特徴量を抽出し、その特徴量を量子化するステップと組み合わせて、離散的な構造表現を抽出する方法を提案した。抽出した離散的な表現を用いて、時間方向のセグメンテーション、動作のスキル推定などの認識タスクを学習し、離散的表現が認識に必要な情報を保持していることを示し、時間軸に沿った離散状態間の遷移グラフを作ることで、状態の相関性に関する分析を行った。また、動作系列の補間と予測に向けて、人の動作の力学的な分析を行うととともに、ロボット動作生成のための強化学習、最適制御に基づいた動作生成の方法について研究を行った。また、人の理解に基づいた実世界の表現と、離散表現の対応を調べる例として、物理的な接触状態や感性的な動作表現について研究を行い、学習において扱う動作の種類を多様化した。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

本年度は、昨年度から研究開発したデータ内に共通する要素を抽出する手法を改善し、評価用のタスクとして、時間方向のセグメンテーション、動作のスキル推定のタスクを学習し、抽出した状態がこれらのタスクに有用であること、および状態間の相関性を状態遷移グラフとして分析した。また、状態の意味を人の知識と関連付ける応用として接触状態を推定する問題に応用し、国内会議において発表を行った。動作系列の補間と予測の事前準備として、人の動作の力学的な分析を行うとともに、強化学習に基づく動作の生成方法の研究を行い、国際会議および国際論文誌において研究発表を行った。また、動作に含まれる感性的な表現のデータ取得を行うとともに、公開データセットの利用、シミュレーションに基づいたデータ取得など異なるドメインのデータに対して離散状態の抽出のテストを行い、それに基づいたロボット動作生成への応用について研究した。上記の研究内容について複数の研究発表を行い、概ね計画通りの進捗を得た。

今後の研究の推進方策

本年度は、昨年度から研究してきたデータ内に共通する離散要素を抽出する手法に基づいて、複数のデータセットに対して手法を適用し、時間方向のセグメンテーションなど複数のタスクを利用できることを確かめた。今後の研究では、次の段階として抽出した離散的要素を生かす応用について研究する。まず1つ目は、人が持つ知識を関連付けを行うことを考え、アノテーションコストを下げる効果を得ることを目指す。また2つ目に、離散的要素を用いて生成に利用することを考え、離散要素からのロボット動作の生成を行う方法を研究する予定である。並行してマルチモーダルデータ計測を簡便に行うための環境と人物の計測方法についても研究し、データセット作成を図る。

報告書

(3件)
  • 2023 実績報告書
  • 2022 審査結果の所見   実績報告書
  • 研究成果

    (10件)

すべて 2024 2023 2022

すべて 雑誌論文 (6件) (うち国際共著 1件、 査読あり 5件、 オープンアクセス 5件) 学会発表 (4件) (うち国際学会 2件)

  • [雑誌論文] Fast Direct Optimal Control for Humanoids Based on Dynamics Representation in FPC Latent Space2024

    • 著者名/発表者名
      Shimizu Soya、Ayusawa Ko、Venture Gentiane
    • 雑誌名

      IEEE Robotics and Automation Letters

      巻: 9 号: 4 ページ: 3823-3830

    • DOI

      10.1109/lra.2024.3371291

    • 関連する報告書
      2023 実績報告書
    • 査読あり
  • [雑誌論文] A Generative Model to Embed Human Expressivity into Robot Motions2024

    • 著者名/発表者名
      Osorio Pablo、Sagawa Ryusuke、Abe Naoko、Venture Gentiane
    • 雑誌名

      Sensors

      巻: 24 号: 2 ページ: 569-569

    • DOI

      10.3390/s24020569

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Fast Inverse Kinematics Based on Pseudo-Forward Dynamics Computation: Application to Musculoskeletal Inverse Kinematics2023

    • 著者名/発表者名
      Ayusawa Ko、Murai Akihiko、Sagawa Ryusuke、Yoshida Eiichi
    • 雑誌名

      IEEE Robotics and Automation Letters

      巻: 8 号: 9 ページ: 5775-5782

    • DOI

      10.1109/lra.2023.3300207

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] A Hierarchical Robot Learning Framework for Manipulator Reactive Motion Generation via Multi-Agent Reinforcement Learning and Riemannian Motion Policies2023

    • 著者名/発表者名
      Wang Yuliu、Sagawa Ryusuke、Yoshiyasu Yusuke
    • 雑誌名

      IEEE Access

      巻: 11 ページ: 126979-126994

    • DOI

      10.1109/access.2023.3324039

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Self-supervised Extraction of Human Motion Structures via Frame-wise Discrete Feature2023

    • 著者名/発表者名
      Tetsuya Abe, Ryusuke Sagawa, Ko Ayusawa, Wataru Takano
    • 雑誌名

      arXiv

      巻: 2309.05972

    • 関連する報告書
      2023 実績報告書
    • オープンアクセス
  • [雑誌論文] Estimating Muscle Activity from the Deformation of a Sequential 3D Point Cloud2022

    • 著者名/発表者名
      Niu Hui、Ito Takahiro、Desclaux Damien、Ayusawa Ko、Yoshiyasu Yusuke、Sagawa Ryusuke、Yoshida Eiichi
    • 雑誌名

      Journal of Imaging

      巻: 8 号: 6 ページ: 168-168

    • DOI

      10.3390/jimaging8060168

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [学会発表] 機械学習に基づく人型システムの接触状態の推定2023

    • 著者名/発表者名
      三宅 響, 佐川 立昌, 鮎澤 光, 室岡 雅樹, 吉田 英一
    • 学会等名
      ロボティクス・メカトロニクス講演会2023
    • 関連する報告書
      2023 実績報告書
  • [学会発表] Gait Changes with Powered Wear for Walking Aid: Verification Experiment Measuring Walking Motion and Physical Characteristics2023

    • 著者名/発表者名
      Imamura Yumeko、Sumitani Masahiko、Otake Yuko、Hanzawa Fumiya、Kishimoto Kazuaki
    • 学会等名
      IEEE SMC2023
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Deformable Mesh Transformer for 3D Human Mesh Recovery2023

    • 著者名/発表者名
      Yusuke Yoshiyasu
    • 学会等名
      The IEEE/CVF Conference on Computer Vision and Pattern Recognition 2023
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Attentionの可視化による人間行動の構造解析2022

    • 著者名/発表者名
      阿部 哲也, 佐川 立昌, 伊藤 孝浩, 酒井 勁佑
    • 学会等名
      第25回 画像の認識・理解シンポジウム
    • 関連する報告書
      2022 実績報告書

URL: 

公開日: 2022-04-19   更新日: 2025-06-20  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi