• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

知識限界を明確化する機能分化された深層学習

Research Project

Project/Area Number 23K24898
Project/Area Number (Other) 22H03642 (2022-2023)
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypeMulti-year Fund (2024)
Single-year Grants (2022-2023)
Section一般
Review Section Basic Section 61030:Intelligent informatics-related
Research InstitutionInstitute of Science Tokyo

Principal Investigator

佐藤 育郎  東京工業大学, 情報理工学院, 特任准教授 (90895525)

Co-Investigator(Kenkyū-buntansha) 篠田 浩一  東京工業大学, 情報理工学院, 教授 (10343097)
井上 中順  東京工業大学, 情報理工学院, 准教授 (10733397)
川上 玲  東京工業大学, 工学院, 准教授 (90591305)
Project Period (FY) 2022-04-01 – 2025-03-31
Project Status Granted (Fiscal Year 2024)
Budget Amount *help
¥17,420,000 (Direct Cost: ¥13,400,000、Indirect Cost: ¥4,020,000)
Fiscal Year 2024: ¥5,720,000 (Direct Cost: ¥4,400,000、Indirect Cost: ¥1,320,000)
Fiscal Year 2023: ¥5,720,000 (Direct Cost: ¥4,400,000、Indirect Cost: ¥1,320,000)
Fiscal Year 2022: ¥5,980,000 (Direct Cost: ¥4,600,000、Indirect Cost: ¥1,380,000)
Keywords深層学習 / 記憶想起 / 推論根拠 / トランスフォーマー / 潜在表現 / 目標値伝播法 / 人工知能 / 映像認識
Outline of Research at the Start

深層学習モデルに知識限界の内外判定と,記憶への関連付けの機能を持たせるための方法として,機能分化されたモジュール『外部記憶検索器』,『生成的予測器』,『時系列整合判定器』を組み込むことを検討する.脳にヒントを得たこの手法の開発は,AI分野の進展のみならず,AIの実利用における安全性の根拠の確立といった意義を持つ.

Outline of Annual Research Achievements

シナプティック記憶テーマについて,従来法の課題を解決できる理論的枠組みを構築した.巡回型のモダンホップフィールドネットワークは,入力クエリに対し,モデルの内部に持つ記憶データの関連付けが行えるが,クエリが分布外データに相当するときに誤った関連付けを行ってしまう.この課題に対し,我々は分布の内外判定機能を持たせることによって原理的に課題を解決できる方法を定式化した.現在論文を執筆中である.
人物行動の生成的予測テーマについて,異なる人体モデルに基づくデータを統括的に学習に用いることのできるアルゴリズムを開発し,国際会議ECCVに論文を投稿した(査読中).この手法により,人体モデルの定義が異なるデータセットを学習でき,より自然な行動生成が行えることを確認した.
視点変化の下での三次元理解テーマについて,生成器と回帰器の協調的推論という新規な提案を行い,回帰器のみを用いる従来法に対する性能改善効果を確認した.国際会議ICIPに論文を投稿した(査読中).機能分化されたモデル群(異なる目的関数によって最適化された複数のネットワーク)が協調的に働くことで下流タスクの性能が改善できることを示すことが出来た.
時系列整合判定テーマについて,既存の自動運転用の認識器の特徴に整合を壊す成分が含まれる課題を確認した.
目標値伝播法テーマについては,従来法の性能改善として,順・逆ネットワークのヤコビアンの整合性を取る方法を提案した(Y. Baoら,AAAI 2024).

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

シナプティック記憶テーマについては,計画通りに理論構築が完了したことから,概ね順調に進展している.
人物行動の生成的予測テーマについては,マルチデータセット学習を可能にする画期的な方法を開発し,論文投稿を完了できたため,目標以上の成果を達成出来た.
視点変化の下での三次元理解テーマについては,機能分化された深層モデルの有効性を確認でき,計画通りの成果を得た.
時系列整合判定テーマについては,従来の課題抽出を完了し,次年度の方針が固まったことから,計画通りである.
目標値伝播法テーマについては,2本目の論文採録を達成し,目標以上の成果を達成できた.

Strategy for Future Research Activity

主たるテーマであるシナプティック記憶テーマについて,重点的に議論し,手法開発を行う.手法の実用化のためにはモデルの計算量削減が必要であり,記憶データの保持の仕方について研究する.
時系列整合判定テーマについては,昨今注目を集める,自動運転用の鳥観図表現の時系列整合を高めるための手法を開発する.これまでの検討により,従来的なモデルが出力する表現には,整合性を損なう成分が含まれることを確認している.この成分を抑制する正則化方法を検討する.

Report

(2 results)
  • 2023 Annual Research Report
  • 2022 Annual Research Report
  • Research Products

    (5 results)

All 2023 2022

All Presentation (4 results) (of which Int'l Joint Research: 3 results) Patent(Industrial Property Rights) (1 results)

  • [Presentation] Efficient Target Propagation by Deriving Analytical Solution2023

    • Author(s)
      Yanhao Bao, Tatsukichi Shibuya, Ikuro Sato, Rei Kawakami, Nakamasa Inoue
    • Organizer
      AAAI
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Learning with Partial Forgetting in Modern Hopfield Networks2023

    • Author(s)
      Toshihiro Ota, Ikuro Sato, Rei Kawakami, Masayuki Tanaka, Nakamasa Inoue
    • Organizer
      Artificial Intelligence and Statistics (AISTATS) 2023
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Fixed-Weight Difference Target Propagation2023

    • Author(s)
      Tatsukichi Shibuya, Nakamasa Inoue, Rei Kawakami, Ikuro Sato
    • Organizer
      Association for the Advancement of Artificial Intelligence (AAAI) 2023
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 生成的特徴量の角度依存性に着目した視点角度推定の精度向上2022

    • Author(s)
      チェンマーク, 川上玲, 佐藤育郎, 苗村健
    • Organizer
      IPSJ SIG-CVIM: Computer Vision and Image Media
    • Related Report
      2022 Annual Research Report
  • [Patent(Industrial Property Rights)] 情報処理装置、情報処理方法およびプログラム2022

    • Inventor(s)
      太田敏博,佐藤育郎,川上玲,井上中順,田中正行,石川康太
    • Industrial Property Rights Holder
      株式会社デンソーアイティーラボラトリ
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      2022-148317
    • Filing Date
      2022
    • Related Report
      2022 Annual Research Report

URL: 

Published: 2022-04-19   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi