• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

Tensor Network Representation for Machine Learning: Theoretical Study and Algorithms Development

研究課題

研究課題/領域番号 20H04249
研究種目

基盤研究(B)

配分区分補助金
応募区分一般
審査区分 小区分61030:知能情報学関連
研究機関国立研究開発法人理化学研究所

研究代表者

ZHAO QIBIN  国立研究開発法人理化学研究所, 革新知能統合研究センター, チームリーダー (30599618)

研究分担者 曹 建庭  埼玉工業大学, 工学部, 教授 (20306989)
横田 達也  名古屋工業大学, 工学(系)研究科(研究院), 准教授 (80733964)
研究期間 (年度) 2020-04-01 – 2024-03-31
研究課題ステータス 完了 (2023年度)
配分額 *注記
17,550千円 (直接経費: 13,500千円、間接経費: 4,050千円)
2023年度: 4,290千円 (直接経費: 3,300千円、間接経費: 990千円)
2022年度: 4,290千円 (直接経費: 3,300千円、間接経費: 990千円)
2021年度: 4,290千円 (直接経費: 3,300千円、間接経費: 990千円)
2020年度: 4,680千円 (直接経費: 3,600千円、間接経費: 1,080千円)
キーワードtensor network / machine learning / adversarial robustness / tensor decomposition / Tensor networks / tensor networks / Tensor Networks / Machine Learning / Robustness
研究開始時の研究の概要

Tensor networks (TNs) have recently gained increasing attentions in machine learning, data mining and computer vision fields due to its effectiveness in efficient computation and model compression in deep learning. However, there are many open problems that are still unexplored, which limits its impact in machine learning. Therefore, our research aims to investigate the fundamental theory and develop scalable and efficient learning algorithms for TN. Moreover, we will further explore what challenging problems in machine learning can be solved by TN technology.

研究成果の概要

私たちは、不完全でノイズの多いデータテンソルに対する高度なテンソル分解およびテンソルネットワーク表現方法を研究・開発しました。その実用性を向上させるために、最適なテンソルネットワーク構造の探索アルゴリズムや、深層ニューラルネットワークを用いた非線形で柔軟なテンソル分解方法も開発しました。さらに、テンソル表現を用いたモデルパラメータに対する深層ニューラルネットワークの敵対的ロバスト性も研究し、敵対的純化のためのいくつかの新しいアプローチを開発しました。最後に、私たちの研究成果は、マルチモーダル学習やハイパースペクトル画像処理など、多くの応用分野に採用することができます。

研究成果の学術的意義や社会的意義

Our research further promotes fundamental technology on tensor methods for machine learning. We have shown that tensor methods are powerful for structured data analysis and also practically useful for parameter representation of deep neural networks, resulting in more efficient and robust models.

報告書

(5件)
  • 2023 実績報告書   研究成果報告書 ( PDF )
  • 2022 実績報告書
  • 2021 実績報告書
  • 2020 実績報告書
  • 研究成果

    (44件)

すべて 2024 2023 2022 2021 2020

すべて 雑誌論文 (37件) (うち国際共著 37件、 査読あり 37件、 オープンアクセス 16件) 学会発表 (7件) (うち国際学会 5件、 招待講演 3件)

  • [雑誌論文] ADVERSARIAL TRAINING ON PURIFICATION (ATOP): ADVANCING BOTH ROBUSTNESS AND GENERALIZA- TION2024

    • 著者名/発表者名
      Guang Lin, Chao Li, Jianhai Zhang, Toshihisa Tanaka, Qibin Zhao
    • 雑誌名

      The Twelfth International Conference on Learning Representations 2024

      巻: -

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Efficient Nonparametric Tensor Decomposition for Binary and Count Data2024

    • 著者名/発表者名
      Tao Zerui、Tanaka Toshihisa、Zhao Qibin
    • 雑誌名

      Proceedings of the AAAI Conference on Artificial Intelligence

      巻: 38 号: 14 ページ: 15319-15327

    • DOI

      10.1609/aaai.v38i14.29456

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Nonparametric tensor ring decomposition with scalable amortized inference2024

    • 著者名/発表者名
      Tao Zerui、Tanaka Toshihisa、Zhao Qibin
    • 雑誌名

      Neural Networks

      巻: 169 ページ: 431-441

    • DOI

      10.1016/j.neunet.2023.10.031

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Bayesian tensor network structure search and its application to tensor completion2024

    • 著者名/発表者名
      Zeng Junhua、Zhou Guoxu、Qiu Yuning、Li Chao、Zhao Qibin
    • 雑誌名

      Neural Networks

      巻: 175 ページ: 106290-106290

    • DOI

      10.1016/j.neunet.2024.106290

    • 関連する報告書
      2023 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] Hierarchical Attacks on Large-Scale Graph Neural Networks2024

    • 著者名/発表者名
      Zhang Jianfu、Hong Yan、Cheng Dawei、Zhang Liqing、Zhao Qibin
    • 雑誌名

      Proceedings of IEEE International Conference on Acoustics, Speech and Signal Processing

      巻: - ページ: 7635-7639

    • DOI

      10.1109/icassp48485.2024.10448076

    • 関連する報告書
      2023 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] Alternating Local Enumeration (TnALE): Solving Tensor Network Structure Search with Fewer Evaluations2023

    • 著者名/発表者名
      Chao Li, Junhua Zeng, Chunmei Li, Cesar Caiafa, Qibin Zhao
    • 雑誌名

      Proceedings of the 40th International Conference on Machine Learning

      巻: -

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Fractional Tensor Recurrent Unit (fTRU): A Stable Forecasting Model With Long Memory2023

    • 著者名/発表者名
      Qiu Hejia、Li Chao、Weng Ying、Sun Zhun、Zhao Qibin
    • 雑誌名

      IEEE Transactions on Neural Networks and Learning Systems

      巻: - 号: 2 ページ: 1-10

    • DOI

      10.1109/tnnls.2023.3338696

    • 関連する報告書
      2023 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] Tree-Based Mix-Order Polynomial Fusion Network for Multimodal Sentiment Analysis2023

    • 著者名/発表者名
      Tang Jiajia、Hou Ming、Jin Xuanyu、Zhang Jianhai、Zhao Qibin、Kong Wanzeng
    • 雑誌名

      Systems

      巻: 11 号: 1 ページ: 44-44

    • DOI

      10.3390/systems11010044

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Scalable Bayesian Tensor Ring Factorization for Multiway Data Analysis2023

    • 著者名/発表者名
      Tao Zerui、Tanaka Toshihisa、Zhao Qibin
    • 雑誌名

      Lecture Notes in Computer Science

      巻: 14447 ページ: 490-503

    • DOI

      10.1007/978-981-99-8079-6_38

    • ISBN
      9789819980789, 9789819980796
    • 関連する報告書
      2023 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] Undirected Probabilistic Model for Tensor Decomposition2023

    • 著者名/発表者名
      Zerui Tao, Toshihisa Tanaka, Qibin Zhao
    • 雑誌名

      Proceedings of the Thirty-eighth Annual Conference on Neural Information Processing Systems

      巻: -

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Transformed Low-Rank Parameterization Can Help Robust Generalization for Tensor Neural Networks2023

    • 著者名/発表者名
      Andong Wang, Chao Li, Mingyuan Bai, Zhong Jin, Guoxu Zhou, Qibin Zhao
    • 雑誌名

      Proceedings of the Thirty-eighth Annual Conference on Neural Information Processing Systems

      巻: -

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Memorization Weights for Instance Reweighting in Adversarial Training2023

    • 著者名/発表者名
      Zhang Jianfu、Hong Yan、Zhao Qibin
    • 雑誌名

      Proceedings of the AAAI Conference on Artificial Intelligence

      巻: 37 号: 9 ページ: 11228-11236

    • DOI

      10.1609/aaai.v37i9.26329

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Classification of the Epileptic Seizure Onset Zone Based on Partial Annotation2022

    • 著者名/発表者名
      Xuyang Zhao, Qibin Zhao, Toshihisa Tanaka, Jordi Casals, Guoxu Zhou, Takumi Mitsuhashi, Hidenori Sugano, Noboru Yoshida, Jianting Cao
    • 雑誌名

      Cognitive Neurodynamics, Springer

      巻: 1 号: 3 ページ: 1-13

    • DOI

      10.1007/s11571-022-09857-4

    • 関連する報告書
      2023 実績報告書 2022 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] Fast Signal Completion Algorithm with Cyclic Convolutional Smoothing2022

    • 著者名/発表者名
      Takayama Hiromu、Yokota Tatsuya
    • 雑誌名

      Proceedings of 2022 APSIPA Annual Summit and Conference

      巻: - ページ: 364-371

    • DOI

      10.23919/apsipaasc55919.2022.9980284

    • 関連する報告書
      2022 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] Accommodating Multiple Tasks’ Disparities With Distributed Knowledge-Sharing Mechanism2022

    • 著者名/発表者名
      Chen Xinqi、Zhou Guoxu、Wang Yanjiao、Hou Ming、Zhao Qibin、Xie Shengli
    • 雑誌名

      IEEE Transactions on Cybernetics

      巻: 52 号: 4 ページ: 2440-2452

    • DOI

      10.1109/tcyb.2020.3002911

    • 関連する報告書
      2022 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] Permutation Search of Tensor Network Structures via Local Sampling2022

    • 著者名/発表者名
      Li Chao, Zeng Junhua, Tao Zerui, Zhao Qibin
    • 雑誌名

      Proceedings of the 39th International Conference on Machine Learning

      巻: -

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Imbalanced low-rank tensor completion via latent matrix factorization2022

    • 著者名/発表者名
      Qiu Yuning、Zhou Guoxu、Zeng Junhua、Zhao Qibin、Xie Shengli
    • 雑誌名

      Neural Networks

      巻: 155 ページ: 369-382

    • DOI

      10.1016/j.neunet.2022.08.023

    • 関連する報告書
      2022 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] SPD domain-specific batch normalization to crack interpretable unsupervised domain adaptation in EEG2022

    • 著者名/発表者名
      Reinamar J. Kobler, Jun-ichiro Hirayama, Qibin Zhao, Motoaki Kawanabe
    • 雑誌名

      36th Conference on Neural Information Processing Systems (NeurIPS 2022)

      巻: -

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] MMT: Multi-Way Multi-Modal Transformer for Multimodal Learning2022

    • 著者名/発表者名
      Jiajia Tang, Kang Li, Ming Hou, Xuanyu Jin, Wanzeng Kong, Yu Ding, Qibin Zhao
    • 雑誌名

      Proceedings of the Thirty-First International Joint Conference on Artificial Intelligence (IJCAI-22)

      巻: -

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Consistent MDT-Tucker: A Hankel Structure Constrained Tucker Decomposition in Delay Embedded Space2022

    • 著者名/発表者名
      Yamamoto Ryuki、Hontani Hidekata、Imakura Akira、Yokota Tatsuya
    • 雑誌名

      Proceedings of 2022 APSIPA Annual Summit and Conference

      巻: - ページ: 137-142

    • DOI

      10.23919/apsipaasc55919.2022.9980035

    • 関連する報告書
      2022 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] Bayesian Tensor Completion and Decomposition with Automatic CP Rank Determination Using MGP Shrinkage Prior2022

    • 著者名/発表者名
      Takayama Hiromu、Zhao Qibin、Hontani Hidekata、Yokota Tatsuya
    • 雑誌名

      SN Computer Science

      巻: 3 号: 3 ページ: 1-17

    • DOI

      10.1007/s42979-022-01119-8

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Manifold Modeling in Embedded Space: An Interpretable Alternative to Deep Image Prior2022

    • 著者名/発表者名
      Yokota Tatsuya、Hontani Hidekata、Zhao Qibin、Cichocki Andrzej
    • 雑誌名

      IEEE Transactions on Neural Networks and Learning Systems

      巻: 33 号: 3 ページ: 1022-1036

    • DOI

      10.1109/tnnls.2020.3037923

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Tensor Completion via Fully-Connected Tensor Network Decomposition with Regularized Factors2022

    • 著者名/発表者名
      Zheng Yu-Bang、Huang Ting-Zhu、Zhao Xi-Le、Zhao Qibin
    • 雑誌名

      Journal of Scientific Computing

      巻: 92 号: 1

    • DOI

      10.1007/s10915-022-01841-8

    • 関連する報告書
      2022 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] Learning from Incomplete Features by Simultaneous Training of Neural Networks and Sparse Coding2021

    • 著者名/発表者名
      Caiafa Cesar F.、Wang Ziyao、Sole-Casals Jordi、Zhao Qibin
    • 雑誌名

      IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops

      巻: 2021 ページ: 2621-2630

    • DOI

      10.1109/cvprw53098.2021.00296

    • 関連する報告書
      2021 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] Multi-distorted Image Restoration with Tensor 1 × 1 Convolutional Layer2021

    • 著者名/発表者名
      Huang Zihao、Li Chao、Duan Feng、Zhao Qibin
    • 雑誌名

      International Joint Conference on Neural Networks (IJCNN)

      巻: 2021 ページ: 2161-4407

    • DOI

      10.1109/ijcnn52387.2021.9533737

    • 関連する報告書
      2021 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] On the Memory Mechanism of Tensor-Power Recurrent Models2021

    • 著者名/発表者名
      Qiu Hejia, Li Chao, Weng Ying, Sun Zhun, He Xingyu, Zhao Qibin
    • 雑誌名

      Proceedings of the 24th International Conference on Artifi- cial Intelligence and Statistics (AISTATS)

      巻: 130 ページ: 3682-3690

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] zHybrid Convolutional Neural Network for Localization of Epileptic Focus Based on iEEG2021

    • 著者名/発表者名
      Linfeng Sui, Xuyang Zhao, Qibin Zhao, Toshihisa Tanaka and Jianting Cao
    • 雑誌名

      Neural Plasticity

      巻: Article ID 6644365 ページ: 1-9

    • DOI

      10.1155/2021/6644365

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Hide Chopin in the Music: Efficient Information Steganography Via Random Shuffling2021

    • 著者名/発表者名
      Sun Zhun、Li Chao、Zhao Qibin
    • 雑誌名

      Proceeding of ICASSP 2021 - 2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)

      巻: 1 ページ: 2370-2374

    • DOI

      10.1109/icassp39728.2021.9413357

    • 関連する報告書
      2021 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] CTFN: Hierarchical Learning for Multimodal Sentiment Analysis Using Coupled-Translation Fusion Network2021

    • 著者名/発表者名
      Tang Jiajia、Li Kang、Jin Xuanyu、Cichocki Andrzej、Zhao Qibin、Kong Wanzeng
    • 雑誌名

      Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing

      巻: 2021 ページ: 5301-5311

    • DOI

      10.18653/v1/2021.acl-long.412

    • 関連する報告書
      2021 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] Tensor Recovery via L-Spectral k-Support Norm2021

    • 著者名/発表者名
      Wang Andong、Zhou Guoxu、Jin Zhong、Zhao Qibin
    • 雑誌名

      IEEE Journal of Selected Topics in Signal Processing

      巻: 15 号: 3 ページ: 522-534

    • DOI

      10.1109/jstsp.2021.3058763

    • 関連する報告書
      2021 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] Tensor Decomposition Via Core Tensor Networks2021

    • 著者名/発表者名
      ZHANG Jianfu、TAO ZERUI、ZHANG LIQING、ZHAO QIBIN
    • 雑誌名

      IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)

      巻: 2021 ページ: 2130-2134

    • DOI

      10.1109/icassp39728.2021.9413637

    • 関連する報告書
      2021 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] Multi-feature Fusion for Epileptic Focus Localization Based on Tensor Representation2021

    • 著者名/発表者名
      Xuyang Zhao; Jordi Sole-Casals; Qibin Zhao; Jianting Cao; Toshihisa Tanaka
    • 雑誌名

      Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC)

      巻: 2021 ページ: 1323-1327

    • 関連する報告書
      2021 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] Fully-Connected Tensor Network Decomposition and Its Application to Higher-Order Tensor Completion2021

    • 著者名/発表者名
      Zheng Yu-Bang、Huang Ting-Zhu、Zhao Xi-Le、Zhao Qibin、Jiang Tai-Xiang
    • 雑誌名

      Proceedings of the AAAI Conference on Artificial Intelligence

      巻: 35 号: 12 ページ: 11071-11078

    • DOI

      10.1609/aaai.v35i12.17321

    • 関連する報告書
      2021 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] Bayesian Latent Factor Model for Higher-order Data2021

    • 著者名/発表者名
      Zerui Tao, Xuyang Zhao, Toshihisa Tanaka, Qibin Zhao
    • 雑誌名

      Proceedings of The 13th Asian Conference on Machine Learning

      巻: 157 ページ: 1285-1300

    • 関連する報告書
      2021 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] Non-local Meets Global: An Integrated Paradigm for Hyperspectral Image Restoration2020

    • 著者名/発表者名
      He Wei、Yao Quanming、Li Chao、Yokoya Naoto、Zhao Qibin、Zhang Hongyan、Zhang Liangpei
    • 雑誌名

      IEEE Transactions on Pattern Analysis and Machine Intelligence

      巻: 1 ページ: 1-1

    • DOI

      10.1109/tpami.2020.3027563

    • 関連する報告書
      2022 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] Low Tensor-Ring Rank Completion by Parallel Matrix Factorization2020

    • 著者名/発表者名
      Yu Jinshi、Zhou Guoxu、Li Chao、Zhao Qibin、Xie Shengli
    • 雑誌名

      IEEE Transactions on Neural Networks and Learning Systems

      巻: 1 号: 7 ページ: 1-14

    • DOI

      10.1109/tnnls.2020.3009210

    • 関連する報告書
      2021 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] TPFN: Applying Outer Product along Time to Multimodal Sentiment Analysis Fusion on Incomplete Data2020

    • 著者名/発表者名
      Binghua Li, Chao Li, Feng Duan, Ning Zheng, Qibin Zhao
    • 雑誌名

      ECCV 2020

      巻: 1 ページ: 431-447

    • 関連する報告書
      2020 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [学会発表] Permutation Search of Tensor Network Structures via Local Sampling2022

    • 著者名/発表者名
      Chao Li
    • 学会等名
      International Conference on Machine Learning
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] SPD domain-specific batch normalization to crack interpretable unsupervised domain adaptation in EEG2022

    • 著者名/発表者名
      Reinmar J. Kobler
    • 学会等名
      36th Conference on Neural Information Processing Systems (NeurIPS 2022)
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] MMT: Multi-Way Multi-Modal Transformer for Multimodal Learning2022

    • 著者名/発表者名
      Jiajia Tang
    • 学会等名
      Thirty-First International Joint Conference on Artificial Intelligence (IJCAI-22)
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Tensor Networks in Machine Learning: Recent Advances and Frontiers2021

    • 著者名/発表者名
      Qibin Zhao
    • 学会等名
      SIAM Conference on Applied Linear Algebra (LA21)
    • 関連する報告書
      2021 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] TPFN: Applying Outer Product along Time to Multimodal Sentiment Analysis Fusion on Incomplete Data2020

    • 著者名/発表者名
      Binghua Li
    • 学会等名
      ECCV 2020
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] Tensor Networks in Machine Learning: Recent Advances and Frontiers2020

    • 著者名/発表者名
      Qibin Zhao
    • 学会等名
      12th Asian Conference on Machine Learning (ACML 2020)
    • 関連する報告書
      2020 実績報告書
    • 招待講演
  • [学会発表] Tensor Network Representations in Machine Learning2020

    • 著者名/発表者名
      Qibin Zhao
    • 学会等名
      11th IFIP International Conference on Intelligent Information Processing
    • 関連する報告書
      2020 実績報告書
    • 招待講演

URL: 

公開日: 2020-04-28   更新日: 2025-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi