• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2023 Fiscal Year Research-status Report

クライアントの演算負荷を低減する連合学習システムの創出

Research Project

Project/Area Number 23K19955
Research InstitutionThe University of Tokyo

Principal Investigator

金子 竜也  東京大学, 大学院情報理工学系研究科, 特任助教 (80984252)

Project Period (FY) 2023-08-31 – 2025-03-31
Keywords機械学習 / 連合学習 / 信頼されるAI / 公平性 / パーソナライズド連合学習 / クラスタリング連合学習
Outline of Annual Research Achievements

本研究は次世代の情報社会実現に寄与するすることを目的として,AI モデルの高性能化と安心・安全を両立する分散型機械学習基盤の実現を目指すものである.今日のAIモデルの発展は目覚ましく,ChatGPT等の大規模言語モデルをはじめとして,広く民間にまで普及している.一方で,このようなAIの処理形態では計算能力に優れた大規模なサーバへとデータを集約することからプライバシーについて懸念が生じている.そのため,データの秘匿性を保ったままAI処理を行う手法として連合学習が注目されている.AI処理のリアルタイム性という観点からもローカルデバイス上で処理をすることが望まれており,本研究では連合学習の抱える課題を解決することで研究目的の達成を目指す.
本年度では当初,連合学習が抱える演算負荷バランスの解消を目的とした学習アルゴリズムの提案を目的としていた.これは,クライアントデバイスとサーバから構成される中央集権型の連合学習において,演算リソースに劣るクライアントへと処理が偏重するという課題の解決を目指すものである.しかし,研究を進めるにつれ,連合学習が基盤技術として実世界で運用される際には参加者全てが公平にその恩恵を享受できる必要があると考えるに至った.個人に適応するモデルを提供する技術としてパーソナライズド連合学習が存在するが,その中でもクライアントを適切なグループへと分別するクラスタリング連合学習に着目し,研究の方向性を改めるに至った.
クラスタリング連合学習においてもその演算負荷はクライアントに偏重しており,本年度の研究ではクラスタリングに係るオーバヘッドを解消する手法を提案した.提案手法は通信帯域やクライアントの演算コストを追加で発生させることなく従来手法と同等の性能を発揮できることを示し,その結果を電子情報通信学会の研究会で報告した.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本年度では当初,連合学習が抱える演算負荷バランスの解消を目的とした学習アルゴリズムの提案を目的としていた.これは,クライアントデバイスとサーバから構成される中央集権型の連合学習において,演算リソースに劣るクライアントへと処理が偏重するという課題の解決を目指すものである.しかし,研究を進めるにつれ,連合学習が基盤技術として実世界で運用される際には参加者全てが公平にその恩恵を享受できる必要があると考えるに至った.そのため,個人に適応するモデルを提供する技術であるパーソナライズド連合学習の中でもクライアントを適切なグループへと分別するクラスタリング連合学習に着目し,研究の方向性を改めるに至った.
クラスタリング連合学習においてもその演算負荷はクライアントに偏重しており,本年度の研究ではクラスタリングに係るオーバヘッドを解消する手法を提案した.提案手法は通信帯域やクライアントの演算コストを追加で発生させることなく従来手法と同等の性能を発揮できることを示し,その結果を電子情報通信学会の研究会で報告した.本手法は,各クライアントが保持するデータ分布の特徴はモデルへと反映されているという直感に基づき,サーバ側でそれを抽出することによりクライアントへのオーバヘッドを発生することなく適切なクラスタリングを行う技術である.
また,共著論文として縞模様の車等のある特徴を持つデータに対してモデルの識別結果を誤認識させる攻撃技術である連合学習に対するバックドア攻撃や,従来浮動小数点方式で行われていたニューラルネットワークの学習を整数のみで学習することでエッジデバイスのような省演算デバイス上でも単独の学習を可能にするアルゴリズムを発表した.

Strategy for Future Research Activity

昨年度において提案したクラスタリング連合学習手法は,数学的・理論的な裏付けをもってその結果の正当性を主張するものではなく,実験的な結果でもってそれを示しているという課題が残っている.そのため,今年度においては理論的な主張を補強することでよりレベルの高い国際会議や査読付きの論文誌への投稿を目的とする.
また,中央集権型の連合学習においてサーバが保持すべき共有データは実用上極めて重要な課題であると考えている.連合学習には通信量削減を目的として大規模なモデルそのものではなく,共有データに対するモデルの出力をで最適解を探索する手法や,悪意のあるクライアントによるモデル改ざんを検知することを目的として検証クライアントを用意することで攻撃の検知を行う手法が存在する.これらの手法はサーバや検証クライアントの持つデータ分布がクライアントのデータ分布と似ているということを暗黙的仮定しているが,多種多様なクライアントが参加する実運用を想定した場合にはその限りであるとは到底考えられない.そのため,クライアントのデータ分布をプライバシーを侵害することなく推察する技術が必要となるはずである.そこで,敵対的生成学習の枠組みを用いることでクライアントのデータ分布の概形を取得する手法を提案し,その有効性を評価することを目指す.

Causes of Carryover

円安の影響もあり当該年度における予算の大部分を国際会議聴講における参加費や旅費で使用した.残った予算でキーボードの新調を行ったのちの残額が7195円であったが,購入可能な実験資材や物品等がなく本年度への繰越をすることとした.

  • Research Products

    (10 results)

All 2024 2023

All Journal Article (1 results) (of which Peer Reviewed: 1 results,  Open Access: 1 results) Presentation (9 results) (of which Int'l Joint Research: 1 results)

  • [Journal Article] On the Control of Computing-in-memory Devices with Resource-efficient Digital Circuits towards their On-chip Learning2023

    • Author(s)
      Kaneko Tatsuya、Momose Hiroshi、Suwa Hitoshi、Ono Takashi、Hayata Yuriko、Kouno Kazuyuki、Asai Tetsuya
    • Journal Title

      Nonlinear Theory and Its Applications, IEICE

      Volume: 14 Pages: 639~651

    • DOI

      10.1587/nolta.14.639

    • Peer Reviewed / Open Access
  • [Presentation] 信頼される連合学習システムに向けて2024

    • Author(s)
      金子 竜也
    • Organizer
      フォレストワークショップ2024
  • [Presentation] 非中央集権型連合学習システムの評価基盤の検討2024

    • Author(s)
      中田 雅貴, 細合 晋太郎, 金子 竜也, 高前田 伸也, 中村 宏, 高瀬 英希
    • Organizer
      情報処理学会研究会報告2024-ARC-256
  • [Presentation] モデルの特徴表現を活用するクラスタリング連合学習手法の提案2024

    • Author(s)
      金子 竜也, 高前田 伸也
    • Organizer
      電子情報通信学会研究会報告, IBISML2023-49
  • [Presentation] Poison Egg: Scrambling Federated Learning with Delayed Backdoor Attack2023

    • Author(s)
      Masayoshi Tsutsui, Tatsuya Kaneko, and Shinya Takamaeda-Yamazaki,
    • Organizer
      3rd International Conference on Ubiquitous Security 2023 (UbiSec-2023)
    • Int'l Joint Research
  • [Presentation] ベイズ深層学習のドロップアウトパターン事前決定による推論高速化手法の検討2023

    • Author(s)
      菅 研吾, 平山 侑樹, 金子 竜也, 高前田 伸也
    • Organizer
      電子情報通信学会研究会報告, CPSY2023-34
  • [Presentation] 隠れニューラルネットワークにおける整数学習手法の検討2023

    • Author(s)
      劉 世ふつ, 筒井 政成, 金子 竜也, 高前田 伸也
    • Organizer
      電子情報通信学会研究会報告, CPSY2023-33
  • [Presentation] 連合学習におけるバックドアの発動遅延によるステルスな学習撹乱2023

    • Author(s)
      筒井 政成, 金子 竜也, 高前田 伸也
    • Organizer
      電子情報通信学会研究会報告, CPSY2023-26
  • [Presentation] 高精度な低ビット幅ベイジアンニューラルネットワークの検討 (ポスター発表)2023

    • Author(s)
      菅 研吾, 平山 侑樹, 金子 竜也, 高前田 伸也
    • Organizer
      The 5th cross-disciplinary Workshop on Computing Systems, Infrastructures, and Programming (xSIG 2023),
  • [Presentation] ニューラルネットワークの完全整数学習のためのオプティマイザ (ポスター発表)2023

    • Author(s)
      劉 世ふつ, 筒井 政成, 金子 竜也, 高前田 伸也
    • Organizer
      The 5th cross-disciplinary Workshop on Computing Systems, Infrastructures, and Programming (xSIG 2023),

URL: 

Published: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi