Development of computational methods for increasing reliability and safety of deep neural networks for medical imaging

• Project/Area Number: 23K21719
• Project/Area Number (Other): 21H03545 (2021-2023)
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Multi-year Fund (2024); Single-year Grants (2021-2023)
• Section: 一般
• Review Section: Basic Section 62010:Life, health and medical informatics-related
• Research Institution: Kyushu Institute of Technology
• Principal Investigator: 竹本 和広 九州工業大学, 大学院情報工学研究院, 教授 (40512356)
• Project Period (FY): 2021-04-01 – 2026-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥17,550,000 (Direct Cost: ¥13,500,000、Indirect Cost: ¥4,050,000); Fiscal Year 2025: ¥2,990,000 (Direct Cost: ¥2,300,000、Indirect Cost: ¥690,000); Fiscal Year 2024: ¥2,990,000 (Direct Cost: ¥2,300,000、Indirect Cost: ¥690,000); Fiscal Year 2023: ¥2,990,000 (Direct Cost: ¥2,300,000、Indirect Cost: ¥690,000); Fiscal Year 2022: ¥2,990,000 (Direct Cost: ¥2,300,000、Indirect Cost: ¥690,000); Fiscal Year 2021: ¥5,590,000 (Direct Cost: ¥4,300,000、Indirect Cost: ¥1,290,000)
• Keywords: 深層ニューラルネットワーク / 機械学習セキュリティ / ネットワーク科学 / 大規模言語モデル / 医用画像診断

Outline of Research at the Start

深層ニューラルネットワーク(DNN)は画像認識能力の高さから医用画像診断に応用され始めているが、DNNは敵対的攻撃(外部からの攻撃)に 対して脆弱性を示すという問題がある。この問題はDNNを医用画像診断として社会応用する上で大きな障壁となる。そこで本研究課題では、複雑ネットワークの理論を応用することで、医用画像診断のために開発されたDNNの信頼性評価や安全性向上のためのアルゴリズム開発とその応用を目的とする。敵対的攻撃に対するDNNのロバスト性(信頼性)評価と安全性向上のための計算手法を開発し、安全で信頼できる医療AIの開発に貢献する。

Outline of Annual Research Achievements

本研究課題は、複雑ネットワークの理論を応用することで、医用画像診断のために開発された深層ニューラルネットワーク（DNN）の信頼性評価や安全性向上のために、敵対的攻撃に対するDNNのロバスト性(信頼性)評価と安全性向上のための計算手法を開発し、安全で信頼できる医療AIの開発に貢献することを目的とする。本年度は以下のような実績をあげた。
DNNのほとんどのタスクを失敗させる・制御する普遍的敵対的摂動（UAP）をブラックボックス条件下で生成する簡単な手法を開発した（Koga and Takemoto 2022）。具体的に、DNNの出力に基づく単純な山登り探索を用いてUAPを生成する方法を提案し、代表的なDNNベースの医療画像分類を用いたブラックボックス条件の比較的小さなデータセットを用いて、UAPが容易に生成可能であることを実証した。
ImageNetなどで事前されたDNNから転移学習はよく用いられるが、その事前訓練DNNにバックドアが仕掛けられていた場合、小型のDNNを除き、転移学習を経てモデルが変更された後もそのバックドアが有効なままであることを明らかにした（Matsuo and Takemoto 2022）。さらに、バックドアを検出することは困難であることも明らかにした。
DNNに対する敵対的攻撃の手法を応用して、社会ネットワークにおける集団意思決定は、極めて小さな（検出困難な）摂動を加えることで歪めることができることを示した（Chiyomaru and Takemoto 2022）。具体的に、投票者モデルにおいて、個人の意見状態を目標状態に近づけるための攻撃方法を提案し、一つの意見が多数派であっても、極めて小さな摂動をで、投票結果を反転させることができることを示した。これは複雑なネットワークにおいてより顕著になることも示した。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

手法の開発と医療用DNNへの応用が順調に進み、着実に研究成果をあげることができている。UAPについては、予定通り、ブラックボックス型に対応したUAPの生成アルゴリズムが予定通り完成した。また、バックドア攻撃についてはより一般的な転移学習における評価も可能となった。

Strategy for Future Research Activity

次年度以降も、基本的には当初の研究実施計画通りに進める。特に、ホワイトボックスとブラックボックス条件下での攻撃手法の改善を行うとともに、防御手法についても開発を進めていくことを予定している。代表的な手法はすでに実装済みであり、これらの拡張などを考えている。

Research Products

• [Journal Article] Simple Black-Box Universal Adversarial Attacks on Deep Neural Networks for Medical Image Classification (2022)
  • Author(s): Koga Kazuki、Takemoto Kazuhiro
  • Journal Title: Algorithms Volume: 15 Issue: 5 Pages: 144-144
  • DOI: 10.3390/a15050144
  • Peer Reviewed / Open Access
• [Journal Article] Adversarial attacks on voter model dynamics in complex networks (2022)
  • Author(s): Chiyomaru Katsumi、Takemoto Kazuhiro
  • Journal Title: Physical Review E Volume: 106 Issue: 1
  • DOI: 10.1103/physreve.106.014301
  • Peer Reviewed
• [Journal Article] Backdoor Attacks on Deep Neural Networks via Transfer Learning from Natural Images (2022)
  • Author(s): Matsuo Yuki、Takemoto Kazuhiro
  • Journal Title: Applied Sciences Volume: 12 Issue: 24 Pages: 12564-12564
  • DOI: 10.3390/app122412564
  • Peer Reviewed / Open Access
• [Journal Article] Natural Images Allow Universal Adversarial Attacks on Medical Image Classification Using Deep Neural Networks with Transfer Learning (2022)
  • Author(s): Minagi Akinori、Hirano Hokuto、Takemoto Kauzhiro
  • Journal Title: Journal of Imaging Volume: 8 Issue: 2 Pages: 38-38
  • DOI: 10.3390/jimaging8020038
  • NAID: 120007189291
  • Peer Reviewed / Open Access
• [Journal Article] Backdoor Attacks to Deep Neural Network-Based System for COVID-19 Detection from Chest X-ray Images (2021)
  • Author(s): Matsuo Yuki、Takemoto Kazuhiro
  • Journal Title: Applied Sciences Volume: 11 Issue: 20 Pages: 9556-9556
  • DOI: 10.3390/app11209556
  • NAID: 120007162657
  • Peer Reviewed / Open Access
• [Journal Article] Network propagation for biological network analysis (2021)
  • Author(s): 千代丸 勝美、竹本 和広
  • Journal Title: JSBi Bioinformatics Review Volume: 1 Issue: 2 Pages: 26-36
  • DOI: 10.11234/jsbibr.2021.2
  • NAID: 130008029600
  • ISSN: 2435-7022
  • Peer Reviewed / Open Access
• [Presentation] Opinion dynamics can be unknowingly distorted in complex networks (2022)
  • Author(s): Chiyomaru, K. and Takemoto, K.
  • Organizer: The 2022 edition of the annual International Conference and School on Network Science (NetSci 2022)
  • Int'l Joint Research
• [Presentation] 複雑ネットワークにおける投票モデルダイナミクスに対する敵対的攻撃 (2022)
  • Author(s): 千代丸勝美, 竹本和広
  • Organizer: ネットワーク科学研究会2022
• [Presentation] 複雑にネットワーク化されたシステムの脆弱性：AIから社会システムまで (2022)
  • Author(s): 竹本和広
  • Organizer: 武蔵野大学数理工学シンポジウム2022
  • Invited
• [Book] 生物ネットワーク解析 (2021)
  • Author(s): 竹本 和広
  • Total Pages: 222
  • Publisher: コロナ社
  • ISBN: 9784339027327
• [Remarks] ブラックボックス型の普遍的敵対的摂動作成手法に関するコード
  • URL: https://github.com/kztakemoto/U-SimBA
• [Remarks] 自然画像からのバックドア攻撃に関するコード
  • URL: https://github.com/YukiM00/Backdoored-ImageNet
• [Remarks] 意見ダイナミクスに対する敵対的攻撃に関するコード
  • URL: https://github.com/kztakemoto/AdvVoter
• [Remarks] 業績リスト
  • URL: https://sites.google.com/view/takemotolab/publications
• [Remarks] COVID-Netに対するバックドア攻撃に関するコード
  • URL: https://github.com/YukiM00/Backdoored-COVID-Net
• [Remarks] 自然画像から普遍的敵対的摂動を作成するコード
  • URL: https://github.com/kztakemoto/Natural_UAP