Development of computational methods for increasing reliability and safety of deep neural networks for medical imaging

• Project/Area Number: 23K21719
• Project/Area Number (Other): 21H03545 (2021-2023)
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Multi-year Fund (2024); Single-year Grants (2021-2023)
• Section: 一般
• Review Section: Basic Section 62010:Life, health and medical informatics-related
• Research Institution: Kyushu Institute of Technology
• Principal Investigator: 竹本 和広 九州工業大学, 大学院情報工学研究院, 教授 (40512356)
• Project Period (FY): 2021-04-01 – 2026-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥17,550,000 (Direct Cost: ¥13,500,000、Indirect Cost: ¥4,050,000); Fiscal Year 2025: ¥2,990,000 (Direct Cost: ¥2,300,000、Indirect Cost: ¥690,000); Fiscal Year 2024: ¥2,990,000 (Direct Cost: ¥2,300,000、Indirect Cost: ¥690,000); Fiscal Year 2023: ¥2,990,000 (Direct Cost: ¥2,300,000、Indirect Cost: ¥690,000); Fiscal Year 2022: ¥2,990,000 (Direct Cost: ¥2,300,000、Indirect Cost: ¥690,000); Fiscal Year 2021: ¥5,590,000 (Direct Cost: ¥4,300,000、Indirect Cost: ¥1,290,000)
• Keywords: 深層ニューラルネットワーク / 機械学習セキュリティ / ネットワーク科学 / 大規模言語モデル / 医用画像診断

Outline of Research at the Start

深層ニューラルネットワーク(DNN)は画像認識能力の高さから医用画像診断に応用され始めているが、DNNは敵対的攻撃(外部からの攻撃)に 対して脆弱性を示すという問題がある。この問題はDNNを医用画像診断として社会応用する上で大きな障壁となる。そこで本研究課題では、複雑ネットワークの理論を応用することで、医用画像診断のために開発されたDNNの信頼性評価や安全性向上のためのアルゴリズム開発とその応用を目的とする。敵対的攻撃に対するDNNのロバスト性(信頼性)評価と安全性向上のための計算手法を開発し、安全で信頼できる医療AIの開発に貢献する。

Outline of Annual Research Achievements

本研究課題は、複雑ネットワーク理論を応用し、医療AIの信頼性と安全性向上のための計算手法を開発することで、安全で信頼できる医療AIの開発に貢献することを目的としている。また、大規模言語モデル（LLM）の近年の台頭から、LLMの医療応用におけるバイアスと倫理的判断の理解を深めるため、LLMの政治的バイアスと道徳的判断に関する研究も行った。
昨年度、社会ネットワークにおける意見ダイナミクスが敵対的攻撃に対して脆弱であることを示した。今年度は、ネットワーク構造が意見ダイナミクスに影響を与えることを考慮し、敵対的攻撃を緩和できるネットワーク構造について検討した（Chiyomaru and Takemoto 2023）。ノード次数の不均一性が敵対的攻撃を大幅に緩和することを明らかにしたが、大規模で密なネットワークでは限定的になることも見出した。
LLMの医療応用における公平性と信頼性を確保するため、ChatGPTの政治的バイアスを再評価した（Fujimoto and Takemoto 2023）。ChatGPTは以前に想定されていたよりも政治的バイアスが少ないことがわかったが、使用言語やジェンダー・人種の設定がバイアスを引き起こす可能性があることが明らかになった。
LLMが医療分野に深く統合されるにつれ、LLMがどのように道徳的判断を下すかを理解することが重要になっている。モラルマシンフレームワークを用いて、LLMの倫理的意思決定の傾向を調査し、人間の選好と比較した（Takemoto 2024）。LLMと人間の選好は概ね一致していたが、一部のLLMは明確な逸脱を示し、より妥協のない決定を下す可能性が示唆された。これらの知見は、LLMの医療応用における倫理的課題を理解する上で重要である。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

複雑ネットワークの理論を応用した医療AIの信頼性評価と安全性向上のための計算手法の開発を着実に進めるとともに、近年の大規模言語モデル（LLM）の発展も踏まえ、LLMの医療応用に関連する政治的バイアスと道徳的判断の研究にも取り組み、LLMの政治的バイアスと道徳的判断の評価方法を確立した。深層ニューラルネットワークの医用画像診断のみならず、LLMを医療分野で適切かつ安全に活用するための基盤を整えつつある。

Strategy for Future Research Activity

次年度以降も、基本的には当初の研究実施計画通りに進める。医療AIの信頼性評価と安全性向上のための計算手法の開発と応用を引き続き行うとともに、LLMのバイアスと道徳的判断の評価方法の改善と、それらが医療分野に与える影響の調査を進める。さらに、敵対的攻撃の脆弱性に対する防御戦略の検討を深め、医療AIのセキュリティの向上を目指す。

Research Products

• [Journal Article] The moral machine experiment on large language models (2024)
  • Author(s): Takemoto Kazuhiro
  • Journal Title: Royal Society Open Science Volume: 11 Issue: 2
  • DOI: 10.1098/rsos.231393
  • Peer Reviewed / Open Access
• [Journal Article] Mitigation of adversarial attacks on voter model dynamics by network heterogeneity (2023)
  • Author(s): Chiyomaru Katsumi、Takemoto Kazuhiro
  • Journal Title: Journal of Physics: Complexity Volume: 4 Issue: 2 Pages: 025009-025009
  • DOI: 10.1088/2632-072x/acd296
  • Peer Reviewed / Open Access
• [Journal Article] Revisiting the political biases of ChatGPT (2023)
  • Author(s): Fujimoto Sasuke、Takemoto Kazuhiro
  • Journal Title: Frontiers in Artificial Intelligence Volume: 6
  • DOI: 10.3389/frai.2023.1232003
  • Peer Reviewed / Open Access
• [Journal Article] Simple Black-Box Universal Adversarial Attacks on Deep Neural Networks for Medical Image Classification (2022)
  • Author(s): Koga Kazuki、Takemoto Kazuhiro
  • Journal Title: Algorithms Volume: 15 Issue: 5 Pages: 144-144
  • DOI: 10.3390/a15050144
  • Peer Reviewed / Open Access
• [Journal Article] Adversarial attacks on voter model dynamics in complex networks (2022)
  • Author(s): Chiyomaru Katsumi、Takemoto Kazuhiro
  • Journal Title: Physical Review E Volume: 106 Issue: 1
  • DOI: 10.1103/physreve.106.014301
  • Peer Reviewed
• [Journal Article] Backdoor Attacks on Deep Neural Networks via Transfer Learning from Natural Images (2022)
  • Author(s): Matsuo Yuki、Takemoto Kazuhiro
  • Journal Title: Applied Sciences Volume: 12 Issue: 24 Pages: 12564-12564
  • DOI: 10.3390/app122412564
  • Peer Reviewed / Open Access
• [Journal Article] Natural Images Allow Universal Adversarial Attacks on Medical Image Classification Using Deep Neural Networks with Transfer Learning (2022)
  • Author(s): Minagi Akinori、Hirano Hokuto、Takemoto Kauzhiro
  • Journal Title: Journal of Imaging Volume: 8 Issue: 2 Pages: 38-38
  • DOI: 10.3390/jimaging8020038
  • NAID: 120007189291
  • Peer Reviewed / Open Access
• [Journal Article] Backdoor Attacks to Deep Neural Network-Based System for COVID-19 Detection from Chest X-ray Images (2021)
  • Author(s): Matsuo Yuki、Takemoto Kazuhiro
  • Journal Title: Applied Sciences Volume: 11 Issue: 20 Pages: 9556-9556
  • DOI: 10.3390/app11209556
  • NAID: 120007162657
  • Peer Reviewed / Open Access
• [Journal Article] Network propagation for biological network analysis (2021)
  • Author(s): 千代丸 勝美、竹本 和広
  • Journal Title: JSBi Bioinformatics Review Volume: 1 Issue: 2 Pages: 26-36
  • DOI: 10.11234/jsbibr.2021.2
  • NAID: 130008029600
  • ISSN: 2435-7022
  • Peer Reviewed / Open Access
• [Presentation] 敵対的攻撃を用いたソーシャルネットワークにおける意見分極の抑制 (2023)
  • Author(s): 二宮理徳, 千代丸勝美, 竹本和広, 一ノ瀬元喜
  • Organizer: ネットワーク科学研究会2023
• [Presentation] Exploration of diseases influenced by PFAS using network biology (2023)
  • Author(s): 飯田緑, 竹本和広, 高橋啓斗
  • Organizer: 2023年日本バイオインフォマティクス学会年会・第12回生命医薬情報学連合大会
• [Presentation] Opinion dynamics can be unknowingly distorted in complex networks (2022)
  • Author(s): Chiyomaru, K. and Takemoto, K.
  • Organizer: The 2022 edition of the annual International Conference and School on Network Science (NetSci 2022)
  • Int'l Joint Research
• [Presentation] 複雑ネットワークにおける投票モデルダイナミクスに対する敵対的攻撃 (2022)
  • Author(s): 千代丸勝美, 竹本和広
  • Organizer: ネットワーク科学研究会2022
• [Presentation] 複雑にネットワーク化されたシステムの脆弱性：AIから社会システムまで (2022)
  • Author(s): 竹本和広
  • Organizer: 武蔵野大学数理工学シンポジウム2022
  • Invited
• [Book] 生物ネットワーク解析 (2021)
  • Author(s): 竹本 和広
  • Total Pages: 222
  • Publisher: コロナ社
  • ISBN: 9784339027327
• [Remarks] 意見ダイナミクスに対する敵対的攻撃に関するコード
  • URL: https://github.com/kztakemoto/AdvVoter
• [Remarks] ChatGPTの政治バイアス評価に関するコード
  • URL: https://www.frontiersin.org/articles/10.3389/frai.2023.1232003/full
• [Remarks] LLMのモラルマシン実験に関するコード
  • URL: https://github.com/kztakemoto/mmllm
• [Remarks] 業績リスト
  • URL: https://sites.google.com/view/takemotolab/publications
• [Remarks] ブラックボックス型の普遍的敵対的摂動作成手法に関するコード
  • URL: https://github.com/kztakemoto/U-SimBA
• [Remarks] 自然画像からのバックドア攻撃に関するコード
  • URL: https://github.com/YukiM00/Backdoored-ImageNet
• [Remarks] COVID-Netに対するバックドア攻撃に関するコード
  • URL: https://github.com/YukiM00/Backdoored-COVID-Net
• [Remarks] 自然画像から普遍的敵対的摂動を作成するコード
  • URL: https://github.com/kztakemoto/Natural_UAP