• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

機械学習に基づくマルチモーダル画像生成手法の構築

Research Project

Project/Area Number 19J10821
Research Category

Grant-in-Aid for JSPS Fellows

Allocation TypeSingle-year Grants
Section国内
Review Section Basic Section 61030:Intelligent informatics-related
Research InstitutionHokkaido University

Principal Investigator

藤後 廉  北海道大学, 情報科学研究院, 特別研究員(PD)

Project Period (FY) 2019-04-25 – 2021-03-31
Project Status Completed (Fiscal Year 2019)
Budget Amount *help
¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
Fiscal Year 2019: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Keywords画像生成 / GAN / 深層学習 / 医用画像 / マルチモーダル
Outline of Research at the Start

本研究では,医学および情報科学の融合的知見に基づき,病状の進行を予測可能とする手法を構築する.これまでの医師の診断支援手法は,病変の検出や分類にとどまっていた.一方で,医師は診断を行う際に性質の異なる複数の検査を対象とし,症状の予後を予測する.本研究では,この医師の診断プロセスを模倣し,複数検査を同時に解析するマルチモーダル機械学習手法を構築し,さらに,画像生成技術と組み合わせることで病状の進行予測を可能とするモデルの構築を実現する.予測情報を画像上に描出可能とすることで,医師の診断を視覚的に支援可能となることが期待できる.

Outline of Annual Research Achievements

本研究では,医用画像におけるマルチモーダル画像生成手法の構築を目的として,研究を遂行してきた.具体的に本研究では,胃X線画像および血液検査抗体値を用い,胃炎初期状態の患者の胃X線画像から,胃炎が進行した場合の未知情報を画像生成により推定することを目的とする.本研究は,【研究1:胃炎の進行予測画像の生成】および【研究2:画像生成手法のマルチモーダル化】の2つのテーマから構築されている.研究計画策定時点においては,研究1では,任意の胃がんリスクに応じた予測画像の生成を行い,研究2では,血液検査結果と照らし合わせた学習を行う推定器を加えた画像生成手法のマルチモーダル化を行う予定であった.
研究実施者はまず,高解像度である胃X線画像に対する画像生成を実現するため,徐々に解像度を向上させる画像生成手法であるProgressive Growing of GANs (PGGAN) に基づき画像生成手法を構築した.さらに生成画像の胃炎分類問題への応用可能性を示した.尚,本成果は学際論文誌IEEE Accessへの採録に至っている.
次に研究実施者は,血液検査値と胃X線画像の対応付けによる画像生成の研究に着手した.血液検査による結果をドメインラベルベクトルとして扱うことで血液検査結果の入力に対応した画像生成が可能となる手法を構築した.また,本成果に関して,画像認識分野における国内最大規模の学会である「画像の認識・理解シンポジウム(MIRU) 」においてポスター発表を行った.
以上より,研究実施者は,本研究に関する成果をほぼ研究計画通りに実施しており,研究成果を対外発表や論文として社会に還元している.

Research Progress Status

翌年度、交付申請を辞退するため、記入しない。

Strategy for Future Research Activity

翌年度、交付申請を辞退するため、記入しない。

Report

(1 results)
  • 2019 Annual Research Report
  • Research Products

    (3 results)

All 2019

All Journal Article (2 results) (of which Peer Reviewed: 2 results,  Open Access: 2 results) Presentation (1 results)

  • [Journal Article] Synthetic Gastritis Image Generation via Loss Function-Based Conditional PGGAN2019

    • Author(s)
      Togo Ren、Ogawa Takahiro、Haseyama Miki
    • Journal Title

      IEEE Access

      Volume: 7 Pages: 87448-87457

    • DOI

      10.1109/access.2019.2925863

    • Related Report
      2019 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Estimating Regions of Deterioration in Electron Microscope Images of Rubber Materials via a Transfer Learning-Based Anomaly Detection Model2019

    • Author(s)
      Togo Ren、Saito Naoki、Ogawa Takahiro、Haseyama Miki
    • Journal Title

      IEEE Access

      Volume: 7 Pages: 162395-162404

    • DOI

      10.1109/access.2019.2950972

    • NAID

      120006767554

    • Related Report
      2019 Annual Research Report
    • Peer Reviewed / Open Access
  • [Presentation] 敵対的学習に基づく胃がんリスクの進行予測画像の生成へ向けた検討2019

    • Author(s)
      藤後 廉, 小川 貴弘, 長谷山 美紀
    • Organizer
      第22回 画像の認識・理解シンポジウム (MIRU2019)
    • Related Report
      2019 Annual Research Report

URL: 

Published: 2019-05-29   Modified: 2024-03-26  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi