自然言語処理とGANを利用したマルチモーダルコーパスによる説明可能AIの実現
| Project/Area Number |
22K07648
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 52040:Radiological sciences-related
|
|---|
| Research Institution | St. Luke's International University |
|---|
Principal Investigator |
松迫 正樹 聖路加国際大学, 聖路加国際病院, 医長 (90209528)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
原 武史 岐阜大学, 工学部, 教授 (10283285)
野崎 太希 聖路加国際大学, 聖路加国際病院, 副医長 (80769646)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2024: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2023: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2022: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
|
|---|
| Keywords | 深層学習 / 画像生成 / 自然言語 / 胸部X線画像 / AI / 自然言語処理 / GAN |
|---|
| Outline of Research at the Start |
疾患の概念や画像上の現象を説明するためには，共通の知識を表す用語とそれが意味する画像所見を比較対照しながら同時に大量に学習する必要がある．これは，具体的には脳内における用語と画像を紐づけ「放射線科医の常識」を確立する作業と考えられる．本研究では，自然言語処理と機械学習を用いてこの仕組みをコンピュータ内に実現する方法を明らかにする．ここでは，研究代表者が専門とする呼吸器疾患を例として扱い，画像特徴と疾患の概念の演算を実現する知識エンジンの実現を目標とする．そして，医用画像における説明可能AIの基盤技術と「質問しやすい」画像診断教育システムへの応用の可能性を明らかにする．
|
| Outline of Annual Research Achievements |
chatGPTをはじめとする対話型AIサービスが急激に浸透してきたが，医用画像の読影やその所見を個別に言語化し，また，言語から画像を生成するAIシステムはまだ登場していない．その背景のもと，各種画像生成モデルを拡張し，胸部X線画像の人工生成に関して，言語からの画像生成と生成した画像のユニークさ（どの画像とも類似せず独自の画像が生成される状態）を評価する方法について研究を行った．
画像生成は，GAN系とDiffusion系を利用した．言語からの画像生成はDiffusionを再学習して行い，学習用データはNIHなどが公開するデータベースを利用した．生成画像のユニークさは，学習に用いた画像と生成した画像の類似度を総当たりで計算する学習－生成類似度行列と，生成した画像同士の類似度を総当たりで計算した生成－生成類似度行列で評価した．また，学習画像と生成画像の差分画像や生成画像同士の差分画像を総当たりで作成し，その画素値をクラスタリングした結果によって生成した画像の内部構造の類似性を評価する方法を考案した．
これらの結果から，自然言語で指示した人工的な胸部X線画像や結節や肺炎などの所見を含む病変部の画像が深層学習を用いて作成できることが示された．一方，生成した画像のユニークさは，学習データに強く依存するため，学習に用いる画像の量ではなく性質の選択が重要であった．
またこれら深層学習や自然言語関連の研究を実施するために，胸部X線画像およびCT画像に関する臨床研究も実施し，論文執筆を行ない，知識の言語化に関する情報蓄積とデータベース化を行なった．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
画像生成モデルの学習に時間がかかるため，計算資源が不足気味である．また，画像生成モデルが多岐にわたって登場するため，それらの方法との比較必要な計算機パワー，マンパワーが若干不足気味である．
|
| Strategy for Future Research Activity |
岐阜大学の大学院生，学部生について協力できる学生を増員する．また，比較する既存のモデルを医用画像に特化できるモデルに限定する．
|
Report
(1 results)
Research Products
(5 results)
-
[Journal Article] <i>Ex-vivo</i> 1.5T MR Imaging versus CT in Estimating the Size of the Pathologically Invasive Component of Lung Adenocarcinoma Spectrum Lesions2024
Author(s)
Yamada D, Matsusako M, Yoneoka D, Oikado K, Ninomiya H, Nozaki T, Ishiyama M, Makidono A, Otsuji M, Ito H, Ojiri H.
-
Journal Title
Magnetic Resonance in Medical Sciences
Volume: 23
Issue: 1
Pages: 92-101
DOI
ISSN
1347-3182, 1880-2206
Related Report
Peer Reviewed / Open Access / Int'l Joint Research
-
-
-
-
