2022 Fiscal Year Research-status Report
自然言語処理とGANを利用したマルチモーダルコーパスによる説明可能AIの実現
| Project/Area Number |
22K07648
|
|---|
| Research Institution | St. Luke's International University |
|---|
Principal Investigator |
松迫 正樹 聖路加国際大学, 聖路加国際病院, 医長 (90209528)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
原 武史 岐阜大学, 工学部, 教授 (10283285)
野崎 太希 聖路加国際大学, 聖路加国際病院, 副医長 (80769646)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 深層学習 / 画像生成 / 自然言語 / 胸部X線画像 |
|---|
| Outline of Annual Research Achievements |
chatGPTをはじめとする対話型AIサービスが急激に浸透してきたが，医用画像の読影やその所見を個別に言語化し，また，言語から画像を生成するAIシステムはまだ登場していない．その背景のもと，各種画像生成モデルを拡張し，胸部X線画像の人工生成に関して，言語からの画像生成と生成した画像のユニークさ（どの画像とも類似せず独自の画像が生成される状態）を評価する方法について研究を行った．
画像生成は，GAN系とDiffusion系を利用した．言語からの画像生成はDiffusionを再学習して行い，学習用データはNIHなどが公開するデータベースを利用した．生成画像のユニークさは，学習に用いた画像と生成した画像の類似度を総当たりで計算する学習－生成類似度行列と，生成した画像同士の類似度を総当たりで計算した生成－生成類似度行列で評価した．また，学習画像と生成画像の差分画像や生成画像同士の差分画像を総当たりで作成し，その画素値をクラスタリングした結果によって生成した画像の内部構造の類似性を評価する方法を考案した．
これらの結果から，自然言語で指示した人工的な胸部X線画像や結節や肺炎などの所見を含む病変部の画像が深層学習を用いて作成できることが示された．一方，生成した画像のユニークさは，学習データに強く依存するため，学習に用いる画像の量ではなく性質の選択が重要であった．
またこれら深層学習や自然言語関連の研究を実施するために，胸部X線画像およびCT画像に関する臨床研究も実施し，論文執筆を行ない，知識の言語化に関する情報蓄積とデータベース化を行なった．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
画像生成モデルの学習に時間がかかるため，計算資源が不足気味である．また，画像生成モデルが多岐にわたって登場するため，それらの方法との比較必要な計算機パワー，マンパワーが若干不足気味である．
|
| Strategy for Future Research Activity |
岐阜大学の大学院生，学部生について協力できる学生を増員する．また，比較する既存のモデルを医用画像に特化できるモデルに限定する．
|
| Causes of Carryover |
COVID19関連で学会参加および出張が制限されたため旅費の利用が予定を下回った．また，データの抽出に関して作業補助を依頼予定であったが，作業の自動化がある程度可能であることが分かり，予定を下回った．２０２３年度には講演や学会発表がこれまで通りに実施可能となり，研究打ち合わせで旅費を利用する予定である．データ抽出に関しては，自動化プログラムの作成費用として大学院生に謝金を支払う予定である．
|
Research Products
(5 results)
