2023 Fiscal Year Research-status Report
画像生成AIとの循環的・敵対的学習に基づく画像所見生成AIの開発
| Project/Area Number |
23K07117
|
|---|
| Research Institution | Meijo University |
|---|
Principal Investigator |
寺本 篤司 名城大学, 情報工学部, 教授 (00513780)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
近藤 征史 藤田医科大学, 医学部, 教授 (00378077)
宮田 雅美 藤田医科大学, その他部局等, 講師 (40936324)
今泉 和良 藤田医科大学, 医学部, 教授 (50362257)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Keywords | 生成AI / 医用画像 |
|---|
| Outline of Annual Research Achievements |
本研究では、画像診断の際の画像所見の記述をサポートするための技術として、文章から画像を生成するAI技術と画像から文章を生成するAI技術を医療応用することで，画像生成AIと画像所見生成AIを開発する。さらに、それらを循環的・敵対的に動作させることで高品位な画像所見を生成する技術を新たに開発することを目的とした。本年度は肺癌と良性肺疾患のCT画像データベースを構築し、画像所見生成と画像生成技術の予備的検討を行った。
1. 画像からの画像所見生成、画像所見からの画像生成に使用するデータとして、３００症例を超える患者データの中から肺癌１４７症例、良性肺疾患２０症例の胸部CT画像をピックアップし、データベースを構築した。
2. 画像所見が用意されている公開データならびに肺細胞診画像を用いて画像所見生成モデルの基礎的検討を行った。画像所見生成モデルには、画像から特徴量を抽出するための畳み込みニューラルネットワークと、特徴量をもとに画像所見（テキスト）生成を行うTransformerを接続したものを開発した。モデルによって生成された画像所見と医師が作成した画像所見を比較し、両者は良好に一致することを確認した。
3. 上記２と同じ画像・テキストデータを用いて画像生成モデルの検討を行った。画像生成モデルとして現在複数の技術が公開されているが、本年度は初期的検討としてStable Diffusionモデルを採用した。肺細胞診画像でStable DiffusionのDDPM部分をファインチューニングし、適切な画像が得られるか確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
1. 画像からの画像所見生成、画像所見からの画像生成に使用するデータとして、３００症例を超える患者データの中から肺癌１４７症例、良性肺疾患２０症例の胸部CT画像をピックアップし、データベースを構築した。症例数はまだ少なく、今後も追加していく必要がある。さらに、画像の病変部に関する所見についても作成する必要があり、データベース構築作業を継続して行う予定である。
2. 画像所見が用意されている公開データならびに肺細胞診画像を用いて画像所見生成モデルの基礎的検討を行った。画像所見生成モデルには、画像から特徴量を抽出するための畳み込みニューラルネットワークと、特徴量をもとに画像所見（テキスト）生成を行うTransformerを接続したものを開発した。畳み込みニューラルネットワークについては、対象画像の良性・悪性を分類するタスクを事前に学習したものを利用した。そして、その結果に基づいて良性所見出力用と悪性所見出力用の２つのTransformerモデルを切り替えてテキスト出力するモデルを開発した。モデルによって生成された画像所見と医師が作成した画像所見を比較し、両者は良好に一致することを確認した。
3. 上記２と同じ画像・テキストデータを用いて画像生成モデルの検討を行った。画像生成モデルとして現在複数の技術が公開されているが、本年度は初期的検討としてStable Diffusionモデルを採用した。肺細胞診画像でStable DiffusionのDDPM部分をファインチューニングし、適切な画像が得られるか確認した。
|
| Strategy for Future Research Activity |
1. CT画像データベースを完成させるため、分担研究者である医師と協力しながら、画像所見の収集を推進する。
2. 本研究は当初対象としていたCT画像だけでなく、病理画像や胸部X線画像に対しても有効な方法である。また、画像所見データの入手も比較的容易である。そこで、対象画像を拡大してそれぞれの対象に対する可能性も模索する予定である。
3. 当初の計画どおり、画像所見生成と画像生成のAIモデルを循環的かつ敵対的に作用させるアルゴリズムの開発を進める。
|
| Causes of Carryover |
当初、旅費として計上していた予算を、出張先の見直しにより使用しなかった。
また、備品として購入する予定であった深層学習処理プロセッサの型式変更を行い、購入価格が下がった。
２０２４年度は本研究の成果を公表するための国際学会発表や深層学習処理プロセッサの増設を予定しており、繰り越した予算を利用する予定である。
|
