| Project/Area Number |
23K07117
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 52040:Radiological sciences-related
|
|---|
| Research Institution | Meijo University |
|---|
Principal Investigator |
寺本 篤司 名城大学, 情報工学部, 教授 (00513780)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
近藤 征史 藤田医科大学, 医学部, 教授 (00378077)
宮田 雅美 藤田医科大学, その他部局等, 講師 (40936324)
今泉 和良 藤田医科大学, 医学部, 教授 (50362257)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2025: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000)
Fiscal Year 2024: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2023: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
|
|---|
| Keywords | 生成AI / 医用画像 / 画像診断 / 深層学習 / キャプション生成 / 画像生成 |
|---|
| Outline of Research at the Start |
肺がん患者のX線CT画像を対象に、画像所見から擬似CT画像を生成するAIとCT画像から擬似画像所見を 生成するAIを循環的・敵対的に学習させることで高精度に画像所見を生成する技術を 開発する.さらに，本手法は画像所見から擬似的な医用画像を出力できるため，それ らをAIの学習や医療系学生への教育への応用に利用する方法を検討する.
|
| Outline of Annual Research Achievements |
本研究では、画像診断の際の画像所見の記述をサポートするための技術として、文章から画像を生成するAI技術と画像から文章を生成するAI技術を医療応用することで，画像生成AIと画像所見生成AIを開発する。さらに、それらを循環的・敵対的に動作させることで高品位な画像所見を生成する技術を新たに開発することを目的とした。本年度は肺癌と良性肺疾患のCT画像データベースを構築し、画像所見生成と画像生成技術の予備的検討を行った。
1. 画像からの画像所見生成、画像所見からの画像生成に使用するデータとして、３００症例を超える患者データの中から肺癌１４７症例、良性肺疾患２０症例の胸部CT画像をピックアップし、データベースを構築した。
2. 画像所見が用意されている公開データならびに肺細胞診画像を用いて画像所見生成モデルの基礎的検討を行った。画像所見生成モデルには、画像から特徴量を抽出するための畳み込みニューラルネットワークと、特徴量をもとに画像所見（テキスト）生成を行うTransformerを接続したものを開発した。モデルによって生成された画像所見と医師が作成した画像所見を比較し、両者は良好に一致することを確認した。
3. 上記２と同じ画像・テキストデータを用いて画像生成モデルの検討を行った。画像生成モデルとして現在複数の技術が公開されているが、本年度は初期的検討としてStable Diffusionモデルを採用した。肺細胞診画像でStable DiffusionのDDPM部分をファインチューニングし、適切な画像が得られるか確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
1. 画像からの画像所見生成、画像所見からの画像生成に使用するデータとして、３００症例を超える患者データの中から肺癌１４７症例、良性肺疾患２０症例の胸部CT画像をピックアップし、データベースを構築した。症例数はまだ少なく、今後も追加していく必要がある。さらに、画像の病変部に関する所見についても作成する必要があり、データベース構築作業を継続して行う予定である。
2. 画像所見が用意されている公開データならびに肺細胞診画像を用いて画像所見生成モデルの基礎的検討を行った。画像所見生成モデルには、画像から特徴量を抽出するための畳み込みニューラルネットワークと、特徴量をもとに画像所見（テキスト）生成を行うTransformerを接続したものを開発した。畳み込みニューラルネットワークについては、対象画像の良性・悪性を分類するタスクを事前に学習したものを利用した。そして、その結果に基づいて良性所見出力用と悪性所見出力用の２つのTransformerモデルを切り替えてテキスト出力するモデルを開発した。モデルによって生成された画像所見と医師が作成した画像所見を比較し、両者は良好に一致することを確認した。
3. 上記２と同じ画像・テキストデータを用いて画像生成モデルの検討を行った。画像生成モデルとして現在複数の技術が公開されているが、本年度は初期的検討としてStable Diffusionモデルを採用した。肺細胞診画像でStable DiffusionのDDPM部分をファインチューニングし、適切な画像が得られるか確認した。
|
| Strategy for Future Research Activity |
1. CT画像データベースを完成させるため、分担研究者である医師と協力しながら、画像所見の収集を推進する。
2. 本研究は当初対象としていたCT画像だけでなく、病理画像や胸部X線画像に対しても有効な方法である。また、画像所見データの入手も比較的容易である。そこで、対象画像を拡大してそれぞれの対象に対する可能性も模索する予定である。
3. 当初の計画どおり、画像所見生成と画像生成のAIモデルを循環的かつ敵対的に作用させるアルゴリズムの開発を進める。
|
