| Project/Area Number |
22K07648
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 52040:Radiological sciences-related
|
|---|
| Research Institution | St. Luke's International University |
|---|
Principal Investigator |
松迫 正樹 聖路加国際大学, 聖路加国際病院, 医長 (90209528)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
原 武史 岐阜大学, 工学部, 教授 (10283285)
野崎 太希 慶應義塾大学, 医学部, 准教授 (80769646)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2024: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2023: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2022: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
|
|---|
| Keywords | 胸部X線画像 / 画像生成 / 深層学習 / 自然言語 / AI / 自然言語処理 / GAN |
|---|
| Outline of Research at the Start |
疾患の概念や画像上の現象を説明するためには，共通の知識を表す用語とそれが意味する画像所見を比較対照しながら同時に大量に学習する必要がある．これは，具体的には脳内における用語と画像を紐づけ「放射線科医の常識」を確立する作業と考えられる．本研究では，自然言語処理と機械学習を用いてこの仕組みをコンピュータ内に実現する方法を明らかにする．ここでは，研究代表者が専門とする呼吸器疾患を例として扱い，画像特徴と疾患の概念の演算を実現する知識エンジンの実現を目標とする．そして，医用画像における説明可能AIの基盤技術と「質問しやすい」画像診断教育システムへの応用の可能性を明らかにする．
|
| Outline of Annual Research Achievements |
本年度は，テキストから胸部X線画像の生成に集中して研究を実施した．ここでは，画像生成モデルの一つであるStable Diffusionを用いた．画像の学習方法は，Unconditional Image Generation（無条件生成），ファインチューニング，Dream Boothの3手法を使用し，それぞれで学習と生成を行った．無条件生成は，画像を生成時にテキストで条件付けが行われない．そのため，無条件生成は学習に使用した画像のデータ分布と類似した画像生成を行った．ファインチューニングは，画像とキャプションのペアを用いてモデルの学習を行った．Dream Boothは提供されたモデルをそのまま利用した．３つのモデルにそれぞれにおいて，500枚ずつ画像の生成を行う．評価は，SSIMによる学習データとの画像類似度を計測した．学習に用いるデータは，NIHが公開する胸部X線画像のオープンデータベースを利用し，そこからランダムに抽出した1000枚を用いた．画像サイズは1024×1024[pixels]である．入力プロンプトにはNIHデータセットに含まれている画像所見の用語を含むように使用した．３つの学習方法それぞれで生成した画像と学習元データとのSSIMは，0.461±0.089，0.570±0.089，0.531±0.060となり，生成モデルは，学習データをそのまま出力しない状況であると確認できた．以上から，自然言語から生成AIモデルによる画像生成が可能であると示された．一方で，生成した画像において，左右反転や肋骨陰影の異常増加など，明らかに不自然な画像もしばしば生成される現象も確認できた．以上より，所見の説明文から，それに相応する胸部X線画像の生成の可能性を示すことができた．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
学習には時間が必要であるものの，既存GPUを複数用いて効率よく生成モデルのFine tuningを行なっている．また，オープンデータベースとそのコメントを積極的に活用し，データ数の種類を増やし，学習を実現している．一方で，生成結果の主観評価に少し遅れがある．同時に，説明が重要となる症例の抽出作業とその症例に対する納得感のある説明文の生成がまだ不足している．また，本年度は，口述発表や学会発表より論文投稿に集中しており，共著論文で論文掲載は実現できた．しかし，筆頭著者として論文は複数ジャーナルでRejectが続いておりり，その掲載が実現できていない．
|
| Strategy for Future Research Activity |
手持ちデバイスで記録した音声やプレゼンテーションデータからの文字起こしや，ワード／パワーポイントファイルからのXMLデータからのメタデータの抽出方法は確立しているため，説明が重要となる症例の抽出，事象の抽出，を継続して実施する．特に，研究を開始して以来，胸部X線画像の所見のみではなく，解剖構造や病理画像，CT画像などとのマルチモダリティを用いた説明文の自動生成が説明可能AIの実現につながる可能性を着想し，その情報連携の方法を共同研究者と発案し実験を開始したところである．そのため，それら手法の実現を最終年度で目指す．また，成果の公開を実現し，口述発表（シンポジウム等の企画参加），国際会議発表，論文掲載の実現に取り組む．
|
