| 研究課題/領域番号 |
22K07648
|
|---|
| 研究機関 | 聖路加国際大学 |
|---|
研究代表者 |
松迫 正樹 聖路加国際大学, 聖路加国際病院, 医長 (90209528)
|
|---|
| 研究分担者 |
原 武史 岐阜大学, 工学部, 教授 (10283285)
野崎 太希 慶應義塾大学, 医学部, 准教授 (80769646)
|
|---|
| 研究期間 (年度) |
2022-04-01 – 2025-03-31
|
| キーワード | 胸部X線画像 / 画像生成 |
|---|
| 研究実績の概要 |
本年度は，テキストから胸部X線画像の生成に集中して研究を実施した．ここでは，画像生成モデルの一つであるStable Diffusionを用いた．画像の学習方法は，Unconditional Image Generation（無条件生成），ファインチューニング，Dream Boothの3手法を使用し，それぞれで学習と生成を行った．無条件生成は，画像を生成時にテキストで条件付けが行われない．そのため，無条件生成は学習に使用した画像のデータ分布と類似した画像生成を行った．ファインチューニングは，画像とキャプションのペアを用いてモデルの学習を行った．Dream Boothは提供されたモデルをそのまま利用した．３つのモデルにそれぞれにおいて，500枚ずつ画像の生成を行う．評価は，SSIMによる学習データとの画像類似度を計測した．学習に用いるデータは，NIHが公開する胸部X線画像のオープンデータベースを利用し，そこからランダムに抽出した1000枚を用いた．画像サイズは1024×1024[pixels]である．入力プロンプトにはNIHデータセットに含まれている画像所見の用語を含むように使用した．３つの学習方法それぞれで生成した画像と学習元データとのSSIMは，0.461±0.089，0.570±0.089，0.531±0.060となり，生成モデルは，学習データをそのまま出力しない状況であると確認できた．以上から，自然言語から生成AIモデルによる画像生成が可能であると示された．一方で，生成した画像において，左右反転や肋骨陰影の異常増加など，明らかに不自然な画像もしばしば生成される現象も確認できた．以上より，所見の説明文から，それに相応する胸部X線画像の生成の可能性を示すことができた．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
学習には時間が必要であるものの，既存GPUを複数用いて効率よく生成モデルのFine tuningを行なっている．また，オープンデータベースとそのコメントを積極的に活用し，データ数の種類を増やし，学習を実現している．一方で，生成結果の主観評価に少し遅れがある．同時に，説明が重要となる症例の抽出作業とその症例に対する納得感のある説明文の生成がまだ不足している．また，本年度は，口述発表や学会発表より論文投稿に集中しており，共著論文で論文掲載は実現できた．しかし，筆頭著者として論文は複数ジャーナルでRejectが続いておりり，その掲載が実現できていない．
|
| 今後の研究の推進方策 |
手持ちデバイスで記録した音声やプレゼンテーションデータからの文字起こしや，ワード／パワーポイントファイルからのXMLデータからのメタデータの抽出方法は確立しているため，説明が重要となる症例の抽出，事象の抽出，を継続して実施する．特に，研究を開始して以来，胸部X線画像の所見のみではなく，解剖構造や病理画像，CT画像などとのマルチモダリティを用いた説明文の自動生成が説明可能AIの実現につながる可能性を着想し，その情報連携の方法を共同研究者と発案し実験を開始したところである．そのため，それら手法の実現を最終年度で目指す．また，成果の公開を実現し，口述発表（シンポジウム等の企画参加），国際会議発表，論文掲載の実現に取り組む．
|
| 次年度使用額が生じた理由 |
研究会での発表および論文掲載に遅れがあり，また，最終年度にトランスファーモジュールを搭載したGPUの導入できる可能性を考えたため．
|
