| 研究課題/領域番号 |
19K20709
|
|---|
| 研究機関 | 京都大学 |
|---|
研究代表者 |
山本 詩子 京都大学, 情報学研究科, 特定助教 (70707405)
|
|---|
| 研究期間 (年度) |
2019-04-01 – 2022-03-31
|
| キーワード | 画像変換 / 多装置 / MRI / 敵対的生成ネットワーク / Cycle GAN / 機械学習 |
|---|
| 研究実績の概要 |
研究期間の一年目である本年度は、2種類のMRI（磁気共鳴画像法）装置により取得した多数の画像から、機械学習により画像の見た目を互いに合わせる変換器を開発した。非侵襲的な生体内の画像診断が多くの病院で導入されているが、医師が1枚の読影にかけられる時間は非常に限られ、小さな異常を見落とさないためのサポートが望まれている。診断には画像から異常を自動検出する技術の研究も進んでいるものの、臨床現場では医師の経験と知識に基づいた総合的な判断によってしか診断できない症例も多く、放射線科医が目視によって異常を見つけ出すため画像を評価することが必須である。医師が読影するとき問題となるのが、撮像装置ごとに異なる生体画像の見た目のゆらぎである。メーカーや特性の異なるMRI装置からは、コントラストや色味や滑らかさ等がわずかに異なる画像が得られる。このわずかな違いが、小さな異常の見落としや医師のストレス増加を引き起こしている。従って、異なる装置から得られる画像の見た目を均質にし、読影をサポートする技術の開発が重要である。
画像の見た目変換を学習する手法には、対応の無い画像の変換に適した敵対的生成ネットワークを応用した。対応の有る画像というのは、2つの画像群があるときに、同じ対象物が両方の画像群で写っており、その画像同士に同じラベルが付与されていることを意味する。対応の無い画像の変換に適した手法を用いた理由は、日常の診療では一人の患者を複数の装置で撮像することはほぼ無いためである。
本年度に開発した画像の見た目変換器の適用により、2種類のMRI装置により取得したMRI画像の装置ごとの特徴を近付けることができた。脳の灰白質と白質の境界付近のコントラストや後頭付近の明るさの違いを合わせる部分に問題が残るものの、装置の違いによる画像の違いという非常に小さな特徴を自動的に合わせる技術開発の重要な第一歩となった。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
研究期間の一年目である本年度は、まず変換器開発の実験に用いるためのMRI画像を収集した。当初、ADNIなど公開されたMRI画像を用いることを検討したが、実際に公開データを見ると、多数の医療機関から多くの画像が収集されているものの、同一のMRI装置で取得された画像はさほど多くなく、また撮像時のパラメータ設定などが明確でないため、今回の手法開発には適していなかった。そこで、共同研究者の所属する京都府立医科大学病院で患者を日常診療のルーチンのシーケンスで撮像した脳画像から収集することにした。MRI装置にはPhilips社製1.5テスラの装置とSiemens社製3テスラの装置を用いた。画像の変換器作成にはまず病変を含まない正常脳の画像で行う方が、画像としての特徴が病変に埋もれることなく、MRI装置ごとの画像の違いに焦点を当てた開発ができると考え、脳神経ドッグのガイドライン正常脳と判断される画像を集めた。
収集した多数の画像を用いて、機械学習により画像の見た目を互いに合わせる変換器を開発した。学習により乱数から画像を生成できる敵対的生成ネットワーク（GAN）を用いて、対応の無い画像から画像へと変換するCycle GANを適用した。見た目の違いには生体内の構造物の形状が大きく変化することは無いと考えて検討したところ、近傍のピクセルとの関係を学習する畳み込みニューラルネットワーク（CNN）を組み込むと画像のわずかな見た目の違いを合わせることに寄与するが、遠くのピクセルまで含むCNNや全結合ネットワークを組み込むことは適していないことが分かった。これらのネットワーク構造などの検討により、装置ごとの画像の見た目のわずかな違いを合わせる変換器を開発することができた。
以上の点において、本研究課題は当初の計画通りの手法開発を行うことができたと言える。
|
| 今後の研究の推進方策 |
今後の研究の進め方は計画通り、引き続きMRI装置ごとに得た画像の見た目のわずかな違いを合わせる画像変換器を改良しつつ、見た目変換を行う際に、本質的に重要な要素を見つけ出すスパース推定を用いて、画像の見た目の違いに関係する重要な要素を選び出す。医師が感じる画像の見た目の違いが、画像のどのような要素によって生み出されているのかは、医師にとっても無意識的であることが多い。医師の知見と一致するような変換が行われる要素を選び出すことで、医師が真に重要視する見た目の違いに関係する要素を抽出することができると考えている。画像に含まれる要素を分割するためには、画像を様々な側面で正規化したものを入力データとして用いる方法や、学習したニューラルネットワークの中で行われている変換を解析する方法を応用する。重要な要素を見つけるためにL1ノルムによる正則化や低ランク行列分解を見た目変換器に組み込み、画像の見た目変換器をさらに発展させる。
また、本年度に開発した見た目変換器では、脳の灰白質と白質の境界付近のコントラストや後頭付近の明るさの違いを合わせる部分に課題が残っている。今回の実験で用いている脳画像を取得したMRI装置は、1.5テスラと3テスラという静磁場強度が異なる。静磁場強度が強い方が、得られる画像の構造的分解能が高い。すなわち1.5テスラの装置から得た画像を3テスラ装置から得た画像のように変換することができるということは、超解像の役割も果たす。灰白質と白質の境界付近のコントラストの違いによる見た目の違いを合わせるために、GANに組み込む畳み込みのカーネルサイズなどを検討する。一方で静磁場強度が強い方が、画像の歪みや輝度値変化といったアーチファクトが生じやすい。後頭付近の明るさの違いを合わせるために、画像そのものよりも画像を変換したものとの差を学習するように変換器を改良することも検討する。
|
| 次年度使用額が生じた理由 |
（理由）
本年度に得られた研究成果について内容をまとめて論文誌への投稿を行ったが、投稿時期が遅かったため査読プロセスを経て掲載が決定し論文誌に掲載されるのが次年度となった。したがって、論文の論文誌への投稿料および論文投稿に関わる費用を次年度に繰り越す必要が生じた。
（使用計画）
投稿した論文は次年度4月に掲載されるため、次年度に繰り越す助成金は当該論文の論文誌への投稿料および論文投稿に関わる費用に使用する。
|
