2022 Fiscal Year Annual Research Report
超音波画像からの3次元超音波画像再構成とその応用に関する研究
| Project/Area Number |
22J15273
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
三浦 幹太 東北大学, 情報科学研究科, 特別研究員(DC2)
|
|---|
| Project Period (FY) |
2022-04-22 – 2024-03-31
|
| Keywords | 超音波画像 / 3次元超音波 / ボリューム再構成 |
|---|
| Outline of Annual Research Achievements |
本研究では，超音波画像診断の利点を保ちつつ，体内を3次元的に解析するために，3次元超音波画像を用いた診断支援技術の開発を目的とする．超音波画像のみから再構成されるボリュームデータを用いて血管や筋肉などを3次元的に解析し，スポーツ医学や臨床現場即時検査へ応用する．本研究の目的を達成するために，以下の3課題に取り組む．①超音波画像の高品質化：Radio-Frequency (RF) 信号から超音波画像への高品質な変換を検討する．②超音波画像のみからの3次元超音波画像の再構成：畳み込みニューラルネットワーク（Convolutional Neural Network: CNN）を用いて超音波画像からプローブの操作位置を推定することで，超音波画像のみから3次元超音波画像を再構成する手法を検討する．③3次元超音波画像を用いた応用：①および②で得られる3次元超音波画像から血管や筋繊維を3次元的に解析する手法を検討し，診断支援やスポーツ医学への応用研究を行う．
現在までに，①および②の一部を完了している．実験用超音波装置を用いてRF信号と超音波画像で構成されるデータセットを構築するとともに，超音波画像の周波数成分を考慮した損失関数を導入することで高品質な超音波画像を生成できることを実証した．また，超音波プローブの位置姿勢を推定するネットワークに超音波画像を再構成するエンコーダ・デコーダネットワークを導入し，画像再構成損失が最小となるように学習することで超音波プローブの位置姿勢推定の精度を向上させることができることを実証した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の研究計画では，研究目的を達成するために必要な3つの課題：①超音波画像の高品質化，②超音波画像のみからの3次元超音波画像の再構成，③3次元超音波画像を用いた応用について，2年という研究期間の中で段階的に取り組む予定であった．現在までに，①および②の一部を完了しており，研究は概ね当初の計画通りに進展しているといえる．
課題①については，少数のRadio-Frequency (RF) 信号から高品質な超音波画像を生成するものである．高品質な超音波画像を得るためには複数のRF信号が必要であるため，リアルタイムイメージングが損なわれる．そこで，本研究では，1つのRF信号から畳み込みニューラルネットワーク（Convolutional Neural Network: CNN）を用いて高品質な超音波画像を生成する手法を検討した．実験用超音波装置を用いてRF信号と超音波画像で構成されるデータセットを構築するとともに，超音波画像の周波数成分を考慮した損失関数を導入することで高品質な超音波画像を生成できることを実証した．
課題②については，CNNを用いて超音波画像のみから超音波プローブの位置・姿勢を推定し，3次元超音波画像を再構成するものである．先行研究ではCNNを学習・評価するためのデータセットが一般に公開されていないため，本研究では，超音波プローブの撮影位置・姿勢を記録した超音波画像シーケンスで構成されるデータセットを構築するとともに，超音波プローブの位置姿勢推定手法の高精度化を行った．超音波プローブの位置姿勢を推定するネットワークに超音波画像を再構成するエンコーダ・デコーダネットワークを導入し，画像再構成損失が最小となるように学習することで推定精度を向上させることができることを実証した．
|
| Strategy for Future Research Activity |
高品質な3次元超音波画像を再構成するために課題①と課題②で検討した手法の高精度化を検討するとともに，課題①と課題②で得られた高品質な3次元超音波画像の応用を検討する予定である．
課題①については，RF信号から超音波画像を生成する従来の手法では，コンピュータビジョンにおいて一般的に用いられているネットワークアーキテクチャや損失関数を用いているだけであり，必ずしもRF信号や超音波画像に適していない可能性がある．そこで，RF信号から特徴を抽出するネットワークアーキテクチャ，および超音波画像の生成に特化した損失関数を検討する．
課題②については，超音波プローブを単純な動きで動かした場合にこれまでに検討した手法を用いることで高精度に3次元超音波画像を再構成することができる一方で，超音波プローブを複雑に動かした場合などに推定精度が低くなる．そこで，超音波プローブの実用的な動きに対応した3次元超音波画像の再構成を実現するために，超音波プローブの大域的な動きに基づいて超音波プローブの軌跡を最適化する手法を検討する．
課題③については，課題①と課題②で得られる高品質な3次元超音波画像を診断支援やスポーツ医学へ応用する手法を検討する．診断支援への応用では，腫瘍のリンパ節転移の検出や進行度の推定を行う手法の実現を目指す．スポーツ医学への応用では，下腿を対象として前脛骨筋，腓骨筋，腓腹筋の3次元構造を解析する手法の実現を目指す．そのために，3次元超音波画像から特徴抽出を行うネットワークアーキテクチャ，および病変・筋肉の検出や進行度の推定が可能となるような損失関数の検討を行う予定である．
|
