2022 Fiscal Year Research-status Report
術前術後DICOMでの3次元特徴点マッピングによるブレインシフトモデリング
| Project/Area Number |
20K12053
|
|---|
| Research Institution | Osaka Electro-Communication University |
|---|
Principal Investigator |
渡邊 郁 大阪電気通信大学, 総合情報学部, 教授 (50298832)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
沼田 哲史 大阪電気通信大学, 総合情報学部, 准教授 (20411481)
陳 延偉 立命館大学, 情報理工学部, 教授 (60236841)
上善 恒雄 大阪電気通信大学, 総合情報学部, 教授 (70388396)
埜中 正博 関西医科大学, 医学部, 教授 (90577462)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | ブレインシフト / SLAM / 脳モデリング / 手術ナビゲータ / DICOM特徴点 |
|---|
| Outline of Annual Research Achievements |
COVID-19の影響で、関西医科大学や大阪電気通信大学への立ち入りが断続的に制限された。このため本研究では、DX医療に焦点を絞りソフトウエアを開発した。
まず、Unityの領域分割アセットを利用して、過去に取得していた術前術後の患者DICOMを領域分割し、それを3D Slicer(https://www.slicer.org/)
による領域分割の結果と比較した。その過程で、その手続きの簡便性や領域分割結果の妥当性を埜中医師（研究分担者）に遠隔で評価してもらった。これより、領域分割の精度向上およびそのルーチン業務化の検討が進展した。
次に、術前術後の２つのDICOMの位置・姿勢・スケール合わせは、陳教授（研究分担者）の機械学習ソフトウエアを利用し、ホワイトマターやブラックマター、および頭蓋骨などの不変領域を手掛かりとして、高精度で実施できた。
さらに、患者のDICOMを人工的に変形させて人工ブレインシフトを生成し、その答えとなるブレインシフトを６種類のSLAM特徴点抽出ソフトウエア（SIFT, SURF, KAZE, AKAZE, ORB, BRISK）で検出し、その精度を比較検討したところBRISKとAKAZEが高精度でブレインシフトを検出できることがわかった。
現在、複数患者のDICOMに対して、SLAM特徴点抽出ソフトウエアに内在するパラメータを変えて、前述の結論が一般的に成り立つかどうかを確認している。この一般性を確認したのち、有効なSLAM特徴点抽出ソフトウエアにより、位置・姿勢・スケール合わせが終了した術前術後の２つのDICOMから、目視では発見できないブレインシフトを検出する予定である。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
「CTやMRIの明瞭領域データを教師としてCTやMRIのDICOMを強化学習し、正確に領域分割（濃淡値の正規化・明瞭化）する」、および「また、3D Slicerで手術前後の領域分割したDICOMの大きさ・位置姿勢を合わせる」については、ホワイトマターやブラックマター、および頭蓋骨などの不変領域を手掛かりとして、高精度で実施できている。
すなわち、前処理として、2D dicom sliceを3D image（nifti file）として保存し、それにPixel value croppingを施し、最後に正規化した。次に、Rigid registrationを施した。そして、MATLABのimregister関数で３D rigid registration （affine 変換）を行ない、最後にNon-rigid registrationを施した。具体的には、Pythonを利用し、深層学習手法（Voxel Morph[1]）で３D non-rigid registrationを行なった。
[1] Balakrishnan, G., Zhao, A., Sabuncu, M. R., Guttag, J., & Dalca, A. V. (2019). VoxelMorph: a learning framework for deformable medical image registration. IEEE transactions on medical imaging, 38(8), 1788-1800.
これにより、機械学習に基づくマッチングソフトウエアより、術前術後の患者DICOMの位置・姿勢・スケール合わせは完了した。
|
| Strategy for Future Research Activity |
COVID-19の影響で、2021～2023の間、関西医科大学や大阪電気通信大学への立ち入りが断続的に制限された。このため、本研究はDX医療に焦点を絞って研究を進めている。
現在、「手術前後の膨大な3D特徴点対応を抽出する」については、患者のDICOMを人工的に変形させて人工ブレインシフトを生成し、その答えとなるブレインシフトを６種類のSLAM特徴点抽出ソフトウエアで検出精度を比較検討した。その結果、BRISKとAKAZEが高精度でブレインシフトを検出していることがわかった。そこで、これらのアルゴリズムの優位性が一般的かどうかを、2020年度以前にもたらされた複数患者のDICOMに対して確認している。この優位性が一般的かどうかが確認されたら、位置・姿勢・スケール合わせが終了した術前術後の２つのDICOMから、目視では検出できないブレインシフトを検出する予定である。
「3D特徴点対応を利用してDICOMボクセルの物理パラメータを同定し、脳の変形モデリングを作成する」は、Unityのアセットを改善した試作版を今年度完成させた。現在は、粒子法ソフトウエアの粘弾性特性を評価しており、今後は検出されたブレインシフトをそのモデルにつなげる予定である。
|
| Causes of Carryover |
COVID-19の影響で、2021～2023の間、関西医科大学や大阪電気通信大学への立ち入りが断続的に制限された。このため、本研究はDX医療に焦点を絞って研究を進めている。
現在、2020年度以前にもたらされた複数患者のDICOMに対して、SLAM特徴点抽出ソフトウエアBRISKとAKAZEの優位性が一般的かどうかを確認する作業が遅れている。この作業により一般性が確認されたのち、
「手術前後の膨大な3D特徴点対応を抽出する」については、位置・姿勢・スケール合わせが終了した術前術後の２つのDICOMから、目視では検出できないブレインシフトを検出する予定である。
「3D特徴点対応を利用してDICOMボクセルの物理パラメータを同定し、脳の変形モデリングを作成する」は、今年度Unityのアセットを改善した試作版は完成した。現在は、粒子法ソフトウエアの粘弾性特性を評価しており、今後は検出されたブレインシフトをそのモデルにつなげる予定である。
|
