2016 Fiscal Year Research-status Report
開腹手術映像の知的アーカイブのための基盤技術の開発
| Project/Area Number |
15K01344
|
|---|
| Research Institution | Aichi Institute of Technology |
|---|
Principal Investigator |
北坂 孝幸 愛知工業大学, 情報科学部, 准教授 (00362294)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
澤野 弘明 愛知工業大学, 情報科学部, 准教授 (10609431)
末永 康仁 愛知工業大学, 情報科学部, 教授 (60293643)
三澤 一成 愛知県がんセンター(研究所), その他部局等, その他 (70538438)
|
|---|
| Project Period (FY) |
2015-04-01 – 2018-03-31
|
| Keywords | 遮蔽物の除去 / 非剛体位置合わせ / TPS / CNN |
|---|
| Outline of Annual Research Achievements |
研究室内に整備した実験環境を基に，以下の項目について検討した．
１．複数カメラ映像からの映像再構成 複数カメラ映像（4台以上）から手術映像を合成する手法の精度改善に取り組んだ．実際の手術室で使用するウンドリトラクタ（切開領域を保持するリング状の器具）に基準位置合わせ用マーカーと誤差評価用のマーカーをそれぞれ貼付し，カメラ位置合わせのランドマークおよび評価点とした．今年度は，細部の位置合わせ向上を目指し，非剛体レジストレーションとしてTPS（Thin Plate Spline）による非剛体位置合わせを実装した．評価実験の結果，41.5画素（±8.5）あった誤差を，5.5画素（±0.4）まで改善することができた．また，引き続き頭部に装着した小型カメラと固定カメラとの合成手法を検討した．特に，高い没入感が得られる映像表示装置（Oculus）による表示を検討した．
２．複数映像ストリームからのシーン解析 手術のワークフロー解析において，術前計画のどこを現在着手しているかを解析する手法を検討した．本年度は手術中のシーン解析において，CNN（Convolutional Neural Network）に基づく手法を重点的に検討した．
３．手術室を模した実験環境による評価実験 実際の手術台に人体モデルおよび周囲に4台のカメラを設置し，開発した映像合成手法の評価を行った．術者の手や頭部による遮蔽を除去した術野を再構成できることを確認した．誤差評価の結果，研究室内での精度に比べ，56.2画素（±3.4）と若干の精度低下が見られたが，おおむね良好な結果であった．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
非剛体レジストレーションを組み込むことで，映像合成精度の大幅な向上が達成できた．術野映像の高精度化・立体視のための装置も整備し，表示手法を検討中である．腹部臓器の重畳表示のための臓器認識についても検討を進め，論文誌（International Journal of Computer Assisted Radiology and Surgery）に採録された．また，実際の手術室での映像も撮影を進めている．
これらにより，おおむね順調に進捗していると判断する．
|
| Strategy for Future Research Activity |
１．映像合成・超解像化アルゴリズムの高度化について，マーカー位置を合わせるTPSを実装して精度向上を達成したが，さらなる精度向上に向けて，マーカーフリーの非剛体位置合わせ手法を組み込む予定である．また，高い没入感を表現できる表示方法についてもさらに検討を進める．
２．映像シーンの解析について より頑健で高精度なシーン解析手法として，CNNに基づく手法を引き続き開発していく．
３．実際の手術での評価について これまでの実験において，期待していた成果が得られたので，実際の手術の現場を撮影し，評価していく．得られた結果を映像合成アルゴリズムおよびシーン解析にフィードバックし，実際に使えるシステム構築へと繋げる．
|
| Causes of Carryover |
当初予定していた人件費・謝金を使用しなかったため
|
| Expenditure Plan for Carryover Budget |
手術室の無影灯に取り付ける小型カメラの購入費用の一部として利用する予定である．
|
