2017 Fiscal Year Research-status Report
グラウンディングを応用した自動手術記録システムの開発
| Project/Area Number |
16K12911
|
|---|
| Research Institution | Kobe University |
|---|
Principal Investigator |
原田 仁 神戸大学, 医学部附属病院, 医員 (70771517)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
宮尾 祐介 国立情報学研究所, 大学共同利用機関等の部局等, 准教授 (00343096)
金治 新悟 神戸大学, 医学部附属病院, 助教 (10637052)
掛地 吉弘 神戸大学, 医学研究科, 教授 (80284488)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | 画像 / 機械学習 / アルゴリズム / グラウンディング / 生体医用画像 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は，手術動画を自動で文章化するプログラムの開発，および映像データと言語データが相互に検索可能な新しい手術記録データベースの構築である。手術動画内の解剖，器具，動作，事象を言語で意味付けし，機械学習によりパターン化させることで，手術動画から手術記録を自動作成するプログラムを開発する。また，映像と言語が互いに関連付けられた手術記録データベースを構築することで，膨大な手術データが客観性の高い均質化された手術記録として保存管理し，データベースから必要な映像データを言語で検索することを可能とする。
具体的には，手術映像から選別した特定の場面を用いて，解剖，手術器具，動作，事象を認識しテキスト化する手術認識アルゴリズムを作成し，手術認識アルゴリズムを基に手術動画を自動で文章化するプログラムを開発するとともに，映像とテキストをリンクさせ相互に検索可能な新しい手術記録データベースの構築を目指す。
手術認識アルゴリズムの作成においては，解析用コンピューターにインストールした専用ツールを用いて，手術動画内に登場する臓器・血管などの解剖，鉗子類などの手術器具，把持・切離などの手術操作，出血・血管の拍動などの体腔内の事象などに対し，名称や動作の属性を付与する。これにより言語で意味付けされた動画を保存，蓄積し，映像からテキストデータへの変換を，機械学習によりパターン化させる。機械学習のデータとしては，手術手技として規則性があることが望ましいと考えられる。そのため，手技が定型化された約100症例の腹腔鏡下胃切除の動画をサンプルデータとして使用する。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
手術映像から解剖・手術器具・動作・事象を認識する手術認識アルゴリズムを作成するため，前年度より画像認識手法の確立を進めている。分析用の研究試料として収集した，手技の定型化された腹腔鏡下胃切除動画のうち，まず少ない症例数の限られた場面をサンプルデータとして手作業で臓器のセグメンテーション（クラス分け）を行い，機械学習によりパターン化させることで，新規画像から鉗子と膵臓の自動認識を行った。サンプルデータ収集および臓器のセグメンテーションは増加しており，手術器具の自動認識については比較的高い精度を達成している。臓器認識については，症例ごとの形状の違いや可塑性により精度向上に若干難渋しており，アルゴリズムの調整を検討中である。
自動認識アルゴリズムの精度向上と共に、研究分担者である国立情報学研究所の宮尾祐介氏にサンプルデータ（胃切除症例10例）を提供し，手術記録作成プログラムの開発も同時並行で進めている。
|
| Strategy for Future Research Activity |
引き続きサンプルデータを増加し手術認識アルゴリズムの精度を向上させると共に，このアルゴリズムを基に，手術動画を自動テキスト化する手術記録作成プログラムを開発する。映像をテキスト化したものが自動で手術記録の文章となるようにプログラムを調整する。具体的には，今年度同様に動画の他の部分に対しても意味付けの作業を行い，手術記録の自動作成を目標に機械学習によるパターン化を繰り返す。
|
| Causes of Carryover |
購入予定だったHDDが想定より安価で済んだため。
サンプルデータに使用する動画のファイルサイズは増えており、次年度使用額はHDDの追加購入による記録媒体の充足に使用する。
|
