| 研究課題/領域番号 |
22K12841
|
|---|
| 研究機関 | 山口大学 |
|---|
研究代表者 |
森 浩二 山口大学, 大学院創成科学研究科, 教授 (40346573)
|
|---|
| 研究期間 (年度) |
2022-04-01 – 2025-03-31
|
| キーワード | 血管内治療 / 強化学習 / 可視化 / 応答性 |
|---|
| 研究実績の概要 |
本研究は，強化学習における報酬という定量化可能な指標を用いて血管内治療における医師の判断を可視化することである．２年目となる２０２３年度は，報酬を，エキスパート（熟練医師を想定）のデバイス操作軌跡から推定できる逆強化学習と呼ばれる手法の開発を行った．併せて，実験でデバイス軌跡と，その際の操作履歴を取得できるよう挿入操作部分とデバイス軌跡を記録できるシステムの開発を行った．
前者については，通常の逆強化学習が状態（本課題ではデバイス先端の血管内位置に相当）のみに基づいて，報酬を推定するのに対して，状態と行動（医師のデバイス操作の種類に相当）の両方に関する報酬を推定できるように，理論面での検討を行い，それが実現可能であることを数値計算で検討した．その結果，状態に加えて，デバイスの押す/引く，右/左回転の行動を考慮しても，報酬を推定可能であることを示した．
後者については，複数台のPCをROS2と呼ばれるロボット用ミドルウェアというものを利用して連結し，ジョイスティックからの操作入力を処理，カメラからデバイス先端位置を認識する処理，２つの情報から，適切な操作が行われているか？を判断する処理，適切な操作を挿入装置を制御するコントローラーに送る処理の４つの処理を統合したシステムを開発できた．
これらの技術開発により，複数の人によって入力されたデバイス操作から，逆強化学習によって，各血管部位でどのような操作が望ましいと考えているのかを定量的に把握する技術を確立できた．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
本研究課題の２年目には２つの新技術の開発を計画しており，１年目の終了時に１つの克服するべき課題があることを指摘した．新規に開発する技術は，逆強化学習を血管内治療に適応することであり，医師が血管内にデバイスを挿入する際の一連の操作手順を記録できるシステムの開発である．これらは，上述の研究実績の概要に示すように達成できた．
一方で，残された課題として血管形状の特徴量と応答性の関係を整理する方法を挙げた．これについては，深層機械学習の技術を応用した．応答性の推測精度について，血管中心線の一定範囲を入力としたときに90％を超える精度が得られるようになった．これらの観点から，本研究課題の進捗状況は，計画通りに進んでいると評価できる．
２年目を終えるにあたって，新たな技術的課題も明らかになってきた．逆強化学習については，状態（血管内でのデバイス先端位置）だけではなく行動（デバイス操作の種類）の両方を考慮した報酬を取得できることを示した．これによって医師が，ある血管部位にデバイス先端が到達したときに，どのような操作を選択するのか？を報酬から予想できるようになったが，反面，熟練医師が選択する操作が多数に分かれるような場合には，現アルゴリズムでは，その報酬を決定できないように見えることがわかった．つまり得られた報酬分布から，操作者（たち）の操作意図の解釈が困難であることが分かった．これは技術的な問題（報酬を正しく推測できない）であるのか？解釈の問題（報酬は正しく推定できているが解釈の仕方がわからない）であるのか？について，判断が出来ていない．次年度には，技術的により複雑な報酬分布を推測可能であると報告されているニューラルネットワークを報酬関数とする逆強化学習へと，アップグレードすることを計画している．
|
| 今後の研究の推進方策 |
最終年度は，２つの観点から研究を進めていく予定である．まず１つは，逆強化学習に関する手法の改良である．逆強化学習において複数種類のエキスパート軌跡が得られた（言い換えると，適切な操作に関するエキスパートの意見が多数に分かれていて，少数にまとめることが困難である）場合であっても，安定して報酬を計算できる計算手法の導入である．報酬関数を通常の線形結合と呼ばれ関数ではなく，ニューラルネットワークに置き換える．このような関数に置き換えた場合での逆強化学習プログラムを完成させる．完成後に，従来の線形結合関数による逆強化学習プログラムとの，性能比較を行う予定である．
２つ目は，操作記録と血管形状に対する応答性の実測である．ロボット用ミドルウェアであるROS2を利用した操作入力と，デバイス軌跡の双方を記録できるシステムが出来たので，研究協力者である臨床医に作画してもらった血管形状の模型（血管ファントム）に，デバイスを挿入し，その応答性を測定していく予定である．これらの測定を通じて，学習用データを構築する．未知の血管形状に関する応答性の予測を行い，最適な血管挿入操作の算出を試みる．
|
| 次年度使用額が生じた理由 |
2023年度は，実験における測定精度を向上させるためにカメラを１台増設する予定であった．予備実験として個人所有のスマートフォンに付属のカメラで代用したところ，思いのほか我々の測定ニーズに合致した．そのため測定用カメラの導入をいったん延期した．本課題は，さまざまな血管形状の下で，データを収集したほうが，より実践的なデータが得られる．このような理由から，余った予算については，本課題の計画を立てた時よりも，より多くの種類の血管ファントムを作製するための費用（約3万円/個）に回したいと考えている．
|
