2020 Fiscal Year Research-status Report

専門医過疎の解決を目指しIoTとAIで具現化する次世代の関節リウマチ専門遠隔医療

Research Project

Project/Area Number	20K18853
Research Institution	Nagasaki University
Principal Investigator	野中文陽長崎大学, 医歯薬学総合研究科(医学系), 助教 (20838271)
Project Period (FY)	2020-04-01 – 2023-03-31
Keywords	遠隔診療 / 複合現実（Mixed Reality:MR） / 離島・へき地医療 / 関節リウマチ / 人工知能（AI）
Outline of Annual Research Achievements	本研究は、IoT（Internet of Things）と人工知能（AI）を組み合わせ、複合現実（Mixed Reality:MR）技術を活用し、離島地域で関節リウマチ遠隔医療システムの構築を目的としている。令和2年度は、日本マイクロソフト社（技術提供）とロケットスタジオ社（アプリケーション開発）と連携し、NURAS（Nagasaki University Rheumatoid Arthritis remote medical　System）と命名した本システムを開発した。長崎県五島中央病院の診察室に設置したAzure Kinectにより撮影する被写体が、Microsoft HoloLens 2を装着した長崎大学病院の専門医はの目の前に3D動画として投影されることを確認した。3Dホログラムは高精度かつリアルタイムに生成でき、MR診察室において専門医によるスムーズかつ正確な関節診察が可能となった。NURASはMicrosoft Teamsと併用することとし、五島中央病院の患者、五島中央病院診察室のかかりつけ医、長崎大学病院のリウマチ専門医が双方向性に顔の見えるコミュニケーションをリアルタイムに行いながら診察を進めることができる。また、NURAS問診アプリとして、患者によるPatient-reported outcome（PRO）評価をタブレット端末で簡便に行うシステムを開発した。さらに、3つのAIの搭載行った。①表情認識（Kinectカメラで撮影した患者の表情を自動で評価し数値化する）、②文字起こし（診察時の医師と患者の会話を文字に自動で変換し記録する）、③画像認識（Kinectカメラで撮影した患者の関節部位において関節腫脹の有無を評価する）であり、より患者満足度が上昇する診察を行うことを目指す。今後は、実際の患者を対象とした実証実験を進める予定である。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason NURAS開発が終了し、今後の実証実験を開始する準備が整ったため概ね順調な進捗状況であると考える。
Strategy for Future Research Activity	五島中央病院において、本研究に同意する患者を対象とした実証実験を進めていく。MURASを用いた診察における臨床所見、Patient-reported outcome（PRO）評価、AI評価、診療時間、患者満足度を総合的に評価していく。
Causes of Carryover	学術集会がオンライン開催となり旅費がかからなかったことが次年度使用額発生の主要因となった。NURASの専用通信を新たに構築したことで、通信費を次年度の予算に充てる予定である。また、日本遠隔医療学会へも参加し、本取り組みを発信していくことも計画しており、学会出張費を充てたいと考えている。