| 研究課題/領域番号 |
20H04291
|
|---|
| 研究機関 | 釧路公立大学 |
|---|
研究代表者 |
皆月 昭則 釧路公立大学, 経済学部, 教授 (90363712)
|
|---|
| 研究期間 (年度) |
2020-04-01 – 2023-03-31
|
| キーワード | 心肺蘇生法 / CPR / シミュレーター / AR / Unity / Natural User Interface / 音声認識 / 胸骨圧迫 |
|---|
| 研究実績の概要 |
毎年、7万人以上が日常生活で心停止の危機に見舞われている。危機を目撃した時、「救命の連鎖」の開始点は、第一に心停止の早期認識と通報する市民の意思決定と行動であるが、市民が心停止者に対して実施する心肺蘇生法（以下CPR）の正確な姿勢の実技教育が確立していない。この課題へのアプローチとして、最新デバイスのAzure Kinect DKを用いて、正面と側面の2方向からCPRの上肢・下肢の姿勢を検知・評価が可能なシステムを開発した。また、コロナ禍の訓練を想定して、システムの起動インターフェースにおいては、システムに接触しない（非接触）音声認識技術を実装した。
正確な姿勢のCPR実技教育訓練のための NUI（Natural User Interface） アプリケーション開発として、CPR 訓練時の身体の姿勢変化の入力検知センサーデバイスとして用いた Azure Kinect DK （以下、Kinect v4）は、Windows PC に接続する NUI用入力センサーデバイスである。CPR の訓練時の姿勢の動作（形；カタ）の抽出、そして判定アルゴリズムの開発には、CPR を行う際の身体全体の入力検知のユーザーインターフェース化が必要不可欠であり、キーボードやマウスによる入力デバイスによる CPR 訓練のシステム構成の要件に適さない。本研究では、Kinect v4を使用して、CPR 訓練時の身体全体をとらえて、いわば身体全体を入力検知することで、全体から部分（肘、肩など）の変動を抽出して、CPR の姿勢の形（カタ）の正誤判定をおこなうための Kinect v4を用いた NUI アプリケーションを開発した。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
姿勢を検知処理するBody Tracking は，Kinect v4 のAzure Kinect SDKを実装した時点で、Kinect v4 の要件を満たしているPC（以下、ホストPC）であったが、フレームレートが設定した30FPS要件での実行表示ができなかった。この問題の原因はホストPCにかかる処理負荷がKinect v4 の要件の想定以上であると考え、処理負荷を軽減するためにゲームエンジンのUnityを用いた実装を試みた。
結果として、ホストPCの処理負荷は軽減され、フレームレートの問題は遅延など違和感なく改善され、肩、肘の関節角度の変化表示が、CPR 訓練で可視化できるようになった。
よって、システムの姿勢推定アルゴリズムのインターフェースは、AR（拡張現実）表示で訓練姿勢を可視化する分析可能なシステムを開発した。また、Kinect v4のBody Tracking 検知に解剖学的知見を依拠した処理をすることで、モーションキャプチャーなど身体に身につけるウェアラブルデバイスが必要でなく、CPR の正しい（あるいは誤った）姿勢判定を可能にした。正面のKinect 表示のインターフェースは、リアルタイムで左右の肘・肩の検知・評価をTrue/Falseで行い、訓練者に伝わりやすいように点数変換（100点法）表示した。システムの起動から終了までのインターフェース遷移は、音声認識技術によって Kinect 表示インターフェースのタッチボタンの表示テキストを発声することによってシステムのNUI アプリケーションの開始から終了まで行うことが可能である。
|
| 今後の研究の推進方策 |
CPRのフォーム（形；カタ）の教導として，本研究で開発したNUI アプリケーションの教導は、正しい CPR の姿勢を捉えながら CPR の訓練を学習することが可能である。CPR とは、人間がおこなう救命の技の体得である。CPR の技の基本形態は、相撲の立ち会いや柔道技の基本形態のような形（以下カタ）がある。CPR の場合は、両ひじをまっすぐに伸ばし、真上から上半身の体重をかけて垂直という姿勢の評価が基本形態のカタであり、圧迫深さ・圧迫力を発揮するために最重要なことである。
両ひじをまっすぐに伸ばすという伸展位の判定は、左右の肩と肘の独立した検知評価を訓練中に AR 技術によって床面モニターにリアルタイムで表示することで、CPR のカタの正誤の状態に訓練者が気づくことで姿勢教導ができる。
2020年度の取り組みにおいて、2020年4月に発売された Azure Kinect DK を用いた CPR 訓練システムのNUI アプリケーションの開発過程を振り返ると、Azure Kinect DK が発売まもなくということもあり、技術資料が十分ではなく、PC への負荷軽減方策を探し出す時間で困難を極めた。開発したNUI アプリケーションで姿勢のカタに着目すると、ゴルフやスポーツなどもフォームが重要であることが言われており、力を有効に発揮するレバーアームの解明が不可欠である。身近なスパナー工具も持ち手が決められており、レバーアームが解明されたモノづくりの恩恵である。
今後、教導システムはAzure の機能（Azure Cognitive Service であるComputer Vision を利用）で記録動画から CPR 画像を抽出して機械学習を用いた CPR 姿勢の総合評価へ拡張し，また、姿勢変化の記録（Video）機能を利用して、学習指導用の振り返り動画教材として提案する。
|
| 備考 |
“力”と“動き”の特徴を明らかにする学問(Biomechanics) 研究の知見をもとに、コンピュータ(Cyber)でシステムを開発した紹介
|
