2022 Fiscal Year Research-status Report
Development of a Distance Learning System for Prosthodontics that Combines Naked-Eye Stereoscopic Vision and Tactile Reproduction
| Project/Area Number |
22K10065
|
|---|
| Research Institution | Kanagawa Dental College |
|---|
Principal Investigator |
板宮 朋基 神奈川歯科大学, 歯学部, 教授 (60583896)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
木本 克彦 神奈川歯科大学, 歯学部, 教授 (70205011)
中野 亜希人 神奈川歯科大学, 歯学部, 講師 (80967662)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 歯科補綴学 / 裸眼立体視 / バーチャル実習 / 触覚 / 支台歯形成 / 空間再現 / 遠隔実習 / 歯学教育 |
|---|
| Outline of Annual Research Achievements |
バーチャルリアリティ(VR)や拡張現実(AR)を活用した医歯学教育の従来の取り組みでは、ヘッドマウンティッドディスプレイ(HMD)やスマートグラスなどの装着が必須であり、衛生管理や長時間利用による眼の疲労などの課題がある。現状のHMDやスマートグラスでは、表示した3D-CGモデルの立体感・奥行感を装着者が精確に把握するためには、装着者の瞳孔間距離の測定と設定が必要であり、実習での日常的な利用に課題が残る。本研究では、デバイスの装着を一切必要とせず、手元の位置に配置した3D-CGモデルを裸眼で精確に立体視できる空間再現技術と、反力の再現が可能な触覚再現技術を併用した新たな歯科補綴学の遠隔実習手法を開発する。新型コロナウイルス感染症拡大下の状況で実習を従来通り実施することは当面困難な状況であるため、学生が自宅において実習室と同等以上の学修効果を得られる遠隔歯科補綴学実習を実現する。
初年度である2022年度は以下の2点を実現することができた。1) 絆創膏型の小型触覚再現デバイスを用いた触覚感知の実現と裸眼立体視ディスプレイ上の3D-CG表示との連動。2) 複数の空間再現ディスプレイ同士を同一ネットワークに接続し、表示される3D-CGモデルの動作を同期させた。1)は、絆創膏型の小型触覚再現デバイスとして豊田合成株式会社のe-RubberとモーションセンサーLeap Motionを用いて、ソニー空間再現ディスプレイに表示した下顎骨の3D-CGモデルに模擬切削器具を接触させた際に手指に適切な振動を伝えることに成功した。2)は、独自に開発したネットワーク遠隔同期プログラムを用いて、複数の空間再現ディスプレイに表示された3D-CGモデルの動作を同期できた。操作者は任意に切り替えることができる。複数の歯科医師による模擬遠隔会議を実施し、有用性が示唆された。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究は以下に4つのフェーズによる。1st Phase → 裸眼立体視と手指動作認識による支台歯形成シミュレーターの開発：3D-CGで表現した口腔内の歯と手指の動作に連動した3D-CG器具先端との接触判定を行うことで歯の切削が可能になる支台歯形成シミュレーターを開発する。手指の動作を遅延なく正確に取得し、実物のようなリアルな切削表現をバーチャル環境で実現する。
2nd Phase → 手指装着型小型触覚デバイスの開発と反力提示のための制御手法の確立：通電すると伸縮する次世代ゴム素材「e-Rubber」を触覚デバイスの基として用いる。1st Phaseで開発したシミュレーターの接触判定結果を反力提示に反映させるには、e-Rubberにどのような信号を送ると反力を感じられるようになるか試行錯誤を繰り返し、明らかにする。
3rd Phase → 複数台のシミュレーターのネット接続による遠隔歯科補綴学実習の実施：1st Phaseと2nd Phaseで実現したシミュレーターをインターネット経由で複数台接続し、裸眼立体表示と操作内容および触覚が遠隔地同士で共有できるか検証を行い、支台歯形成の遠隔実習を試験運用する。転送遅延など運用上の問題点を明らかにする。
4th Phase → 学生の操作内容をデータとして取得し自動採点を実現：1st Phaseと2nd Phaseで実現したシミュレーターに操作内容記録機能を加え、データとして出力できるようにする。教員が行った際の模範データとの差分を計算することにより実習手技の自動採点システムを実現し、本システムの実用性を明らかにする。
2022年度は、2nd Phaseと3rd Phaseの機能を実装することができ、複数の歯科医師による実証実験を行うことができた。そのため、おおむね順調に進展していると言える。
|
| Strategy for Future Research Activity |
今後は、以下に示す1st Phase と4th Phase の機能の実装を進めていく。1st Phase → 裸眼立体視と手指動作認識による支台歯形成シミュレーターの開発：3D-CGで表現した口腔内の歯と手指の動作に連動した3D-CG器具先端との接触判定を行うことで歯の切削が可能になる支台歯形成シミュレーターを開発する。手指の動作を遅延なく正確に取得し、実物のようなリアルな切削表現をバーチャル環境で実現する。4th Phase → 学生の操作内容をデータとして取得し自動採点を実現：1st Phaseと2nd Phaseで実現したシミュレーターに操作内容記録機能を加え、データとして出力できるようにする。教員が行った際の模範データとの差分を計算することにより実習手技の自動採点システムを実現し、本システムの実用性を明らかにする。
|
