2015 Fiscal Year Research-status Report
次世代ウェアラブルデバイス・スマートグラスを活用した外来教育システムの構築と評価
| Project/Area Number |
15K08544
|
|---|
| Research Institution | Kanazawa University |
|---|
Principal Investigator |
八木 邦公 金沢大学, 医学系, 准教授 (30293343)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
敷田 幹文 北陸先端科学技術大学院大学, 学内共同利用施設等, 教授 (80272996)
|
|---|
| Project Period (FY) |
2015-04-01 – 2018-03-31
|
| Keywords | 医療面接実習 / コミュニケーション / アイコンタクト / ジェスチャ / 加速度センサー |
|---|
| Outline of Annual Research Achievements |
本研究では、指導教員の負担を軽減しつつ臨床教育の教育効果を高めることを目的としたスマートデバイスの活用法についての検討を行う。スマートデバイスの採用候補としてはスマートグラスが第一に挙げられるが、研究申請時点と現在とで変化している状況を鑑み、他のデバイス等も視野に検討を行っている。平行して、教育指導のどの要素のどの部分でどんなセンサーやモニター能力を有するデバイスのを用いた自動化・効率化が適切かを検討している。そのために、医療面接実習を模擬患者さんで行う場面で、患者側、医師役両者に複数のセンサーを装着してビデオ記録・データ収集を行い、そのデータを用いて評価対象の行動を数値モデル化する試みを行っている。医療現場では曖昧な表現で意思疎通が行われることもあり、厳密なモデルの作成は難しいが、現段階で利用可能な特徴を分析するために、臨床実習の記録ビデオからいくつかの特徴を考察した。
まず，実習生と模擬患者の発話の時間を計測し実習生の頭部に三軸加速度センサを取り付け実習中の頭部の動きを評価した。これまでの繰り返しの今回の検討では、会話の長さ、学生と模擬患者の会話の時間の割合、頷きの検出、頭部の角度、姿勢がコンピュータによる自動評価が可能な要素の検討と考えられた。会話内容の解析として指向性マイクを用いた上でユリウス・エンジンを用いてリアルタイムでの音声認識・解析を行ったが、こちらの方は医療面接中の音量や姿勢の変化で解析効率が大きく変化することが明らかとなった。その上で文脈解析に関しては現時点での音声認識感度では低い信頼性しか得られないものと認識された。一方でキーワード解析については、同じ人間での解析とする場合には、予めキーワードを複数の状態で記憶させておくことで認識効率を高めることが可能と判明した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
本研究の基盤となるスマートデバイスについて、グラス型で加速度センサーおよびGPS、指向性マイクを備えるなどの特徴を有し、現時点で最も完成度の高いものとしてGoogle Glassを採用しての検討を加えているが、実際にサーバーPCとの間でデータをリアルタイムでやり取りしながら使用してみると、デバイス本体の加熱が強く、また充電池の消耗も極めて早く、実験的使用に際しても現実的ではない状況になってしまうことが判明している。その対策として、情報のデバイスからサーバーへの移行を純粋なリアルタイムから、バッファを介してのシステムに変更することを試みて、ある程度の成果をあげていた段階で、突然Google glass自体の詳細技術情報の公開が人権団体よりの要請によりFreezeされてしまい、pending状態となっている。現在Google glassの次世代版が開発中とされ、当面は得られる情報は限定されたものとなるためシステム構築への影響は小さくはない。
また臨床実習での情報収集にあたっても、教育効果を妨げない形で行う必要があり、機材の活用が極めて制限されることも明らかとなっている。さらには評価の高い音声認識・解析システムとして採用したユリウス・エンジンについてもテスト段階で録音音声を用いた場合と、実際の外来診療室でマイクを用いて収録した場合とで極めて認識効率が異なることも明らかとなっている。これらの技術的課題は今後クリアされていく必要がある。もちろんこれらの課題は、面接環境を限定したり、症例のパターンを限定したりすることでクリアすることは容易ではあるが、初期段階より大きな限定を加えてしまうことで、システムとしての発展性を最初から妨げてしまうのではないかという危惧のもとに工夫を重ねている。
|
| Strategy for Future Research Activity |
Google glassお詳細技術情報は次世代版の発表とともに、前versionも統合した形として公開されるであろうと言われており、その次世代版の発表は2016年度内に行われるものと予想されている。また完成度の高いスマートグラスとして2016年度内には複数のシステムが上梓されるものとされている。特にMicrosoft HologlassについてはVR昨日も充実しており、また基本は通常のWindows10のシステムをbaseに動作するとされており、こちらが利用可能となった段階でシステムへの移行をした方が、現時点では迂遠に見えても最終的な完成が早い可能性もあり検討する必要はあるかもしれない。またスマートデバイスとしてはスマートグラス以外のデバイスも進歩が早いため、腕時計型デバイス等も視野に入れつつ検討を行う。
姿勢や体動についてのデータ収集については、全体としての時間配分，手の動き，アイコンタクトについて、平成27年度の検討である程度は評価可能との手応えを得たため、今後もパラメータを増やしての検討を継続していく。一方会話内容についての解析については、マイクの性能向上を工夫するが、現在の音声解析技術には限界があると思われたため、本研究の基本コンセプトを保持するためにも、近年普及している簡易型人工知能の活用と他データとのリンクを活用しての認識効率向上を目指す。最終的には本研究の計画では、一人の指導医が平行して複数の学生や研修医の医療面接指導を行えるシステムの構築を目指すものであるが、並行処理についてはデバイスやセンサーの感度向上を確認した上で、次の段階として検討を進める予定としている。また電子聴診器など診療関連機材との今回のシステムの連携についてはむしろ相性が良い可能性も認められており活用も検討してゆきたいと考えている。
|
| Causes of Carryover |
スマートグラスとして複数の候補から機能的に優れたものとして、Google Glassを選択したが、その時点で海外での販売しな行われておらず、輸入代行業者を介しての手続きとなっていた。具体的に2015年の前期にほぼ同時に三台を英国に発注した訳だが、二台は速やかに手配され入手されたものの、もう一台が半年以上確保が遅れた。その間に世界情勢の変化を受けて大きく為替レートが変動してしまった。その影響で当初の予算との間での調整が必要とされることとなった。また年度末の段階でその予備的費用を充当する消耗品等も存在していたが、例年とことなり、昨年度の使用期限が早めに設定されていたため、そちらに当てることができず、些少ながら次年度使用額が物品の購入予算が生じてしまったものである。
|
| Expenditure Plan for Carryover Budget |
上記の反省を踏まえ、今年度もある程度海外よりの輸入代行業者を介しての購入が見込まれることから、なるべく年度内でも早期に手配を進めることが重要と思われる。また発注後に物品の確保に時間がかかり、その間に大きく為替レートが変化してしまった場合には再度見積もりを取り直し、全体の予算との間でバランスを取りながら発注を見直すことも必要ではないかと今回の経験を踏まえて反省しております次第です。
|
-
-
-
-
-
[Journal Article] Clinical characteristics of Japanese patients with severe hypertriglyceridemia2015
Author(s)
Tada H, Kawashiri MA, Nakahashi T, Yagi K, Chujo D, Ohbatake A, Mori Y, Mori S, Kometani M, Fujii H, Nohara A, Inazu A, Mabuchi H, Yamagishi M, Hayashi K.
-
Journal Title
J Clin Lipidol
Volume: 9
Pages: 519-524
DOI
Peer Reviewed
-
-
[Presentation] CPR-AUC is useful to predict the clinical effects of GLP-1 receptor agonist2015
Author(s)
Yagi K, Ohbatake A, Shima Y, Asaka H, Mori Y, Okazaki S, Takeda Y, Yamagishi M, Chujo D
Organizer
75th American Diabetes Association Scientific Sessions,
Place of Presentation
Boston, MA, USA
Year and Date
2015-06-05 – 2015-06-09
Int'l Joint Research
-
[Presentation] IGRP-Specific CD4+ T Cell Response Is Distinct between Adult-onset and Juvenile-onset Type 1 Diabetes2015
Author(s)
Chujo D, NguyenTS, Foucat E, Banchereau J, Kajio H, Shimoda M, Yagi K, Yamagishi M, Nepom GT, Chaussabel D, Ueno H
Organizer
75th American Diabetes Association Scientific Sessions,
Place of Presentation
Boston, MA, USA
Year and Date
2015-06-05 – 2015-06-09
Int'l Joint Research
-
[Presentation] 糖尿病症例における心電図上のＪ波の臨床的意義についての検討2015
Author(s)
八木邦公, 森由紀子, 林研至, 今野哲雄, 劉建輝, 島裕幹, 大畠梓, 浅香裕之, 岡崎智子, 中條大輔, 武田仁勇, 山岸正和
Organizer
第58回日本糖尿病学会年次学術集会
Place of Presentation
下関、山口
Year and Date
2015-05-21 – 2015-05-24
