| 研究課題/領域番号 |
17K12051
|
|---|
| 研究機関 | 鹿児島大学 |
|---|
研究代表者 |
岩下 洋一朗 鹿児島大学, 医歯学域歯学系, 助教 (70168566)
|
|---|
| 研究分担者 |
田口 則宏 鹿児島大学, 医歯学域歯学系, 教授 (30325196)
作田 哲也 鹿児島大学, 医歯学域附属病院, 助教 (20284888)
古川 周平 鹿児島大学, 医歯学域附属病院, 助教 (70792505)
|
|---|
| 研究期間 (年度) |
2017-04-01 – 2020-03-31
|
| キーワード | 非言語コミュニケーション / 言語・非言語統合分析 / 医療コミュニケーション / 教育支援 / 3Dセンサ |
|---|
| 研究実績の概要 |
(1) Microsoft のKinect センサー用開発プログラムKinect for Windows SDK を用いて、Kinect センサーから出力される被験者の骨格の三次元位置情報、及び顔面の表情パラメータ等の非言語コミュニケーション情報を時系列データとしてエクセル等で処理可能なCSV形式で出力するソフトウェアを開発した。次に、ELAN にあるCSV 形式の時系列データを入出力する機能を利用して、Kinectセンサーからの時系列データをELAN システムに転送した。これらによりELAN 上でKinect から得られた骨格の三次元的位置や表情パラメータの数値をグラフ表示させた。
(2) ELAN 上で医療面接のビデオデータを基に会話分析（言語コミュニケーション分析）を行い、Ishikawa らの方法を基に、ELAN 上で動作や表情の変化の非言語コミュニケーションを分析、非言語表現が発生した時刻に注釈層入力データとしてELAN に入力し、得られたデータを基に、非言語表現が得られた同時刻のKinect センサーからの被験者の体動や表情パラメータの数値の変化を調べ、逆に数値の変化から非言語表現を半自動的に検出分析するシステムを開発中である。
(3) ELAN 上で会話分析による会話・動作・表情の言語コミュニケーションと非言語コミュニケーションを同時に表示して統合分析するシステムを開発し、これらのコミュニケーションのどれが医療面接での指導歯科医や模擬患者の評価に影響するか調査するためにデータを収集中である。Kinect V2 センサーによるソフトウェアを開発中である。映像記録システムと解析用プログラムが十分に機能するかどうかを、研修歯科医と模擬患者による医療面接演習のデータを元に検討した。ハードウェアとプログラムに不具合等があればその都度修正改善を行うことにしている。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
3DセンサであるKinectを用いたソフトウェアを開発し、ビデオデータとの統合会話分析ソフトウェアELAN上でKinectからのパラメータを表示することができた。また、これらの分析に基づき、言語・非言語コミュニケーション統合分析を行えるように開発が開始されたため、おおむね順調に進展している。
|
| 今後の研究の推進方策 |
開発を開始したソフトウェアの分析機能をさらに向上させる。引き続き医療面接等のデータを収集し、分析方法を検討していく。
３Ｄセンサーの技術は日々進歩するので、今回採用するKinect センサーについては、その精度や実用性を、他社のセンサー等の最新版と比較し、ハードウェアとソフトウェアの両面で実用に優れた方のセンサーを採用できるか検討している。Intel社のReal Sense D435を検討したが、三次元センサとしての性能は向上しているが表情解析ソフトが不十分であった。Microsoft社のHololensもまた複数のセンサを用いた統合システムとして優れており、センサ利用ソフトウエアが順次開発、更新されており、将来性に優れているが、現在の実用性はKinectセンサが最良であると考えられるが、さらに検討を進めて行く。
|
| 次年度使用額が生じた理由 |
2017年度予定していた国際学会出席を次年度に延期したため、次年度使用額が生じた。2018年度は国際学会に出席する予定である。
|
