• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2017 Fiscal Year Research-status Report

Health communication support by integrated analysis system of verbal and non-verbal communication

Research Project

Project/Area Number 17K12051
Research InstitutionKagoshima University

Principal Investigator

岩下 洋一朗  鹿児島大学, 医歯学域歯学系, 助教 (70168566)

Co-Investigator(Kenkyū-buntansha) 田口 則宏  鹿児島大学, 医歯学域歯学系, 教授 (30325196)
作田 哲也  鹿児島大学, 医歯学域附属病院, 助教 (20284888)
古川 周平  鹿児島大学, 医歯学域附属病院, 助教 (70792505)
Project Period (FY) 2017-04-01 – 2020-03-31
Keywords非言語コミュニケーション / 言語・非言語統合分析 / 医療コミュニケーション / 教育支援 / 3Dセンサ
Outline of Annual Research Achievements

(1) Microsoft のKinect センサー用開発プログラムKinect for Windows SDK を用いて、Kinect センサーから出力される被験者の骨格の三次元位置情報、及び顔面の表情パラメータ等の非言語コミュニケーション情報を時系列データとしてエクセル等で処理可能なCSV形式で出力するソフトウェアを開発した。次に、ELAN にあるCSV 形式の時系列データを入出力する機能を利用して、Kinectセンサーからの時系列データをELAN システムに転送した。これらによりELAN 上でKinect から得られた骨格の三次元的位置や表情パラメータの数値をグラフ表示させた。
(2) ELAN 上で医療面接のビデオデータを基に会話分析(言語コミュニケーション分析)を行い、Ishikawa らの方法を基に、ELAN 上で動作や表情の変化の非言語コミュニケーションを分析、非言語表現が発生した時刻に注釈層入力データとしてELAN に入力し、得られたデータを基に、非言語表現が得られた同時刻のKinect センサーからの被験者の体動や表情パラメータの数値の変化を調べ、逆に数値の変化から非言語表現を半自動的に検出分析するシステムを開発中である。
(3) ELAN 上で会話分析による会話・動作・表情の言語コミュニケーションと非言語コミュニケーションを同時に表示して統合分析するシステムを開発し、これらのコミュニケーションのどれが医療面接での指導歯科医や模擬患者の評価に影響するか調査するためにデータを収集中である。Kinect V2 センサーによるソフトウェアを開発中である。映像記録システムと解析用プログラムが十分に機能するかどうかを、研修歯科医と模擬患者による医療面接演習のデータを元に検討した。ハードウェアとプログラムに不具合等があればその都度修正改善を行うことにしている。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

3DセンサであるKinectを用いたソフトウェアを開発し、ビデオデータとの統合会話分析ソフトウェアELAN上でKinectからのパラメータを表示することができた。また、これらの分析に基づき、言語・非言語コミュニケーション統合分析を行えるように開発が開始されたため、おおむね順調に進展している。

Strategy for Future Research Activity

開発を開始したソフトウェアの分析機能をさらに向上させる。引き続き医療面接等のデータを収集し、分析方法を検討していく。
3Dセンサーの技術は日々進歩するので、今回採用するKinect センサーについては、その精度や実用性を、他社のセンサー等の最新版と比較し、ハードウェアとソフトウェアの両面で実用に優れた方のセンサーを採用できるか検討している。Intel社のReal Sense D435を検討したが、三次元センサとしての性能は向上しているが表情解析ソフトが不十分であった。Microsoft社のHololensもまた複数のセンサを用いた統合システムとして優れており、センサ利用ソフトウエアが順次開発、更新されており、将来性に優れているが、現在の実用性はKinectセンサが最良であると考えられるが、さらに検討を進めて行く。

Causes of Carryover

2017年度予定していた国際学会出席を次年度に延期したため、次年度使用額が生じた。2018年度は国際学会に出席する予定である。

  • Research Products

    (10 results)

All 2017

All Journal Article (1 results) (of which Peer Reviewed: 1 results) Presentation (8 results) Patent(Industrial Property Rights) (1 results)

  • [Journal Article] 地域歯科医療教育に求められるものープロフェッショナリズムとの関連を見据えてー2017

    • Author(s)
      田口則宏, 古川周平, 吉田礼子, 松本祐子, 岩下洋一朗, 中山 歩, 大戸敬之, 作田哲也
    • Journal Title

      日本総合歯科学会雑誌

      Volume: 9 Pages: 11-18

    • Peer Reviewed
  • [Presentation] 大学生の歯科に対する意識調査 ─歯科健診時のアンケートから─2017

    • Author(s)
      松本祐子,岩下洋一朗,吉田礼子,中山 歩,大戸敬之,作田哲也,古川周平,田口則宏
    • Organizer
      第10回日本総合歯科学会総会・学術大会
  • [Presentation] 総合歯科医の成長過程についての一考察 ─島の歯科医の語りから─2017

    • Author(s)
      大戸敬之,松本祐子,中山 歩,作田哲也,古川周平,岩下洋一朗,吉田礼子,田口則宏
    • Organizer
      第10回日本総合歯科学会総会・学術大会
  • [Presentation] 総合歯科の理解を目指した卒前学外実習プログラム2017

    • Author(s)
      田口則宏,吉田礼子,松本祐子,岩下洋一朗,中山 歩,大戸敬之,作田哲也,古川周平
    • Organizer
      第10回日本総合歯科学会総会・学術大会
  • [Presentation] 三次元センサーの医療者教育への応用の検討 第2報 Kinect V2センサーの表情解析による医療面接評価支援2017

    • Author(s)
      岩下洋一朗,吉田礼子,松本祐子,作田哲也,中山 歩,大戸敬之,古川周平,田口則宏,高永 茂
    • Organizer
      第49回日本医学教育学会大会
  • [Presentation] 医学・歯学・看護学教育のコンピテンシーとマイルストーン評価機能を有したe-ポートフォリオの開発2017

    • Author(s)
      村永文学,田川まさみ,田口則宏,岩下洋一朗,金子美千代
    • Organizer
      第49回日本医学教育学会大会
  • [Presentation] 鹿児島大学歯学部のプロフェッショナリズム教育と歯学生の理想の医療者像2017

    • Author(s)
      大戸敬之,古川周平,岩下洋一朗,中山 歩,作田哲也,松本祐子,吉田礼子,田口則宏
    • Organizer
      第49回日本医学教育学会大会
  • [Presentation] Kinect(R)センサー(Kinetics-Connection Sensor)の歯学教育への応用2017

    • Author(s)
      岩下洋一朗、田口則宏
    • Organizer
      第36回日本歯科医学教育学会総会・学術大会
  • [Presentation] 3 Dカメラを応用した摂食嚥下機能評価システムの開発―歯学部学生に対する新規 教育モデルの提案―2017

    • Author(s)
      山本祐士,佐藤秀夫,岩下洋一朗,田口則宏,山﨑要一
    • Organizer
      第36回日本歯科医学教育学会総会・学術大会
  • [Patent(Industrial Property Rights)] 3Dカメラを用いた摂食嚥下機能検査システム2017

    • Inventor(s)
      佐藤 秀夫, 山本 祐士, 岩下 洋一朗, 山﨑 要一
    • Industrial Property Rights Holder
      佐藤 秀夫, 山本 祐士, 岩下 洋一朗, 山﨑 要一
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      特願2017-082001

URL: 

Published: 2018-12-17  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi