Facial expression analyses in sports and its application

2018 Fiscal Year Research-status Report

• Project/Area Number: 18K19729
• Research Institution: The University of Tokyo
• Principal Investigator: 工藤 和俊 東京大学, 大学院情報学環・学際情報学府, 准教授 (30302813)
• Co-Investigator(Kenkyū-buntansha): 中澤 公孝 東京大学, 大学院総合文化研究科, 教授 (90360677) ; 進矢 正宏 広島大学, 総合科学研究科, 准教授 (90733452)
• Project Period (FY): 2018-06-29 – 2021-03-31
• Keywords: 運動スキル / スポーツパフォーマンス / 運動制御 / 運動学習

Outline of Annual Research Achievements

スポーツにおいて顔の表情はアスリートの心理を表す有力な手掛かりとなるだけでなく、表情を意図的にコントロールしてポジティブな情動を誘発することにより、パフォーマンス向上に有効利用できる可能性が指摘されている 。また、ダンスや演劇などの表現活動においては、顔の表情も表現要素の一つであることから、パフォーマンスの成否を握る要因となっている。一方で、スポーツや表現パフォーマンスにおける表情の定量的な解析方法については現在まで確立されておらず、その学習方法や応用手法も含めて今後の挑戦的研究課題として挙げられる。そこで本研究では、近年目覚ましく発展しているウエアラブル生体情報計測技術および人工知能技術を用いて表情を定量的に解析し、情動およびパフォーマンスとの因果性を明らかにした上で、パフォーマンス向上のための表情トレーニング開発に挑戦する。初年度である2019年度は、個人競技であるゴルフおよびチーム競技である野球を対象として、プレー時の表情、動作、および生体情報（心拍数）を計測した。また、ゴルフのショット前の主観的自信、ショット後の主観的出来栄えを５段階評価で記録した。プレーの主観的評価、生体情報、顔表情、パフォーマンスの関係については現在解析中である。さらに、標的追従課題を用いて運動学習時の視線および顔表情を計測し、学習に伴う変化について検討した。加えて、顔表情解析および映像からの動作定量化のための解析ワークステーションを構築した。また、東京大学駒場キャンパスにて国際シンポジウム"International symposium on interpersonal dynamics through cooperative and competitive interactions"を開催した。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

個人競技であるゴルフおよびチーム競技である野球を対象として、プレー時の表情および動作映像をビデオカメラを用いて記録するとともに、ウエアラブル心拍計およびGPSを用いて心拍、位置座標、移動速度を計測した。また、ゴルフのショット前の主観的自信、ショット後の主観的出来栄えを５段階評価で記録した。さらに運動学習に伴う視線および顔表情の変化について検討するため、標的追従課題を用いた学習実験を実施した。さらに、顔表情解析および映像からの動作定量化のため、OpenFaceおよびOpenPoseを利用した解析ワークステーションを構築した。また、東京大学駒場キャンパスにて国際シンポジウム"International symposium on interpersonal dynamics through cooperative and competitive interactions"を開催した。

Strategy for Future Research Activity

今年度は、昨年度の実験により得られた測定データの解析を進め、深層学習技術を用いてプレー中における顔検出・顔の特徴部位検出・表情分類を行うとともに、プレーの主観的評価、生体情報、顔表情、パフォーマンスの関係を定量化する。また、運動学習に伴う視線および顔表情の変化について、試行中のみならず試行前後の時系列に着目し、運動準備および運動後の結果フィードバック処理における顔表情の役割を明らかにする。さらに、芸術表現であるダンス、音楽演奏、および演劇パフォーマンスにおける顔表情の時系列変化について熟達差の有無について検討するとともに、パフォーマーの顔表情と観察者のパフォーマンス評価との関係を明らかにする。

Causes of Carryover

平成30年度に実施した実験データの解析が年度内に終了しなかったため、人件費・謝金に剰余が生じた。本費用については、令和元年度に引き続き人件費・謝金としてデータ解析を進めるための費用として使用する予定である。

Research Products

• [Funded Workshop] International symposium on Interpersonal dynamics through cooperative and competitive interactions (2018)