• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

顔面形態変化観測のための標準顔形態生成と可視化,および顔面浮腫診断支援への応用

Research Project

Project/Area Number 21K11936
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 61010:Perceptual information processing-related
Research InstitutionFujita Health University (2022-2023)
Shiga University (2021)

Principal Investigator

健山 智子  藤田医科大学, 医療科学部, 准教授 (90550153)

Co-Investigator(Kenkyū-buntansha) 野崎 真也  琉球大学, 工学部, 准教授 (00390568)
陳 延偉  立命館大学, 情報理工学部, 教授 (60236841)
Project Period (FY) 2021-04-01 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2024: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2023: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000)
Fiscal Year 2022: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000)
Fiscal Year 2021: ¥2,470,000 (Direct Cost: ¥1,900,000、Indirect Cost: ¥570,000)
Keywords顔面浮腫 / 3次元顔形状の観測 / 深層学習 / 3次元顔形状データベース / 顔貌形態モデル / 顔面浮腫疾患 / 3次元顔面形態観測 / 3次元標準顔形状 / 点群解析 / 民生用RGB-Dセンサー
Outline of Research at the Start

①:顔面浮腫による顔面形態と健常との違いを理解するため,健常者から生成する顔面浮腫の疑似正常と疑似疾患における顔面膨張の形態モデルの生成する.このモデルへ疾患情報を射影することで,現れた差異や評価が臨床に妥当であるかを確認する.
②:顔面浮腫の形態観測のための標準顔形態生成と顔面浮腫形態観測では,疾患症例の治療過程で取得されたデータを用いて最も強い症状,弱い症状を用いて各標準顔を生成し,①でのモデルへ射影することで,症例の形態変化の差分を検証する.
③:臨床医との連携により,顔面浮腫の計算機診断支援の開発とデータベースの公開を行い,国内外の顔面浮腫の症例に対する臨床支援に貢献する.

Outline of Annual Research Achievements

本研究課題では,臨床現場で観察される顔貌変化について,顔形状の3次元形状変化からその形態解析を行うこと,そしてその解析のためのデータベース構築を目的としている.2022年度の研究では,3次元顔形状取得に関連する研究として,データ取得の研究を行っており,2023年度も引き続き,データ取得の研究および取得される3次元の顔面形態における形状特徴を評価するための特徴解析の研究にアプローチを行なった.データの取得は,Kinect V2から撮像されるDepth画像を用いて3次元点群データを構成する.この3次元形状に対し,健常者の通常時における顔情報を正常症例として撮像する.さらに,この対象者の頬を膨らませた状態で撮像することで,擬似で顔貌変化を作成し擬似の疾患症例を定義して撮像を行なった.この症例間において,差分を観測する手法で,顔貌変化を3次元で解析を行なっている.
また,実際に作成した3次元点群データの妥当性を評価するために,実測が可能となるための3次元画像の取得が必要である.本研究では,臨床現場との連携で,頭部CTデータから,上顎部に対する形態特徴を画像解析から獲得し,評価用データとして妥当かについて,検証をスタートした.検証から,顔面は,正中矢状線に対し線対称の特徴が構成されていることをデータ解析から獲得し,データベース構成を行なっている.
2023年度,本研究は研究代表者の妊娠と出産にともなう入院などので休職期間が発生し,研究の中断期間が生じてしまった.そのため,当初の計画していた3次元顔形状に対するデータベースの整備と深層学習の解析が大幅に遅れが生じてしまっている. 2024年度は2023年度の結果と大幅に遅れた計画を遂行し,本研究の成果を広く報告することを目指す.

Current Status of Research Progress
Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

2023年度,多くの講義の引き継ぎに伴う講義準備と,妊娠と出産のための入院に伴う休職期間が生じたことが重なり,研究中断期間と研究の遂行遅れが発生した.そのため,研究計画において,当初予定していたデータ取得と分析に遅れが発生している.2024年度は,2023年度に予定していた,臨床データの取得からのモデル評価,データ分析を行うことを計画している.
また,データ取得は,Kinect V2での取得を行なっていたが,デバイスの終了などの影響をうけた. 今後は撮像デバイスに依存しない方法などを検討することが必要である.

Strategy for Future Research Activity

2024年度は,2022年度,2023年度に引き続き,臨床現場と連携して実際の臨床データを取得も同時に行う.また本研究で構成した擬似疾患顔面形態のデータベースの妥当性についての評価を主として行う予定である.
また,2023年度の研究成果より,顔形状は3次元点群情報であることから,より効果的な解析として,グラフニューラルネットワークの導入が本研究に重要であることが確認された.2024年度,グラフニューラルネットワークの導入などにより,本研究を遂行し,研究報告を行なっていく計画である.

Report

(3 results)
  • 2023 Research-status Report
  • 2022 Research-status Report
  • 2021 Research-status Report
  • Research Products

    (27 results)

All 2024 2023 2022 2021 Other

All Journal Article (5 results) (of which Int'l Joint Research: 2 results,  Peer Reviewed: 5 results,  Open Access: 2 results) Presentation (19 results) (of which Int'l Joint Research: 10 results,  Invited: 1 results) Remarks (3 results)

  • [Journal Article] An Intra- and Inter-Emotion Transformer-Based Fusion Model with Homogeneous and Diverse Constraints Using Multi-Emotional Audiovisual Features for Depression Detection2024

    • Author(s)
      TENG Shiyu、LIU Jiaqing、HUANG Yue、CHAI Shurong、TATEYAMA Tomoko、HUANG Xinyin、LIN Lanfen、CHEN Yen-Wei
    • Journal Title

      IEICE Transactions on Information and Systems

      Volume: E107.D Issue: 3 Pages: 342-353

    • DOI

      10.1587/transinf.2023HCP0006

    • ISSN
      0916-8532, 1745-1361
    • Year and Date
      2024-03-01
    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] A motion-aware and temporal-enhanced Spatial Temporal Graph Convolutional Network for skeleton-based human action segmentation2024

    • Author(s)
      Chai Shurong、Jain Rahul Kumar、Liu Jiaqing、Teng Shiyu、Tateyama Tomoko、Li Yinhao、Chen Yen-Wei
    • Journal Title

      Neurocomputing

      Volume: 580 Pages: 127482-127482

    • DOI

      10.1016/j.neucom.2024.127482

    • Related Report
      2023 Research-status Report
    • Peer Reviewed
  • [Journal Article] Augmented Reality Visualization and Quantification of COVID-19 Infections in the Lungs2024

    • Author(s)
      Liu Jiaqing、Lyu Liang、Chai Shurong、Huang Huimin、Wang Fang、Tateyama Tomoko、Lin Lanfen、Chen Yenwei
    • Journal Title

      Electronics

      Volume: 13 Issue: 6 Pages: 1158-1158

    • DOI

      10.3390/electronics13061158

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] A multi-head pseudo nodes based spatial?temporal graph convolutional network for emotion perception from GAIT2022

    • Author(s)
      Chai Shurong、Liu Jiaqing、Jain Rahul Kumar、Tateyama Tomoko、Iwamoto Yutaro、Lin Lanfen、Chen Yen-Wei
    • Journal Title

      Neurocomputing

      Volume: 511 Pages: 437-447

    • DOI

      10.1016/j.neucom.2022.09.061

    • Related Report
      2022 Research-status Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Dual Attention 機構を取り入れた時空間グラフ畳み込みネットワークによる歩行からの感情認識2022

    • Author(s)
      劉 家慶,木下将児,柴 樹榕,健山智子,岩本祐太郎,陳 延偉
    • Journal Title

      画像電子学会誌

      Volume: 51 Pages: 309-317

    • Related Report
      2022 Research-status Report
    • Peer Reviewed
  • [Presentation] 3D Facial Ethnicity Identification Using Point Cloud Deep Learning with Local Area Attention2023

    • Author(s)
      Kazuma Okada, Takuma Terada, Ryosuke Kimura, Jiaqing Liu, Tomoko Tateyama, Yen-Wei Chen
    • Organizer
      The 42nd IEEE International Conference on Consumer Electronics (ICCE 2024)
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] HGD: Dynamic Hand Gesture Dataset for Skeleton-Based Gesture Recognition and Baseline Evaluations2023

    • Author(s)
      Masaya Okano, Jiaqing Liu, Tomoko Tateyama, Yen-Wei Chen
    • Organizer
      The 42nd IEEE International Conference on Consumer Electronics (ICCE 2024)
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] Multi-Modal and Multi-Task Depression Detection with Sentiment Assistance2023

    • Author(s)
      Shiyu Teng, Shurong Chai, Jiaqing Liu, Tomoko Tateyama, Lanfen Lin, Yen-Wei Chen
    • Organizer
      The 42nd IEEE International Conference on Consumer Electronics (ICCE 2024)
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] OpenFace に基づく顔面3次元観測の可視化とその解析2023

    • Author(s)
      大久保 敏斗,野崎 真也(琉球大学),健山 智子(藤田医科大学)
    • Organizer
      令和5年度 電気学会九州支部沖縄支所講演会
    • Related Report
      2023 Research-status Report
  • [Presentation] Adaptive Graph Convolutional Networks for Medical Image Segmentation2023

    • Author(s)
      Shurong Chai, Rahul Kumar Jain, Yinhao Li, Jiaqing Liu, Tomoko Tateyama, Yen-Wei Chen
    • Organizer
      The IEEE Engineering in Medicine and Biology Society
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] A 3D Fusion U-Net with Dual CNN and Transformer Encoders for Lung Airway Segmentation.2023

    • Author(s)
      Liang Lyu, Shurong Chai, Jiaqing Liu, Tomoko Tateyama, Xu Qiao, Yen-Wei Chen
    • Organizer
      2023 IEEE 12th Global Conference on Consumer Electronics (GCCE 2023)
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] 3D Facial Ethnicity Identification Using PointNet++ with Data Augmentation Based on Farthest Point Sampling.2023

    • Author(s)
      Kazuma Okada, Takuma Terada, Ryosuke Kimura, Jiaqing Liu, Tomoko Tateyama, Yen-Wei Chen
    • Organizer
      2023 IEEE 12th Global Conference on Consumer Electronics (GCCE 2023)
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] Ethnicity Classification of Large-Scale Facial Point Clouds by Integratinng Normal Vector Features to PointNet++2023

    • Author(s)
      Kazuma Okada・Takuma Terada, Kimura Ryosuke, Jiaqing Liu, Tomoko Tateyama, Yen-Wei Chen
    • Organizer
      映像情報メディア学会 メディア工学研究会
    • Related Report
      2023 Research-status Report
  • [Presentation] Medical Image Analysis and Its Clinical Application Based on Data Science2023

    • Author(s)
      Tomoko Tateyama
    • Organizer
      International Workshop on Intelligent Image Processing
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] 人工知能とデータサイエンス,そして医療への応用2022

    • Author(s)
      健山智子
    • Organizer
      第2回 AIとデータサイエンスにかかる研究会
    • Related Report
      2022 Research-status Report
    • Invited
  • [Presentation] Accurate Hand Gesture Recognition Using Color and Depth Images with Modality-invariant Fusion2022

    • Author(s)
      Masaya Okano, Jia-Qing Liu,
    • Organizer
      IEEE Global Conference on Consumer Electronics (GCCE2022),
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] A Transformer-Based Multimodal Network for Audiovisual Depression Prediction2022

    • Author(s)
      Shiyu Teng, Shurong Chai, Jiaqing Liu, Tateyama Tomoko, Xinyin Huang, Yen-Wei Chen
    • Organizer
      IEEE Global Conference on Consumer Electronics (GCCE2022),
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] A Module Selection-based Approach for Efficient Skeleton Human Action Recognition2022

    • Author(s)
      Shurong Chai, Rahul Kumar Jain, Jiaqing Liu, Tomoko Tateyama, Yinhao Li, Yen-Wei Chen
    • Organizer
      2022年度パターン認識・機械学習研究会(PRML),
    • Related Report
      2022 Research-status Report
  • [Presentation] A transformer based feature-level fusion approach for Audiovisual Depression Prediction2022

    • Author(s)
      Shiyu Teng, Shurong Chai, Jiaqing Liu, Tateyama Tomoko, Xinyin Huang, Yen-wei Chen
    • Organizer
      2022年度パターン認識・機械学習研究会(PRML),
    • Related Report
      2022 Research-status Report
  • [Presentation] PointNet++を用いた遺伝子関連研究に向けた3次元顔面形態認2022

    • Author(s)
      岡田一真, 寺田卓馬, 劉 家慶, 健山智子, 木村亮介, 陳 延偉
    • Organizer
      2022年度パターン認識・機械学習研究会(PRML),
    • Related Report
      2022 Research-status Report
  • [Presentation] Computer-aided Diagnosis System of COVID-19 with Hololens2022

    • Author(s)
      Liang LYU, Shurong Chai, Jiaqing Liu, Huimin Huang, Fang Wang, Tomoko Tateyama, Lanfen Lin, Yenwei Chen
    • Organizer
      MEとバイオサイバネティックス研究会
    • Related Report
      2022 Research-status Report
  • [Presentation] 三次元点群データによる顔面形状変化の観測と可視化2022

    • Author(s)
      美甘圭, 野崎 真也, 健山 智子
    • Organizer
      2022年度電気・情報関係学会九州支部連合大会(第75回連合大会)
    • Related Report
      2022 Research-status Report
  • [Presentation] ウェブカメラを用いた顔面形状の計測とその評価2022

    • Author(s)
      大久保 敏斗, 野崎 真也, 健山 智子
    • Organizer
      2022年度電気・情報関係学会九州支部連合大会(第75回連合大会)
    • Related Report
      2022 Research-status Report
  • [Presentation] A preliminary Study on Seasonal features Understanding from Flyer Images Based on Machine Learning2021

    • Author(s)
      Tomoko Tateyama, Takumi Miyamoto, Ken Orimoto, Shimpei Matsumoto
    • Organizer
      10th International Congress on Advanced Applied Informatics
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Remarks] Intelligent Visual Analytics & Learning

    • URL

      https://sites.google.com/view/ivaltateyama/top

    • Related Report
      2023 Research-status Report 2022 Research-status Report
  • [Remarks] 医療科学部 研究推進ユニット知能情報工学分野

    • URL

      https://www.fujita-hu.ac.jp/faculty/unit/iie/top.html

    • Related Report
      2023 Research-status Report 2022 Research-status Report
  • [Remarks] Tomoko Tateyama's Website

    • URL

      https://sites.google.com/view/ivaltateyama/

    • Related Report
      2021 Research-status Report

URL: 

Published: 2021-04-28   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi