• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

顔面形態変化観測のための標準顔形態生成と可視化,および顔面浮腫診断支援への応用

研究課題

研究課題/領域番号 21K11936
研究種目

基盤研究(C)

配分区分基金
応募区分一般
審査区分 小区分61010:知覚情報処理関連
研究機関藤田医科大学 (2022-2023)
滋賀大学 (2021)

研究代表者

健山 智子  藤田医科大学, 医療科学部, 准教授 (90550153)

研究分担者 野崎 真也  琉球大学, 工学部, 准教授 (00390568)
陳 延偉  立命館大学, 情報理工学部, 教授 (60236841)
研究期間 (年度) 2021-04-01 – 2025-03-31
研究課題ステータス 交付 (2023年度)
配分額 *注記
4,160千円 (直接経費: 3,200千円、間接経費: 960千円)
2024年度: 650千円 (直接経費: 500千円、間接経費: 150千円)
2023年度: 520千円 (直接経費: 400千円、間接経費: 120千円)
2022年度: 520千円 (直接経費: 400千円、間接経費: 120千円)
2021年度: 2,470千円 (直接経費: 1,900千円、間接経費: 570千円)
キーワード顔面浮腫 / 3次元顔形状の観測 / 深層学習 / 3次元顔形状データベース / 顔貌形態モデル / 顔面浮腫疾患 / 3次元顔面形態観測 / 3次元標準顔形状 / 点群解析 / 民生用RGB-Dセンサー
研究開始時の研究の概要

①:顔面浮腫による顔面形態と健常との違いを理解するため,健常者から生成する顔面浮腫の疑似正常と疑似疾患における顔面膨張の形態モデルの生成する.このモデルへ疾患情報を射影することで,現れた差異や評価が臨床に妥当であるかを確認する.
②:顔面浮腫の形態観測のための標準顔形態生成と顔面浮腫形態観測では,疾患症例の治療過程で取得されたデータを用いて最も強い症状,弱い症状を用いて各標準顔を生成し,①でのモデルへ射影することで,症例の形態変化の差分を検証する.
③:臨床医との連携により,顔面浮腫の計算機診断支援の開発とデータベースの公開を行い,国内外の顔面浮腫の症例に対する臨床支援に貢献する.

研究実績の概要

本研究課題では,臨床現場で観察される顔貌変化について,顔形状の3次元形状変化からその形態解析を行うこと,そしてその解析のためのデータベース構築を目的としている.2022年度の研究では,3次元顔形状取得に関連する研究として,データ取得の研究を行っており,2023年度も引き続き,データ取得の研究および取得される3次元の顔面形態における形状特徴を評価するための特徴解析の研究にアプローチを行なった.データの取得は,Kinect V2から撮像されるDepth画像を用いて3次元点群データを構成する.この3次元形状に対し,健常者の通常時における顔情報を正常症例として撮像する.さらに,この対象者の頬を膨らませた状態で撮像することで,擬似で顔貌変化を作成し擬似の疾患症例を定義して撮像を行なった.この症例間において,差分を観測する手法で,顔貌変化を3次元で解析を行なっている.
また,実際に作成した3次元点群データの妥当性を評価するために,実測が可能となるための3次元画像の取得が必要である.本研究では,臨床現場との連携で,頭部CTデータから,上顎部に対する形態特徴を画像解析から獲得し,評価用データとして妥当かについて,検証をスタートした.検証から,顔面は,正中矢状線に対し線対称の特徴が構成されていることをデータ解析から獲得し,データベース構成を行なっている.
2023年度,本研究は研究代表者の妊娠と出産にともなう入院などので休職期間が発生し,研究の中断期間が生じてしまった.そのため,当初の計画していた3次元顔形状に対するデータベースの整備と深層学習の解析が大幅に遅れが生じてしまっている. 2024年度は2023年度の結果と大幅に遅れた計画を遂行し,本研究の成果を広く報告することを目指す.

現在までの達成度 (区分)
現在までの達成度 (区分)

3: やや遅れている

理由

2023年度,多くの講義の引き継ぎに伴う講義準備と,妊娠と出産のための入院に伴う休職期間が生じたことが重なり,研究中断期間と研究の遂行遅れが発生した.そのため,研究計画において,当初予定していたデータ取得と分析に遅れが発生している.2024年度は,2023年度に予定していた,臨床データの取得からのモデル評価,データ分析を行うことを計画している.
また,データ取得は,Kinect V2での取得を行なっていたが,デバイスの終了などの影響をうけた. 今後は撮像デバイスに依存しない方法などを検討することが必要である.

今後の研究の推進方策

2024年度は,2022年度,2023年度に引き続き,臨床現場と連携して実際の臨床データを取得も同時に行う.また本研究で構成した擬似疾患顔面形態のデータベースの妥当性についての評価を主として行う予定である.
また,2023年度の研究成果より,顔形状は3次元点群情報であることから,より効果的な解析として,グラフニューラルネットワークの導入が本研究に重要であることが確認された.2024年度,グラフニューラルネットワークの導入などにより,本研究を遂行し,研究報告を行なっていく計画である.

報告書

(3件)
  • 2023 実施状況報告書
  • 2022 実施状況報告書
  • 2021 実施状況報告書
  • 研究成果

    (27件)

すべて 2024 2023 2022 2021 その他

すべて 雑誌論文 (5件) (うち国際共著 2件、 査読あり 5件、 オープンアクセス 2件) 学会発表 (19件) (うち国際学会 10件、 招待講演 1件) 備考 (3件)

  • [雑誌論文] An Intra- and Inter-Emotion Transformer-Based Fusion Model with Homogeneous and Diverse Constraints Using Multi-Emotional Audiovisual Features for Depression Detection2024

    • 著者名/発表者名
      TENG Shiyu、LIU Jiaqing、HUANG Yue、CHAI Shurong、TATEYAMA Tomoko、HUANG Xinyin、LIN Lanfen、CHEN Yen-Wei
    • 雑誌名

      IEICE Transactions on Information and Systems

      巻: E107.D 号: 3 ページ: 342-353

    • DOI

      10.1587/transinf.2023HCP0006

    • ISSN
      0916-8532, 1745-1361
    • 年月日
      2024-03-01
    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / 国際共著
  • [雑誌論文] A motion-aware and temporal-enhanced Spatial Temporal Graph Convolutional Network for skeleton-based human action segmentation2024

    • 著者名/発表者名
      Chai Shurong、Jain Rahul Kumar、Liu Jiaqing、Teng Shiyu、Tateyama Tomoko、Li Yinhao、Chen Yen-Wei
    • 雑誌名

      Neurocomputing

      巻: 580 ページ: 127482-127482

    • DOI

      10.1016/j.neucom.2024.127482

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり
  • [雑誌論文] Augmented Reality Visualization and Quantification of COVID-19 Infections in the Lungs2024

    • 著者名/発表者名
      Liu Jiaqing、Lyu Liang、Chai Shurong、Huang Huimin、Wang Fang、Tateyama Tomoko、Lin Lanfen、Chen Yenwei
    • 雑誌名

      Electronics

      巻: 13 号: 6 ページ: 1158-1158

    • DOI

      10.3390/electronics13061158

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] A multi-head pseudo nodes based spatial?temporal graph convolutional network for emotion perception from GAIT2022

    • 著者名/発表者名
      Chai Shurong、Liu Jiaqing、Jain Rahul Kumar、Tateyama Tomoko、Iwamoto Yutaro、Lin Lanfen、Chen Yen-Wei
    • 雑誌名

      Neurocomputing

      巻: 511 ページ: 437-447

    • DOI

      10.1016/j.neucom.2022.09.061

    • 関連する報告書
      2022 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Dual Attention 機構を取り入れた時空間グラフ畳み込みネットワークによる歩行からの感情認識2022

    • 著者名/発表者名
      劉 家慶,木下将児,柴 樹榕,健山智子,岩本祐太郎,陳 延偉
    • 雑誌名

      画像電子学会誌

      巻: 51 ページ: 309-317

    • 関連する報告書
      2022 実施状況報告書
    • 査読あり
  • [学会発表] 3D Facial Ethnicity Identification Using Point Cloud Deep Learning with Local Area Attention2023

    • 著者名/発表者名
      Kazuma Okada, Takuma Terada, Ryosuke Kimura, Jiaqing Liu, Tomoko Tateyama, Yen-Wei Chen
    • 学会等名
      The 42nd IEEE International Conference on Consumer Electronics (ICCE 2024)
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] HGD: Dynamic Hand Gesture Dataset for Skeleton-Based Gesture Recognition and Baseline Evaluations2023

    • 著者名/発表者名
      Masaya Okano, Jiaqing Liu, Tomoko Tateyama, Yen-Wei Chen
    • 学会等名
      The 42nd IEEE International Conference on Consumer Electronics (ICCE 2024)
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] Multi-Modal and Multi-Task Depression Detection with Sentiment Assistance2023

    • 著者名/発表者名
      Shiyu Teng, Shurong Chai, Jiaqing Liu, Tomoko Tateyama, Lanfen Lin, Yen-Wei Chen
    • 学会等名
      The 42nd IEEE International Conference on Consumer Electronics (ICCE 2024)
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] OpenFace に基づく顔面3次元観測の可視化とその解析2023

    • 著者名/発表者名
      大久保 敏斗,野崎 真也(琉球大学),健山 智子(藤田医科大学)
    • 学会等名
      令和5年度 電気学会九州支部沖縄支所講演会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] Adaptive Graph Convolutional Networks for Medical Image Segmentation2023

    • 著者名/発表者名
      Shurong Chai, Rahul Kumar Jain, Yinhao Li, Jiaqing Liu, Tomoko Tateyama, Yen-Wei Chen
    • 学会等名
      The IEEE Engineering in Medicine and Biology Society
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] A 3D Fusion U-Net with Dual CNN and Transformer Encoders for Lung Airway Segmentation.2023

    • 著者名/発表者名
      Liang Lyu, Shurong Chai, Jiaqing Liu, Tomoko Tateyama, Xu Qiao, Yen-Wei Chen
    • 学会等名
      2023 IEEE 12th Global Conference on Consumer Electronics (GCCE 2023)
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] 3D Facial Ethnicity Identification Using PointNet++ with Data Augmentation Based on Farthest Point Sampling.2023

    • 著者名/発表者名
      Kazuma Okada, Takuma Terada, Ryosuke Kimura, Jiaqing Liu, Tomoko Tateyama, Yen-Wei Chen
    • 学会等名
      2023 IEEE 12th Global Conference on Consumer Electronics (GCCE 2023)
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] Ethnicity Classification of Large-Scale Facial Point Clouds by Integratinng Normal Vector Features to PointNet++2023

    • 著者名/発表者名
      Kazuma Okada・Takuma Terada, Kimura Ryosuke, Jiaqing Liu, Tomoko Tateyama, Yen-Wei Chen
    • 学会等名
      映像情報メディア学会 メディア工学研究会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] Medical Image Analysis and Its Clinical Application Based on Data Science2023

    • 著者名/発表者名
      Tomoko Tateyama
    • 学会等名
      International Workshop on Intelligent Image Processing
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] 人工知能とデータサイエンス,そして医療への応用2022

    • 著者名/発表者名
      健山智子
    • 学会等名
      第2回 AIとデータサイエンスにかかる研究会
    • 関連する報告書
      2022 実施状況報告書
    • 招待講演
  • [学会発表] Accurate Hand Gesture Recognition Using Color and Depth Images with Modality-invariant Fusion2022

    • 著者名/発表者名
      Masaya Okano, Jia-Qing Liu,
    • 学会等名
      IEEE Global Conference on Consumer Electronics (GCCE2022),
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] A Transformer-Based Multimodal Network for Audiovisual Depression Prediction2022

    • 著者名/発表者名
      Shiyu Teng, Shurong Chai, Jiaqing Liu, Tateyama Tomoko, Xinyin Huang, Yen-Wei Chen
    • 学会等名
      IEEE Global Conference on Consumer Electronics (GCCE2022),
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] A Module Selection-based Approach for Efficient Skeleton Human Action Recognition2022

    • 著者名/発表者名
      Shurong Chai, Rahul Kumar Jain, Jiaqing Liu, Tomoko Tateyama, Yinhao Li, Yen-Wei Chen
    • 学会等名
      2022年度パターン認識・機械学習研究会(PRML),
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] A transformer based feature-level fusion approach for Audiovisual Depression Prediction2022

    • 著者名/発表者名
      Shiyu Teng, Shurong Chai, Jiaqing Liu, Tateyama Tomoko, Xinyin Huang, Yen-wei Chen
    • 学会等名
      2022年度パターン認識・機械学習研究会(PRML),
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] PointNet++を用いた遺伝子関連研究に向けた3次元顔面形態認2022

    • 著者名/発表者名
      岡田一真, 寺田卓馬, 劉 家慶, 健山智子, 木村亮介, 陳 延偉
    • 学会等名
      2022年度パターン認識・機械学習研究会(PRML),
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] Computer-aided Diagnosis System of COVID-19 with Hololens2022

    • 著者名/発表者名
      Liang LYU, Shurong Chai, Jiaqing Liu, Huimin Huang, Fang Wang, Tomoko Tateyama, Lanfen Lin, Yenwei Chen
    • 学会等名
      MEとバイオサイバネティックス研究会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 三次元点群データによる顔面形状変化の観測と可視化2022

    • 著者名/発表者名
      美甘圭, 野崎 真也, 健山 智子
    • 学会等名
      2022年度電気・情報関係学会九州支部連合大会(第75回連合大会)
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] ウェブカメラを用いた顔面形状の計測とその評価2022

    • 著者名/発表者名
      大久保 敏斗, 野崎 真也, 健山 智子
    • 学会等名
      2022年度電気・情報関係学会九州支部連合大会(第75回連合大会)
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] A preliminary Study on Seasonal features Understanding from Flyer Images Based on Machine Learning2021

    • 著者名/発表者名
      Tomoko Tateyama, Takumi Miyamoto, Ken Orimoto, Shimpei Matsumoto
    • 学会等名
      10th International Congress on Advanced Applied Informatics
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [備考] Intelligent Visual Analytics & Learning

    • URL

      https://sites.google.com/view/ivaltateyama/top

    • 関連する報告書
      2023 実施状況報告書 2022 実施状況報告書
  • [備考] 医療科学部 研究推進ユニット知能情報工学分野

    • URL

      https://www.fujita-hu.ac.jp/faculty/unit/iie/top.html

    • 関連する報告書
      2023 実施状況報告書 2022 実施状況報告書
  • [備考] Tomoko Tateyama's Website

    • URL

      https://sites.google.com/view/ivaltateyama/

    • 関連する報告書
      2021 実施状況報告書

URL: 

公開日: 2021-04-28   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi