2020 Fiscal Year Research-status Report
Estimation of Subcutaneous Structure of Face using Image Analysis of Facial Expression Wrinkles
| Project/Area Number |
19K12210
|
|---|
| Research Institution | Tokyo Polytechnic University |
|---|
Principal Investigator |
森山 剛 東京工芸大学, 工学部, 准教授 (80449032)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
泉 喜和子 福岡医療短期大学, 歯科衛生学科, 教授 (40389416)
奥田 逸子 国際医療福祉大学, 医学部, 准教授 (40594213)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | シワ / 画像計測 / 医用工学 / 美容 / 表情 / 皮下組織 / ヘルスケア / 顎変形症 |
|---|
| Outline of Annual Research Achievements |
本研究は、①カメラ画像に対してシワを画像計測するアルゴリズムを開発すると共に、②別途断層撮影により得られるCT/MRI画像から皮下組織の構造を明らかにし、③①及び②によって得られる顔面のシワの画像特徴と皮下組織の構造、特に表情筋との関係式を明らかにする。さらに、③で得られる関係式の応用として④口腔外科領域の施術評価を行う、の４つのステップから成る。２年目は、①及び②の要求精度を明らかにするために④に注力した。具体的には、まず45度方向２メートル面光源による照明が当たる顔面を、正面と側方から同時撮影する撮像系を設計し、顎変形症患者21人について、施術前後を撮影した断層画像及びカメラ画像を取得した。その際、平静と笑顔の両方の表情をするよう指示した。また、顎変形症の外科施術の結果、患者の発する音声の明瞭度が向上する経験則から、アナウンサー監修の下で種々の音素を含むテキストを患者に読ませた音声データも同時に取得した。次に、顎変形症の外科施術が、顔面の軟組織に及ぼす変化に関して数値化を行うために、側方視点からの画像において頬領域及びE-lineから突出した口唇領域の面積を半自動で算出するプログラムを作成した。本プログラムを用いて、上顎及び下顎が前突した症例に対し術前後の変化を数値化し、複数の患者に対して統計量を求めることに成功した。今後はさらにデータ数を増やしていくと共に、カメラ画像からシワの画像特徴を算出するアルゴリズム、断層画像より皮下組織の構造に関する情報を抽出するアルゴリズム、そしてこれらシワの画像特徴と皮下組織構造とを対応付けるアルゴリズムの開発を行っていく。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
近年、顔面のシワは軟組織に形成されるため、重力の影響を大きく受けることが報告された。本研究においても当初は通常のCT/MRI断層画像を撮像し、これと立位の人物を撮影して得られるカメラ画像とを対応付けて、顔面シワと皮下組織の構造との対応付けを目論んでいたが、重力のかかる方向の違いの影響が無視できないことを認識するに至り、大きな方針転換を迫られた。その結果、研究分担者の歯科領域にある立位の断層画像撮像環境と、新たに設計したカメラ画像撮影環境とを用いることで重力のかかる方向を揃えてデータを取得することにした。本カメラ画像撮影環境では、歯科で用いられる頭部固定装置のイヤーロッドを外耳孔に入れ、眼耳（フランクフルト）平面を地面に水平に固定した状態で、正面方向、左右方向、さらに45°斜め方向からそれぞれ照明を切り替えて平静の顔並びに笑顔を撮影する。一方、歯科領域では骨や歯といった硬組織に関して歯科施術の評価を行うことが一般的で、本研究で扱う軟組織に関する知見が蓄積されていない。そこで、シワを含めた軟組織の形状計測に視野を広げ、新たな撮像系でのデータ収集と、軟組織の施術効果数値化に関するアルゴリズムのソフトウェア化を進めた。そして、上顎前突及び下顎前突を含む21人の患者に関して、顎位置矯正施術前後における軟組織の変形を本ソフトウェアによって数値化することによって施術の効果を可視化することに成功した。
|
| Strategy for Future Research Activity |
本研究の最終年度は、断層画像を解析して皮下組織の構造（主に、鼻唇溝に関連の深い大頬骨筋及び表在性筋膜（superficial musculo-aponeurotic system; SMAS）の体積や形状）に関する情報を抽出するソフトウェアの作成、カメラ画像から鼻唇溝の画像特徴を算出するソフトウェアの作成、そして、カメラ画像から皮下組織の構造に関する情報を推定するアルゴリズムを実装したソフトウェアの作成を行う。また、軟組織の形状推定技術の歯科領域における応用をますます発展させ、昨年度から収集を始めた音声データに関する解析を行うことにより、患者音声から歯科施術の評価を行うといった新たな診断パラダイムを創成する方向へも貢献する。一方、日本人に多いスウェイバックといった骨盤の後傾した姿勢は、股関節や膝関節の変形症を引き起こし、腰や膝の痛みや腫れといった疾患の原因となる。そして、骨盤の後傾によって引き起こされる猫背から口呼吸や低位舌により口腔環境の悪化（オーラルフレイル）へと繋がり、そこから身体的フレイル、さらには精神的、社会的フレイルへの連鎖が指摘されている。この連鎖において、顔面のシワは姿勢評価の指標となり得ると考えられる。そこで、人体の直接的な姿勢計測とは別に、前述の音声評価、さらに顔面シワ評価を行う技術を確立することにより、オンライン環境でも姿勢評価が可能となったりと応用場面の拡充に貢献できると考えられる。このような健康寿命延伸に資する技術的展開についても検討を行っていく。
|
| Causes of Carryover |
当初、断層画像及びカメラ画像を撮影する費用（人件費及び撮影費）、さらに得られた画像データを管理するための計算機環境を整える費用を初年度に計上していたが、研究分担者（福岡医療短期大学歯科衛生学科泉喜和子教授）の工夫により費用を抑制できた。また、2020年度も新型コロナウィルス（COVID-19）の影響により撮影方法については人件費のかからない方法に限定された為、次年度使用額が生じた。最終年度は、画像データのさらなる取得と管理、ソフトウェア作成とデータ処理のための備品に支出予定である。
|
Research Products
(3 results)
