Dietary Intake Estimation by Using Colored Point Cloud Processing

2021 Fiscal Year Research-status Report

• Project/Area Number: 20K20267
• Research Institution: Aichi Prefectural University
• Principal Investigator: 鈴木 拓央 愛知県立大学, 情報科学部, 准教授 (80709303)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: 点群処理 / 体積推定 / 形状推定 / 物体認識 / 食事管理支援 / 日常生活支援

Outline of Annual Research Achievements

2021年度（2年目）は当初の計画通りに実施することができなかった。飲食物の体積を高精度に推定するための点群処理（画像処理）については理論的な検討を進めることができたが、シミュレーターで生成した仮のデータと実際のデータとの差異が想定よりも大きく、提案手法の再検討を要した。
研究環境の整備については、点群データを取得するためのRGB-Dカメラを追加し、特徴の異なる点群データを取得できるようにした。また、照明器具も導入し、欠損の少ない点群データや欠損の多い点群データを取得できるようにした。
オクルージョンによる点群の欠損の補完については、まず、Min-Cutアルゴリズムにより物体の個数を認識した。そして、レイ・トラバーサル法により物体同士の前後関係を認識した。今後はレイ・トラバーサル法より高速に前後関係を判定できるよう、提案手法を改良する予定である。
物体周辺部の欠損については、取得された点群の対称性に基づいて補完した。その際、物体周辺部に存在する点の法線方向を利用し、物体周辺部の滑らかさを評価した。現在は点群データからメッシュデータを生成し、メッシュデータを物体周辺部の点群の補完に利用することを検討している。
最終的には、それぞれの物体を一般形状で近似し、一般化したピックの定理を用いて体積を推定した。また、それぞれの物体を含む画像をRGB-Dカメラで取得し、YOLOモデルに入力することで、料理ラベルを特定することを目指しており、十数種類であれば特定できることを確認した。

Current Status of Research Progress

4: Progress in research has been delayed.

Reason

2021年度（2年目）も新型コロナウイルス感染症の影響で高齢者の自宅や老人ホームなどの医療福祉施設で点群データを収集することが難しく、多種多様な点群データを収集し、提案手法を十分に改良することができなかった。

Strategy for Future Research Activity

2022年度は新しい生活様式に対応した実験方法を検討するなどし、十分な量のデータを現場で収集、研究成果として発表したいと考えている。

Causes of Carryover

新型コロナウイルス感染症の影響で実験実施の計画と成果発表の計画が遅れている。2022年度に入り、新型コロナウイルスの感染状況は落ち着きを見せているため、効率的に実験を実施したいと考えている。