Dietary Intake Estimation by Using Colored Point Cloud Processing

2020 Fiscal Year Research-status Report

• Project/Area Number: 20K20267
• Research Institution: Aichi Prefectural University
• Principal Investigator: 鈴木 拓央 愛知県立大学, 情報科学部, 准教授 (80709303)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: 点群処理 / 体積推定 / 形状推定 / 物体認識 / 食事管理支援 / 生活支援

Outline of Annual Research Achievements

2020年度（1年目）は、おおむね計画通りに実施することができた。飲食物の体積を高精度に推定するための点群処理について、理論的な検討を十分に進めることができた。
まず、研究環境の整備については、愛知県立大学の次世代ロボット研究所に新しいRGB-Dカメラを導入した。既存の複数のRGB-Dカメラと点群の欠損の傾向を比較・検討し、本研究で使用するRGB-Dカメラを選定した。
オクルージョンによる点群の欠損に関しては、文献調査を行い、主に3Dグラフィックスの分野で研究開発されている手法について検証した。食器の上で複数の物体が重なりあっている場合は、まず物体の数を正確に認識することが重要である。そのため、Min-Cutアルゴリズムに条件を追加し、点群を正確にクラスタリングできるように改良した。物体周辺部の欠損については、計画通りに点群特徴量を精査し、候補を絞り込んだ。理論検証のためにシミュレーション実験を行い、RGB-Dカメラ側から見えている部分と見えていない部分を識別し、補完の精度を定量的に評価できるようにした。今後は『点群で張られる面の形状』と言った点群特徴量に基づき、点を補完する計画である。
それぞれの物体を一般形状で近似し、体積を推定する部分については、一般化したピックの定理に基づいて簡易的に推定するプログラムを実装した。今後は点群データからメッシュデータを生成し、厳密に体積を推定するプログラムを実装する計画である。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

2020年度（1年目）は、点群処理技術の理論的な検討が主な研究内容であったため、新型コロナウイルス感染症の影響を大きく受けずに実施することができた。しかし、実際に点群処理のプログラムを作成し、実験結果を得るためには、GPGPUを搭載した高性能なコンピューターが必要であり、同作業は大学で実施する必要があった。大学のガイドラインに従って対策を徹底することで、当初の計画に沿って研究を進めることができた。

Strategy for Future Research Activity

2021年度（2年目）は、点群補完ならびに一般物体近似に関する点群処理技術を開発しつつ、藤田医科大学にあるロボティック・スマート・ホームで同技術の精度などを検証し、課題を発見する計画であった。しかし、新型コロナウイルス感染症の影響が長期化しており、研究計画に影響が出る可能性がある。藤田医科大学の担当者と連携し、検証実験を遠隔で実施するなど、研究計画を新しい生活様式に対応したいものに修正したいと考えている。

Causes of Carryover

新型コロナウイルス感染症の影響で、若干、研究計画に遅れが生じ、研究成果の発表がずれ込んでしまった。そのため、2020年度の研究成果を2021年度に発表したいと考えている。