人間の行動由来のアフォーダンスを用いた新たな物体認識に関する研究

2022 Fiscal Year Research-status Report

• Project/Area Number: 22K12078
• Research Institution: Akita Prefectural University
• Principal Investigator: 石井 雅樹 秋田県立大学, システム科学技術学部, 准教授 (10390907)
• Project Period (FY): 2022-04-01 – 2026-03-31
• Keywords: 物体認識 / アフォーダンス / インタラクション / 動作認識 / 深度センサー

Outline of Annual Research Achievements

人間と共存するロボットには「人・物体・環境」を認識・理解する機能が必要であるが，従来研究では「人」「物体」「環境」のそれぞれについて，個別の認識・理解を主とした検討が行われてきた．一方，我々人間は，視覚から多くの情報を獲得し，個々の情報の「関連性」や自身の経験から総合的に物体や環境を認識・理解している．この関連性とは人・物体・環境間の「インタラクション」を意味している．
本研究課題では，人間の動作をキーとし，環境中で物体が人に「どのように扱われたか」を認識することにより，対象物体の認識を実現する手法を確立する．環境内で人間の行動をセンシングし，人間が関与した物体にその行動を“動的属性情報”として付与し，人間－物体間の関係性のモデル化を実現する．
当該年度は基礎検討として実験環境を固定し，対象物体を椅子に限定した状態でRGB-Dセンサーを用いて物体の形状および人の動作を計測した．形状認識に係る基礎実験ではクラスタリングとRANSACを併用することで平面認識が可能であることを確認した．動作認識では「座る」と「立つ」を対象動作とし，機械学習により識別器を作成した．環境認識では人間が立つ動作を行った時，つま先が触れている平面を床面と定義した．また，人間が座る動作と行った時，臀部の触れている平面かつ床面と平行な平面を椅子の座面と定義した．その結果，椅子の認識処理では，物体に対して本来の使用用途を満たす動作が行われたとき，正しい認識が行われることを確認した．

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

当該年度の計画は，環境内における物体の静的および動的属性抽出手法の確立である．実験環境内に設置したRGB-Dカメラを用いて，物体の静的属性および動的属性手法を確立する．静的属性情報については，物体は単純な形状が組み合わさって成り立っていると考える．したがって，深度情報（3次元点群）を基に領域分割・分類を行い，個々の物体に対する形状情報の抽出を行う．動的属性情報についても物体に対して人が行う動作はある程度限定されていると考える．したがって，環境内に配置された物体に対する人間の行動をモニタリングし，整理・細分化した上で，物体認識に有用な動的属性を明らかにする．具体的には，RGB-Dカメラで取得した3次元点群および人間の骨格情報の特徴を基に，触れる・動かすなどの低次の動作認識を行う．さらに，人間の骨格の動き情報を用いて，機械学習により座る・飲むなどの高次の動作認識を行う．
研究実績の概要で述べたように，当該年度は上記計画に対し，実験環境を固定して基礎検討を実施している．対象物体は「椅子」や「簡単な平面」に限定し，対象動作は「座る」や「立つ」などの単純な動きにとどまっているものの，それぞれにおいて正しい形状・動作・物体の認識が行われていることを確認した．したがって，おおむね順調に進展していると考える．
当該年度に得られた上記の成果は，令和5年度に学会発表等でまとめる予定である．

Strategy for Future Research Activity

令和5年度は，令和4年度の基礎検討を拡張し，静的属性および動的属性の双方を学習データとして，人の動作と物体の形状間の相互関係を機械学習によりモデル化する．具体的には，どのような静的属性情報（形状）に対して，どのような動的属性情報（人間の動作）が誘発されるのかを機械学習によりモデル化する．物体認識の対象となるカテゴリについては，設計者が事前に与える場合（教師あり学習）と，与えずに教師なし学習により初期カテゴリを導出する場合の二種類を対象として比較検証する．
令和6年度・7年度は，分類対象となるカテゴリの追加獲得手法を確立する．前年度に生成した既存カテゴリに存在しない物体を認識した際，静的・動的属性を基にした新規カテゴリ生成を可能とする追加学習手法を実現する．従来研究において，研究代表者は対向伝播ネットワークと適応共鳴理論を併用することにより，上記の追加学習を可能とする適応学習モデルを確立している．このモデルはヒューマンマシンインタフェースの表情認識を対象としたモデルである．令和6年度は“既知の物体カテゴリ”を対象とし，上述の適応学習モデルを一般物体認識へ適用するための基礎的な検証を行い，有用性を明らかにする．令和7年度はその知見を踏まえ，“未知の物体カテゴリ”を対象とし，自己組織的に物体カテゴリ名を獲得可能な適応学習モデルを確立する．

Causes of Carryover

減額により予定していたソフトウェアの購入ができなかったため．また，半導体不足による納期遅延により，年度内に機材の購入ができなかったため．次年度使用額をR5年度当初予算に加算して，前述の物品を購入する．