ウェアラブルセンサを用いたOne-model-fits-all行動認識の研究開発

2021 Fiscal Year Annual Research Report

• Project/Area Number: 21J10059
• Research Institution: Osaka University
• Principal Investigator: 吉村 直也 大阪大学, 情報科学研究科, 特別研究員(DC2)
• Project Period (FY): 2021-04-28 – 2023-03-31
• Keywords: 作業員の行動認識 / 産業ドメイン / データセット構築

Outline of Annual Research Achievements

行動認識技術とは、ユーザの体等に装着した加速度センサなどから得られたセンサデータから、そのユーザの行動を推定する技術であり、行動から推定したコンテキストに基づくサービスのリアルタイム最適化などへの応用が期待される。しかし、センサの性能やセンサの装着部位・装着方法の差異などにより、行動認識技術の認識精度は実験環境と実環境では大きく異なることが指摘されている。本研究では、「デバイスが全身どの位置に装着されていても、どんなウェアラブルデバイスから収集されたデータであっても安定した精度での行動認識」の実現を目指す。

本年度は研究計画通り、装着位置の差異が行動認識精度に及ぼす影響を調査するための行動データセットの構築を行った。「歩く」などの周期的な動作で構成される行動より、手の向きなどが認識において重要となる行動の方が、装着方法の影響の分析に適していると考えた。料理などを含め複数ドメインを検討した結果、物流センターの梱包作業に注目し、「箱を組み立てる」などの作業工程の認識をデータセットのタスクとして設定した。データ収集環境は、産業エンジニアからアドバイスを受け、実在の現場を模倣した実験環境を構築し、データ収集を行った。被験者延べ21名、一人当たり最大100箱分の梱包作業を記録し、収集したデータは合計50時間を超えた。ウェアラブルデバイスを用いた行動認識分野では最大級のデータセットとなった。

装着方法の差異が認識精度に与える影響を評価するため、当初は実験においてセンサの装着方法を詳細に記録することを想定していた。しかし、作業中にセンサの位置が動いてしまう問題が無視できなかった。当初の計画を変更し、3次元の骨格データを計測し、シミュレーションを使用して任意の装着方法のデータを生成することに取り組んでおり、シミュレーション環境上で、データ収集環境の再現と、計測した骨格データの再生まで完了した。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本年度の研究課題として、(1) データセットの構築と、(2) 装着方法パターンの分析を予定していた。(1)について、物流センターの梱包作業に注目した大規模マルチモーダルデータセット「OpenPack」を構築した。作業行動という実世界指向アプリケーションの実現により近いドメインに注目し、学術的にも非常に価値のあるデータセットを構築することができた。データ収集環境の設計や行動セットの定義には、産業ドメインの知識や備品が必要であった。また、データセットの学術的価値を上げるためには、被験者数・データ収集時間などにおいて先行研究を上回ることが求められた。データセット構築は非常に時間とコストがかかる作業であり、確実に大きなインパクトを残すために、産業現場の実態調査や、データセットに関連する先行研究調査を時間をかけて入念に行った。データ収集も本年度内に終えることができた。収集したデータは、被験者数16名 (延べ21名)から、一人当たり最大100箱分の梱包作業を記録した。計測時間の総計は50時間を超えており、ウェアラブルセンサを用いた行動認識データセットでは最大級となった。

(2) 装着方法のパターンについては、データ収集の過程での観察・検証などに基づき方針修正が必要だった。データ収集の早い段階で方針の修正を行うことができ、現在はシミュレーションにより検証用のデータを生成する方針に切り替えた。続けて、装着方法の差異による詳細な分析に向けて、シミュレーションでデータを生成する環境の整備に取り組んだ。本年度末の時点で、シミュレーション環境上に、実験環境の再現モデルの構築および、収集した3次元骨格データの投影が完了した。シミュレーション環境の構築は、今後の分析サイクルを加速するための下準備であり、その準備は順調に進んでいる。

以上より、おおむね順調に進んでいると判断する。

Strategy for Future Research Activity

本年度でデータセット構築がほぼ完了しており、まずはシミュレータによるデータ生成をに注力する。シミュレーションでデータを生成する場合、収集した3次元の骨格データに、関節からの相対的な位置指定でセンサを仮想的に設置する。これにより、同じ動作に対し、複数の方法で装着したセンサからデータを得ることができるようになる。また、代表的な装着方法だけでなく、それらの間を補間するような装着方法のデータも収集することができる。これにより、離散的にしかできなかった装着方法の認識精度への影響を、連続的に近い形で評価できるようになり、扱うデータ量は増えるが、分析の難易度が大きく下がることが期待される。

センサの装着方法の分析が完了後、装着方法の差異を吸収する手法の実現に取り組む。こちらもシミュレータを用いて想定する装着方法の課題を直接反映するデータを生成することで、追加のデータ収集などの手間を削減することができる。データ生成と、モデルの構築のサイクルを早く回すことでモデルの効率的な開発を目指す。

以上の通り、可能な限り早期に、精度の高い、シミュレータからのデータ生成を実現し、これを最大限活用することで、研究の進み方を加速させる予定である。