サーブリッグ分析を用いた深層学習による作業実績把握システムの構築

2020 年度 実施状況報告書

• 研究課題/領域番号: 20K14988
• 研究機関: 神奈川大学
• 研究代表者: 山崎 友彰 神奈川大学, 経営学部, 准教授 (30706891)
• 研究期間 (年度): 2020-04-01 – 2022-03-31
• キーワード: 深層学習 / 作業進捗 / 要素作業

研究実績の概要

生産管理の目的のひとつに「計画に合わせて生産活動が実施されるようにすること」があるため、生産活動の実績は都度把握する必要がある。近年、トレーサビリティを要求されることも多く、生産設備のセンサーから得られる各種データの加工情報を、時系列に品番やIDと紐付けてリアルタイムに収集するシステムの開発は活発に行われている。しかし、人による作業では、作業実績をリアルタイムに把握することが難しい。また、順序間違い等の手順ミスを把握することも、トレーサビリティの観点において求められている。作業進捗や手順ミス等を併せた作業実績をリアルタイムに把握することが管理技術の向上における課題のひとつと捉えた。この課題解決に深層学習が利用され始めているが、いくつかの点においては解決すべき問題もある。深層学習を利用する場合は、学習に用いる作業の映像に基づいて作業内容が予測されるため、工程等が異なる場合は標準となる作業の映像を用意して再学習する必要がある。また、作業者間の体格等の個人差や時間経過による熟練度の変化にも対応が難しく、作業者ごとに、もしくは熟練度が変わるたびに作業映像の用意から始めなければならない。そのため、仮にモデルによる予測が「異常な作業」であったとしても、例えば、熟練度の変化によってスムーズな動きに変わったことによる正常状態であるか、手順ミス等の異常状態であるかの判定が難しい。すなわち“オーダーメイド”な分類モデルを作業ごと、作業者ごとに時間を掛けて用意する必要がある。この問題に対して作業の最小単位である要素動作を深層学習で学習・予測する対象のレベルに設定した。研究初年度である令和2年度の研究では、研究室レベルのレゴブロックを用いた簡単な作業に対してその効果を検証した。実運用における問題のひとつであった“オーダーメイド”的な準備作業の工数短縮についてその効果を確認することができた。

現在までの達成度 (区分)

3: やや遅れている

理由

研究室レベルのレゴブロックを用いた簡単な作業に対して、要素作業を深層学習の学習・予測の対象とするアプローチの効果を検証し、実運用における問題のひとつであった“オーダーメイド”的な準備作業の工数短縮についてそれを確認することができた。一方、やはり新型コロナウィルス感染の拡大およびそれに関連した社会情勢のもと、生産稼働率の低下、勤務形態の変化、出張の中止等の理由で、研究協力企業で予定していた実験・検証の進捗に遅れが生じた。実際の作業員による様々な作業、様々な熟練度合の作業員への対応が研究テーマであったため、この進捗状況の影響する部分が比較的大きい。

今後の研究の推進方策

17のサーブリッグの中で作業実績の把握に関係する第1類（作業に必要な動作）の8種類について、学習用データセットを用意する。当初、手と指の角度データ（Cyber Glove社のデータグローブを利用）と生体信号（BIOPAC社製のStudent Labを利用）を用いる予定であったが、現在の社会情勢を鑑み、実験と検証が比較的行いやすい映像を用いる方法への切り替えを検討している。映像データについては計測機器等の準備の必要がないため、データの取得は容易となる。一方、映像データについては変換後に深層学習へ利用する必要が生じる。人の関節情報を抽出して姿勢を推定する深層学習モデルを用いてハンドトラッキングを行うことになるが、データグローブ等の利用に比べれば精度の低下が予想されるため、多角度からの撮像による精度向上等の検討を行っていく。

次年度使用額が生じた理由

新型コロナウィルス感染症の拡大およびそれに関連した社会情勢のもと、研究協力企業での実験・検証が中止となったため、当初予定していたデータグローブ等の利用を見直す必要が生じたことが理由となる。映像データを用いるアプローチをとりながら、精度向上のためデータグローブに代替可能な機材を検討し、購入予定である。