サーブリッグ分析を用いた深層学習による作業実績把握システムの構築

• Project/Area Number: 20K14988
• Research Category: Grant-in-Aid for Early-Career Scientists
• Allocation Type: Multi-year Fund
• Review Section: Basic Section 25010:Social systems engineering-related
• Research Institution: Kanagawa University
• Principal Investigator: 山崎 友彰 神奈川大学, 経営学部, 准教授 (30706891)
• Project Period (FY): 2020-04-01 – 2024-03-31
• Project Status: Granted (Fiscal Year 2022)
• Budget Amount: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000); Fiscal Year 2021: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000); Fiscal Year 2020: ¥3,640,000 (Direct Cost: ¥2,800,000、Indirect Cost: ¥840,000)
• Keywords: 作業進捗 / 要素作業 / 深層学習 / 進捗管理

Outline of Research at the Start

最小単位である要素動作を深層学習で学習/予測させるレベルとし、その分類にサーブリッグ分析を用いる。サーブリッグは人間の動作を「つかむ、手をのばす、位置決めする」等の17の基本的な動作に分類したもので、作業評価や作業改善に用いられる分析手法である。それぞれの要素動作は、その動きや時間に個人差が現れにくい点から、“オーダーメイド”な分類モデルを作業ごと、作業者ごとに用意する必要がなくなる可能性が高い。様々な作業へ適用可能であり、作業位置や取り付ける部品が変わったとしても、再学習をすることなく、ひとつの分類モデルでそれぞれの要素作業を17のサーブリッグの組合せから表現することが可能となる。

Outline of Annual Research Achievements

生産管理には「生産計画を立てること、そしてその通りに生産活動が行われるようにする」ことが求められる。この両面の活動の基となるものが、生産実績である。実施可能な生産計画でなければならないが、それを測る物差しが過去の生産実績となる。そして、生産計画と実績の差が小さくなるようにコントロールすることが求められる。生産実績といっても、1日あたりの生産数量等のデータもそうであれば、各生産プロセスにおける様々なデータもそれに含まれる。精度の高いデータであることは当然のことながら重要であるが、単位の細かいデータであることも重要になり、生産設備に付けられたセンサーから得られる各種データをリアルタイムに収集するシステムの開発が活発に行われている。しかし、人による作業においては、作業自体が都度変化し、個人差も排除しきれないことから、単位の細かいデータを取得することが難しい。そこで、本研究の課題としては、作業進捗や作業ミス等の作業実績をリアルタイムに把握し、生産管理のレベル向上に寄与することを設定した。この課題解決に深層学習が利用され始めているが、解決すべき課題も多い。そのひとつとして“オーダーメイド”が要求されることがある。深層学習では、作業の映像を用いることが多いが、作業内容が異なる場合は、都度その映像を用意する必要がある。また、作業者間の体格等の個人差や時間経過による熟練度の変化に対応するために、やはり都度その映像を用意する必要がある。これに対して、本研究では、作業の最小単位である要素動作を学習に用いる。この要素動作は作業研究の分野で、作業を分析する際に、個人差の少ない単位として導出された経緯がある。令和4年度の研究では、深層学習の人の骨格を検出する技術を用いて、研究室レベルのレゴブロックを用いた簡易作業で、単位時間が分類精度に与える影響を明らかにした。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

当初は要素動作を把握するために、20程度のセンサーによって手や指の関節角度をリアルタイムに取得することが可能なデータグローブを用いることを計画していた。また、1日あたりの生産個数が多く、検証用データを大量に取得することが可能な自動車部品製造メーカーでデータを取得する計画であった。しかし、新型コロナウィルス感染症の拡大の影響により、研究協力企業における生産稼働率の低下、出張の中止、またデータグローブの利用への不安等の理由で、研究室での簡易モデル作業を対象とすることとなり、データ取得も深層学習における骨格データを把握するモデルを用いることとなった。こうした研究計画の見直しが、進捗状況へ大きく影響することとなった。

Strategy for Future Research Activity

現在の社会情勢を鑑み、実験に用いるデータとして、比較的取得が簡単に行える映像データを用いることになった。映像データについては、研究協力企業からも取得可能である。当初、データグローブ（Cyber Glove社）を利用した手と指の角度データを用いる計画であったが、映像データを用いるため、ハンドトラッキングを行う必要がある。このハンドトラッキングも深層学習を利用したモデルが複数あり、それぞれについて精度の検証を行った。データグローブの利用に比べて精度は低下するものの、作業推定に必要ないくつかの要素動作を認識することが可能であった。引き続き、要素動作の推定モデルの構築を進めて行く。
映像のフレームレートが増えるほど、要素動作の推定精度は高まっていくが、それと同時に推定に必要な時間も増加することになる。また、分類対象となる単位時間が与える影響も大きい。リアルタイムをひとつのキーワードとして挙げた研究課題であるため、計算機の性能に影響される部分も多くあるが、要素動作の推定に最低限必要なフレームレートや単位時間の導出も行っていく必要がある。