サーブリッグ分析を用いた深層学習による作業実績把握システムの構築

2022 年度 実施状況報告書

• 研究課題/領域番号: 20K14988
• 研究機関: 神奈川大学
• 研究代表者: 山崎 友彰 神奈川大学, 経営学部, 准教授 (30706891)
• 研究期間 (年度): 2020-04-01 – 2024-03-31
• キーワード: 作業進捗 / 要素作業 / 深層学習

研究実績の概要

生産管理には「生産計画を立てること、そしてその通りに生産活動が行われるようにする」ことが求められる。この両面の活動の基となるものが、生産実績である。実施可能な生産計画でなければならないが、それを測る物差しが過去の生産実績となる。そして、生産計画と実績の差が小さくなるようにコントロールすることが求められる。生産実績といっても、1日あたりの生産数量等のデータもそうであれば、各生産プロセスにおける様々なデータもそれに含まれる。精度の高いデータであることは当然のことながら重要であるが、単位の細かいデータであることも重要になり、生産設備に付けられたセンサーから得られる各種データをリアルタイムに収集するシステムの開発が活発に行われている。しかし、人による作業においては、作業自体が都度変化し、個人差も排除しきれないことから、単位の細かいデータを取得することが難しい。そこで、本研究の課題としては、作業進捗や作業ミス等の作業実績をリアルタイムに把握し、生産管理のレベル向上に寄与することを設定した。この課題解決に深層学習が利用され始めているが、解決すべき課題も多い。そのひとつとして“オーダーメイド”が要求されることがある。深層学習では、作業の映像を用いることが多いが、作業内容が異なる場合は、都度その映像を用意する必要がある。また、作業者間の体格等の個人差や時間経過による熟練度の変化に対応するために、やはり都度その映像を用意する必要がある。これに対して、本研究では、作業の最小単位である要素動作を学習に用いる。この要素動作は作業研究の分野で、作業を分析する際に、個人差の少ない単位として導出された経緯がある。令和4年度の研究では、深層学習の人の骨格を検出する技術を用いて、研究室レベルのレゴブロックを用いた簡易作業で、単位時間が分類精度に与える影響を明らかにした。

現在までの達成度 (区分)

3: やや遅れている

理由

当初は要素動作を把握するために、20程度のセンサーによって手や指の関節角度をリアルタイムに取得することが可能なデータグローブを用いることを計画していた。また、1日あたりの生産個数が多く、検証用データを大量に取得することが可能な自動車部品製造メーカーでデータを取得する計画であった。しかし、新型コロナウィルス感染症の拡大の影響により、研究協力企業における生産稼働率の低下、出張の中止、またデータグローブの利用への不安等の理由で、研究室での簡易モデル作業を対象とすることとなり、データ取得も深層学習における骨格データを把握するモデルを用いることとなった。こうした研究計画の見直しが、進捗状況へ大きく影響することとなった。

今後の研究の推進方策

現在の社会情勢を鑑み、実験に用いるデータとして、比較的取得が簡単に行える映像データを用いることになった。映像データについては、研究協力企業からも取得可能である。当初、データグローブ（Cyber Glove社）を利用した手と指の角度データを用いる計画であったが、映像データを用いるため、ハンドトラッキングを行う必要がある。このハンドトラッキングも深層学習を利用したモデルが複数あり、それぞれについて精度の検証を行った。データグローブの利用に比べて精度は低下するものの、作業推定に必要ないくつかの要素動作を認識することが可能であった。引き続き、要素動作の推定モデルの構築を進めて行く。
映像のフレームレートが増えるほど、要素動作の推定精度は高まっていくが、それと同時に推定に必要な時間も増加することになる。また、分類対象となる単位時間が与える影響も大きい。リアルタイムをひとつのキーワードとして挙げた研究課題であるため、計算機の性能に影響される部分も多くあるが、要素動作の推定に最低限必要なフレームレートや単位時間の導出も行っていく必要がある。

次年度使用額が生じた理由

新型コロナウィルス感染症の拡大およびそれに関連した社会情勢のもと、研究協力企業での実験・検証が中止となり、購入を予定していた実験装置の導入が困難であったため、今年度の購入を見送ることとなった。今年度と同様の状況が次年度以降も続く可能性を考慮し、研究協力企業での実験・検証が容易となるよう、映像を解析する手法を採用するため、撮影機材と映像を処理する計算機の購入を計画している。