2023 Fiscal Year Final Research Report

A study on sensing and recognizing work actions

Research Project

PDF

Project/Area Number	20H04218
Research Category	Grant-in-Aid for Scientific Research (B)
Allocation Type	Single-year Grants
Section	一般
Review Section	Basic Section 61010:Perceptual information processing-related
Research Institution	National Institute of Advanced Industrial Science and Technology
Principal Investigator	Sasou Akira 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究チーム長 (50318169)
Co-Investigator(Kenkyū-buntansha)	長久保晶彦国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (00357617) 小木曽里樹国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究員 (10821738) 児島宏明国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (80356980)
Project Period (FY)	2020-04-01 – 2024-03-31
Keywords	作業行動認識 / 手作業 / 体導音 / Extreme Learning Machine / マイクアレイ
Outline of Final Research Achievements	Technology that can digitalize handwork in detail in real time should be developed to introduce collaborative robots, improve production efficiency, and take over skilled manufacturing and maintenance work in factories. For this purpose, we focus on body-conducted sounds because they are robust to visual occlusions and surrounding noise interference, can be acquired using wrist sensors, and may help recognize hand gestures as well as hand-contact objects. In this paper, we propose a novel modeling method for handwork recognition using body-conducted sounds. This method adopts deep residual learning with dilated causal convolution extreme learning machines (DRLDCC-ELM). The DRLDCC-ELM was compared with a transformer baseline model to identify 13 types of handwork. The experimental results confirmed that DRLDCC-ELM outperformed the transformer baseline model and stably obtained models with almost the same F1 scores despite the fact that the training dataset was not large.
Free Research Field	音声・音響信号処理
Academic Significance and Societal Importance of the Research Achievements	人口急減と超高齢化による労働力人口の加速度的な減少により、製造現場などでの省人化、生産効率化、熟練技術の継承などが喫緊の課題となっている。通常、作業行動認識には動画処理が用いられるが、視覚的な遮蔽の問題や、工場でのカメラ撮影禁止など、画像情報の利用は困難な場合が多い。本研究課題では、手指の動きや工具の振動、または手首装着のスピーカから入力した振動の反射などが手や皮膚を介して手首に伝搬してくる体導音に基づいて、各作業における手指の動き、動作中の工具の使用状況、そして、手指や工具が静止していても、それらの接触有無の検知が可能なセンシング技術を開発し、この分野の新たな方向性を示した。