2017 Fiscal Year Research-status Report

ディープ・ラーニングを用いた造船工場における作業観測の自動化に関する研究

Research Project

Project/Area Number	17K06967
Research Institution	Kyushu University
Principal Investigator	田中太氏九州大学, 工学研究院, 准教授 (70432854)
Project Period (FY)	2017-04-01 – 2020-03-31
Keywords	ディープラーニング / 作業観測 / 画像解析
Outline of Annual Research Achievements	造船所における作業は現場の作業長などの経験により管理されており、作業の進捗は、場所では作業区、時間では一日単位など粗い単位で管理されており、定量的な把握が十分でない場合が多い。一方、造船所での作業観測は、従来では作業観測シートやビデオカメラを用いた目視による作業観測が行われている。目視による作業観測は観測に時間・負担がかかることが課題である。代表者らはビデオ画像を用いた造船所における作業観測法・作業評価法を検討すると共に、ビデオ画像の作業観測の自動化についても検討してきた。本研究では、近年、画像識別への適用限界を超えた機械学習の手法、ディープ・ラーニング（深層学習）を用いて、ビデオ画像の識別の自動化による作業観測法と作業評価法を検討する。今年度はディープ・ラーニングにおける教示データの構築法と識別できる作業数の増加に必要なニューラル・ネットワークの構築について検討した。教示データについては、過去の作業観測のデータの利用を考慮し、作業現場を俯瞰的に撮影したビデオの代わりに作業者のヘルメットに装着した作業者目線のビデオ画像を用いた。教示データの構築法については、画像が表す作業の画像コンテンツの定義がニューラル・ネットーワークによる識別率の向上に有効であることを確認し、識別対象の作業を増やした際の課題を整理した。また、作業数の増加に必要なニューラル・ネットワークの構築については、他の作業の画像コンテンツに影響を受けない教示画像の定義法を検討した。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 本研究の目的の一つ、ディープ・ラーニングを用いたビデオ画像の識別の自動化による作業観測を目標に、ディープ・ラーニングで用いるニューラル・ネットワークの構築に欠かせない、ニューラル・ネットワークに与える教示データの構築法について検討した。教示データにおいて画像コンテンツの定義が有効であることを確認した。さらに、識別対象の作業を増やした場合のニューラル・ネットワークの構築に必要な、他の作用の画像コンテンツに影響を受けない教示画像の定義法の検討を行えた。全体の計画においておおむね順調に進展している。
Strategy for Future Research Activity	ビデオ画像の識別の自動化による作業観測では、他の作業者や作業現場への展開も目的とするため、前年度までに検討した、ニューラル・ネットワークに与える教示データの構築法の別の複数の作業者の画像への展開と課題を検討する。次に、俯瞰的に撮影した作業現場のビデオ画像の識別についても検討する。作業現場の画像から作業者の画像の抽出、抽出された作業者の画像から作業情報の抽出、抽出された作業者の画像の位置から作業現場での位置の推定を検討する。一つ目の作業者の画像の抽出ではSelective Searchのアルゴリズム等の利用を検討する。二つ目の画像からの作業情報の抽出は前年度における教示画像の構築法を元に画像コンテンツの検討を行う。三つ目の作業者の位置の推定は、代表者らが従来の研究で行った画像データ解析による作業者の位置情報による作業評価法の検討を元に行う。
Causes of Carryover	当該年度の予算ではディープ・ラーニング用のワークステーションの購入を予定していたが、ディープ・ラーニングの教示画像の構築法の検討を先行して集中して進めた。より高い処理能力が求められるワークステーションについては、次年度に購入することで性能がより向上したワークステーションを購入する予定である。