研究課題
本研究の目的は、申請者が開発した「手」と「全身」の動作の深層学習画像認識技術を適用し、環境・対象・距離の画像情報も組み合わせ、廃炉作業中の危険動作の自動判定及び表示手法を確立することであった。このため、カメラ画像から得られる「手」と「全身」の動作に加えて環境、対象、対象までの距離などを求め、これらを組み合わせた決定木による危険動作を判定する手法の開発を行うことを研究計画とした。しかし研究を進めるうち、精度の良い危険動作判定のためには、「手」と「全身」の動作と環境、対象、対象までの距離を単純に認識するだけでは不十分であり、「物体（工具や防護具）」「物体間距離と位置関係」「物体と体の部位の距離と位置関係」「物体の状態」「3次元全身動動作推定用深層学習」など、より多くの認識を含める必要があることが判明した。よって、新たにこれらを認識する画像処理技術の開発を行った。また、申請では危険動作の判定に決定木を用いることを提案したが、より高度な改善案として階層型Scene Graphを新たに考案し、これを画像認識結果から自動構築するプログラムを開発した。さらに、安全・危険の判定基準となる安全マニュアルなどのルール文を自然言語処理を用いて論理表現化することに成功した。令和3年度はさらに、画像認識アルゴリズムの物体認識をセマンティックセグメンテ―ションからインスタンスセグメンテーションへ更新し、前処理にもインスタンスセグメンテーションを用いる姿勢推定AIを提案・実装した。また、自然言語処理による階層型Scene Graph出力アルゴリズムにおいては、英文ルールにしか適用できなかったため、これを和文ルールにも対応できるように改良し、国内利用に向けた実用化のための利便性を高めることに成功した。
すべて 2022 2021
すべて 雑誌論文 (3件) (うち査読あり 3件) 学会発表 (8件) (うち国際学会 5件)
Automation in Construction
巻: 137 ページ: 104191～104191
10.1016/j.autcon.2022.104191
巻: 125 ページ: 103619～103619
10.1016/j.autcon.2021.103619
Applied Sciences
巻: 125 ページ: 103619
