2019 Fiscal Year Research-status Report
福島第一原子力発電所廃炉作業における危険動作の画像認識判定手法の確立
| Project/Area Number |
19K05324
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
出町 和之 東京大学, 大学院工学系研究科(工学部), 准教授 (00292764)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
三木 大輔 地方独立行政法人東京都立産業技術研究センター, 開発本部開発第三部情報技術グループ, 副主任研究員 (70757343)
鈴木 俊一 東京大学, 大学院工学系研究科(工学部), 特任教授 (80767997)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 作業安全 / 深層学習 / 自然言語処理 / 動作認識 / 物体認識 / 位置推定 / 階層型Scene Graph |
|---|
| Outline of Annual Research Achievements |
本研究の目的は、申請者が開発した「手」と「全身」の動作の深層学習画像認識技術を適用し、環境・対象・距離の画像情報も組み合わせ、廃炉作業中の危険動作の自動判定及び表示手法を確立することであった。このため、カメラ画像から得られる「手」と「全身」の動作に加えて環境、対象、対象までの距離などを求め、これらを組み合わせた決定木による危険動作を判定する手法の開発を行うことを研究計画とした。
しかし研究を進めるうち、精度の良い危険動作判定のためには、「手」と「全身」の動作と環境、対象、対象までの距離を単純に認識するだけでは不十分であり、「物体（工具や防護具）」「物体間距離と位置関係」「物体と体の部位の距離と位置関係」「物体の状態」「3次元全身動動作推定用深層学習」など、より多くの認識を含める必要があることが判明した。よって、新たにこれらを認識する画像処理技術の開発を行った。
また、申請では危険動作の判定に決定木を用いることを提案し、2019年度は決定木による危険判定ツールも開発したが、上記の理由により認識対象が増加したことで対象とする条件が多くなり、必要となる決定木が大きくなりすぎた。よって改善案として階層型Scene Graphを新たに考案し、これを画像認識結果から自動構築するプログラムを開発した。
階層型Scene Graphは画像認識結果にも適用するが、安全・危険の判定基準となる安全マニュアルなどの文書に対しても適用し、画像認識結果と文書の安全・危険規定文の両方から構築される２つの階層型Scene Graphを比較することで、決定木よりも効率的に安全・危険を判定することに成功した。
なお、廃炉作業中の危険動作のデータベース構築のため、東京電力福島第一原子力発電所および協力会社であるATOXを訪問し聞き取り調査を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
精度の良い危険動作判定のため、「物体（工具や防護具）」「物体間距離と位置関係」「物体と体の部位の距離と位置関係」「物体の状態」「3次元全身動動作推定用深層学習」などの画像処理技術の開発を新たに行った。
「物体（工具や防護具）」では、廃炉作業時に装着するヘルメットや防護メガネや工具などを学習データとして物体認識モデルを構築し、ほぼ100％の確率でこれらを認識することに成功した。「物体間距離と位置関係」では、画像認識で得られた物体の画像内座標から物体同士の距離と位置関係を認識することに成功した。「物体と体の部位の距離と位置関係」では、物体の画像内座標と全身姿勢認識で得られる全身部位の画像内座標とを比較し、相互距離と位置関係を認識することに成功した。「物体の状態」では、「物体と体の部位の距離と位置関係」を用い、具体例としてはマスクが正しい箇所ではなく口からずれた位置に装着されている状態などを検知することに成功した。「3次元全身動動作推定用深層学習」は、2つの単眼カメラ画像から２つの2次元全身姿勢推定結果を出力し、さらに3次元投影することで3次元全身位置推定を行った。また、全身関節の3次元座標時系列データに深層学習を用いることで80%以上の精度での動作同定にも成功した。「肌色率識別画像処理」は、たとえば手袋の装着の有無の認識に必要であった。手袋は様々な色・デザインがあるため、単純な深層学習による認識では学習効率が悪かった。このため、全身姿勢認識で得られた両手位置付近の肌色画素率を判定することで、手袋装着の有無を判定する手法を開発した。
一方、自然言語処理では、危険判定精度を向上させるword2vecで分散化処理をしたのちの類義語・反義語の類似度を補正する手法を開発した。
また、階層型Scene Graphという手法を新規提案し、決定木よりも効率の良い危険安全判定手法を開発した。
|
| Strategy for Future Research Activity |
前述の様に、2019年度は作業安全・危険動作判定のための基本的ツールの開発を着実に実行してきた。2020年度～2021年度は、判定の精度向上のため、「物体間距離と位置関係」と「3次元全身動動作推定用深層学習」も3次元座標として認識するための技術開発を行う。これには複数カメラの使用や深度カメラなどを用いれば容易ではあるが、カメラからの焦点距離の問題などのため、実用上の観点から単眼カメラ画像に深層学習を組み合わせた手法を開発する。
また、作業安全・危険動作判定のための基本的ツールがすべて完成したあとでも、現場の要望に基づく新たな識別対象データの学習が求められる。例えばベルトコンベアに巻き込まれやすい動作の学習や、安全フックを掛ける動作の識別などである。2020年度は東京電力福島第一原子力発電所および協力会社を再度訪問し、これら現場の要望に基づく開発認識対象のSceneの聞き取り調査を行うと共に学習に取り入れる。
また、開発した危険判定プログラムの実証と性能評価および改良も併せて実施する。
|
| Causes of Carryover |
新型コロナ感染拡大の影響により3月に予定していた学会がキャンセルもしくはweb開催となり、旅費および参加費の一部が執行できなかったため
|
