2020 Fiscal Year Research-status Report
福島第一原子力発電所廃炉作業における危険動作の画像認識判定手法の確立
| Project/Area Number |
19K05324
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
出町 和之 東京大学, 大学院工学系研究科(工学部), 准教授 (00292764)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
三木 大輔 地方独立行政法人東京都立産業技術研究センター, 開発本部開発第三部情報技術グループ, 副主任研究員 (70757343)
鈴木 俊一 東京大学, 大学院工学系研究科(工学部), 特任教授 (80767997)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 作業安全 / 深層学習 / 自然言語処理 / 動作認識 / 物体認識 / 階層型Scene Graph / 論理表現化 / 位置推定 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は、申請者が開発した「手」と「全身」の動作の深層学習画像認識技術を適用し、環境・対象・距離の画像情報も組み合わせ、廃炉作業中の危険動作の自動判定及び表示手法を確立することであった。このため、カメラ画像から得られる「手」と「全身」の動作に加えて環境、対象、対象までの距離などを求め、これらを組み合わせた決定木による危険動作を判定する手法の開発を行うことを研究計画とした。
しかし研究を進めるうち、精度の良い危険動作判定のためには、「手」と「全身」の動作と環境、対象、対象までの距離を単純に認識するだけでは不十分であり、「物体（工具や防護具）」「物体間距離と位置関係」「物体と体の部位の距離と位置関係」「物体の状態」「3次元全身動動作推定用深層学習」など、より多くの認識を含める必要があることが判明した。よって、新たにこれらを認識する画像処理技術の開発を行った。
また、申請では危険動作の判定に決定木を用いることを提案し、2019年度は決定木による危険判定ツールも開発したが、上記の理由により認識対象が増加したことで対象とする条件が多くなり、必要となる決定木が大きくなりすぎた。よって改善案として階層型Scene Graphを新たに考案し、これを画像認識結果から自動構築するプログラムを開発した。
安全・危険の判定基準となる安全マニュアルなどの文書を階層型Scene Graphに変換するためには、ルール文の論理表現化などの自然言語処理解析が必要である。令和2年度はこのための5段階のアルゴリズムを開発し、ルール文の自動論理表現化に成功した。
なお、新型コロナウィルス感染拡大に伴い、2020年度は東京電力福島第一原子力発電所などへの訪問聞き取り調査を実施しなかった。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
作業安全判定のために必要なルール文書の論理表現化モデルを提案し、これを実現する自然言語処理アルゴリズムA~Eを提案・検証した。
【A:文分類アルゴリズム】ルール文をあらかじめ禁止・遵守のどちらであるか分類しておく必要がある。ここでは、自然言語処理モデルの１つであるBERT(Bidirectional Encoder Representations from Transformers)を用い、第1段階(ルール文⇒重要文と無関係文)、第2段階（重要文⇒禁止文or遵守文）の分類により、ルール文から禁止文と遵守文を自動で抽出するアルゴリズムを開発した。分類精度は87％となった。 【B:係り受け解析アルゴリズム】安全マニュアル文を文構造解析することで主語・述語・目的語を明確にし、文章の構造を把握する必要がある。ここでは、GinzaとUniversal Dependencies (UD)との組み合わせにより、日本語文における主語・述語・目的語を抽出することに成功した。 【C:類義語修正アルゴリズム】安全マニュアル文中の単語と画像情報中の単語との表記ゆれを解決するため、単語間の関係性を定義した辞書であるシソーラスを適用した。 【D: 日本語表現の論理表現生成アルゴリズム】英語と日本語で共通形式の係り受け解析であるUDを用い、主要単語とその関係性のみを抽出する論理表現を作成することで、ルール文を画像と比較可能な日本語の論理表現に変換することに成功した。 【E: 日本語ルールの論理表現比較アルゴリズム】論理表現を語順によらず意味を正しく判定するために、共通単語について順番を揃えるよう行列操作をするアルゴリズムを開発し、格助詞の対応で一致するか否かを判定できるアルゴリズムを開発した。これにより文情報と画像情報の論理表現が一致するかの自動判定が正しく行えることを確認した。
|
| Strategy for Future Research Activity |
前述の様に、2020年度は作業安全判定のために必要なルール文書の論理表現化モデルを提案し、そのモデルを構築するために必要な5段階の自然言語処理アルゴリズムを提案・検証した。
2021年度はさらに、現場実用化を目指して、画像認識AIモデルの３次元化による改良を行う。これまでに画像認識AIモデルでは、２次元の物体検出モデル(YOLOv3)と２次元の姿勢検出モデル(OpenPose)を使用していた。これまでの検証結果では２次元モデルでも物体検出と関係性抽出は高精度での成功が示されたが、実際の現場ではカメラの視線方向に物体同士が重なって陰となり、論理表現の精度が低下する可能性がある。このためこれらモデルを３次元化して改良しロバスト性を改善する。具体的には３次元単眼物体検出アプローチ（PV-RCNNなど）を適用し、ステレオカメラ等に頼らず従来の監視カメラを適用できるようにする。このための教師用3次元画像データを、実際の現場をステレオカメラで撮影することにより取得すると共に、さらに、リアル画像のみで必要な教師データ全てを揃えるのも困難であるため、姿勢、装備品・工具、服装など、３種類を組み合わせた３次元CGプログラムを構築し教師用動画データを生成する。３次元姿勢にはスキニングマルチパーソンリニア（SMPL）モデルを実装しランダム姿勢とランダム視点へ対応させる。服装CGは、オンライン入手可能な服のテクスチャを3D姿勢モデルに転送して生成する。
|
| Causes of Carryover |
新型コロナ感染拡大の影響により秋と冬の学会がweb開催となり、旅費および参加費の一部が執行できなかったため
|
