• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2020 Fiscal Year Research-status Report

福島第一原子力発電所廃炉作業における危険動作の画像認識判定手法の確立

Research Project

Project/Area Number 19K05324
Research InstitutionThe University of Tokyo

Principal Investigator

出町 和之  東京大学, 大学院工学系研究科(工学部), 准教授 (00292764)

Co-Investigator(Kenkyū-buntansha) 三木 大輔  地方独立行政法人東京都立産業技術研究センター, 開発本部開発第三部情報技術グループ, 副主任研究員 (70757343)
鈴木 俊一  東京大学, 大学院工学系研究科(工学部), 特任教授 (80767997)
Project Period (FY) 2019-04-01 – 2022-03-31
Keywords作業安全 / 深層学習 / 自然言語処理 / 動作認識 / 物体認識 / 階層型Scene Graph / 論理表現化 / 位置推定
Outline of Annual Research Achievements

本研究の目的は、申請者が開発した「手」と「全身」の動作の深層学習画像認識技術を適用し、環境・対象・距離の画像情報も組み合わせ、廃炉作業中の危険動作の自動判定及び表示手法を確立することであった。このため、カメラ画像から得られる「手」と「全身」の動作に加えて環境、対象、対象までの距離などを求め、これらを組み合わせた決定木による危険動作を判定する手法の開発を行うことを研究計画とした。
しかし研究を進めるうち、精度の良い危険動作判定のためには、「手」と「全身」の動作と環境、対象、対象までの距離を単純に認識するだけでは不十分であり、「物体(工具や防護具)」「物体間距離と位置関係」「物体と体の部位の距離と位置関係」「物体の状態」「3次元全身動動作推定用深層学習」など、より多くの認識を含める必要があることが判明した。よって、新たにこれらを認識する画像処理技術の開発を行った。
また、申請では危険動作の判定に決定木を用いることを提案し、2019年度は決定木による危険判定ツールも開発したが、上記の理由により認識対象が増加したことで対象とする条件が多くなり、必要となる決定木が大きくなりすぎた。よって改善案として階層型Scene Graphを新たに考案し、これを画像認識結果から自動構築するプログラムを開発した。
安全・危険の判定基準となる安全マニュアルなどの文書を階層型Scene Graphに変換するためには、ルール文の論理表現化などの自然言語処理解析が必要である。令和2年度はこのための5段階のアルゴリズムを開発し、ルール文の自動論理表現化に成功した。
なお、新型コロナウィルス感染拡大に伴い、2020年度は東京電力福島第一原子力発電所などへの訪問聞き取り調査を実施しなかった。

Current Status of Research Progress
Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

作業安全判定のために必要なルール文書の論理表現化モデルを提案し、これを実現する自然言語処理アルゴリズムA~Eを提案・検証した。
【A:文分類アルゴリズム】ルール文をあらかじめ禁止・遵守のどちらであるか分類しておく必要がある。ここでは、自然言語処理モデルの1つであるBERT(Bidirectional Encoder Representations from Transformers)を用い、第1段階(ルール文⇒重要文と無関係文)、第2段階(重要文⇒禁止文or遵守文)の分類により、ルール文から禁止文と遵守文を自動で抽出するアルゴリズムを開発した。分類精度は87%となった。  【B:係り受け解析アルゴリズム】安全マニュアル文を文構造解析することで主語・述語・目的語を明確にし、文章の構造を把握する必要がある。ここでは、GinzaとUniversal Dependencies (UD)との組み合わせにより、日本語文における主語・述語・目的語を抽出することに成功した。   【C:類義語修正アルゴリズム】安全マニュアル文中の単語と画像情報中の単語との表記ゆれを解決するため、単語間の関係性を定義した辞書であるシソーラスを適用した。   【D: 日本語表現の論理表現生成アルゴリズム】英語と日本語で共通形式の係り受け解析であるUDを用い、主要単語とその関係性のみを抽出する論理表現を作成することで、ルール文を画像と比較可能な日本語の論理表現に変換することに成功した。   【E: 日本語ルールの論理表現比較アルゴリズム】論理表現を語順によらず意味を正しく判定するために、共通単語について順番を揃えるよう行列操作をするアルゴリズムを開発し、格助詞の対応で一致するか否かを判定できるアルゴリズムを開発した。これにより文情報と画像情報の論理表現が一致するかの自動判定が正しく行えることを確認した。

Strategy for Future Research Activity

前述の様に、2020年度は作業安全判定のために必要なルール文書の論理表現化モデルを提案し、そのモデルを構築するために必要な5段階の自然言語処理アルゴリズムを提案・検証した。
2021年度はさらに、現場実用化を目指して、画像認識AIモデルの3次元化による改良を行う。これまでに画像認識AIモデルでは、2次元の物体検出モデル(YOLOv3)と2次元の姿勢検出モデル(OpenPose)を使用していた。これまでの検証結果では2次元モデルでも物体検出と関係性抽出は高精度での成功が示されたが、実際の現場ではカメラの視線方向に物体同士が重なって陰となり、論理表現の精度が低下する可能性がある。このためこれらモデルを3次元化して改良しロバスト性を改善する。具体的には3次元単眼物体検出アプローチ(PV-RCNNなど)を適用し、ステレオカメラ等に頼らず従来の監視カメラを適用できるようにする。このための教師用3次元画像データを、実際の現場をステレオカメラで撮影することにより取得すると共に、さらに、リアル画像のみで必要な教師データ全てを揃えるのも困難であるため、姿勢、装備品・工具、服装など、3種類を組み合わせた3次元CGプログラムを構築し教師用動画データを生成する。3次元姿勢にはスキニングマルチパーソンリニア(SMPL)モデルを実装しランダム姿勢とランダム視点へ対応させる。服装CGは、オンライン入手可能な服のテクスチャを3D姿勢モデルに転送して生成する。

Causes of Carryover

新型コロナ感染拡大の影響により秋と冬の学会がweb開催となり、旅費および参加費の一部が執行できなかったため

  • Research Products

    (11 results)

All 2021 2020 Other

All Journal Article (2 results) (of which Peer Reviewed: 2 results) Presentation (8 results) (of which Int'l Joint Research: 4 results) Remarks (1 results)

  • [Journal Article] Towards on-site hazards identification of improper use of personal protective equipment using deep learning-based geometric relationships and hierarchical scene graph2021

    • Author(s)
      Chen Shi、Demachi Kazuyuki
    • Journal Title

      Automation in Construction

      Volume: 125 Pages: 103619~103619

    • DOI

      10.1016/j.autcon.2021.103619

    • Peer Reviewed
  • [Journal Article] A vision-based approach for ensuring proper use of Perosonal Protective Equipment (PPE) in decommissioning site of Fukushima Daiichi nuclear power station2020

    • Author(s)
      Shi Chen, Kazuyuki Demachi
    • Journal Title

      Applied Sciences

      Volume: 10.15 Pages: 5129

    • DOI

      10.3390/app10155129

    • Peer Reviewed
  • [Presentation] 物体識別と姿勢推定を用いた核物質等盗取行為検知手法の提案2021

    • Author(s)
      横地悠紀, 陳実, 出町和之
    • Organizer
      2021年電子情報通信学会総合大会
  • [Presentation] 画像識別と自然言語処理の AIインターフェイス2021

    • Author(s)
      出町和之, 陳実, 須藤大揮
    • Organizer
      日本原子力学会2021年春の年会
  • [Presentation] A Real-Time Automated Approach for Ensuring Proper Use of Personal Protective Equipment (PPE) in Construction Site2020

    • Author(s)
      Shi Chen, Kazuyuki Demachi, Manabu Tsunokai
    • Organizer
      18th International Conference on Computing in Civil and Building Engineering
    • Int'l Joint Research
  • [Presentation] A Novel System for Automated Proper Use Identification of Personal Protective Equipment in Decommissioning Site of Fukushima Daiichi Nuclear Power Station2020

    • Author(s)
      Shi Chen, Kazuyuki Demachi
    • Organizer
      2020 International Conference on Nuclear Engineering
    • Int'l Joint Research
  • [Presentation] Weakly Supervised Deep Neural Network for Bearing Fault Diagnosis2020

    • Author(s)
      Daisuke Miki, Kazuyuki Demachi
    • Organizer
      2020 International Conference on Nuclear Engineering
    • Int'l Joint Research
  • [Presentation] Unnatural Human Motion Detection using Weakly Supervised Deep Neural Network2020

    • Author(s)
      Daisuke Miki, Shi Chen, Kazuyuki Demachi
    • Organizer
      2020 International Conference on Artificial Intelligence for Industries (AI4I)
    • Int'l Joint Research
  • [Presentation] 画像 AI と自然言語処理 AI とのインターフェイス2020

    • Author(s)
      出町和之、陳実
    • Organizer
      日本核物質管理学会(INMMJ)第41回年次大会
  • [Presentation] 自然言語処理を用いた作業安全判定2020

    • Author(s)
      須藤大揮、出町和之
    • Organizer
      日本核物質管理学会(INMMJ)第41回年次大会
  • [Remarks] 出町研究室 研究紹介

    • URL

      https://www.demachilab.org/research

URL: 

Published: 2021-12-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi