• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2020 年度 実施状況報告書

福島第一原子力発電所廃炉作業における危険動作の画像認識判定手法の確立

研究課題

研究課題/領域番号 19K05324
研究機関東京大学

研究代表者

出町 和之  東京大学, 大学院工学系研究科(工学部), 准教授 (00292764)

研究分担者 三木 大輔  地方独立行政法人東京都立産業技術研究センター, 開発本部開発第三部情報技術グループ, 副主任研究員 (70757343)
鈴木 俊一  東京大学, 大学院工学系研究科(工学部), 特任教授 (80767997)
研究期間 (年度) 2019-04-01 – 2022-03-31
キーワード作業安全 / 深層学習 / 自然言語処理 / 動作認識 / 物体認識 / 階層型Scene Graph / 論理表現化 / 位置推定
研究実績の概要

本研究の目的は、申請者が開発した「手」と「全身」の動作の深層学習画像認識技術を適用し、環境・対象・距離の画像情報も組み合わせ、廃炉作業中の危険動作の自動判定及び表示手法を確立することであった。このため、カメラ画像から得られる「手」と「全身」の動作に加えて環境、対象、対象までの距離などを求め、これらを組み合わせた決定木による危険動作を判定する手法の開発を行うことを研究計画とした。
しかし研究を進めるうち、精度の良い危険動作判定のためには、「手」と「全身」の動作と環境、対象、対象までの距離を単純に認識するだけでは不十分であり、「物体(工具や防護具)」「物体間距離と位置関係」「物体と体の部位の距離と位置関係」「物体の状態」「3次元全身動動作推定用深層学習」など、より多くの認識を含める必要があることが判明した。よって、新たにこれらを認識する画像処理技術の開発を行った。
また、申請では危険動作の判定に決定木を用いることを提案し、2019年度は決定木による危険判定ツールも開発したが、上記の理由により認識対象が増加したことで対象とする条件が多くなり、必要となる決定木が大きくなりすぎた。よって改善案として階層型Scene Graphを新たに考案し、これを画像認識結果から自動構築するプログラムを開発した。
安全・危険の判定基準となる安全マニュアルなどの文書を階層型Scene Graphに変換するためには、ルール文の論理表現化などの自然言語処理解析が必要である。令和2年度はこのための5段階のアルゴリズムを開発し、ルール文の自動論理表現化に成功した。
なお、新型コロナウィルス感染拡大に伴い、2020年度は東京電力福島第一原子力発電所などへの訪問聞き取り調査を実施しなかった。

現在までの達成度 (区分)
現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

作業安全判定のために必要なルール文書の論理表現化モデルを提案し、これを実現する自然言語処理アルゴリズムA~Eを提案・検証した。
【A:文分類アルゴリズム】ルール文をあらかじめ禁止・遵守のどちらであるか分類しておく必要がある。ここでは、自然言語処理モデルの1つであるBERT(Bidirectional Encoder Representations from Transformers)を用い、第1段階(ルール文⇒重要文と無関係文)、第2段階(重要文⇒禁止文or遵守文)の分類により、ルール文から禁止文と遵守文を自動で抽出するアルゴリズムを開発した。分類精度は87%となった。  【B:係り受け解析アルゴリズム】安全マニュアル文を文構造解析することで主語・述語・目的語を明確にし、文章の構造を把握する必要がある。ここでは、GinzaとUniversal Dependencies (UD)との組み合わせにより、日本語文における主語・述語・目的語を抽出することに成功した。   【C:類義語修正アルゴリズム】安全マニュアル文中の単語と画像情報中の単語との表記ゆれを解決するため、単語間の関係性を定義した辞書であるシソーラスを適用した。   【D: 日本語表現の論理表現生成アルゴリズム】英語と日本語で共通形式の係り受け解析であるUDを用い、主要単語とその関係性のみを抽出する論理表現を作成することで、ルール文を画像と比較可能な日本語の論理表現に変換することに成功した。   【E: 日本語ルールの論理表現比較アルゴリズム】論理表現を語順によらず意味を正しく判定するために、共通単語について順番を揃えるよう行列操作をするアルゴリズムを開発し、格助詞の対応で一致するか否かを判定できるアルゴリズムを開発した。これにより文情報と画像情報の論理表現が一致するかの自動判定が正しく行えることを確認した。

今後の研究の推進方策

前述の様に、2020年度は作業安全判定のために必要なルール文書の論理表現化モデルを提案し、そのモデルを構築するために必要な5段階の自然言語処理アルゴリズムを提案・検証した。
2021年度はさらに、現場実用化を目指して、画像認識AIモデルの3次元化による改良を行う。これまでに画像認識AIモデルでは、2次元の物体検出モデル(YOLOv3)と2次元の姿勢検出モデル(OpenPose)を使用していた。これまでの検証結果では2次元モデルでも物体検出と関係性抽出は高精度での成功が示されたが、実際の現場ではカメラの視線方向に物体同士が重なって陰となり、論理表現の精度が低下する可能性がある。このためこれらモデルを3次元化して改良しロバスト性を改善する。具体的には3次元単眼物体検出アプローチ(PV-RCNNなど)を適用し、ステレオカメラ等に頼らず従来の監視カメラを適用できるようにする。このための教師用3次元画像データを、実際の現場をステレオカメラで撮影することにより取得すると共に、さらに、リアル画像のみで必要な教師データ全てを揃えるのも困難であるため、姿勢、装備品・工具、服装など、3種類を組み合わせた3次元CGプログラムを構築し教師用動画データを生成する。3次元姿勢にはスキニングマルチパーソンリニア(SMPL)モデルを実装しランダム姿勢とランダム視点へ対応させる。服装CGは、オンライン入手可能な服のテクスチャを3D姿勢モデルに転送して生成する。

次年度使用額が生じた理由

新型コロナ感染拡大の影響により秋と冬の学会がweb開催となり、旅費および参加費の一部が執行できなかったため

  • 研究成果

    (11件)

すべて 2021 2020 その他

すべて 雑誌論文 (2件) (うち査読あり 2件) 学会発表 (8件) (うち国際学会 4件) 備考 (1件)

  • [雑誌論文] Towards on-site hazards identification of improper use of personal protective equipment using deep learning-based geometric relationships and hierarchical scene graph2021

    • 著者名/発表者名
      Chen Shi、Demachi Kazuyuki
    • 雑誌名

      Automation in Construction

      巻: 125 ページ: 103619~103619

    • DOI

      10.1016/j.autcon.2021.103619

    • 査読あり
  • [雑誌論文] A vision-based approach for ensuring proper use of Perosonal Protective Equipment (PPE) in decommissioning site of Fukushima Daiichi nuclear power station2020

    • 著者名/発表者名
      Shi Chen, Kazuyuki Demachi
    • 雑誌名

      Applied Sciences

      巻: 10.15 ページ: 5129

    • DOI

      10.3390/app10155129

    • 査読あり
  • [学会発表] 物体識別と姿勢推定を用いた核物質等盗取行為検知手法の提案2021

    • 著者名/発表者名
      横地悠紀, 陳実, 出町和之
    • 学会等名
      2021年電子情報通信学会総合大会
  • [学会発表] 画像識別と自然言語処理の AIインターフェイス2021

    • 著者名/発表者名
      出町和之, 陳実, 須藤大揮
    • 学会等名
      日本原子力学会2021年春の年会
  • [学会発表] A Real-Time Automated Approach for Ensuring Proper Use of Personal Protective Equipment (PPE) in Construction Site2020

    • 著者名/発表者名
      Shi Chen, Kazuyuki Demachi, Manabu Tsunokai
    • 学会等名
      18th International Conference on Computing in Civil and Building Engineering
    • 国際学会
  • [学会発表] A Novel System for Automated Proper Use Identification of Personal Protective Equipment in Decommissioning Site of Fukushima Daiichi Nuclear Power Station2020

    • 著者名/発表者名
      Shi Chen, Kazuyuki Demachi
    • 学会等名
      2020 International Conference on Nuclear Engineering
    • 国際学会
  • [学会発表] Weakly Supervised Deep Neural Network for Bearing Fault Diagnosis2020

    • 著者名/発表者名
      Daisuke Miki, Kazuyuki Demachi
    • 学会等名
      2020 International Conference on Nuclear Engineering
    • 国際学会
  • [学会発表] Unnatural Human Motion Detection using Weakly Supervised Deep Neural Network2020

    • 著者名/発表者名
      Daisuke Miki, Shi Chen, Kazuyuki Demachi
    • 学会等名
      2020 International Conference on Artificial Intelligence for Industries (AI4I)
    • 国際学会
  • [学会発表] 画像 AI と自然言語処理 AI とのインターフェイス2020

    • 著者名/発表者名
      出町和之、陳実
    • 学会等名
      日本核物質管理学会(INMMJ)第41回年次大会
  • [学会発表] 自然言語処理を用いた作業安全判定2020

    • 著者名/発表者名
      須藤大揮、出町和之
    • 学会等名
      日本核物質管理学会(INMMJ)第41回年次大会
  • [備考] 出町研究室 研究紹介

    • URL

      https://www.demachilab.org/research

URL: 

公開日: 2021-12-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi