| Project/Area Number |
19K05324
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 31010:Nuclear engineering-related
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
Demachi Kazuyuki 東京大学, 大学院工学系研究科(工学部), 准教授 (00292764)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
三木 大輔 地方独立行政法人東京都立産業技術研究センター, 開発本部開発第三部情報技術グループ, 副主任研究員 (70757343)
鈴木 俊一 東京大学, 大学院工学系研究科(工学部), 特任教授 (80767997)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Project Status |
Completed (Fiscal Year 2021)
|
| Budget Amount *help |
¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2021: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2020: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2019: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
|
|---|
| Keywords | 作業安全 / 自然言語処理 / 動作認識 / 物体認識 / 階層型Scene Graph / 論理表現化 / 深層学習 / 位置推定 / 危険行為 / 画像認識 / アラーム |
|---|
| Outline of Research at the Start |
「手」と「全身」の動作の画像認識技術を適用し、物体認識などの画像情報も組み合わせ、廃炉作業中の危険動作の自動判定及び表示手法を確立する。申請者が開発した手法では、5秒間の動画データを約1/70,000の画像ラベルおよび関節座標(=1.5kB)に圧縮しているため、市販のGPU計算機で十分にリアルタイムの画像認識計算が可能である。取得した画像情報に自然言語処理を適用することで、行為の危険度をリアルタイム判定するアルゴリズムを確立する。また、危険行為の定義のため、東京電力ホールディングスおよび協力会社に聞き取り調査を行い、想定される危険動作を分類しデータベースを構築する。
|
| Outline of Final Research Achievements |
In order to develop an automatic judgment method for dangerous actions during decommissioning work, a Scene Graph method was developed that expresses the situation in an image in a graph structure by fusing different deep learning models such as object recognition and posture estimation. In addition, a method has been developed to automatically convert the occupational safety rule, which is the basis of risk judgment by comparing with images, into a newly devised hierarchical Scene Graph using a natural language processing method and an ontology model. This research is the first in the world to integrate different deep learning models such as images (object recognition and posture estimation) and natural language processing. By comparing the two Scene Graphs, we have also succeeded in detecting work safety hazards with high accuracy in real time.
|
| Academic Significance and Societal Importance of the Research Achievements |
本研究の学術的意義は、画像（物体認識と姿勢認識と）と自然言語処理という異なる深層学習モデルを融合した手法としては世界初の研究であることである。一般的に深層学習を用いた研究は、画像は画像、言語は言語というように、各々の分野の中で閉じており異種深層学習同士を組みあわせることはない。しかし、人間の脳は視覚、聴覚、触覚、言語など多様な情報を同時に取り入れ比較することで情報を適切に処理している。本研究では、そのような異なる深層学習モデルを融合するための共通データフォームとしてグラフ構造が有効であることを提案し、かつその有効性を実証した。この成果は、異種深層学習モデル融合という新たあ分野の基礎を築いた。
|
