• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

AIの持続的高度化を可能とするヒューマンオリエンテッド深層学習技術の構築

Research Project

Project/Area Number 22KJ0142
Project/Area Number (Other) 22J22532 (2022)
Research Category

Grant-in-Aid for JSPS Fellows

Allocation TypeMulti-year Fund (2023)
Single-year Grants (2022)
Section国内
Review Section Basic Section 61010:Perceptual information processing-related
Research InstitutionHokkaido University

Principal Investigator

小川 直輝  北海道大学, 情報科学院, 特別研究員(DC1)

Project Period (FY) 2023-03-08 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥2,500,000 (Direct Cost: ¥2,500,000)
Fiscal Year 2024: ¥800,000 (Direct Cost: ¥800,000)
Fiscal Year 2023: ¥800,000 (Direct Cost: ¥800,000)
Fiscal Year 2022: ¥900,000 (Direct Cost: ¥900,000)
Keywords画像分類 / テキストデータ / マルチタスク分類 / 機械学習 / 注目領域
Outline of Research at the Start

情報科学分野において発展しているAI技術の活用により,土木工学等の専門分野での業務効率化を実現可能な画像分類技術の構築が求められている.一方,従来のAIが実データの入力を想定しておらず,注目領域の正確性の担保や技術者が解釈しやすい形での判断根拠の提示が困難であることは,AI技術の活用の障壁となっている.そこで,本研究では,多様な実データから学習に有効な画像の自動選択,技術者の注目領域を理解した分類,判断根拠のテキスト形式での提示を可能とする.以上により,AIの持続的高度化が可能なヒューマンオリエンテッド深層学習技術を実現する.

Outline of Annual Research Achievements

本研究では,土木分野等の専門分野における業務効率化のための画像分類技術の実現に向けて,AIを人命や生活基盤に関わる専門分野の業務に適用可能とするヒューマンオリエンテッド深層学習技術を構築する.
令和5年度は,画像と技術者が付与したテキストを入力とした画像分類時にAIが注目領域にどの程度自信があるかを示す値(確信度)を出力する手法を拡張し,道路構造物に発生する劣化の種類と進行度を同時に分類可能な手法の構築を行った.これにより,劣化の進行度の分類時に劣化の種類を技術者が事前に分類する必要がなくなることで,技術者の負担が軽減され,専門分野の業務への活用により適したAIの構築が実現された.
さらに,令和6年度において実施予定である,テキスト形式での判断根拠提示および間違い訂正が可能な継続学習機構を持つAIの構築に向けて,Visual language modelを活用したテキスト形式で点検記録の作成に必要な所見を自動生成する手法の構築を行った.これにより,技術者がAIにより生成された所見を専門業務に活用することが可能となり,業務効率化に役立つAIの構築が実現された.さらに,技術者がAIにより人間が理解可能な形式で提示された出力結果の検証を通してAIの知見や有効性について判断することが可能となった.
当該年度における研究成果として,論文誌への採択が5件,国内会議での発表が2件という成果を挙げており,さらに,令和6年度の論文誌への採択が1件確定している.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

当該年度では,専門分野の業務に適用可能なAIの実現に向けて,道路構造物に発生する劣化の種類と進行度を同時に分類可能な手法に関する研究を行った.マルチタスク分類が可能なAIの構築により,専門分野にて取得される画像をAIに入力する際に人手で予め画像を選別する必要がなくなり,業務効率化を実現するAIに適した機能を備えることが可能となった.
さらに,Visual language modelを活用したテキスト形式で点検記録の作成に必要な所見を自動生成する手法の構築により,人間にとって容易に理解可能な形式でAIの結果を出力可能となった.この成果は,AIの出力に対する技術者の有益なフィードバックを得ることを可能とし,令和6年度でのAIの間違いを逐次訂正可能な継続学習の実現に活用できる.これらの研究成果は認められ,国内外の査読付き論文誌への受理や国内学会での発表が行われており,順調に研究が進展していると判断できることから,本区分を選択した.

Strategy for Future Research Activity

今後の研究の推進方策として, 令和6年度では,令和4,5年度に実現した,画像およびテキストの入力によりマルチタスク分類と注目領域の出力を行うAIや,テキスト形式での判断根拠を提示可能としたAIを活用し,判断根拠への技術者のフィードバックを活用したAIの継続学習機構を実現する.3年間の研究成果をまとめて,持続的高度化が可能なAIを活用したヒューマンオリエンテッド深層学習技術の構築を目指す.

Report

(2 results)
  • 2023 Research-status Report
  • 2022 Annual Research Report
  • Research Products

    (10 results)

All 2024 2023 2022

All Journal Article (7 results) (of which Peer Reviewed: 7 results,  Open Access: 7 results) Presentation (3 results)

  • [Journal Article] Automatic Findings Generation for Distress Images Using In-Context Few-Shot Learning of Visual Language Model Based on Image Similarity and Text Diversity2024

    • Author(s)
      Yuto Watanabe, Naoki Ogawa, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama
    • Journal Title

      Journal of Robotics and Mechatronics

      Volume: 36 Issue: 2 Pages: 353-364

    • DOI

      10.20965/jrm.2024.p0353

    • ISSN
      0915-3942, 1883-8049
    • Year and Date
      2024-04-20
    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Multi-task classification of distress types and deterioration levels for infrastructure maintenance2023

    • Author(s)
      小川 直輝, 前田 圭介, 小川 貴弘, 長谷山 美紀
    • Journal Title

      Artificial Intelligence and Data Science

      Volume: 4 Issue: 3 Pages: 807-814

    • DOI

      10.11532/jsceiii.4.3_807

    • ISSN
      2435-9262
    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Automatic detection of dead trees using in-vehicle video based on semantic segmentation2023

    • Author(s)
      小川 直輝, 前田 圭介, 小川 貴弘, 長谷山 美紀
    • Journal Title

      Artificial Intelligence and Data Science

      Volume: 4 Issue: 3 Pages: 686-693

    • DOI

      10.11532/jsceiii.4.3_686

    • ISSN
      2435-9262
    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Distress estimation of road attachments based on attention-based multiple instance learning considering the diversity of background of images2023

    • Author(s)
      渡部 航史, 小川 直輝, 前田 圭介, 小川 貴弘, 長谷山 美紀
    • Journal Title

      Artificial Intelligence and Data Science

      Volume: 4 Issue: 3 Pages: 482-489

    • DOI

      10.11532/jsceiii.4.3_482

    • ISSN
      2435-9262
    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Automatic generation of findings for distress images using visual language model—Introduction of few-shot learning based on similar image retrieval—2023

    • Author(s)
      渡邉 優宇人, 小川 直輝, 前田 圭介, 小川 貴弘, 長谷山 美紀
    • Journal Title

      Artificial Intelligence and Data Science

      Volume: 4 Issue: 3 Pages: 223-232

    • DOI

      10.11532/jsceiii.4.3_223

    • ISSN
      2435-9262
    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Estimation of Degradation Degree in Road Infrastructure Based on Multi-Modal ABN Using Contrastive Learning2023

    • Author(s)
      Higashi Takaaki、Ogawa Naoki、Maeda Keisuke、Ogawa Takahiro、Haseyama Miki
    • Journal Title

      Sensors

      Volume: 23 Issue: 3 Pages: 1657-1657

    • DOI

      10.3390/s23031657

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] DETERIORATION LEVEL CLASSIFICATION OF DISTRESS IMAGE CONSIDERING CORRELATION AMONG HETEROGENEOUS FEATURES AND ATTENTION MAP CONFIDENCE2022

    • Author(s)
      小川 直輝、前田 圭介、小川 貴弘、長谷山 美紀
    • Journal Title

      Intelligence, Informatics and Infrastructure

      Volume: 3 Issue: J2 Pages: 704-713

    • DOI

      10.11532/jsceiii.3.J2_704

    • ISSN
      2435-9262
    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Presentation] 道路附属物のドローン映像を用いたvision transformerに基づく変状検出技術2024

    • Author(s)
      渡部 航史, 小川 直輝, 前田 圭介, 小川 貴弘, 長谷山 美紀
    • Organizer
      映像情報メディア学会技術報告
    • Related Report
      2023 Research-status Report
  • [Presentation] 橋梁点検効率化のための生成AIを用いた所見生成技術2024

    • Author(s)
      渡邉 優宇人, 小川 直輝, 前田 圭介, 小川 貴弘, 長谷山 美紀
    • Organizer
      映像情報メディア学会技術報告
    • Related Report
      2023 Research-status Report
  • [Presentation] 道路構造物の変状画像分類の高精度化に関する検討ー自己教師あり学習の導入による事前知識の活用ー2022

    • Author(s)
      東 孝明、小川直輝、前田 圭介、小川 貴弘、長谷山 美紀
    • Organizer
      信号処理シンポジウム
    • Related Report
      2022 Annual Research Report

URL: 

Published: 2022-04-28   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi