Construction of hyper-multimodal image classification technology based on the cognitive, decision-making, and behavioral processes of engineers

2023 Fiscal Year Final Research Report

• Project/Area Number: 20K19856
• Research Category: Grant-in-Aid for Early-Career Scientists
• Allocation Type: Multi-year Fund
• Review Section: Basic Section 61030:Intelligent informatics-related
• Research Institution: Hokkaido University
• Principal Investigator: Maeda Keisuke 北海道大学, 情報科学研究院, 特任助教 (20798243)
• Project Period (FY): 2020-04-01 – 2024-03-31
• Keywords: 画像分類 / 生体情報 / 機械学習 / 解釈性 / 暗黙知 / 深層学習 / 信号処理 / マルチモーダル

Outline of Final Research Achievements

This study constructed a hyper-multimodal image classification technology that incorporates cognitive, decision-making, and behavioral processes, using various biometric data, images, and classification results obtained from engineers, for real-world applications of AI technology. Specifically, by extracting knowledge and experience common to engineers from multiple biometric data, a reliable image classification technology that enables judgments similar to those of engineers can be constructed. This enables the AI to learn what engineers paid attention to and how they made judgments, and to present the basis for their judgments from the actually constructed model, thus realizing an AI with high interpretability and reliability.

Free Research Field

画像認識

Academic Significance and Societal Importance of the Research Achievements

従来のAI分野では、人間の視覚野における局所受容野の働きを模擬した学習手法が提案されているものの、これらは構造の模擬に留まっていた。近年、脳波や視線情報などの人間から得られる生体情報を用いて、画像分類の精度向上を目的とする研究が進められているが、これらは生体情報の利用による判断結果の取得のみに留まっている。そこで、本研究では、技術者の認知・判断・行動プロセスに注目することで、生体特徴と判断結果の関係性の抽出とAIの判断結果の抽出を融合した画像分類技術を構築した。本技術は、様々な専門分野に横展開可能であり、技術継承問題の解決策としての利活用も期待されることから、高い学術的意義を有する。