• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Interactive visualization for verification of training data for machine learning

Research Project

Project/Area Number 20K11917
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 61020:Human interface and interaction-related
Research InstitutionOchanomizu University

Principal Investigator

Takayuki Itoh  お茶の水女子大学, 基幹研究院, 教授 (80401595)

Project Period (FY) 2020-04-01 – 2023-03-31
Project Status Completed (Fiscal Year 2022)
Budget Amount *help
¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2022: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2021: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2020: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Keywords可視化 / 訓練データ / アノテーション / 機械学習 / ヒューマンファクタ―
Outline of Research at the Start

本研究では機械学習のための訓練データの内容を利用者が検証し理解するための可視化手法について研究する.特に,複数の作業者による訓練データへの注釈の揺れに着目した可視化手法,テストデータにおける誤動作と訓練データの対応に着目した可視化手法,といった2種類の可視化手法を実現する.本研究の目標は,訓練データと作業者の関係,テストデータにおける誤動作と訓練データとの関係,といった複合的なデータに対して可読性と対話操作性の高い可視化手法を確立すること,訓練データ作成時の作業者の一貫性や不完全さに関するヒューマンファクタを発見すること,である.

Outline of Final Research Achievements

This research focused on the depelopment of various methods to support the construction of high-quality training data for machine learning, by visualizing the distribution and creation process of the training data. As the results, we proposed the following three types of visualization methods: 1) Semi-automation of the annotation process of training data and visualization of the results of the construction and operation of the decision tree that serves as the basis for the annotation process; 2) Comparative visualization of distributions of features and labels of multiple training data; and 3) Visualization of the annotation process by multiple workers and verification of the reliability of the annotations.

Academic Significance and Societal Importance of the Research Achievements

大規模で複合的な訓練データの分布や制作過程を視認性の高い形で情報提示する手法の開発は、可視化の研究における学術面での本質的な課題であり、これを解くことに学術的意義があった。一方で、機械学習の普及により訓練データの品質は社会的に大きな課題となっている。訓練データ制作の半自動化による信頼性の向上、複数の訓練データ間での特徴量やラベルの分布の検証、訓練データの制作過程での各作業者による工程の信頼性の検証、といった各課題は機械学習の品質を向上するために重要な課題であり、これらの解決には大きな社会的意義があった。

Report

(4 results)
  • 2022 Annual Research Report   Final Research Report ( PDF )
  • 2021 Research-status Report
  • 2020 Research-status Report
  • Research Products

    (19 results)

All 2022 2021 2020

All Journal Article (1 results) (of which Peer Reviewed: 1 results) Presentation (18 results) (of which Int'l Joint Research: 5 results)

  • [Journal Article] 印象評価にもとづくアノテーション作業の半自動化を支援する可視化システム2022

    • Author(s)
      飯島緋理, 伊藤貴之
    • Journal Title

      芸術科学会論文誌

      Volume: 21 Pages: 186-198

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed
  • [Presentation] Observation and Visualization of Subjectivity-based Annotation Tasks2022

    • Author(s)
      Rika Miura, Takayuki Itoh
    • Organizer
      26th International Conference on Information Visualisation (IV2022)
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] ラベル付き多次元データの比較可視化の一手法と機械学習データへの応用2022

    • Author(s)
      高坂夏怜, 伊藤貴之
    • Organizer
      NICOGRAPH 2022
    • Related Report
      2022 Annual Research Report
  • [Presentation] SD法による大規模印象評価に基づくアノテーションを支援する可視化2022

    • Author(s)
      飯島緋理, 伊藤貴之
    • Organizer
      第29回インタラクティブシステムとソフトウェアに関するワークショップ
    • Related Report
      2021 Research-status Report
  • [Presentation] 訓練データの比較可視化のための閾値自動設定2022

    • Author(s)
      高坂夏怜, 伊藤貴之
    • Organizer
      第14回データ工学と情報マネジメントに関するフォーラム
    • Related Report
      2021 Research-status Report
  • [Presentation] 主観を要するアノテーションタスクの観察と可視化2022

    • Author(s)
      三浦梨花, 伊藤貴之
    • Organizer
      第14回データ工学と情報マネジメントに関するフォーラム
    • Related Report
      2021 Research-status Report
  • [Presentation] SD法による大規模印象評価にもとづくアノテーションを支援する可視化2022

    • Author(s)
      飯島緋理, 伊藤貴之
    • Organizer
      第14回データ工学と情報マネジメントに関するフォーラム
    • Related Report
      2021 Research-status Report
  • [Presentation] SD法による大規模印象評価に基づくアノテーションを支援する可視化2022

    • Author(s)
      飯島緋理, 伊藤貴之
    • Organizer
      情報処理学会第84回全国大会
    • Related Report
      2021 Research-status Report
  • [Presentation] A Visualization Method for Training Data Comparison2021

    • Author(s)
      Karen Kosaka, Takayuki Itoh
    • Organizer
      5th International Conference on Information Visualisation (IV2021)
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Presentation] Visualization for Image Annotations based on Semantic Differential2021

    • Author(s)
      Akari Iijima, Takayuki Itoh
    • Organizer
      IEEE VIS, Poster Session
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Presentation] 訓練データ比較のための可視化の一手法2021

    • Author(s)
      高坂夏怜, 伊藤貴之
    • Organizer
      可視化情報シンポジウム
    • Related Report
      2021 Research-status Report
  • [Presentation] 説明性の高い機械学習の実現のための可視化技術2021

    • Author(s)
      伊藤貴之
    • Organizer
      2021年電子情報通信学会ソサエティ大会
    • Related Report
      2021 Research-status Report
  • [Presentation] SD法による画像印象のタグ付けを支援する可視化2021

    • Author(s)
      飯島緋理, 伊藤貴之
    • Organizer
      第13回データ工学と情報マネジメントに関するフォーラム(DEIM)
    • Related Report
      2020 Research-status Report
  • [Presentation] 高校生向けデータサイエンス教材の提案と操作ログの解析2021

    • Author(s)
      村上綾菜, 伊藤貴之
    • Organizer
      第13回データ工学と情報マネジメントに関するフォーラム(DEIM)
    • Related Report
      2020 Research-status Report
  • [Presentation] 訓練データ比較のための可視化の一手法2021

    • Author(s)
      高坂夏怜, 伊藤貴之
    • Organizer
      第13回データ工学と情報マネジメントに関するフォーラム(DEIM)
    • Related Report
      2020 Research-status Report
  • [Presentation] 高校生向けデータサイエンス教材の開発2021

    • Author(s)
      村上綾菜, 伊藤貴之
    • Organizer
      情報処理学会インタラクション2021
    • Related Report
      2020 Research-status Report
  • [Presentation] SD法による画像印象のタグ付けを支援する可視化2021

    • Author(s)
      飯島緋理, 伊藤貴之
    • Organizer
      情報処理学会第83回全国大会
    • Related Report
      2020 Research-status Report
  • [Presentation] Visualization of semantic differential studies with a large number of images, participants and attributes2020

    • Author(s)
      A. Iijima, T. Itoh, N. Grossmann, H.-Y. Wu
    • Organizer
      24th International Conference on Information Visualisation (IV2020)
    • Related Report
      2020 Research-status Report
    • Int'l Joint Research
  • [Presentation] Visualization of Individual Variation of Multiple Annotators Working on Training Datasets for Machine Learning2020

    • Author(s)
      Takayuki Itoh, Ayana Murakami
    • Organizer
      NICOGRAPH International 2020
    • Related Report
      2020 Research-status Report
    • Int'l Joint Research

URL: 

Published: 2020-04-28   Modified: 2024-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi