• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2021 Fiscal Year Annual Research Report

Sensing and Actuation for Accelerating Knowledge I/O by Humans

Research Project

Project/Area Number 20H04213
Research InstitutionOsaka Prefecture University

Principal Investigator

黄瀬 浩一  大阪府立大学, 工学(系)研究科(研究院), 教授 (80224939)

Co-Investigator(Kenkyū-buntansha) 石丸 翔也  大阪府立大学, 研究推進機構, 客員研究員 (10788730)
岩田 基  大阪府立大学, 工学(系)研究科(研究院), 准教授 (70316008)
Project Period (FY) 2020-04-01 – 2023-03-31
Keywords知能増強 / 学習増強 / センシング / アクチュエーション / 自己教師あり学習 / Transformer / 読書行動解析 / 未知語推定
Outline of Annual Research Achievements

2021年度は、アクチュエーションの技術開発、自己教師あり学習を用いた行動認識を開発する計画であった。加えて、COVID19の影響で対面実験の実施に制約があったことから、非対面での実験のため、スマートフォンやWeb環境での実験実施のための技術開発も行った。以下、得られた成果について述べる。
(1) 自己教師あり学習を用いた行動認識:読書行動の検出ならびに4択問題の確信度推定について、自己教師あり学習(pretext task を用いた手法、ならびにcontrastive learningを用いた手法)を開発し、従来の機械学習(SVM)を用いた手法や通常の深層学習を用いた手法に対して、高い認識精度が得られることを示した。また、ラベル付きデータの収集手法を開発した。
(2) 適応的問題生成をアクチュエータとした学習増強: transformerを用いて、英語空所補充問題ならびに英語4択問題の生成を試みた。英語空所補充問題とは、英文の一部を空所としてそれを学習者に答えさせる問題である。人間による空所の4割を再現するほか、残りの4割についても(人間の空所とは異なるが)適切な空所を生成できることを示した。一方英語4択問題の生成とは、与えられた正解の単語と位置を考慮し、誤答選択肢を生成するものである。用いる誤答選択肢によって問題の難易度が変化することから、学習者ごとに誤答選択肢を適切に提示することで、学習者の正答率を適切なレンジ(70から85%)に収めることが可能になった。
(3) スマートフォン環境における英語学習のセンシングとアクチュエーション:スマートフォンを用いて英文読解を行う際の加速度やスクロール量などを計測することで、未知語を推定する手法、マルチメディアコンテンツを用いて単語学習を行う手法や、既存に習慣(Webブラウジングなど)にあわせて学習教材を提供するシステムを作成した。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

現在のところ、おおむね順調に進展している。本年度の研究開始当初は、まだCOVID19の影響が大きく、実験などの実施に大きな不安を抱えていたが、強い制約条件の下ではあるが、対面での実験を小規模に実施しつつ、対面実施が必要ではない遠隔実施の実験方法を工夫するなどして、予定していた成果を挙げることができた。具体的には、手法をスマートフォン上で実現することにより、個人が手元で実験できるようにしたり、Webベースでの実験を可能にしたり、などである。一方で、アイトラッカなど対面実施が必須なセンサを用いた実験については、現在のところ不足していることから、次年度(2022年度)にも継続して実験を行なう必要があると考えている。

Strategy for Future Research Activity

2022年度は最終年度であるため、計画では全体を統括するシステムの構築ならびにその評価、さらには評価に基づく各手法(knowledge state, mental state, activity recognition)の改良がある。前述の通り、COVID19の影響で一部の対面実験が不足していることから、これらの項目に加えて、必要な対面実験の実施を加える。現在のところ、COVID19の影響は徐々に縮小傾向にあることから、実験実施は可能ではないかと考えている。

  • Research Products

    (16 results)

All 2022 2021 Other

All Int'l Joint Research (1 results) Journal Article (4 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 4 results,  Open Access: 2 results) Presentation (11 results) (of which Int'l Joint Research: 5 results,  Invited: 3 results)

  • [Int'l Joint Research] University of Melbourne(オーストラリア)

    • Country Name
      AUSTRALIA
    • Counterpart Institution
      University of Melbourne
  • [Journal Article] Obtaining Labels for In-the-Wild Studies:Using Visual Cues and Recall2021

    • Author(s)
      Andrew Vargo, Shoya Ishimaru, Md. Rabiul Islam, Benjamin Tag, Koichi Kise
    • Journal Title

      IEEE Pervasive

      Volume: 21 Pages: 9-17

    • DOI

      10.1109/MPRV.2021.3129500

    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Self-supervised Learning for Reading Activity Classification2021

    • Author(s)
      Md. Rabiul Islam, Shuji Sakamoto, Yoshihiro Yamada, Andrew W. Vargo, Motoi Iwata, Masakazu Iwamura, and Koichi Kise DOI: 10.1145/3478088
    • Journal Title

      Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies (ACM IMWUT journal)

      Volume: 5 Pages: 1-22

    • DOI

      10.1145/3478088

    • Peer Reviewed / Open Access
  • [Journal Article] Confidence Estimation via Wrist Movement2021

    • Author(s)
      Seiya Tanaka, Andrew W. Vargo, Motoi Iwata, Koichi Kise
    • Journal Title

      Proc. of the 2021 ACM International Joint Conference on Pervasive and Ubiquitous Computing

      Volume: 1 Pages: 76-77

    • DOI

      10.1145/3460418.3479286

    • Peer Reviewed
  • [Journal Article] Quality Assessment of Crowdwork via Eye Gaze:Towards Adaptive Personalized Crowdsourcing2021

    • Author(s)
      Md. Rabiul Islam, Shun Nawa, Andrew W. Vargo,Masaki Matsubara, Atsuyuki Morishima, Koichi Kise
    • Journal Title

      Proceedings of 18th IFIP TC13 International Conference on Human-Computer Interaction (INTRERACT2021)

      Volume: LNISA 12933 Pages: 104-113

    • DOI

      10.1007/978-3-030-85616-8_8

    • Peer Reviewed
  • [Presentation] スマートフォンを用いた読書活動データからの未知単語推定2022

    • Author(s)
      東村 理功,岩田 基,黄瀬 浩一
    • Organizer
      2022年 電子情報通信学会
  • [Presentation] 腕の動きとWebカメラを用いた英語問題の確信度推定2022

    • Author(s)
      田中 勢也, Andrew W. Vargo, 黄瀬 浩一
    • Organizer
      2022年電子情報通信学会総合大会
  • [Presentation] 英語空所補充問題の自動生成2022

    • Author(s)
      森瀧 瑞希, 湯浅 成章, Andrew W. Vargo, 黄瀬 浩一
    • Organizer
      2022年電子情報通信学会総合大会
  • [Presentation] 個人に適した英語多肢選択問題の自動生成方法の提案2022

    • Author(s)
      湯浅 成章, Andrew Vargo, 黄瀬 浩一
    • Organizer
      情報処理学会 教育学習支援情報システム研究会(CLE)
  • [Presentation] マルチメディアVocabulometerによる動画の字幕を利用した英単語学習2022

    • Author(s)
      山口 航平, 岩田 基, Andrew Vargo, 黄瀬 浩一
    • Organizer
      情報処理学会 教育学習支援情報システム研究会(CLE)
  • [Presentation] 習慣添付型マイクロラーニングの提案2022

    • Author(s)
      中井 拓海, Andrew Vargo, 黄瀬 浩一
    • Organizer
      情報処理学会 教育学習支援情報システム研究会(CLE)
  • [Presentation] Reading of "Reading" for "Actuating": Augmenting Human Learning by "Experiential Supplements"2022

    • Author(s)
      Koichi Kise
    • Organizer
      Workshop on Words/Machines #4
    • Int'l Joint Research / Invited
  • [Presentation] Confidence Estimation via Wrist Movement2021

    • Author(s)
      Seiya Tanaka, Andrew W. Vargo, Motoi Iwata, Koichi Kise
    • Organizer
      2021 ACM International Joint Conference on Pervasive and Ubiquitous Computing
    • Int'l Joint Research
  • [Presentation] Quality Assessment of Crowdwork via Eye Gaze:Towards Adaptive Personalized Crowdsourcing2021

    • Author(s)
      Md. Rabiul Islam, Shun Nawa, Andrew W. Vargo,Masaki Matsubara, Atsuyuki Morishima, Koichi Kise
    • Organizer
      18th IFIP TC13 International Conference on Human-Computer Interaction (INTRERACT2021)
    • Int'l Joint Research
  • [Presentation] Reading of "Reading" for "Actuating": Augmenting Human Learning by "Experiential Supplements"2021

    • Author(s)
      Koichi Kise
    • Organizer
      The 3rd International Conference on Activity and Behavior Computing
    • Int'l Joint Research / Invited
  • [Presentation] Beyond Camera-Based Document Analysis and Recognition: Towards Camera-Based Human Document Interactions2021

    • Author(s)
      Koichi Kise
    • Organizer
      International Workshop on Document Analysis Systems (2021-9)
    • Int'l Joint Research / Invited

URL: 

Published: 2022-12-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi