• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

人の知識I/Oを加速するセンシングとアクチュエーション

研究課題

研究課題/領域番号 20H04213
研究種目

基盤研究(B)

配分区分補助金
応募区分一般
審査区分 小区分61010:知覚情報処理関連
研究機関大阪公立大学 (2022)
大阪府立大学 (2020-2021)

研究代表者

黄瀬 浩一  大阪公立大学, 大学院情報学研究科, 教授 (80224939)

研究分担者 石丸 翔也  大阪公立大学, 研究推進機構, 客員研究員 (10788730)
岩田 基  大阪公立大学, 大学院情報学研究科, 准教授 (70316008)
研究期間 (年度) 2020-04-01 – 2023-03-31
研究課題ステータス 交付 (2022年度)
配分額 *注記
17,810千円 (直接経費: 13,700千円、間接経費: 4,110千円)
2022年度: 5,330千円 (直接経費: 4,100千円、間接経費: 1,230千円)
2021年度: 5,980千円 (直接経費: 4,600千円、間接経費: 1,380千円)
2020年度: 6,500千円 (直接経費: 5,000千円、間接経費: 1,500千円)
キーワード学習増強 / 学習支援 / 人工知能 / 視線解析 / 音読解析 / 知能増強 / センシング / アクチュエーション / 自己教師あり学習 / Transformer / 読書行動解析 / 未知語推定 / 学習センシング / 学習アクチュエーション / 行動認識 / 英単語学習 / 手書き文字 / 確信度推定 / ナッジ戦略 / 英文多読
研究開始時の研究の概要

学習増強(Learning Augmentation;LA) とは,人の学習に対する知能増強を意味するものであり,機械が人間を助けてより良い学習を実現するという人間中心の研究分野である.本研究では,「人に無理なく知識のI/O を高速化すること」をLA の理念とし,これを実現する新しいモデルを提案し,有効性を大規模実験によって実証することを目的とする.本研究で提案するLA のモデルは,LA の3 軸: (1) 知識の入力と出力,(2) 知識状態と心的状態,(3) 知識状態と心的状態のセンシングとアクチュエーション,を統合的に扱うものである.

研究実績の概要

2021年度は、アクチュエーションの技術開発、自己教師あり学習を用いた行動認識を開発する計画であった。加えて、COVID19の影響で対面実験の実施に制約があったことから、非対面での実験のため、スマートフォンやWeb環境での実験実施のための技術開発も行った。以下、得られた成果について述べる。
(1) 自己教師あり学習を用いた行動認識:読書行動の検出ならびに4択問題の確信度推定について、自己教師あり学習(pretext task を用いた手法、ならびにcontrastive learningを用いた手法)を開発し、従来の機械学習(SVM)を用いた手法や通常の深層学習を用いた手法に対して、高い認識精度が得られることを示した。また、ラベル付きデータの収集手法を開発した。
(2) 適応的問題生成をアクチュエータとした学習増強: transformerを用いて、英語空所補充問題ならびに英語4択問題の生成を試みた。英語空所補充問題とは、英文の一部を空所としてそれを学習者に答えさせる問題である。人間による空所の4割を再現するほか、残りの4割についても(人間の空所とは異なるが)適切な空所を生成できることを示した。一方英語4択問題の生成とは、与えられた正解の単語と位置を考慮し、誤答選択肢を生成するものである。用いる誤答選択肢によって問題の難易度が変化することから、学習者ごとに誤答選択肢を適切に提示することで、学習者の正答率を適切なレンジ(70から85%)に収めることが可能になった。
(3) スマートフォン環境における英語学習のセンシングとアクチュエーション:スマートフォンを用いて英文読解を行う際の加速度やスクロール量などを計測することで、未知語を推定する手法、マルチメディアコンテンツを用いて単語学習を行う手法や、既存に習慣(Webブラウジングなど)にあわせて学習教材を提供するシステムを作成した。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

現在のところ、おおむね順調に進展している。本年度の研究開始当初は、まだCOVID19の影響が大きく、実験などの実施に大きな不安を抱えていたが、強い制約条件の下ではあるが、対面での実験を小規模に実施しつつ、対面実施が必要ではない遠隔実施の実験方法を工夫するなどして、予定していた成果を挙げることができた。具体的には、手法をスマートフォン上で実現することにより、個人が手元で実験できるようにしたり、Webベースでの実験を可能にしたり、などである。一方で、アイトラッカなど対面実施が必須なセンサを用いた実験については、現在のところ不足していることから、次年度(2022年度)にも継続して実験を行なう必要があると考えている。

今後の研究の推進方策

2022年度は最終年度であるため、計画では全体を統括するシステムの構築ならびにその評価、さらには評価に基づく各手法(knowledge state, mental state, activity recognition)の改良がある。前述の通り、COVID19の影響で一部の対面実験が不足していることから、これらの項目に加えて、必要な対面実験の実施を加える。現在のところ、COVID19の影響は徐々に縮小傾向にあることから、実験実施は可能ではないかと考えている。

報告書

(2件)
  • 2021 実績報告書
  • 2020 実績報告書

研究成果

(28件)

すべて 2022 2021 2020 その他

すべて 国際共同研究 (2件) 雑誌論文 (10件) (うち国際共著 3件、 査読あり 9件、 オープンアクセス 4件) 学会発表 (16件) (うち国際学会 9件、 招待講演 3件)

  • [国際共同研究] University of Melbourne(オーストラリア)

    • 関連する報告書
      2021 実績報告書
  • [国際共同研究] ドイツ人工知能研究センター(ドイツ)

    • 関連する報告書
      2020 実績報告書
  • [雑誌論文] Obtaining Labels for In-the-Wild Studies:Using Visual Cues and Recall2022

    • 著者名/発表者名
      Andrew Vargo, Shoya Ishimaru, Md. Rabiul Islam, Benjamin Tag, Koichi Kise
    • 雑誌名

      IEEE Pervasive Computing

      巻: 21 ページ: 9-17

    • DOI

      10.1109/mprv.2021.3129500

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Self-supervised Learning for Reading Activity Classification2021

    • 著者名/発表者名
      Md. Rabiul Islam, Shuji Sakamoto, Yoshihiro Yamada, Andrew W. Vargo, Motoi Iwata, Masakazu Iwamura, and Koichi Kise DOI: 10.1145/3478088
    • 雑誌名

      Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies (ACM IMWUT journal)

      巻: 5 ページ: 1-22

    • DOI

      10.1145/3478088

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Confidence Estimation via Wrist Movement2021

    • 著者名/発表者名
      Seiya Tanaka, Andrew W. Vargo, Motoi Iwata, Koichi Kise
    • 雑誌名

      Proceedings of the 2021 ACM International Joint Conference on Pervasive and Ubiquitous Computing

      巻: 1 ページ: 76-77

    • DOI

      10.1145/3460418.3479286

    • 関連する報告書
      2021 実績報告書
    • 査読あり
  • [雑誌論文] Quality Assessment of Crowdwork via Eye Gaze:Towards Adaptive Personalized Crowdsourcing2021

    • 著者名/発表者名
      Md. Rabiul Islam, Shun Nawa, Andrew W. Vargo,Masaki Matsubara, Atsuyuki Morishima, Koichi Kise
    • 雑誌名

      Proceedings of 18th IFIP TC13 International Conference on Human-Computer Interaction (INTRERACT2021)

      巻: LNISA 12933 ページ: 104-113

    • DOI

      10.1007/978-3-030-85616-8_8

    • 関連する報告書
      2021 実績報告書
    • 査読あり
  • [雑誌論文] Confidence-Aware Learning Assistant2021

    • 著者名/発表者名
      Shoya Ishimaru, Takanori Maruichi, Andreas Dengel, Koichi Kise
    • 雑誌名

      arXiv:2102.07312 [cs.HC]

      巻: 1 ページ: 1-9

    • 関連する報告書
      2020 実績報告書
    • 国際共著
  • [雑誌論文] Focusing on the face or getting distracted by social signals? The effect of distracting gestures on attentional focus in natural interaction2020

    • 著者名/発表者名
      Kajopoulos Jasmin、Cheng Gordon、Kise Koichi、Mueller Hermann J.、Wykowska Agnieszka
    • 雑誌名

      Psychological Research

      巻: 85 ページ: 491-502

    • DOI

      10.1007/s00426-020-01383-4

    • 関連する報告書
      2020 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Mobile vocabulometer: A Context-based Learning Mobile Application to Enhance English Vocabulary Acquisition2020

    • 著者名/発表者名
      Yamaguchi Kohei、Iwata Motoi、Vargo Andrew、Kise Koichi
    • 雑誌名

      Proceedings of the 2020 ACM International Joint Conference on Pervasive and Ubiquitous Computing

      巻: 1 ページ: 156-159

    • DOI

      10.1145/3410530.3414406

    • 関連する報告書
      2020 実績報告書
    • 査読あり
  • [雑誌論文] Handwriting behavior as a self-confidence discriminator2020

    • 著者名/発表者名
      Maruichi Takanori、Uragami Taichi、Vargo Andrew、Kise Koichi
    • 雑誌名

      Proceedings of the 2020 ACM International Joint Conference on Pervasive and Ubiquitous Computing

      巻: 1 ページ: 78-81

    • DOI

      10.1145/3410530.3414383

    • 関連する報告書
      2020 実績報告書
    • 査読あり
  • [雑誌論文] Self-confidence prediction based on analysis of handwriting behavior using log-normal distributions of features2020

    • 著者名/発表者名
      Takanori Maruichi, Koichi Kise
    • 雑誌名

      Proceedings of IAPR Workshop on Document Analysis Systems

      巻: 1 ページ: 1-4

    • 関連する報告書
      2020 実績報告書
    • 査読あり
  • [雑誌論文] Preliminary Experiments Toward Personalized Nudging Strategies Extensive Reading of English2020

    • 著者名/発表者名
      Sadafumi Tonomoto, Motoi Iwata, Koichi Kise
    • 雑誌名

      Proc. of COBI2020

      巻: 1 ページ: 1-8

    • 関連する報告書
      2020 実績報告書
    • 査読あり / オープンアクセス
  • [学会発表] スマートフォンを用いた読書活動データからの未知単語推定2022

    • 著者名/発表者名
      東村 理功,岩田 基,黄瀬 浩一
    • 学会等名
      2022年 電子情報通信学会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 腕の動きとWebカメラを用いた英語問題の確信度推定2022

    • 著者名/発表者名
      田中 勢也, Andrew W. Vargo, 黄瀬 浩一
    • 学会等名
      2022年電子情報通信学会総合大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 英語空所補充問題の自動生成2022

    • 著者名/発表者名
      森瀧 瑞希, 湯浅 成章, Andrew W. Vargo, 黄瀬 浩一
    • 学会等名
      2022年電子情報通信学会総合大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 個人に適した英語多肢選択問題の自動生成方法の提案2022

    • 著者名/発表者名
      湯浅 成章, Andrew Vargo, 黄瀬 浩一
    • 学会等名
      情報処理学会 教育学習支援情報システム研究会(CLE)
    • 関連する報告書
      2021 実績報告書
  • [学会発表] マルチメディアVocabulometerによる動画の字幕を利用した英単語学習2022

    • 著者名/発表者名
      山口 航平, 岩田 基, Andrew Vargo, 黄瀬 浩一
    • 学会等名
      情報処理学会 教育学習支援情報システム研究会(CLE)
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 習慣添付型マイクロラーニングの提案2022

    • 著者名/発表者名
      中井 拓海, Andrew Vargo, 黄瀬 浩一
    • 学会等名
      情報処理学会 教育学習支援情報システム研究会(CLE)
    • 関連する報告書
      2021 実績報告書
  • [学会発表] Reading of "Reading" for "Actuating": Augmenting Human Learning by "Experiential Supplements"2022

    • 著者名/発表者名
      Koichi Kise
    • 学会等名
      Workshop on Words/Machines #4
    • 関連する報告書
      2021 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] Confidence Estimation via Wrist Movement2021

    • 著者名/発表者名
      Seiya Tanaka, Andrew W. Vargo, Motoi Iwata, Koichi Kise
    • 学会等名
      2021 ACM International Joint Conference on Pervasive and Ubiquitous Computing
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] Quality Assessment of Crowdwork via Eye Gaze:Towards Adaptive Personalized Crowdsourcing2021

    • 著者名/発表者名
      Md. Rabiul Islam, Shun Nawa, Andrew W. Vargo,Masaki Matsubara, Atsuyuki Morishima, Koichi Kise
    • 学会等名
      18th IFIP TC13 International Conference on Human-Computer Interaction (INTRERACT2021)
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] Reading of "Reading" for "Actuating": Augmenting Human Learning by "Experiential Supplements"2021

    • 著者名/発表者名
      Koichi Kise
    • 学会等名
      The 3rd International Conference on Activity and Behavior Computing
    • 関連する報告書
      2021 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] Beyond Camera-Based Document Analysis and Recognition: Towards Camera-Based Human Document Interactions2021

    • 著者名/発表者名
      Koichi Kise
    • 学会等名
      International Workshop on Document Analysis Systems (2021-9)
    • 関連する報告書
      2021 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] Mobile vocabulometer: A Context-based Learning Mobile Application to Enhance English Vocabulary Acquisition2020

    • 著者名/発表者名
      Yamaguchi Kohei、Iwata Motoi、Vargo Andrew、Kise Koichi
    • 学会等名
      2020 ACM International Joint Conference on Pervasive and Ubiquitous Computing
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] Handwriting behavior as a self-confidence discriminator2020

    • 著者名/発表者名
      Maruichi Takanori、Uragami Taichi、Vargo Andrew、Kise Koichi
    • 学会等名
      2020 ACM International Joint Conference on Pervasive and Ubiquitous Computing
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] Self-confidence prediction based on analysis of handwriting behavior using log-normal distributions of features2020

    • 著者名/発表者名
      Takanori Maruichi, Koichi Kise
    • 学会等名
      IAPR Workshop on Document Analysis Systems
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] Preliminary Experiments Toward Personalized Nudging Strategies Extensive Reading of English2020

    • 著者名/発表者名
      Sadafumi Tonomoto, Motoi Iwata, Koichi Kise
    • 学会等名
      COBI2020
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] Reading Activity Classification Using Self-supervised Deep Learning2020

    • 著者名/発表者名
      Md. Rabiul Islam, Shuji Sakamoto, Yoshihiro Yamada, Andrew Vargo, Motoi Iwata, Masakazu Iwamura, Koichi Kise
    • 学会等名
      情報処理学会ヒューマンコンピュータインタラクション研究会
    • 関連する報告書
      2020 実績報告書

URL: 

公開日: 2020-04-28   更新日: 2022-12-28  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi