• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2016 Fiscal Year Annual Research Report

Construction of Knowledge Log Based on Activity Analysis and Its Applications

Research Project

Project/Area Number 25240028
Research InstitutionOsaka Prefecture University

Principal Investigator

黄瀬 浩一  大阪府立大学, 工学(系)研究科(研究院), 教授 (80224939)

Co-Investigator(Kenkyū-buntansha) 岩田 基  大阪府立大学, 工学(系)研究科(研究院), 准教授 (70316008)
岩村 雅一  大阪府立大学, 工学(系)研究科(研究院), 准教授 (80361129)
内海 ゆづ子  大阪府立大学, 工学(系)研究科(研究院), 助教 (80613489)
Project Period (FY) 2013-04-01 – 2017-03-31
KeywordsKnowledge log / Reading-Life Log / アイトラッキング / シーンテキスト認識 / 物体認識 / 眼電位法 / 生体信号解析 / 感情解析
Outline of Annual Research Achievements

Knowledge Logを実現するために,以下の研究を行った.
(1) 学習に関する成果:知識は学習によって獲得される.本研究では英語学習を対象に,獲得した知識の量と質に関する研究を行った.具体的には,以下の3つの成果を挙げた.第一は,英語に関する一般的な知識レベルの推定である.指標としてはTOEICスコアを用いた.TOEICの長文問題(Part7)に回答する際の視線データを解析することにより,TOEICスコアを推定した.他の被験者の視線データが利用可能な問題を用いた場合,2問の視線データを用いたときの平均推定誤差は33点,そうでない場合には6問のデータを用いて65点となった.第二は,個別知識の確信度である.同様にTOEICを対象として,多肢選択問題(Part5)を対象とし,回答時の視線データに基づいて回答への確信度を推定した.その結果90%を上回る精度で推定に成功した.最後は,未知の推定である.英文読解時の視線データから未知単語を推定した.その結果,recallが99%のとき,precisionが33%という結果を得た.以上より,英語を対象とした様々なKnowledge logが獲得可能であることがわかった.
(2) 物体認識に関する成果: 日常的な知識の獲得を検出するためには,コンテクストの把握が重要である.そのために必要な機能の一つとして,画像を用いた物体認識がある.PramidSepDropという新しいDeep Neural Networkの構造を提案し,CIFAR10, CIFAR100というベンチマークデータセットを用いて評価したところ,世界最高性能を発揮することがわかった.
(3) 感情解析に関する成果: 知識はそれを獲得,運用したときの感情と密接な関係にある.本研究では,心拍や皮膚コンダクタンスなどの生体信号を用いて読書時の感情の推移を推定する手法を提案した.

Research Progress Status

28年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

28年度が最終年度であるため、記入しない。

  • Research Products

    (24 results)

All 2017 2016 Other

All Int'l Joint Research (1 results) Journal Article (2 results) (of which Peer Reviewed: 2 results,  Acknowledgement Compliant: 2 results) Presentation (19 results) (of which Int'l Joint Research: 11 results) Funded Workshop (2 results)

  • [Int'l Joint Research] ドイツ人工知能研究センター(ドイツ)

    • Country Name
      GERMANY
    • Counterpart Institution
      ドイツ人工知能研究センター
  • [Journal Article] 視線情報と一人称視点画像を用いた文書カテゴリの自動識別2016

    • Author(s)
      志賀 優毅、内海 ゆづ子、岩村 雅一、Kai Kunze、黄瀬 浩一
    • Journal Title

      電子情報通信学会論文誌

      Volume: J99-D Pages: 950-958

    • Peer Reviewed / Acknowledgement Compliant
  • [Journal Article] 物体検出器の検出傾向に基づく動画像のイベント検出2016

    • Author(s)
      内海 ゆづ子,勝手 美紗,岩村 雅一,黄瀬 浩一
    • Journal Title

      電子情報通信学会論文誌

      Volume: J99-D Pages: 583-587

    • Peer Reviewed / Acknowledgement Compliant
  • [Presentation] 次元数の異なる部分空間同士の近似最近傍部分空間探索2017

    • Author(s)
      山本大貴,岩村 雅一,黄瀬 浩一
    • Organizer
      電子情報通信学会パターン認識メディア理解研究会
    • Place of Presentation
      名古屋市,愛知県
    • Year and Date
      2017-03-20 – 2017-03-21
  • [Presentation] 視点情報と単語の出現頻度を用いた主観的高難易度単語の推定2017

    • Author(s)
      大社 綾乃,Olivier Augereau,黄瀬 浩一
    • Organizer
      電子情報通信学会パターン認識メディア理解研究会
    • Place of Presentation
      札幌市,北海道
    • Year and Date
      2017-02-18 – 2017-02-19
  • [Presentation] 英語多肢選択問題解答時の視線に基づく確信度推定2017

    • Author(s)
      山田 健斗,大社 綾乃,藤好 宏樹,星加 健介,Olivier Augereau,黄瀬 浩一
    • Organizer
      電子情報通信学会パターン認識メディア理解研究会
    • Place of Presentation
      札幌市,北海道
    • Year and Date
      2017-02-18 – 2017-02-19
  • [Presentation] 問題解答時の視点情報を用いた文書非依存な英語能力推定法2017

    • Author(s)
      藤好 宏樹, Olivier Augereau, 黄瀬 浩一
    • Organizer
      電子情報通信学会パターン認識メディア理解研究会
    • Place of Presentation
      札幌市,北海道
    • Year and Date
      2017-02-18 – 2017-02-19
  • [Presentation] PyramidNetにおける確率的な正則化の効果の検証2017

    • Author(s)
      山田 良博,岩村 雅一,黄瀬 浩一
    • Organizer
      電子情報通信学会パターン認識メディア理解研究会
    • Place of Presentation
      札幌市,北海道
    • Year and Date
      2017-02-18 – 2017-02-19
  • [Presentation] Emotional arousal estimation while reading comics based on physiological signal analysis2016

    • Author(s)
      Mizuki Matsubara,Olivier Augereau,Charles Lima Sanches,Koichi Kise
    • Organizer
      First International Workshop on coMics ANalysis, Processing and Understanding (MANPU2016)
    • Place of Presentation
      Cancun, Mexico
    • Year and Date
      2016-12-06
    • Int'l Joint Research
  • [Presentation] Comic visualization on smartphones based on eye tracking2016

    • Author(s)
      Olivier Augereau, Mizuki Matsubara, Koichi Kise
    • Organizer
      First International Workshop on coMics ANalysis, Processing and Understanding (MANPU2016)
    • Place of Presentation
      Cancun, Mexico
    • Year and Date
      2016-12-06
    • Int'l Joint Research
  • [Presentation] Manga Content Analysis Using Physiological Signals2016

    • Author(s)
      Charles Lima Sanches, Olivier Augereau, Koichi Kise
    • Organizer
      First International Workshop on coMics ANalysis, Processing and Understanding (MANPU2016)
    • Place of Presentation
      Cancun, Mexico
    • Year and Date
      2016-12-06
    • Int'l Joint Research
  • [Presentation] Towards an Automated Estimation of English Skill via TOEIC Score Based on Reading Analysis2016

    • Author(s)
      Olivier Augereau, Hiroki Fujiyoshi and Koichi Kise
    • Organizer
      International Conference on Pattern Recognition
    • Place of Presentation
      Cancun, Mexico
    • Year and Date
      2016-12-04 – 2016-12-08
    • Int'l Joint Research
  • [Presentation] Downtown Osaka Scene Text Dataset2016

    • Author(s)
      Masakazu Iwamura, Takahiro Matsuda, Naoyuki Morimoto, Hitomi Sato, Yuki Ikeda and Koichi Kise
    • Organizer
      2nd International Workshop on Robust Reading (ECCV 2016 Workshops, Part I)
    • Place of Presentation
      Amsterdam, The Nethelands
    • Year and Date
      2016-10-09
    • Int'l Joint Research
  • [Presentation] Automatic Character Labeling for Camera Captured Document Images2016

    • Author(s)
      Wei Fan, Koichi Kise, and Masakazu Iwamura
    • Organizer
      The International Conference on Image Processing (ICIP 2016)
    • Place of Presentation
      Phoenix, USA
    • Year and Date
      2016-09-25 – 2016-09-28
    • Int'l Joint Research
  • [Presentation] The Wordometer 2.0 - Estimating the Number of Words You Read in Real Life using Commercial EOG Glasses2016

    • Author(s)
      Shoya Ishimaru, Kai Kunze, Koichi Kise, and Andreas Dengel
    • Organizer
      2016 ACM International Joint Conference on Pervasive and Ubiquitous Computing
    • Place of Presentation
      Heidelberg, Germany
    • Year and Date
      2016-09-12 – 2016-09-16
    • Int'l Joint Research
  • [Presentation] Reading Interventions - Tracking Reading State and Designing Interventions.2016

    • Author(s)
      Shoya Ishimaru, Tilman Dingler, Kai Kunze, Koichi Kise, and Andreas Dengel.
    • Organizer
      2016 ACM International Joint Conference on Pervasive and Ubiquitous Computing
    • Place of Presentation
      Heidelberg, Germany
    • Year and Date
      2016-09-12 – 2016-09-16
    • Int'l Joint Research
  • [Presentation] 視覚障害者のための環境文字情報提示システムの検討2016

    • Author(s)
      岩村 雅一、宮田 武嗣、程 征、田井中 渓志、黄瀬 浩一
    • Organizer
      情報処理学会 アクセシビリティ研究会(AAC)
    • Place of Presentation
      千代田区,東京都
    • Year and Date
      2016-07-29 – 2016-07-30
  • [Presentation] リーディングライフログを用いた日常的な読書行動の計量2016

    • Author(s)
      星加 健介,石丸 翔也,Olivier Augereau,黄瀬浩一
    • Organizer
      電子情報通信学会パターン認識メディア理解研究会
    • Place of Presentation
      名古屋市,愛知県
    • Year and Date
      2016-05-19 – 2016-05-20
  • [Presentation] 読書行動の検出における有効な視線特徴量の選定2016

    • Author(s)
      中嶌 一樹,内海 ゆづ子,岩村 雅一,黄瀬 浩一
    • Organizer
      情報処理学会コンピュータビジョンとイメージメディア研究会
    • Place of Presentation
      茨木市,大阪府
    • Year and Date
      2016-05-12 – 2016-05-13
  • [Presentation] Fast and Memory Saving Instance Search with Approximate Reverse Nearest Neighbor Search Using Reverse Lookup2016

    • Author(s)
      Tomokazu Sato, Masakazu Iwamura, Kitahiro Kaneda, Koichi Kise
    • Organizer
      Second IEEE International Conference on Multimedia Big Data (BigMM2016)
    • Place of Presentation
      Taipei, Taiwan
    • Year and Date
      2016-04-20 – 2016-04-22
    • Int'l Joint Research
  • [Presentation] Semi-Automatic Text and Graphics Extraction of Manga Using Eye Tracking Information2016

    • Author(s)
      Christophe Rigaud, Thanh-Nam Le, Jean-Christophe Burie, Jean-Marc Ogier, Shoya Ishimaru, Motoi Iwata, and Koichi Kise
    • Organizer
      International Workshop on Document Analysis Systems
    • Place of Presentation
      Santorini, Greece
    • Year and Date
      2016-04-11 – 2016-04-14
    • Int'l Joint Research
  • [Presentation] Camera-Based System for User Friendly Annotation of Documents2016

    • Author(s)
      Yusuke Oguma, Koichi Kise
    • Organizer
      International Workshop on Document Analysis Systems
    • Place of Presentation
      Santorini, Greece
    • Year and Date
      2016-04-11 – 2016-04-14
    • Int'l Joint Research
  • [Funded Workshop] 3rd Workshop on Ubiquitous Technologies for Augmenting the Human Mind2016

    • Place of Presentation
      Heidelberg, Germany
    • Year and Date
      2016-09-12 – 2016-09-12
  • [Funded Workshop] International Workshop on Document Analysis Systems2016

    • Place of Presentation
      Santorini, Greece
    • Year and Date
      2016-04-11 – 2016-04-14

URL: 

Published: 2018-01-16  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi