• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2015 Fiscal Year Annual Research Report

アクティビティ解析に基づくKnowledge Logの構築とその応用

Research Project

Project/Area Number 25240028
Research InstitutionOsaka Prefecture University

Principal Investigator

黄瀬 浩一  大阪府立大学, 工学(系)研究科(研究院), 教授 (80224939)

Co-Investigator(Kenkyū-buntansha) 岩田 基  大阪府立大学, 工学(系)研究科(研究院), 助教 (70316008)
岩村 雅一  大阪府立大学, 工学(系)研究科(研究院), 准教授 (80361129)
内海 ゆづ子  大阪府立大学, 工学(系)研究科(研究院), 助教 (80613489)
Project Period (FY) 2013-04-01 – 2017-03-31
Keywordsリーディングライフログ / シーンテキスト認識 / アイトラッカ / 眼電位法 / アノーテーション付与
Outline of Annual Research Achievements

本年度は,Knowledge Logを獲得するための基本システムを構築した.具体的には,様々なセンサやデバイスごとに,どのような形でKnowledge Logの獲得に貢献できるかを考慮し,システムを作成した.以下,構築したシステムについて述べる.(1) 据え置き型アイトラッカを用いた処理:視線解析によってTOEICスコアのリアルタイム推定が可能となった.これによって,人が英語に関する知識をどの程度持っていて,それがどう変化しているのがが分かるようになった.(2) 廉価版据え置き型アイトラッカを用いた主観的高難易度単語の推定:同様に視線解析によって,学習者にとって難易度の高い単語を取り出すことに成功した.これによって,学習者は読むだけで,復習すべき単語のリストを得ることができ,知識獲得の補助が可能となった.用いたアイトラッカは廉価版(2万円以下)であるため,技術の普及にも大きく役に立つ.(3) 読みの計量:人の知識は読書量と強い相関がある.そこで,読んだ単語の量を継続的に計測する万語計を作成した.使用したデバイスは,廉価版据え置き型アイトラッカ,眼電位計測(EOG)眼鏡(JINS MEME)の2つである.アイトラッカについてはディスプレイの前に座ったときだけ計測可能であるが,EOG眼鏡の場合は常に計測可能である.(4) 読んだ時間の推定:読みの量は読んだ時間にも相関がある.据え置き型アイトラッカとEOG眼鏡を用いて,読みの時間を計測する技術も開発した.また,知識の獲得は人との会話にも関係があるので,会話を検出する手法についても同時に開発した.(5) 知識の出力の把握:上記の(4)までは知識の入力に関するものであった.我々は知識の出力についてもログを取るシステムを開発した.具体的には,人が文書を読んでコメントを注釈として付ける際に,それを電子的に記録するシステムを開発した.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

様々なデバイスを用いて,Knowledge Logに必要な様々な機能を実現した.
高精度なデバイスは高精度な計測を可能とするため,それを元に作成されたシステムは一般に性能が高い.ただし,そのようなデバイスは高価であるため,データを大量に長時間記録することには向かない.そこで我々は精度はそれほど高くなくても安価なデバイスに着目した.具体的には廉価版据え置き型アイトラッカ,ならびにEOG眼鏡である.これらは,研究者ではなく一般ユーザ向けに市販されているものであり,価格も数万円と問題なく手の届く範囲である.これらのデバイスを用いてどの程度のKnowledge Logが獲得できるのかが,今年度のチャレンジの一つであった.その結果,据え置き型アイトラッカについては,読んだ語数の計量,ならびに読んだ時間の計量に有効であり,EOG眼鏡は読んだ時間の計量に有効であることが分かった.一方で,理解度や能力の推定には限界があることも明らかとなった.
もう一つのチャレンジは,どの程度,英語の能力が計測できるかであった.この場合,デバイスとしては,高価なものを用いてもよく,限界を明らかにすることが動機であった.その結果,2~3ページの英文書を読むだけで,TOEICスコアが24点の誤差で推定可能なことがわかった.これは予想を上回る優れた結果であった.

Strategy for Future Research Activity

対象を英語や物理などの学習に絞ることによって,プロトタイプシステムの有効性を検証する.具体的には,TOEICなどの一般的な能力を推定する機能に加えて,具体的にどの箇所が問題なのかを個別に指摘する機能を組み入れる.大規模なユーザスタディを行うことによって,システムの利点,限界を明らかにする予定である.

  • Research Products

    (36 results)

All 2016 2015 Other

All Int'l Joint Research (2 results) Journal Article (4 results) (of which Peer Reviewed: 3 results,  Acknowledgement Compliant: 2 results) Presentation (30 results) (of which Int'l Joint Research: 16 results,  Invited: 2 results)

  • [Int'l Joint Research] ドイツ人工知能研究センター(ドイツ)

    • Country Name
      GERMANY
    • Counterpart Institution
      ドイツ人工知能研究センター
  • [Int'l Joint Research] ラロッシェル大学(フランス)

    • Country Name
      FRANCE
    • Counterpart Institution
      ラロッシェル大学
  • [Journal Article] 均等色空間からRGB表色系への変換に起因する抽出誤りを防止した電子透かし法2015

    • Author(s)
      岩田 基,江口 健太,黄瀬 浩一
    • Journal Title

      日本画像学会誌

      Volume: 54 Pages: 284-291

    • DOI

      10.11370/isj.54.284

    • Peer Reviewed
  • [Journal Article] Individuality-Preserving Silhouette Extraction for Gait Recognition2015

    • Author(s)
      Yasushi Makihara, Takuya Tanoue, Daigo Muramatsu, Yasushi Yagi, Syunsuke Mori, Yuzuko Utsumi, Masakazu Iwamura and Koichi Kise
    • Journal Title

      IPSJ Transactions on Computer Vision and Applicaitons (CVA)

      Volume: 7 Pages: 74-78

    • DOI

      10.2197/ipsjtcva.7.74

    • Peer Reviewed / Acknowledgement Compliant
  • [Journal Article] 特徴点の一意決定性を利用した高速なアフィン不変文字認識2015

    • Author(s)
      堀松 晃、岩村 雅一、黄瀬 浩一
    • Journal Title

      電子情報通信学会論文誌D

      Volume: J98-D Pages: 651-660

    • DOI

      10.14923/transinfhj/2014IUP0016

    • Peer Reviewed
  • [Journal Article] 文字・文書メディアの新しい利用基盤技術の開発への取組み2015

    • Author(s)
      黄瀬 浩一,大町 真一郎,内田 誠一,岩村 雅一
    • Journal Title

      電子情報通信学会誌

      Volume: 98 Pages: 311-327

    • DOI

      10.1016/j.cie.2010.08.007

    • Acknowledgement Compliant
  • [Presentation] 多様な文書にも対応可能なカメラベース文書アノーテーション付与・共有2016

    • Author(s)
      小熊 勇佑,黄瀬 浩一
    • Organizer
      電子情報通信学会パターン認識メディア理解研究会
    • Place of Presentation
      産業技術総合研究所副都心センター(東京都江東区)
    • Year and Date
      2016-03-24 – 2016-03-25
  • [Presentation] 視点情報を用いた電子コミックの表示方法2016

    • Author(s)
      松原 瑞氣,Olivier Augereau,岩田 基,黄瀬 浩一
    • Organizer
      電子情報通信学会パターン認識メディア理解研究会
    • Place of Presentation
      産業技術総合研究所副都心センター(東京都江東区)
    • Year and Date
      2016-03-24 – 2016-03-25
  • [Presentation] 視点情報を用いた主観的高難易度単語の推定2016

    • Author(s)
      大社 綾乃, 石丸 翔也, Olivier Augereau, 黄瀬 浩一
    • Organizer
      電子情報通信学会パターン認識メディア理解研究会
    • Place of Presentation
      産業技術総合研究所副都心センター(東京都江東区)
    • Year and Date
      2016-03-24 – 2016-03-25
  • [Presentation] 視点情報を用いた英語習熟度推定法の実験的検討2016

    • Author(s)
      藤好 宏樹,石丸 翔也,Olivier Augereau,黄瀬 浩一
    • Organizer
      電子情報通信学会パターン認識メディア理解研究会
    • Place of Presentation
      産業技術総合研究所副都心センター(東京都江東区)
    • Year and Date
      2016-03-24 – 2016-03-25
  • [Presentation] 立体音響で教える全方位単語感知システム2016

    • Author(s)
      宮田 武嗣,岩村 雅一,黄瀬 浩一
    • Organizer
      電子情報通信学会パターン認識メディア理解研究会
    • Place of Presentation
      産業技術総合研究所副都心センター(東京都江東区)
    • Year and Date
      2016-03-24 – 2016-03-25
  • [Presentation] 大規模歩容モデルの高速検索に基づく歩容認証のための人物領域抽出2016

    • Author(s)
      森 俊介,岩村雅一,内海 ゆづ子,黄瀬 浩一,田上 拓弥,槇原 靖,村松 大吾,八木 康史
    • Organizer
      情報処理学会コンピュータビジョンとイメージメディア研究会
    • Place of Presentation
      金沢工業大学(石川県野々市市)
    • Year and Date
      2016-03-03 – 2016-03-04
  • [Presentation] 画像検索を用いて位置検出用マーカのない印刷物から透かしを抽出できる電子透かし法2016

    • Author(s)
      小川 広晃,岩田 基,黄瀬 浩一
    • Organizer
      Symposium on Cryptograpphy and Information Security
    • Place of Presentation
      ANAクラウンプラザホテル熊本ニュースカイ(熊本県熊本市)
    • Year and Date
      2016-01-19 – 2016-01-22
  • [Presentation] スマートフォンを用いた透かし入り動画から透かし領域を推定する電子透かし法の性能評価2016

    • Author(s)
      水島 尚良,岩田 基,黄瀬 浩一
    • Organizer
      2016年暗号と情報セキュリティシンポジウム
    • Place of Presentation
      ANAクラウンプラザホテル熊本ニニュースカイ(熊本県熊本市)
    • Year and Date
      2016-01-19 – 2016-01-22
  • [Presentation] DCT-OFDM based watermarking scheme robust against clipping, rotation, and scaling attacks2015

    • Author(s)
      Hiroaki Ogawa, Minoru Kuribayashi, Motoi Iwata, Koichi Kise
    • Organizer
      14th International Workshop on Digital-forensics and Watermarking
    • Place of Presentation
      東京理科大学(東京都葛飾区)
    • Year and Date
      2015-10-07 – 2015-10-10
    • Int'l Joint Research
  • [Presentation] Media-Independent Stamp-Based Document Annotation Using DocumentImage Retrieval2015

    • Author(s)
      Yusuke Oguma and Koichi Kise
    • Organizer
      1st International Workshop on Visual Recognition and Retrieval for Mixed and Augmented Reality
    • Place of Presentation
      福岡国際会議場(福岡県福岡市)
    • Year and Date
      2015-10-03
    • Int'l Joint Research
  • [Presentation] Quantifying Reading Habits: Counting How Many Words You Read2015

    • Author(s)
      Kai Kunze, Katsutoshi Masai, Masahiko Inami, Omer Sacakli, Marcus Liwicki, Andreas Dengel, Shoya Ishimaru, Koichi Kise
    • Organizer
      2015 ACM International Joint Conference on Pervasive and Ubiquitous Computing (UbiComp 2015)
    • Place of Presentation
      グランフロント大阪(大阪府大阪市)
    • Year and Date
      2015-09-07 – 2015-09-11
    • Int'l Joint Research
  • [Presentation] MEME ― Eye Wear Computing to Explore Human Behavior2015

    • Author(s)
      Kai Kunze, Yuji Uema, Katsuma Tanaka, Shoya Ishimaru, Koichi Kise and Masahiko Inami
    • Organizer
      2015 ACM International Joint Conference on Pervasive and Ubiquitous Computing Adjunct Publication (UbiComp2015)
    • Place of Presentation
      グランフロント大阪(大阪府大阪市)
    • Year and Date
      2015-09-07 – 2015-09-11
    • Int'l Joint Research
  • [Presentation] Extraction of Read Text for Automatic Video Annotation2015

    • Author(s)
      Mizuki Matsubara, Joachim Folz, Takumi Toyama, Marcus Liwicki, Andreas Dengel, Koichi Kise
    • Organizer
      2015 ACM International Symposium on Wearable Computers
    • Place of Presentation
      グランフロント大阪(大阪府大阪市)
    • Year and Date
      2015-09-07 – 2015-09-11
    • Int'l Joint Research
  • [Presentation] 2nd Workshop on Ubiquitous Technologies to Augment the Human Mind: Towards the Knowledge Log2015

    • Author(s)
      Kai Kunze, Tilman Dingler, Niels Henze, Koichi Kise, Yoichi Sato
    • Organizer
      2nd Workshop on Ubiquitous Technologies to Augment the Human Mind: Towards the Knowledge Log
    • Place of Presentation
      グランフロント大阪(大阪府大阪市)
    • Year and Date
      2015-09-07 – 2015-09-08
    • Int'l Joint Research / Invited
  • [Presentation] Quantifying the Mental State on the Basis of Physical and Social Activities2015

    • Author(s)
      Shoya Ishimaru, Koichi Kise
    • Organizer
      2nd Workshop on Ubiquitous Technologies to Augment the Human Mind: Towards the Knowledge Log
    • Place of Presentation
      グランフロント大阪(大阪府大阪市)
    • Year and Date
      2015-09-07 – 2015-09-08
    • Int'l Joint Research
  • [Presentation] Reading Similarity Measure Based on Comparison of Fixation Sequences2015

    • Author(s)
      Riki Kudo, Olivier Augereau, Takuto Rou, Koichi Kise
    • Organizer
      2nd Workshop on Ubiquitous Technologies to Augment the Human Mind: Towards the Knowledge Log
    • Place of Presentation
      グランフロント大阪(大阪府大阪市)
    • Year and Date
      2015-09-07 – 2015-09-08
    • Int'l Joint Research
  • [Presentation] Eye gaze and text line matching for reading analysis2015

    • Author(s)
      Charles Lima Sanches, Olivier Augereau, Koichi Kise
    • Organizer
      2nd Workshop on Ubiquitous Technologies to Augment the Human Mind: Towards the Knowledge Log
    • Place of Presentation
      グランフロント大阪(大阪府大阪市)
    • Year and Date
      2015-09-07 – 2015-09-08
    • Int'l Joint Research
  • [Presentation] Speech balloon and speaker association for comics and manga understanding2015

    • Author(s)
      Christophe Rigaud, Nam Le Thanh, J.-C. Burie, J.-M. Ogier, Motoi Iwata, Eiki Imazu, Koichi Kise
    • Organizer
      13th International Conference on Document Analysis and Recognition (ICDAR2015)
    • Place of Presentation
      Prouve congress center, Nancy, France
    • Year and Date
      2015-08-23 – 2015-08-26
    • Int'l Joint Research
  • [Presentation] ICDAR 2015 Robust Reading Competition2015

    • Author(s)
      Dimosthenis Karatzas, Lluis Gomez-Bigorda, Anguelos Nicolaou, Suman Ghosh, Andrew Bagdanov, Masakazu Iwamura, Jiri Matas, Lukas Neumann, Vijay Ramaseshan Chandrasekhar, Shijian Lu, Faisal Shafait, Seiichi Uchida, and Ernest Valveny
    • Organizer
      13th International Conference on Document Analysis and Recognition (ICDAR2015)
    • Place of Presentation
      Prouve congress center, Nancy, France
    • Year and Date
      2015-08-23 – 2015-08-26
    • Int'l Joint Research
  • [Presentation] A proposal of a document image reading-life log based on document image retrieval and eyetracking2015

    • Author(s)
      Olivier Augereau, Koichi Kise, Kensuke Hoshika
    • Organizer
      13th International Conference on Document Analysis and Recognition (ICDAR2015)
    • Place of Presentation
      Prouve congress center, Nancy, France
    • Year and Date
      2015-08-23 – 2015-08-26
    • Int'l Joint Research
  • [Presentation] The Eye as the Window of the Language Ability: Estimation of English Skills by Analyzing Eye Movement While Reading Documents2015

    • Author(s)
      Kazuyo Yoshimura, Kai Kunze, Koichi Kise
    • Organizer
      13th International Conference on Document Analysis and Recognition (ICDAR2015)
    • Place of Presentation
      Prouve congress center, Nancy, France
    • Year and Date
      2015-08-23 – 2015-08-26
    • Int'l Joint Research
  • [Presentation] Document Analysis Meets Activity Recognition: A New Paradigm of Analyzing Documents in Combination With Users’ Reading Behavior2015

    • Author(s)
      Koichi Kise
    • Organizer
      13th International Conference on Document Analysis and Recognition (ICDAR2015)
    • Place of Presentation
      Prouve congress center, Nancy, France
    • Year and Date
      2015-08-23 – 2015-08-26
    • Int'l Joint Research / Invited
  • [Presentation] Estimating the number of read words with the Wordometer2015

    • Author(s)
      Olivier Augereau, Kai Kunze, Koichi Kise
    • Organizer
      画像の認識理解シンポジウム
    • Place of Presentation
      ホテル阪急エキスポパーク(大阪府吹田市)
    • Year and Date
      2015-07-27 – 2015-07-30
  • [Presentation] 英文問題解答時の視点情報を用いた英語能力推定法2015

    • Author(s)
      藤好 宏樹,吉村 和代,Kai Kunze,黄瀬 浩一
    • Organizer
      電子情報通信学会パターン認識メディア理解研究会
    • Place of Presentation
      三重大学(三重県津市)
    • Year and Date
      2015-05-24 – 2015-05-25
  • [Presentation] 学習補助のための視点情報に基づく文書アノテーション2015

    • Author(s)
      大社 綾乃, Kai Kunze, Olivier Augereau, 黄瀬 浩一
    • Organizer
      電子情報通信学会パターン認識メディア理解研究会
    • Place of Presentation
      三重大学(三重県津市)
    • Year and Date
      2015-05-24 – 2015-05-25
  • [Presentation] 視点情報に基づくリーディングライフログの取得とその視覚化2015

    • Author(s)
      星加 健介,藤好 宏樹,Olivier Augereau,黄瀬浩一
    • Organizer
      電子情報通信学会パターン認識メディア理解研究会
    • Place of Presentation
      三重大学(三重県津市)
    • Year and Date
      2015-05-24 – 2015-05-25
  • [Presentation] Bucket Distance HashingとMetric Learningを組み合わせた表情変化に頑健かつ高速な顔認識2015

    • Author(s)
      水野 智也,内海 ゆづ子,岩村 雅一,黄瀬 浩一
    • Organizer
      情報処理学会コンピュータビジョンとイメージメディア研究会
    • Place of Presentation
      日本科学未来館(東京都江東区)
    • Year and Date
      2015-05-18 – 2015-05-19
  • [Presentation] 顔認識における特定物体認識と一般物体認識の比較2015

    • Author(s)
      宮川 拓也,内海 ゆづ子,岩村 雅一,黄瀬 浩一
    • Organizer
      情報処理学会コンピュータビジョンとイメージメディア研究会
    • Place of Presentation
      日本科学未来館(東京都江東区)
    • Year and Date
      2015-05-18 – 2015-05-19
  • [Presentation] Towards Extraction of Subjective Reading Incomprehension: Analysis of Eye Gaze Features2015

    • Author(s)
      Ayano Okoso, Joachim Folz, Takumi Toyama, Marcus Liwicki, Kai Kunze, Koichi Kise
    • Organizer
      33rd Annual ACM Conference on Human Factors in Computing Systems
    • Place of Presentation
      COEX, Seoul, Korea
    • Year and Date
      2015-04-18 – 2015-04-23
    • Int'l Joint Research
  • [Presentation] Smart Eyewear for Interaction and Activity Recognition2015

    • Author(s)
      Shoya Ishimaru, Kai Kunze, Katsuma Tanaka, Yuji Uema, Koichi Kise and Masahiko Inami
    • Organizer
      33rd Annual ACM Conference on Human Factors in Computing Systems
    • Place of Presentation
      COEX, Seoul, Korea
    • Year and Date
      2015-04-18 – 2015-04-23
    • Int'l Joint Research

URL: 

Published: 2017-01-06  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi