• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2015 年度 実績報告書

アクティビティ解析に基づくKnowledge Logの構築とその応用

研究課題

研究課題/領域番号 25240028
研究機関大阪府立大学

研究代表者

黄瀬 浩一  大阪府立大学, 工学(系)研究科(研究院), 教授 (80224939)

研究分担者 岩田 基  大阪府立大学, 工学(系)研究科(研究院), 助教 (70316008)
岩村 雅一  大阪府立大学, 工学(系)研究科(研究院), 准教授 (80361129)
内海 ゆづ子  大阪府立大学, 工学(系)研究科(研究院), 助教 (80613489)
研究期間 (年度) 2013-04-01 – 2017-03-31
キーワードリーディングライフログ / シーンテキスト認識 / アイトラッカ / 眼電位法 / アノーテーション付与
研究実績の概要

本年度は,Knowledge Logを獲得するための基本システムを構築した.具体的には,様々なセンサやデバイスごとに,どのような形でKnowledge Logの獲得に貢献できるかを考慮し,システムを作成した.以下,構築したシステムについて述べる.(1) 据え置き型アイトラッカを用いた処理:視線解析によってTOEICスコアのリアルタイム推定が可能となった.これによって,人が英語に関する知識をどの程度持っていて,それがどう変化しているのがが分かるようになった.(2) 廉価版据え置き型アイトラッカを用いた主観的高難易度単語の推定:同様に視線解析によって,学習者にとって難易度の高い単語を取り出すことに成功した.これによって,学習者は読むだけで,復習すべき単語のリストを得ることができ,知識獲得の補助が可能となった.用いたアイトラッカは廉価版(2万円以下)であるため,技術の普及にも大きく役に立つ.(3) 読みの計量:人の知識は読書量と強い相関がある.そこで,読んだ単語の量を継続的に計測する万語計を作成した.使用したデバイスは,廉価版据え置き型アイトラッカ,眼電位計測(EOG)眼鏡(JINS MEME)の2つである.アイトラッカについてはディスプレイの前に座ったときだけ計測可能であるが,EOG眼鏡の場合は常に計測可能である.(4) 読んだ時間の推定:読みの量は読んだ時間にも相関がある.据え置き型アイトラッカとEOG眼鏡を用いて,読みの時間を計測する技術も開発した.また,知識の獲得は人との会話にも関係があるので,会話を検出する手法についても同時に開発した.(5) 知識の出力の把握:上記の(4)までは知識の入力に関するものであった.我々は知識の出力についてもログを取るシステムを開発した.具体的には,人が文書を読んでコメントを注釈として付ける際に,それを電子的に記録するシステムを開発した.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

様々なデバイスを用いて,Knowledge Logに必要な様々な機能を実現した.
高精度なデバイスは高精度な計測を可能とするため,それを元に作成されたシステムは一般に性能が高い.ただし,そのようなデバイスは高価であるため,データを大量に長時間記録することには向かない.そこで我々は精度はそれほど高くなくても安価なデバイスに着目した.具体的には廉価版据え置き型アイトラッカ,ならびにEOG眼鏡である.これらは,研究者ではなく一般ユーザ向けに市販されているものであり,価格も数万円と問題なく手の届く範囲である.これらのデバイスを用いてどの程度のKnowledge Logが獲得できるのかが,今年度のチャレンジの一つであった.その結果,据え置き型アイトラッカについては,読んだ語数の計量,ならびに読んだ時間の計量に有効であり,EOG眼鏡は読んだ時間の計量に有効であることが分かった.一方で,理解度や能力の推定には限界があることも明らかとなった.
もう一つのチャレンジは,どの程度,英語の能力が計測できるかであった.この場合,デバイスとしては,高価なものを用いてもよく,限界を明らかにすることが動機であった.その結果,2~3ページの英文書を読むだけで,TOEICスコアが24点の誤差で推定可能なことがわかった.これは予想を上回る優れた結果であった.

今後の研究の推進方策

対象を英語や物理などの学習に絞ることによって,プロトタイプシステムの有効性を検証する.具体的には,TOEICなどの一般的な能力を推定する機能に加えて,具体的にどの箇所が問題なのかを個別に指摘する機能を組み入れる.大規模なユーザスタディを行うことによって,システムの利点,限界を明らかにする予定である.

  • 研究成果

    (36件)

すべて 2016 2015 その他

すべて 国際共同研究 (2件) 雑誌論文 (4件) (うち査読あり 3件、 謝辞記載あり 2件) 学会発表 (30件) (うち国際学会 16件、 招待講演 2件)

  • [国際共同研究] ドイツ人工知能研究センター(ドイツ)

    • 国名
      ドイツ
    • 外国機関名
      ドイツ人工知能研究センター
  • [国際共同研究] ラロッシェル大学(フランス)

    • 国名
      フランス
    • 外国機関名
      ラロッシェル大学
  • [雑誌論文] 均等色空間からRGB表色系への変換に起因する抽出誤りを防止した電子透かし法2015

    • 著者名/発表者名
      岩田 基,江口 健太,黄瀬 浩一
    • 雑誌名

      日本画像学会誌

      巻: 54 ページ: 284-291

    • DOI

      10.11370/isj.54.284

    • 査読あり
  • [雑誌論文] Individuality-Preserving Silhouette Extraction for Gait Recognition2015

    • 著者名/発表者名
      Yasushi Makihara, Takuya Tanoue, Daigo Muramatsu, Yasushi Yagi, Syunsuke Mori, Yuzuko Utsumi, Masakazu Iwamura and Koichi Kise
    • 雑誌名

      IPSJ Transactions on Computer Vision and Applicaitons (CVA)

      巻: 7 ページ: 74-78

    • DOI

      10.2197/ipsjtcva.7.74

    • 査読あり / 謝辞記載あり
  • [雑誌論文] 特徴点の一意決定性を利用した高速なアフィン不変文字認識2015

    • 著者名/発表者名
      堀松 晃、岩村 雅一、黄瀬 浩一
    • 雑誌名

      電子情報通信学会論文誌D

      巻: J98-D ページ: 651-660

    • DOI

      10.14923/transinfhj/2014IUP0016

    • 査読あり
  • [雑誌論文] 文字・文書メディアの新しい利用基盤技術の開発への取組み2015

    • 著者名/発表者名
      黄瀬 浩一,大町 真一郎,内田 誠一,岩村 雅一
    • 雑誌名

      電子情報通信学会誌

      巻: 98 ページ: 311-327

    • DOI

      10.1016/j.cie.2010.08.007

    • 謝辞記載あり
  • [学会発表] 多様な文書にも対応可能なカメラベース文書アノーテーション付与・共有2016

    • 著者名/発表者名
      小熊 勇佑,黄瀬 浩一
    • 学会等名
      電子情報通信学会パターン認識メディア理解研究会
    • 発表場所
      産業技術総合研究所副都心センター(東京都江東区)
    • 年月日
      2016-03-24 – 2016-03-25
  • [学会発表] 視点情報を用いた電子コミックの表示方法2016

    • 著者名/発表者名
      松原 瑞氣,Olivier Augereau,岩田 基,黄瀬 浩一
    • 学会等名
      電子情報通信学会パターン認識メディア理解研究会
    • 発表場所
      産業技術総合研究所副都心センター(東京都江東区)
    • 年月日
      2016-03-24 – 2016-03-25
  • [学会発表] 視点情報を用いた主観的高難易度単語の推定2016

    • 著者名/発表者名
      大社 綾乃, 石丸 翔也, Olivier Augereau, 黄瀬 浩一
    • 学会等名
      電子情報通信学会パターン認識メディア理解研究会
    • 発表場所
      産業技術総合研究所副都心センター(東京都江東区)
    • 年月日
      2016-03-24 – 2016-03-25
  • [学会発表] 視点情報を用いた英語習熟度推定法の実験的検討2016

    • 著者名/発表者名
      藤好 宏樹,石丸 翔也,Olivier Augereau,黄瀬 浩一
    • 学会等名
      電子情報通信学会パターン認識メディア理解研究会
    • 発表場所
      産業技術総合研究所副都心センター(東京都江東区)
    • 年月日
      2016-03-24 – 2016-03-25
  • [学会発表] 立体音響で教える全方位単語感知システム2016

    • 著者名/発表者名
      宮田 武嗣,岩村 雅一,黄瀬 浩一
    • 学会等名
      電子情報通信学会パターン認識メディア理解研究会
    • 発表場所
      産業技術総合研究所副都心センター(東京都江東区)
    • 年月日
      2016-03-24 – 2016-03-25
  • [学会発表] 大規模歩容モデルの高速検索に基づく歩容認証のための人物領域抽出2016

    • 著者名/発表者名
      森 俊介,岩村雅一,内海 ゆづ子,黄瀬 浩一,田上 拓弥,槇原 靖,村松 大吾,八木 康史
    • 学会等名
      情報処理学会コンピュータビジョンとイメージメディア研究会
    • 発表場所
      金沢工業大学(石川県野々市市)
    • 年月日
      2016-03-03 – 2016-03-04
  • [学会発表] 画像検索を用いて位置検出用マーカのない印刷物から透かしを抽出できる電子透かし法2016

    • 著者名/発表者名
      小川 広晃,岩田 基,黄瀬 浩一
    • 学会等名
      Symposium on Cryptograpphy and Information Security
    • 発表場所
      ANAクラウンプラザホテル熊本ニュースカイ(熊本県熊本市)
    • 年月日
      2016-01-19 – 2016-01-22
  • [学会発表] スマートフォンを用いた透かし入り動画から透かし領域を推定する電子透かし法の性能評価2016

    • 著者名/発表者名
      水島 尚良,岩田 基,黄瀬 浩一
    • 学会等名
      2016年暗号と情報セキュリティシンポジウム
    • 発表場所
      ANAクラウンプラザホテル熊本ニニュースカイ(熊本県熊本市)
    • 年月日
      2016-01-19 – 2016-01-22
  • [学会発表] DCT-OFDM based watermarking scheme robust against clipping, rotation, and scaling attacks2015

    • 著者名/発表者名
      Hiroaki Ogawa, Minoru Kuribayashi, Motoi Iwata, Koichi Kise
    • 学会等名
      14th International Workshop on Digital-forensics and Watermarking
    • 発表場所
      東京理科大学(東京都葛飾区)
    • 年月日
      2015-10-07 – 2015-10-10
    • 国際学会
  • [学会発表] Media-Independent Stamp-Based Document Annotation Using DocumentImage Retrieval2015

    • 著者名/発表者名
      Yusuke Oguma and Koichi Kise
    • 学会等名
      1st International Workshop on Visual Recognition and Retrieval for Mixed and Augmented Reality
    • 発表場所
      福岡国際会議場(福岡県福岡市)
    • 年月日
      2015-10-03
    • 国際学会
  • [学会発表] Quantifying Reading Habits: Counting How Many Words You Read2015

    • 著者名/発表者名
      Kai Kunze, Katsutoshi Masai, Masahiko Inami, Omer Sacakli, Marcus Liwicki, Andreas Dengel, Shoya Ishimaru, Koichi Kise
    • 学会等名
      2015 ACM International Joint Conference on Pervasive and Ubiquitous Computing (UbiComp 2015)
    • 発表場所
      グランフロント大阪(大阪府大阪市)
    • 年月日
      2015-09-07 – 2015-09-11
    • 国際学会
  • [学会発表] MEME ― Eye Wear Computing to Explore Human Behavior2015

    • 著者名/発表者名
      Kai Kunze, Yuji Uema, Katsuma Tanaka, Shoya Ishimaru, Koichi Kise and Masahiko Inami
    • 学会等名
      2015 ACM International Joint Conference on Pervasive and Ubiquitous Computing Adjunct Publication (UbiComp2015)
    • 発表場所
      グランフロント大阪(大阪府大阪市)
    • 年月日
      2015-09-07 – 2015-09-11
    • 国際学会
  • [学会発表] Extraction of Read Text for Automatic Video Annotation2015

    • 著者名/発表者名
      Mizuki Matsubara, Joachim Folz, Takumi Toyama, Marcus Liwicki, Andreas Dengel, Koichi Kise
    • 学会等名
      2015 ACM International Symposium on Wearable Computers
    • 発表場所
      グランフロント大阪(大阪府大阪市)
    • 年月日
      2015-09-07 – 2015-09-11
    • 国際学会
  • [学会発表] 2nd Workshop on Ubiquitous Technologies to Augment the Human Mind: Towards the Knowledge Log2015

    • 著者名/発表者名
      Kai Kunze, Tilman Dingler, Niels Henze, Koichi Kise, Yoichi Sato
    • 学会等名
      2nd Workshop on Ubiquitous Technologies to Augment the Human Mind: Towards the Knowledge Log
    • 発表場所
      グランフロント大阪(大阪府大阪市)
    • 年月日
      2015-09-07 – 2015-09-08
    • 国際学会 / 招待講演
  • [学会発表] Quantifying the Mental State on the Basis of Physical and Social Activities2015

    • 著者名/発表者名
      Shoya Ishimaru, Koichi Kise
    • 学会等名
      2nd Workshop on Ubiquitous Technologies to Augment the Human Mind: Towards the Knowledge Log
    • 発表場所
      グランフロント大阪(大阪府大阪市)
    • 年月日
      2015-09-07 – 2015-09-08
    • 国際学会
  • [学会発表] Reading Similarity Measure Based on Comparison of Fixation Sequences2015

    • 著者名/発表者名
      Riki Kudo, Olivier Augereau, Takuto Rou, Koichi Kise
    • 学会等名
      2nd Workshop on Ubiquitous Technologies to Augment the Human Mind: Towards the Knowledge Log
    • 発表場所
      グランフロント大阪(大阪府大阪市)
    • 年月日
      2015-09-07 – 2015-09-08
    • 国際学会
  • [学会発表] Eye gaze and text line matching for reading analysis2015

    • 著者名/発表者名
      Charles Lima Sanches, Olivier Augereau, Koichi Kise
    • 学会等名
      2nd Workshop on Ubiquitous Technologies to Augment the Human Mind: Towards the Knowledge Log
    • 発表場所
      グランフロント大阪(大阪府大阪市)
    • 年月日
      2015-09-07 – 2015-09-08
    • 国際学会
  • [学会発表] Speech balloon and speaker association for comics and manga understanding2015

    • 著者名/発表者名
      Christophe Rigaud, Nam Le Thanh, J.-C. Burie, J.-M. Ogier, Motoi Iwata, Eiki Imazu, Koichi Kise
    • 学会等名
      13th International Conference on Document Analysis and Recognition (ICDAR2015)
    • 発表場所
      Prouve congress center, Nancy, France
    • 年月日
      2015-08-23 – 2015-08-26
    • 国際学会
  • [学会発表] ICDAR 2015 Robust Reading Competition2015

    • 著者名/発表者名
      Dimosthenis Karatzas, Lluis Gomez-Bigorda, Anguelos Nicolaou, Suman Ghosh, Andrew Bagdanov, Masakazu Iwamura, Jiri Matas, Lukas Neumann, Vijay Ramaseshan Chandrasekhar, Shijian Lu, Faisal Shafait, Seiichi Uchida, and Ernest Valveny
    • 学会等名
      13th International Conference on Document Analysis and Recognition (ICDAR2015)
    • 発表場所
      Prouve congress center, Nancy, France
    • 年月日
      2015-08-23 – 2015-08-26
    • 国際学会
  • [学会発表] A proposal of a document image reading-life log based on document image retrieval and eyetracking2015

    • 著者名/発表者名
      Olivier Augereau, Koichi Kise, Kensuke Hoshika
    • 学会等名
      13th International Conference on Document Analysis and Recognition (ICDAR2015)
    • 発表場所
      Prouve congress center, Nancy, France
    • 年月日
      2015-08-23 – 2015-08-26
    • 国際学会
  • [学会発表] The Eye as the Window of the Language Ability: Estimation of English Skills by Analyzing Eye Movement While Reading Documents2015

    • 著者名/発表者名
      Kazuyo Yoshimura, Kai Kunze, Koichi Kise
    • 学会等名
      13th International Conference on Document Analysis and Recognition (ICDAR2015)
    • 発表場所
      Prouve congress center, Nancy, France
    • 年月日
      2015-08-23 – 2015-08-26
    • 国際学会
  • [学会発表] Document Analysis Meets Activity Recognition: A New Paradigm of Analyzing Documents in Combination With Users’ Reading Behavior2015

    • 著者名/発表者名
      Koichi Kise
    • 学会等名
      13th International Conference on Document Analysis and Recognition (ICDAR2015)
    • 発表場所
      Prouve congress center, Nancy, France
    • 年月日
      2015-08-23 – 2015-08-26
    • 国際学会 / 招待講演
  • [学会発表] Estimating the number of read words with the Wordometer2015

    • 著者名/発表者名
      Olivier Augereau, Kai Kunze, Koichi Kise
    • 学会等名
      画像の認識理解シンポジウム
    • 発表場所
      ホテル阪急エキスポパーク(大阪府吹田市)
    • 年月日
      2015-07-27 – 2015-07-30
  • [学会発表] 英文問題解答時の視点情報を用いた英語能力推定法2015

    • 著者名/発表者名
      藤好 宏樹,吉村 和代,Kai Kunze,黄瀬 浩一
    • 学会等名
      電子情報通信学会パターン認識メディア理解研究会
    • 発表場所
      三重大学(三重県津市)
    • 年月日
      2015-05-24 – 2015-05-25
  • [学会発表] 学習補助のための視点情報に基づく文書アノテーション2015

    • 著者名/発表者名
      大社 綾乃, Kai Kunze, Olivier Augereau, 黄瀬 浩一
    • 学会等名
      電子情報通信学会パターン認識メディア理解研究会
    • 発表場所
      三重大学(三重県津市)
    • 年月日
      2015-05-24 – 2015-05-25
  • [学会発表] 視点情報に基づくリーディングライフログの取得とその視覚化2015

    • 著者名/発表者名
      星加 健介,藤好 宏樹,Olivier Augereau,黄瀬浩一
    • 学会等名
      電子情報通信学会パターン認識メディア理解研究会
    • 発表場所
      三重大学(三重県津市)
    • 年月日
      2015-05-24 – 2015-05-25
  • [学会発表] Bucket Distance HashingとMetric Learningを組み合わせた表情変化に頑健かつ高速な顔認識2015

    • 著者名/発表者名
      水野 智也,内海 ゆづ子,岩村 雅一,黄瀬 浩一
    • 学会等名
      情報処理学会コンピュータビジョンとイメージメディア研究会
    • 発表場所
      日本科学未来館(東京都江東区)
    • 年月日
      2015-05-18 – 2015-05-19
  • [学会発表] 顔認識における特定物体認識と一般物体認識の比較2015

    • 著者名/発表者名
      宮川 拓也,内海 ゆづ子,岩村 雅一,黄瀬 浩一
    • 学会等名
      情報処理学会コンピュータビジョンとイメージメディア研究会
    • 発表場所
      日本科学未来館(東京都江東区)
    • 年月日
      2015-05-18 – 2015-05-19
  • [学会発表] Towards Extraction of Subjective Reading Incomprehension: Analysis of Eye Gaze Features2015

    • 著者名/発表者名
      Ayano Okoso, Joachim Folz, Takumi Toyama, Marcus Liwicki, Kai Kunze, Koichi Kise
    • 学会等名
      33rd Annual ACM Conference on Human Factors in Computing Systems
    • 発表場所
      COEX, Seoul, Korea
    • 年月日
      2015-04-18 – 2015-04-23
    • 国際学会
  • [学会発表] Smart Eyewear for Interaction and Activity Recognition2015

    • 著者名/発表者名
      Shoya Ishimaru, Kai Kunze, Katsuma Tanaka, Yuji Uema, Koichi Kise and Masahiko Inami
    • 学会等名
      33rd Annual ACM Conference on Human Factors in Computing Systems
    • 発表場所
      COEX, Seoul, Korea
    • 年月日
      2015-04-18 – 2015-04-23
    • 国際学会

URL: 

公開日: 2017-01-06  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi