• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Construction of large-scale multimodal database of intellectual creative activities and discovery of productivity improvement methods

Research Project

Project/Area Number 16H02867
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypeSingle-year Grants
Section一般
Research Field Intelligent informatics
Research InstitutionNagoya University

Principal Investigator

Nagao Katashi  名古屋大学, 情報学研究科, 教授 (70343209)

Co-Investigator(Kenkyū-buntansha) 栗原 一貴  津田塾大学, 学芸学部, 准教授 (10462855)
松原 茂樹  名古屋大学, 情報連携統括本部, 教授 (20303589)
Research Collaborator OHIRA Shigeki  
Project Period (FY) 2016-04-01 – 2019-03-31
Project Status Completed (Fiscal Year 2018)
Budget Amount *help
¥16,250,000 (Direct Cost: ¥12,500,000、Indirect Cost: ¥3,750,000)
Fiscal Year 2018: ¥2,730,000 (Direct Cost: ¥2,100,000、Indirect Cost: ¥630,000)
Fiscal Year 2017: ¥2,730,000 (Direct Cost: ¥2,100,000、Indirect Cost: ¥630,000)
Fiscal Year 2016: ¥10,790,000 (Direct Cost: ¥8,300,000、Indirect Cost: ¥2,490,000)
Keywords知的創造活動 / マルチモーダルデータベース / ディスカッション / プレゼンテーション / 機械学習 / 生産性向上 / 教育ビッグデータ / 知的創造活動支援 / データベース / 知能情報学 / 知識発見 / データマイニング / 教育工学
Outline of Final Research Achievements

We have realized a foundation that enables scientific analysis of various intellectual creative activities, mainly for university research. Specifically, we built a structured discussion/presentation database containing various information. In addition, as an application of this database, we have realized a method of evaluating the quality of intellectual creation activities. The evaluation model of the discussion was constructed by a statistical machine learning model, acquiring input data by extracting the acoustic and linguistic characteristics of the speech and the psychophysiological characteristics based on the heart rate of the speaker. The evaluation model of the presentation was constructed using the deep learning method by creating input data from the speaker's voice, eyes, slide contents and hand gestures in a VR environment.

Academic Significance and Societal Importance of the Research Achievements

我々は、すでに知的創造活動の記録・分析・支援に関して多くの実績を有している。その技術を研究活動支援およびディスカッションスキルの評価に利用している。最先端のシステムを長期間保守・運用するノウハウは一朝一夕に得られるものではなく、このような、今後の研究を牽引する準備の整っている研究グループは世界的にも少ない。知的創造活動の詳細な記録をデータベース化し、その特徴を分析することで、生産性向上のための方法論が導かれる。この技術は、人間の創造的活動を科学的に分析し、人間が気づきにくい特徴を発見する手段にもなる。多くの優秀な人材を養成し、日本の世界的な競争力を強化するために、本研究は多大な効果をもたらす。

Report

(4 results)
  • 2018 Annual Research Report   Final Research Report ( PDF )
  • 2017 Annual Research Report
  • 2016 Annual Research Report
  • Research Products

    (32 results)

All 2019 2018 2017 2016

All Journal Article (3 results) (of which Peer Reviewed: 3 results,  Open Access: 1 results) Presentation (27 results) (of which Int'l Joint Research: 6 results) Book (2 results)

  • [Journal Article] Picognizer:電子音の認識のためのJavaScriptライブラリの開発と評価2019

    • Author(s)
      栗原 一貴, 植村 あい子, 板谷 あかり, 北原 鉄朗, 長尾 確
    • Journal Title

      情報処理学会論文誌

      Volume: 60 Pages: 397-410

    • NAID

      170000150111

    • Related Report
      2018 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Evidence-Based Education: Case Study of Educational Data Acquisition and Reuse2017

    • Author(s)
      Katashi Nagao, Naoya Morita, Shigeki Ohira
    • Journal Title

      Journal on Systemics, Cybernetics and Informatics

      Volume: 15 Pages: 77-84

    • Related Report
      2017 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Toolification of Games: 既存ゲームの余剰自由度の中で非ゲーム的目的を達成するゲーミフィケーション周辺概念の提案と検討2017

    • Author(s)
      栗原 一貴
    • Journal Title

      情報処理学会論文誌

      Volume: 58 Pages: 1-13

    • NAID

      170000148554

    • Related Report
      2017 Annual Research Report
    • Peer Reviewed
  • [Presentation] Point Cloud Colorization Based on Densely Annotated 3D Shape Dataset2019

    • Author(s)
      Xu Cao and Katashi Nagao
    • Organizer
      25th International Conference on MultiMedia Modeling (MMM2019)
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Building-Scale Virtual Reality: Another Way to Extend Real World2019

    • Author(s)
      Katashi Nagao, Menglong Yang, Xu Cao and Yusuke Miyakawa
    • Organizer
      IEEE 2nd International Conference on Multimedia Information Processing and Retrieval
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] VRプレゼンテーション環境がユーザに与える心理的影響の検証とその応用2019

    • Author(s)
      渡部 未来, 栗原 一貴
    • Organizer
      第182回ヒューマンコンピュータインタラクション研究会
    • Related Report
      2018 Annual Research Report
  • [Presentation] Case Study on Evaluation of Students' Discussion Statements' Appropriateness Based on their Heart Rate2019

    • Author(s)
      彭 詩朦,大平茂輝,長尾 確
    • Organizer
      第81回情報処理学会全国大会
    • Related Report
      2018 Annual Research Report
  • [Presentation] 仮想空間におけるミーティングの効果的なインタフェースおよび記録手法2019

    • Author(s)
      久門香穂,横山勇斗,長尾 確
    • Organizer
      第81回情報処理学会全国大会
    • Related Report
      2018 Annual Research Report
  • [Presentation] 仮想空間での体験を記録・共有するための手法とその応用2019

    • Author(s)
      横山勇斗,長尾 確
    • Organizer
      第81回情報処理学会全国大会
    • Related Report
      2018 Annual Research Report
  • [Presentation] seq2seqモデルベースRNNによる会議中の発言からの重要単語抽出2019

    • Author(s)
      川瀬卓也,大平茂輝,長尾 確
    • Organizer
      第81回情報処理学会全国大会
    • Related Report
      2018 Annual Research Report
  • [Presentation] 強化学習に基づく大規模屋内環境の3Dコンテンツの自動生成2019

    • Author(s)
      楊 夢龍,長尾 確
    • Organizer
      第81回情報処理学会全国大会
    • Related Report
      2018 Annual Research Report
  • [Presentation] Toolification of Gamesを活用したプレゼンテーション中の立ち位置移動トレーニングの提案2018

    • Author(s)
      松本 華歩, 栗原 一貴
    • Organizer
      エンタテインメントコンピューティングシンポジウム2018
    • Related Report
      2018 Annual Research Report
  • [Presentation] Meeting Analytics: Creative Activity Support Based on Knowledge Discovery from Discussions2018

    • Author(s)
      Katashi Nagao
    • Organizer
      51st Hawaii International Conference on System Sciences
    • Related Report
      2017 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Automatic Evaluation of Presenters’ Discussion Performance based on Their Heart Rate2018

    • Author(s)
      Shimeng Peng and Katashi Nagao
    • Organizer
      10th International Conference on Computer Supported Education
    • Related Report
      2017 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 議論スキル向上のための発言の自動評価とその効果的なフィードバック2018

    • Author(s)
      岡本康佑,松原茂樹,長尾 確
    • Organizer
      情報処理学会第80回全国大会
    • Related Report
      2017 Annual Research Report
  • [Presentation] 仮想空間におけるミーティングコンテンツの効果的な表示とその利用2018

    • Author(s)
      横山勇斗,長尾 確
    • Organizer
      情報処理学会第80回全国大会
    • Related Report
      2017 Annual Research Report
  • [Presentation] 脳波に基づくVRと現実での作業者の心的状態の計測と比較2018

    • Author(s)
      六浦由佳,長尾 確
    • Organizer
      情報処理学会第80回全国大会
    • Related Report
      2017 Annual Research Report
  • [Presentation] コードメトリクスを用いたソースコード評価に基づくプログラミング学習支援システム2018

    • Author(s)
      伊藤瑠哉,大平茂輝,長尾 確
    • Organizer
      情報処理学会第80回全国大会
    • Related Report
      2017 Annual Research Report
  • [Presentation] 機械学習を用いたテニストレーニング支援システム2018

    • Author(s)
      富岡亮太,長尾 確
    • Organizer
      情報処理学会第80回全国大会
    • Related Report
      2017 Annual Research Report
  • [Presentation] Deep Learningを用いた深度画像からの3Dコンテンツの自動生成2018

    • Author(s)
      楊 夢龍,長尾 確
    • Organizer
      情報処理学会第80回全国大会
    • Related Report
      2017 Annual Research Report
  • [Presentation] Automatic Evaluation of Presenters’ Discussion Performance Based on their Heart Rate2018

    • Author(s)
      Shimeng Peng and Katashi Nagao
    • Organizer
      情報処理学会第80回全国大会
    • Related Report
      2017 Annual Research Report
  • [Presentation] Automatic 3D Shape Generation from Category Information2018

    • Author(s)
      Xu Cao and Katashi Nagao
    • Organizer
      情報処理学会第80回全国大会
    • Related Report
      2017 Annual Research Report
  • [Presentation] Picognizer: A JavaScript Library for Detecting and Recognizing Synthesized Sounds2017

    • Author(s)
      Kazutaka Kurihara, Akari Itaya, Aiko Uemura, Tetsuro Kitahara, and Katashi Nagao
    • Organizer
      14th International Conference on Advances in Computer Entertainment Technology (ACE 2017)
    • Related Report
      2017 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Evidence-Based Education: Case Study of Educational Data Acquisition and Reuse2017

    • Author(s)
      Katashi Nagao, Naoya Morita, Shigeki Ohira
    • Organizer
      8th International Multi-Conference on Complexity, Informatics and Cybernetics (IMCIC 2017)
    • Related Report
      2016 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 研究活動における課題遂行のための知的支援システム2017

    • Author(s)
      森田尚也, 大平茂輝, 長尾確
    • Organizer
      情報処理学会第79回全国大会
    • Related Report
      2016 Annual Research Report
  • [Presentation] 会議における発言の一貫性の自動評価とその応用2017

    • Author(s)
      岡本康佑,松原茂樹,長尾確
    • Organizer
      情報処理学会第79回全国大会
    • Related Report
      2016 Annual Research Report
  • [Presentation] コードメトリクスを用いたプログラミング能力の評価とその応用2017

    • Author(s)
      伊藤瑠哉,大平茂輝,長尾確
    • Organizer
      情報処理学会第79回全国大会
    • Related Report
      2016 Annual Research Report
  • [Presentation] 心理的負担軽減を目的とした発表映像振り返りシステムの検討2017

    • Author(s)
      内海舞子, 栗原一貴
    • Organizer
      インタラクション2017
    • Related Report
      2016 Annual Research Report
  • [Presentation] ディスレクシア障害を抱えた人が手軽に使用できるオンライン動画字幕読み上げシステム2016

    • Author(s)
      應武双葉, 栗原一貴
    • Organizer
      情報処理学会研究報告2016-AAC-2(9)
    • Related Report
      2016 Annual Research Report
  • [Presentation] プレゼンテーションコンパニオンロボットを用いたプレゼンターの心的負担軽減手法の検討2016

    • Author(s)
      橋本美香, 栗原一貴
    • Organizer
      エンタテインメントコンピューティングシンポジウム2016
    • Related Report
      2016 Annual Research Report
  • [Book] Artificial Intelligence Accelerates Human Learning: Discussion Data Analytics2019

    • Author(s)
      Katashi Nagao
    • Total Pages
      160
    • Publisher
      Springer Nature Singapore Pte Ltd.
    • ISBN
      9789811361746
    • Related Report
      2018 Annual Research Report
  • [Book] ディスカッションを科学する―人間と人工知能の共生2018

    • Author(s)
      長尾 確
    • Total Pages
      199
    • Publisher
      慶應義塾大学出版会
    • Related Report
      2017 Annual Research Report

URL: 

Published: 2016-04-21   Modified: 2020-03-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi