• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2016 Fiscal Year Annual Research Report

文字認知が困難な児童生徒の能動的読書を可能にするマルチモーダル教科書の開発と評価

Research Project

Project/Area Number 26282044
Research InstitutionIbaraki University

Principal Investigator

藤芳 明生  茨城大学, 工学部, 准教授 (00323212)

Project Period (FY) 2014-04-01 – 2018-03-31
Keywords教育工学 / ヒューマン・インターフェイス / 障害者支援 / ユニバーサルデザイン / 文字認知障害
Outline of Annual Research Achievements

平成28年度は、教科書以外の教材を音声付にする技術の開発を中心に行った。教科書バリアフリー法により、我々のマルチモーダル教科書以外にも、様々な形式の音声付教科書が普及してきている。しかし、教科書以外に目を向けると、音声付教材の普及はそれほど進んでいない。この理由は、教師による音声付教材の作成が困難であることや、著作権の使用許諾を得る手続きの複雑さおよび困難さなどが上げられる。そこで、本研究では、この問題に対応する2つの形式の音声付教材を開発した。一つ目は、録音機能付きの音声ペンを用いたマルチモーダル教材であり、二つ目は、昨年度開発したAR技術を用いた教科書読み上げアプリを改良したものである。
今年度も、昨年度から引き続き、マルチモーダル教科書の自動作成システムの更なる改良に取り組みとともに、自動作成システムに蓄積されたデータを利用して様々なフォーマットのアクセシブル教科書を自動生成する技術の開発し実装を行った。自動作成システムには、教科書のPDFファイルのレイアウト情報及びテキスト情報を持つデータが蓄積されている。このデータ変換し、DAISY教科書、音声埋め込みアクセシブルPDF教科書、AR技術を利用したスマホ向け教科書読み上げアプリを生成できるようになった。
マルチモーダル教科書の普及に向け、全国的な教科書の提供を続けている。平成28年度は、東京都、埼玉県、茨城県、大阪府、奈良県の約150名の児童・生徒にマルチモーダル教科書を提供し、実証実験に協力いただいている。
本研究の研究成果について、国内外の学会において発表を行った。平成28年7月にオーストリアのリンツで開催された国際会議ICCHP2017において、マルチモーダル教科書及び音声埋め込みPDF教科書作成技術について研究成果を発表し、海外の研究者からも大きな注目を集めることとなった。

Current Status of Research Progress
Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

マルチモーダル教科書の自動作成システムの改良が進み、改訂版の教科書の作成もスムーズに行えるようになっている。小学校は平成27年度から、中学校は平成28年度から、改訂された教科書が使用開始された。自動作成システムの活用により、小学校国語については、光村図書の教科書は平成27年6月中に、東京書籍の教科書は平成27年9月中に完成させることができた。中学校国語については、光村図書の教科書は平成28年5月中に、東京書籍の教科書は平成28年10月中に完成させることができた。
マルチモーダル教科書の普及に向け、全国的に教科書の提供を開始することができた。平成28年度までに、東京都、埼玉県、茨城県、大阪府、奈良県ののべ約200名の児童・生徒にマルチモーダル教科書を提供し、実証実験に協力してもらっている。
さらに、新しいタイプの障害者向けデジタル教科書として、音声埋め込みアクセシブルPDF教科書と、AR技術を利用したスマホ向け教科書読み上げアプリを開発し、実証実験を始めている。
教科書出版会社からの協力も取り付けることに成功している。光村図書出版、学校図書、三省堂の3社には数年前から協力してもらっているが、平成26年度からは教科書出版の最大手である東京書籍からも協力してもらえることとなっている。

Strategy for Future Research Activity

平成29年度は最終年度であり、これまでに蓄積されたデータの解析を行い、研究成果を広く発表することに取り組む。東京都、埼玉県、茨城県、大阪府、奈良県ののべ約200名の児童・生徒にマルチモーダル教科書を提供し、実証実験に協力してもらっている。アンケート調査を行うとともに、興味深い事例については、担任の教師らとディスカッションを行い、事例の収集にも努めてきた。それらをまとめ、どのような障害の特性を持つ児童生徒にマルチモーダル教科書が有効であるのか、どのような児童生徒には他の形式の補助教材の使用を勧めるべきなのかを明らかにすることに努める。
マルチモーダル教科書が今後も残っていけるように、普及に向けた活動にも、より一層取り組む。今年度は、日本特殊教育学会大会及び日本LD学会大会にいて、研究発表及びマルチモーダル教科書の展示を行いたいと考えている。

  • Research Products

    (9 results)

All 2016 Other

All Int'l Joint Research (1 results) Journal Article (4 results) (of which Peer Reviewed: 4 results,  Acknowledgement Compliant: 3 results) Presentation (2 results) Remarks (2 results)

  • [Int'l Joint Research] チェコ工科大学(チェコ)

    • Country Name
      CZECH
    • Counterpart Institution
      チェコ工科大学
  • [Journal Article] 形式文法を用いて化学構造式中の示性式を自動認識する化学構造式OCRの提案2016

    • Author(s)
      佐藤文恭,藤芳明生
    • Journal Title

      情報処理学会論文誌

      Volume: 57 Pages: 2467-2474

    • Peer Reviewed / Acknowledgement Compliant
  • [Journal Article] Development of a Unified Production System for Various Types of Accessible Textbooks2016

    • Author(s)
      Takuya Takaira, Yoshiaki Tani, and Akio Fujiyoshi
    • Journal Title

      Proceedings of the 15th International Conference on Computers Helping People with Special Needs (ICCHP 2016)

      Volume: LNCS 9758 Pages: 381-388

    • DOI

      10.1007/978-3-319-41264-1_52

    • Peer Reviewed / Acknowledgement Compliant
  • [Journal Article] A Simple Viewer and Editor of Sound-Embedded PDF for Elementary School Students with Print Disabilities2016

    • Author(s)
      Yoshiaki Tani, Takuya Takaira, and Akio Fujiyoshi
    • Journal Title

      Proceedings of the 15th International Conference on Computers Helping People with Special Needs (ICCHP 2016)

      Volume: LNCS 9758 Pages: 359-366

    • DOI

      10.1007/978-3-319-41264-1_49

    • Peer Reviewed / Acknowledgement Compliant
  • [Journal Article] A Practical Algorithm for the Uniform Membership Problem of Labeled Multidigraphs of Tree-Width 2 for Spanning Tree Automata2016

    • Author(s)
      Akio Fujiyoshi
    • Journal Title

      Proceedings of the 19th Conference on Implementation and Application of Automata (CIAA 2016)

      Volume: LNCS 9705 Pages: 101-112

    • DOI

      10.1007/978-3-319-40946-7_9

    • Peer Reviewed
  • [Presentation] 紙ベースの音声付教材の効率的な作成手法の開発2016

    • Author(s)
      藤芳明生、藤芳衛
    • Organizer
      日本特殊教育学会 第54回大会
    • Place of Presentation
      新潟コンベンションセンター
    • Year and Date
      2016-09-17 – 2016-09-19
  • [Presentation] 重度視覚障害者用点図作成システムBplot(コマンド記述方式)2016

    • Author(s)
      藤芳衛、藤芳明生、石田透、澤崎陽彦
    • Organizer
      日本特殊教育学会 第54回大会
    • Place of Presentation
      新潟コンベンションセンター
    • Year and Date
      2016-09-17 – 2016-09-19
  • [Remarks] 音声付教科書の紹介ページ

    • URL

      http://apricot.cis.ibaraki.ac.jp/textbook/

  • [Remarks] マルチモーダル書籍制作システムの公開ページ

    • URL

      http://apricot.cis.ibaraki.ac.jp/MultimodalPublicationProducer/

URL: 

Published: 2018-01-16   Modified: 2022-02-16  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi