• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2018 Fiscal Year Research-status Report

言語通級指導教室における発音指導を支援するシステムの研究開発

Research Project

Project/Area Number 16K00496
Research InstitutionKindai University

Principal Investigator

勝瀬 郁代  近畿大学, 産業理工学部, 講師 (20373540)

Co-Investigator(Kenkyū-buntansha) 平島 ユイ子  国際医療福祉大学, 福岡保健医療学部, 准教授 (10637812)
Project Period (FY) 2016-04-01 – 2020-03-31
Keywords構音障碍 / 発音評価 / 深層学習 / 遠隔診断 / 視覚化
Outline of Annual Research Achievements

平成30年度は、(1)深層学習による音素識別学習と児童へのフィードバック方法の検討(目標1および2)、および(2)学校と外部専門家間の映像通信システムの評価(目標3)を実施した。
(1)については、話者正規化や次元削減等を行った音声情報のスペクトル特徴量またはスペクトル特徴量と音源特徴量を合わせたものを入力とし、音素ラベルまたは弁別素性ラベルを教師データとした多層パーセプトロンを学習した。そして、入力依存線形システムとしてのネットワーク特性または各ネットワーク隠れ層の活動パターンに対して、特異値分解またはt-SNEにより次元削減を行い、2次元平面にて可視化した。次に、音素や構音の位置/様式の識別性能を定量的に評価した。その結果、隠れ層の活動パターンをt-SNEにより次元削減して2次元平面にマップすることにより得たフィードバック画面が、音素もしくは、構音位置または構音様式が十分に識別できるだけの構造を有していることが示された。現在、発音誤りのうち、音素の置換だけではなく、側音化構音などによる歪音声がどのように布置するのかについて調査中である。
(2)については、システムの開発は、前年度に前倒しで完了していたため、今年度は、実際の教育機関において、教員や児童を対象としてシステムの評価実験を行った。そして、対面検査と同等の診断性能を有することを確認した。
これらの成果について、国内外の学術集会にて発表を行った。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

昨年度の実施報告書で言及したように、当初の(目標2)は目標1と同時に実現することとしている。これまでの研究成果により、児童の発音誤りのうち、音素置換誤りについては、フィードバック画面の準備と十分な性能の実現を達成し、先行研究である発音練習webアプリケーションシステムの発音評価方法として組み込める段階まで達成した。また、目標(3)については、システム開発と実地試験による有用性評価が完了し、論文掲載を残すのみとなった。以上のことから、おおよそ予定通りに進捗しているといえる。

Strategy for Future Research Activity

平成31年度は最終年度となるため、主に、論文掲載と国内外での発表を中心に研究を進める。(目標3)については、2018年に論文投稿を行ったが、実験において評価を行った外部専門家が1名のみであったため、掲載には至らなかった。本研究では、評価者は高い専門性と国家資格を有する必要があり、かつ、教育現場に赴く必要があるため、人材確保が難しい。この問題については、平成30年度から新たに研究分担者として参加した研究者と今後の評価方法の再検討を行う。(目標1,2)については、2018年にも国際会議にて発表したが、さらにその続きとなる成果を、2019年に開催される国際会議に投稿中である。このように国内外で広く研究成果を発表するとともに、開発済みのシステムの普及活動にあたる予定である。

Causes of Carryover

2018年度の余剰額376,640円は、当初予定していた実験参加者への謝礼が発生しなかったこと、一部の学会発表を校費で賄ったことが理由である。2019年度は最終年度であるが、謝礼の発生する追実験を実施する予定がある。また、国内外での学会発表、学術雑誌への論文再投稿を予定しており、2019年度分の請求額と合わせた676,640円は、これらの目的のために使用する計画である。

  • Research Products

    (5 results)

All 2019 2018

All Journal Article (1 results) (of which Peer Reviewed: 1 results) Presentation (4 results)

  • [Journal Article] Pilot study on visualization of activities on DNN layers for pronunciation evaluation2019

    • Author(s)
      Ikuyo Masuda-Katsuse
    • Journal Title

      Proc. WESPAC 2018 - 13th Western Pacific Acoustics Conference

      Volume: . Pages: .

    • Peer Reviewed
  • [Presentation] 遠隔構音検査システムの評価~対面検査との比較2019

    • Author(s)
      勝瀬郁代, 平島ユイ子
    • Organizer
      日本音響学会2019年春季研究発表会
  • [Presentation] DNN活動パターンの可視化による発音評価フィードバックに関する 基礎的検討2018

    • Author(s)
      勝瀬郁代
    • Organizer
      教育システム情報学会第43回全国大会
  • [Presentation] 発音評価フィードバックを目的としたDNN活動パターンの可視化2018

    • Author(s)
      勝瀬郁代
    • Organizer
      日本音響学会2018年秋季研究発表会
  • [Presentation] WebRTCを利用した遠隔簡易認知機能検査システムの 開発2018

    • Author(s)
      勝瀬郁代, 大橋直耶
    • Organizer
      平成30年度(第71回)電気・情報関係学会九州支部連合大会

URL: 

Published: 2019-12-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi