ネットワークに対応した聴覚障害児用発話訓練ソフトウェアの開発

2001 Fiscal Year Annual Research Report

• Project/Area Number: 11680229
• Research Institution: CHUBU UNIVERSITY
• Principal Investigator: 梅崎 太造 中部大学, 工学部, 教授 (40193932)
• Keywords: 発話訓練 / 聴覚障害児 / インターネット教育 / 読話訓練 / リップリーディング / ゲームランド / 発話表情 / コホーネンネットワーク

Research Abstract

今年度は、以下に示す項目について検討した。
1.より滑らかな発話表情動画像を生成するアルゴリズムの開発
コホーネン型ニューラルネットワーク(KNN)による発話表情の自動合成法を提案し、音声との同期法について実験的検証を行った。日本語の単音節が子音+母音という構成に着目し、母音から母音への発話表情系列のみを発話表情の合成に使用した。KNNにより母音発話時及び非発話時の顔表情静止画像計6枚から発話表情系列を自動生成した。また、表情安定区間及び表情変化区間を音声のパワー値により判定して発話表情系列と音声を同期させることで、発話表情の合成が可能であることを示した。
2.読話(リップリーディング)訓練ソフトウェアの開発
音声合成ライブラリとコホーネン型ニューラルネットワーク(以後KNNと略す)により生成した画像を用いることで、複雑なルール設定を必要とせず、小規模データベースで構築できる読話訓練ソフトウェアを開発した。ビデオ映像に近い合成画像が生成できたことにより、読話訓練用ソフトウェアとしての活用に期待できる。
3.ゲームランド的要素を持つ発話訓練ソフトウェアの開発
これまで、基本訓練からゲーム性、知育性の要素をゲームに組み入れてきたが、今回はさらに進化して、訓練を行う児童自ら発話訓練メニューの進行順序や難易度等を設定でき、アドベンチャーゲームのように段階的な達成感が得られる訓練ソフトウェアを目標に開発した。複数のソフトウェアを統合し、ゲームランド的要素を取り入れている。
4.福祉ロボットへの組み込み
歩行訓練用に開発している福祉ロボットに今回開発した発話訓練ソフトウェアと読話訓練ソフトウェアを組み込んだ。これにより訓練指導を行う教師の顔を訓練現場で登録して、すぐに教師の口形状変化を見ながら児童が訓練できるようになった。
5.ソフトウェアをCD-ROMで配布
昨年度同様、本ソフトウェアセットはCD-ROMにて無償配布しており、愛知県下の聾学校を始めとする約50の関係機関で既に使用されている。特に千種聾学校と岡崎聾学校では積極的に協力していただいた。

Research Products

• [Publications] 木村成宏, 佐藤省三, 梅崎太造: "発話表情の自動生成"電子情報通信学会, 信学技報. PRMU2001-39. 1-8 (2001)
• [Publications] 丹羽英之, 内藤正紀, 梅崎太造, 佐藤省三: "歩行訓練機能を持つ福祉ロボット"日本ME学会東海支部学術集会. 10. 19 (2001)
• [Publications] 木村成宏, 梅崎太造, 佐藤省三: "母音同期に基づく発話表情画像の自動生成"電気関係学会, 東海支部連合大会, 講論集. 505. 253 (2001)
• [Publications] 猪又信義, 梅崎太造, 田中泰史: "3D版発話訓練ソフトウェアの開発"電気関係学会, 東海支部連合大会, 講論集. 506. 253 (2001)
• [Publications] 丹羽英之, 内藤正紀, 梅崎太造, 佐藤省三: "歩行リハビリテーション用福祉ロボットの開発"電気関係学会, 東海支部連合大会, 講論集. 715. 358 (2001)