2017 Fiscal Year Research-status Report
タブレット端末を活用した指点字の感情打点教示システムの開発
| Project/Area Number |
16K01573
|
|---|
| Research Institution | Kanagawa Institute of Technology |
|---|
Principal Investigator |
松田 康広 神奈川工科大学, 工学部, 教授 (80329309)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | ヒューマンインタフェース / コミュニケーション支援 / 感情伝達 |
|---|
| Outline of Annual Research Achievements |
盲ろう者と健常者のコミュニケーションを支援する、打点教示システムの開発を進めた。打点教示システムは、指点字を習得していない健常者の音声を認識し、その発話内容に対する指点字の打点方法を教示する支援システムである。健常者は教示された打点パターンを見ながら、盲ろう者の指に指点字を打点する。打点教示システムは、初心者には正確な打点を、慣れてきた人にはより自然な打点を実現できるように支援する。
Windows10タブレットPCとWindows開発環境を用い、打点教示システムを開発した。以前のWindows環境とWindows10環境の変更点（音声認識エンジンやかな漢字変換など）を確認し、プログラムの修正を行いながら、打点教示システムの開発を進めた。
打点教示システムは、健常者が左手（非利き手）で操作する必要があり、タッチパネルを使用したインタフェースが有効である。10インチAndroidタブレットを用いて、音声認識結果をかな文字列に変換し、点字表記文字列に変換し、打点パターンを表示するプログラム開発した。基本機能の評価として、音声認識精度、かな文字列への変換精度、点字表記文字列への変換精度に関する評価実験を行った。
打点教示システムは、発話内容の伝達だけでなく、抑揚表現の教示にも慣れた健常者が感情表現できる、感情打点教示を目指している。これまで明らかにされていた、健常者に感情や打点の強さや速さを誘起する教示インタフェースの背景色と打点パターンの組み合わせに加えて、顔文字や絵文字を付加した教示インタフェースを設計し、評価実験を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
Windows10タブレットPCとWindows開発環境を用いて、打点教示システムを開発できた。10インチのAndroidタブレットで打点教示システムを開発し、基本機能の評価実験を行った。感情表現を誘起する教示インタフェースの設計・評価を進め、感情表現を誘起する背景色と打点パターンの組み合わせに加えて、顔文字や絵文字を付加した教示インタフェースの設計・評価を行った。以上から、本研究は、ほぼ順調に進展していると考えられる。
|
| Strategy for Future Research Activity |
引き続き、Windows10タブレットPC上での打点教示システムの開発を進める。Androidタブレット上での打点教示システムの開発を進める。感情表現を誘起する教示インタフェースを打点教示システムに実装する。
|
