2016 Fiscal Year Research-status Report
タブレット端末を活用した指点字の感情打点教示システムの開発
| Project/Area Number |
16K01573
|
|---|
| Research Institution | Kanagawa Institute of Technology |
|---|
Principal Investigator |
松田 康広 神奈川工科大学, 工学部, 教授 (80329309)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | ヒューマンインタフェース / コミュニケーション支援 |
|---|
| Outline of Annual Research Achievements |
盲ろう者と健常者のコミュニケーションを支援する、打点教示システムの開発を進めた。打点教示システムは、指点字を習得していない健常者の音声を認識し、その発話内容に対する指点字の打点方法を教示する支援システムである。健常者は教示された打点パターンを見ながら、盲ろう者の指に指点字を打点する。打点教示システムは、初心者には正確な打点を、慣れてきた人にはより自然な打点を実現できるように支援する。
Windows10タブレットPCとWindows開発環境を整備し、打点教示システムの開発に着手した。以前のWindows環境とWindows10環境の変更点（音声認識エンジンやかな漢字変換など）を確認しながら、打点教示システムの開発を進めている。
打点教示システムは、健常者が左手（非利き手）で操作する必要があり、タッチパネルを使用したインタフェースが有効である。5インチAndroidスマートフォンを用いて、打点パターンを表示する教示インタフェースを設計した。表示する打点パターン数の異なる2種類の教示インタフェース（1列5文字と2列12文字）を設計し、どちらの教示インタフェースが適しているかを明らかにする評価実験を行った。表示される打点パターンが小さくなるが、2列12文字の教示インタフェースの方が適していることが明らかになった。
打点教示システムは、発話内容の伝達だけでなく、抑揚表現の教示にも慣れた健常者が感情表現できる、感情打点教示を目指している。これまで明らかにされていた、健常者に感情や打点の強さや速さを誘起する教示インタフェースの背景色と打点パターンの組み合わせに加えて、顔文字を付加した教示インタフェースを設計し、評価実験を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
Windows10タブレットPCとWindows開発環境を整備できた。5インチのAndroidスマートフォンについて教示インタフェースの設計・評価を行った。感情表現を誘起する教示インタフェースの設計・評価を進め、感情表現を誘起する背景色と打点パターンの組み合わせに加えて、顔文字付加した教示インタフェースを設計・評価を行った。以上から、本研究は、ほぼ順調に進展していると考えられる。
|
| Strategy for Future Research Activity |
引き続き、Windows10タブレットPC上での打点教示システムの開発を進める。Androidタブレットの音声認識結果から点字表記文字列に変換し、打点パターンを表示するプログラム開発を進める。感情表現を誘起する教示インタフェースに顔文字や絵文字の付加を検討する。
|
