2018 Fiscal Year Annual Research Report
Development of emotion teaching system of Finger Braille using tablet computers
| Project/Area Number |
16K01573
|
|---|
| Research Institution | Kanagawa Institute of Technology |
|---|
Principal Investigator |
松田 康広 神奈川工科大学, 工学部, 教授 (80329309)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | ヒューマンインタフェース / コミュニケーション支援 / 感情伝達 |
|---|
| Outline of Annual Research Achievements |
盲ろう者と健常者のコミュニケーションを支援する、打点教示システムの開発を進めた。打点教示システムは、指点字を習得していない健常者の音声を認識し、その発話内容に対する指点字の打点方法を教示する支援システムである。健常者は教示された打点パターンを見ながら、盲ろう者の指に指点字を打点する。打点教示システムは、初心者には正確な打点を、慣れてきた人にはより自然な打点を実現できるように支援する。
Windows10タブレットPCで打点教示システムを開発した。画面サイズの異なるWindows10タブレットPC上で打点教示システムの開発を進めた。
Androidタブレットで、Yahoo Japan日本語形態素解析APIを使用して、音声認識結果をかな文字列に変換し、点字表記文字列に変換し、打点パターンを表示する打点教示システムを開発した。基本機能の評価として、音声認識精度、かな文字列への変換精度、点字表記文字列への変換精度に関する評価実験を行った。また、画面サイズの異なるAndroidタブレット上で、打点教示システムを開発した。
打点教示システムは、発話内容の伝達だけでなく、抑揚表現の教示にも慣れた健常者が感情表現できる、感情打点教示を目指している。健常者に感情や打点の強さや速さを誘起する教示インタフェースの背景色と打点パターンの組み合わせに加えて、顔文字や絵文字を付加した教示インタフェースを設計し、評価実験を行った。顔文字や絵文字については、au(KDDI)、NTT Docomo、iPhoneなどの複数のパターンを選択し、評価実験を行った。
|
Research Products
(3 results)
