2012 Fiscal Year Research-status Report
ライフログを利用した重複肢体不自由者の視線入力型日本語入力システムの研究開発
| Project/Area Number |
24650350
|
|---|
| Research Institution | University of Yamanashi |
|---|
Principal Investigator |
小谷 信司 山梨大学, 医学工学総合研究部, 教授 (80242618)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
鈴木 良弥 山梨大学, 医学工学総合研究部, 准教授 (20206551)
渡辺 寛望 山梨大学, 医学工学総合研究部, 助教 (30516943)
|
|---|
| Project Period (FY) |
2012-04-01 – 2014-03-31
|
| Keywords | ライフログ / 視線入力 / 重複肢体不自由者 |
|---|
| Research Abstract |
「視線検出とNIRS（光トポグラフィー）による発話不可肢体不自由者コミュニケーションシステムの実現」を目指している。発話不可肢体不自由者の場合、通常のコミュニケーション手段は全く使えない。本研究ではライフログ（画像と音声）と現在の周囲状況を手がかりに、時空間的に構成されたパーソナル辞書を切り替えて利用し少ない視線入力文字で的確な日本語変換を実現し、円滑なコミュニケーションを実現することを目的としている。
本研究の特色は、1. ライフログを利用した「静的属性」、2. 時空間的に構成された「基本属性」、3. 周囲・人物・環境を認識した「動的属性」を融合して予測変換を行い、少ない文字入力数での変換精度を向上させることである。
平成24年度は、要素研究、基礎研究を行った。被験者は安全性と再現性を考慮して、すべて健常者で行った。本研究での最大の課題は、画像情報を利用した一般物体認識である。実環境で行うため、ロバストな手法が必須である。そのため、局所特徴量としてSIFT、SURFを用いた。実環境の基本処理ライブラリは、過去の科研費課題で開発済みである。その他にも、文字列取得のためにSVM、各識別のためにB.o.F.、主成分分析、識別器を用いた。検出率向上のために、深度（奥行き）情報を併用した。
ライフログの音声部分に関しては、単語の自動取得部分と累積、忘却の機能を実現するプロトタイプシステムを作成した。
本研究により時空間的に構成された基本属性と、画像と音声の静的な情報から動的な情報までを一貫利用することで研究の基盤を確立でき発話不可肢体不自由者の円滑なコミュニケーションを実現する意義は非常に大きい。さらに、健常者の日本語入力システムへのフィードバックも大いに期待できる。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
画像情報を利用した一般物体認識に関しては、深度情報を利用した要素研究を行い、学会誌論文に投稿し、採択された。さらに、深度情報を利用した基礎研究に関しては、プロトタイプシステムを作成し、世界的標準である共通データセットを利用して、学習、および、評価データとする認識において、高い認識率を実現した。さらに、山梨県立支援学校の教室のモデルルームを作成し、実環境においての一般物体認識を試み、限られた数の物体認識であるが、高い認識率を実現した。この研究成果は、国際会議へ投稿中である。
音声情報を利用した単語の自動取得部分と累積、忘却に関しては、プロトタイプを作成し、シミュレーションデータによりその有効性を検証した。この研究成果も、国際会議へ投稿中である。
|
| Strategy for Future Research Activity |
平成25年度は、結合テスト、総合テスト、評価のフェーズである。平成24年度に単体テストの終了しているシステムの結合テストを行う。結合テストにおいては、実環境を想定した学習データでもシステム全体が動作する枠組みを構築する。システム全体を構築すると共に、将来的課題の部分で、現有設備であるNIRS（光トポ）とP300（脳波計）を利用したBMI（ブレインマシンインターフェース）の基礎データ取得の枠組みも構築する。
定期的に支援学校を訪れ、取得したライフログを本システムに取り込む。作成した視線入力型日本語入力システムを実際に操作してもらい、改良点の洗い出しを行い、問題点を改善する。基本属性、動的属性のデータは、すべてログとして残し、システムの状態、単語の優先順位、変化した属性情報を時系列的にグラフィカルに表示できる機能を実現する。
実験の環境は、教室、食堂、医務室、職員室など、支援学校の教諭、施設の医師、看護師の意見を最大限に取り入れ、多くの他者とのインターラクションが発生するシナリオを複数設定する。
各実験においては、デジタルビデオカメラで実験の様子をすべて撮影する。それぞれの実験終了後、定量的な評価、定性的な評価を行う。特に、支援学校の生徒を対象にした実験では、同一実験を日時をあけて複数回行い、時系列変化に基づく習熟度評価、辞書の更新に基づく学習評価を行う。県内の他の支援学校に協力を依頼して、被験者を増やし、水平展開する。さらに脳性マヒによる障害だけでなく、重度のALSの生徒にも被験者依頼し、垂直展開する。
これらの実験終了後、デモンストレーションを行い、本研究課題の意義、及び、成果を一般に広く発信する。
|
| Expenditure Plans for the Next FY Research Funding |
該当なし
|
Research Products
(2 results)
