2015 Fiscal Year Annual Research Report
実世界写像モデルによる視覚コミュニケーションの分析および記述の研究
| Project/Area Number |
24500644
|
|---|
| Research Institution | The Hyogo Institute of Assistive Technology |
|---|
Principal Investigator |
中園 薫 兵庫県立福祉のまちづくり研究所, その他部局等, 研究員 (60531267)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
長嶋 祐二 工学院大学, 情報工学部, 教授 (50138137)
|
|---|
| Project Period (FY) |
2012-04-01 – 2016-03-31
|
| Keywords | ヒューマンコンピュータインタラクション / ヒューマンコミュニケーション / ビジュアルコミュニケーション / 福祉情報工学 / 手話 |
|---|
| Outline of Annual Research Achievements |
聴覚障害者者がコミュニケーションのため使用する手話表現は，視覚言語独特の写像的表現方法が取り入れられており，ピクトグラムなどに応用することによって，理解しやすいデザイン手法の確立が期待できる．また，マクロな表現から細かい手指の表現までを階層的に記述する視覚表現手法の確立を目指して研究を進めてきた．
まず，手話会話映像および市販の手話語りのビデオや手話教則ビデオから，「対照表現」「ナレーション」「ロールチェンジにともなう視点転換」など手話独特の表現様式の実例を抽出した．さらに，空間を利用して仮想的イメージを同時に配列することが可能であることを利用して，ピクトグラムによる表現が困難であった抽象的概念を表現した動画ピクトグラムを作成し，評価実験によって了解度が向上することを確認した．
次にTVML（NHK技研により開発されたTV番組のプログラムを記述する言語）を利用することによって，動画（アニメーション）ピクトグラムを作成・記述する手法を試みた．駅での会話に限定し，静止画だけで表現することが困難な抽象的概念を含む文を，対照表現など手話特有の表現手法を利用して動画ピクトグラム化した．評価実験の結果，静止画と比較して理解しやすいこと，手描きと比較して容易に記述できることなどを確認した．また実験結果をフィードバックして改良を行った．さらに上記のTVMLによるアニメーション合成では必要であった詳細なプログラミング作業を，記述が容易なマクロな表現からTVMLへ至る階層的表現への変換によって実現する手法のパイロット版および枠組みについて検討を行った．
以上述べたように，本研究によりマクロ表現からTVMLまでの階層的記述方法の枠組みを作ることができた．マクロ表現から動画を自動生成するシステムは作業量的に困難で実現までは至らなかったが，視覚表現の階層的記述という考え方は有用で今後も研究を続けていく．
|
