2012 Fiscal Year Research-status Report
実世界写像モデルによる視覚コミュニケーションの分析および記述の研究
| Project/Area Number |
24500644
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Research Institution | Kyoto Institute of Technology |
|---|
Principal Investigator |
中園 薫 京都工芸繊維大学, 総合プロセーシス研究センター, 特任教授 (60531267)
|
|---|
| Project Period (FY) |
2012-04-01 – 2015-03-31
|
| Keywords | ヒューマンコンピュータインタラクション / ヒューマンコミュニケーション / ビジュアルコミュニケーション / 福祉情報工学 / 手話 |
|---|
| Research Abstract |
試験的に行った少量の手話会話映像の収集と，その分析シミュレーションの結果，今回の研究目的に合致した自然な会話を効率良く収録することが（時間的，予算的に）困難であることが判明した．そこで，分析対象を市販の手話語りのビデオや手話教則ビデオに変更した．これまでに，対照表現，ナレーション，ロールチェンジにともなう視点転換，などの手話特有の表現様式が挙がってきたが，今年度は「対照的表現」に限定し検討した．「対照的表現」とは，「男ではなく女」「昔は～だったが，今は～」「○○と思うかもしれないけど××」という風に，並列提示された対照的概念の中のひとつを選択することにより，意味を際立たせる表現手法である．これらの表現が実際の手話映像の中でどの程度の頻度で，どのような様式で使用されるか，映像の目視分析およびラベリングを行った．その結果，全発話の約5%という非常に高い頻度で「対照的表現」が使用されることがわかった．音声言語の場合は比較対象する場合に時系列的に並列させるしか方法がないのに対し，視覚言語では空間を利用して同時に比較対象を配列することができることから，対象表現が多様されると考える．この手法は直接的にピクトグラムにも応用可能である．
並行して，ピクトグラムの了解度を向上させることを目指し，前述した対照的表現を取り入れたいくつかの動画ピクトグラムを実験的に作成した．被験者による評価実験を行った結果，了解度が向上することを確認した．
また，視覚によるコミュニケーション支援システムの評価手段として，従来の達成時間や主観評価などの手法に加え，アイカメラによる視線分析を取り入れた実験を実施した．視線分析法により，被験者の興味を持つ領域の時系列的遷移，個々の興味の対象を理解するのに要する時間など，詳細なデータの把握が可能となり，今後の研究にも利用する感触を得た．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
手話表現の分析に関して，予備検討の結果に基づき分析方法を変更するなど予期せぬ手戻りがあったが，ある程度の成果も得られ，具体的な表現方法などについて目処をつけることができた．しかし，こちらの作業に時間をとられた分，並行して開始する予定であった写像的表現手法の記述方法の検討に関しては，着手が遅れている。
|
| Strategy for Future Research Activity |
次年度より，研究拠点を工学院大学情報学部に移す．また，工学院大学長嶋祐二教授を研究分担者に加える．長嶋教授は，手話の記述法に関して多くの研究実績を持つので，協調して進めることにより，本研究における実世界写像モデルによる手話記述に関する研究を加速することが期待できる．
本年度までの検討の結果，対照表現，ナレーション，ロールチェンジにともなう視点転換などの手話特有の表現手法が抽出され，特に対照表現に関しては詳細な分析を行い有効性も確認できた．次年度はこれを引き継ぎ，ナレーション，視点転換の表現手法のピクトグラムへの応用および評価に重点を置き研究を進める．
また，実世界写像モデルによる手話記述方法についても，基本的な記述法を定義し，この方法にもとづきサンプルの記述および下位レイヤーの記述方式との変換などについて検討する．
|
| Expenditure Plans for the Next FY Research Funding |
該当なし
|
