研究課題
若手研究(B)
本研究の目的は，説明者の説明スキル・聞き手の理解度などの説明状況の質に関わる要因と，説明者・聞き手の表出する非言語パターンの間にある関係性をデータマイニングの結果から明らかにすることである． 今年度は動画内容を知る説明者が，それを知らない聞き手に説明するタスクで観測された言語・非言語情報から説明スキル・聞き手の理解度評価に関わる多様な特徴量を抽出することに焦点を当てた．データマイニング・機械学習の手法に基づいて自動・半自動で検出した視線（顔向け）状態・頭部ジェスチャ・ハンドジェスチャなどの非言語情報から，説明者と聞き手が共同注視した量・聞き手のうなづきなどの特徴量を抽出した．会話中に用いられるハンドジェスチャの機能の認識モデルを新規に構築し，発話内容を強調している際に観測されるジェスチャ，説明内容(キャラクタの動きや情景描写)に使われるジェスチャなど，ジェスチャパターンにアノテーションを付与する手法も併せて提案した．言語情報については，書き起こし対話データから説明者が発話した単語の内，名詞・動詞・形容詞の回数，聞き手の発話中の感嘆詞の回数，フィラーの発話セグメントの数などを，それぞれ抽出した．上記の特徴抽出を通じて，言語・非言語情報に関する多様なアノテーションセットを構築した．評価に関しては，説明内容に関係する映像情報と，説明者の説明内容を比較して，4人の外部コーダが8グループの説明を10点満点で評価した． 回帰分析・相関分析を行ったところ，説明者の発話長・聞き手のうなづき・説明者と聞き手の共同注視・ジェスチャの頻度の値がいずれも1%以内で有意な相関係数・説明係数を得た．
2: おおむね順調に進展している
目標の達成には(1)言語・非言語パターンから説明者・聞き手の間に起きる多様な非言語イベントパターンを，説明に用いられた言語情報から単語統計量を，それぞれ抽出すること，(2)聞き手，会話に参加していない第3者により説明シーンに対し，説明内容が適切であったかの評価を行い，十分な評価データを取得すること，(3)言語・非言語行為と評価データの間の関係を分析・マイニングすること，(4)言語・非言語情報を入力として，外部コーダにより評価した評価値を予測するモデルを構築することが必要である．当初の予定通り，会話参加者の言語・非言語データから多様な特徴量を抽出することで(1)を，4人の評価者による評価データの作成を行うことで(2)を，会話参加者の言語・非言語パターンと評価データの間の相関分析を行うことで(3)を，重回帰分析により，評価データ値を言語・非言語から予測するモデルを構築することで(4)をそれぞれ達成したため，おおむね計画通りに研究が進んでいると判断する．
今年度は「説明評価の多面化」，「複数の説明タスク間におけるデータマイニング結果の比較」を行う．前者に関して，現在，外部評価者による説明シーンの評価項目を「説明内容と動画内容が一致している度合」の1つとしている．来年度は，説明の冗長性・盛り上がりといった多様な評価尺度を導入し，説明シーンの評価を行う．説明尺度ごとに関連する言語・非言語情報をマイニングする．後者に関して，現在，動画内容の説明タスクデータと外部評価データから説明状況の評価尺度の抽出を行った．今年度はポスタなどの参照オブジェクトを介して説明を行うタスクを複数セッション実施し，昨年度の枠組みで言語・非言語情報のセンシング・データマイニングを行った結果を，動画説明タスクデータから得られた結果を比較し，タスク依存の特徴，複数タスクに共通の特徴を明らかにする．
すべて 2014 2013
すべて 雑誌論文 (5件) (うち査読あり 4件) 学会発表 (6件)
Journal of Advanced Computational Intelligence and Intelligent Informatics
巻: 17 ページ: 779-790
Proceedings of the 15th ACM on International conference on multimodal interaction (ICMI '13)
巻: 1 ページ: 303-310
10.1145/2522848.2522898
Proceedings of the companion publication of the 2013 international conference on Intelligent user interfaces companion
巻: 1 ページ: 101-102
10.1145/2451176.2451220
Recent Trends in Applied Artificial Intelligence Lecture Notes in Computer Science
巻: 7906 ページ: 351-360
10.1007/978-3-642-38577-3_36
Proceedings of IEEE International Conference Systems, Man, and Cybernetics (SMC), 2013
巻: 1 ページ: 3669-3674
10.1109/SMC.2013.625
