| 研究課題/領域番号 |
21K12011
|
|---|
| 研究種目 |
基盤研究(C)
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分61030:知能情報学関連
|
|---|
| 研究機関 | 横浜国立大学 |
|---|
研究代表者 |
大塚 和弘 横浜国立大学, 大学院工学研究院, 准教授 (30396197)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2024-03-31
|
| 研究課題ステータス |
完了 (2023年度)
|
| 配分額 *注記 |
4,160千円 (直接経費: 3,200千円、間接経費: 960千円)
2023年度: 520千円 (直接経費: 400千円、間接経費: 120千円)
2022年度: 1,820千円 (直接経費: 1,400千円、間接経費: 420千円)
2021年度: 1,820千円 (直接経費: 1,400千円、間接経費: 420千円)
|
|---|
| キーワード | 対話 / 非言語コミュニケーション / マルチモーダル / 社会的信号処理 / 機械学習 / 深層学習 / マルチモーダルインタラクション |
|---|
| 研究開始時の研究の概要 |
人の対話において頭部運動や顔表情などの非言語行動は、本質的に曖昧で多様な意味や機能を持つ。これら曖昧性や多様性を含む非言語行動を定量的に解析・理解するため、非言語行動の意味や機能の分布強度を表す『非言語機能スペクトラム』という新概念を提唱する。非言語行動として、頭部運動と顔表情に注目し、これらの機能として、話し手のリズム取りや強調、思考、及び、聞き手の傾聴や思考、理解、肯定、感情表出などを対象とする。頭部姿勢と顔表情の時系列を入力し、非言語機能スペクトラムを出力する深層神経回路網を構築し、対話者の主観予測などへ適用することで、非言語機能スペクトラムの有用性を明らかにする。
|
| 研究成果の概要 |
人の対話において非言語行動は重要な役割を担うものの、その曖昧性・多様性故に従来、定量的な扱いが困難であった。本研究は、そのような非言語行動を定量的に解析するため、非言語行動がもつ意味や機能の分布強度を表す『非言語機能スペクトラム』という新概念を提唱し、複数モダリティの非言語行動を統一的に分析・認識するための計算基盤を構築した。非言語モダリティとして、頭部運動や顔表情、視線、相槌に着目し、対話者の顔や身体の運動、音声信号などの観測情報から、各モダリティの各機能の現出を自動推定する種々の機械学習モデルを構築した。また推定された機能スペクトラムから対話者の主観的印象を予測・説明する方法を開発した。
|
| 研究成果の学術的意義や社会的意義 |
本研究では、人のコミュニケーションにおいて重要な役割を果たす、複数の非言語モダリティを介して生じる多数の機能を統一的に表現・分析・認識することが可能な計算基盤を構築した。この計算基盤は、人の繊細かつ複雑で、極めて多様性に富んだ感情や意図の表出・交換の過程を定量的に解明することに貢献すると期待される。さらに将来的には、実社会において、人の気持ちに寄り添い、人を支援し、協業することが可能な人工社会知能（Artificial Social Intelligence）を構築するための基盤技術として活用されると考えられる。
|
