2022 Fiscal Year Annual Research Report
Research on collection and analysis of large-scale emotional curve
| Project/Area Number |
22H03713
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Kwansei Gakuin University |
|---|
Principal Investigator |
片寄 晴弘 関西学院大学, 工学部, 教授 (70294303)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
橋田 光代 福知山公立大学, 情報学部, 准教授 (20421282)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | コンテンツデザイン / 演出 / 感情曲線 / 感動 / デザイン |
|---|
| Outline of Annual Research Achievements |
EC研究領域では、コンテンツの体験者や受容者の心の動きのデザインに焦点を当て、データサイエンスの対象としていくための模索が始まっている。心の動きのデザインは、ゲームやコンテンツだけではなく、脈々と続く、演劇、舞踊、文学等さまざまな表現領域で実践されてきたことであり、「演出」という呼び名でも参照される。表現領域の各ジャンルには「心を動かす」という共通のゴールがある一方で、ジャンルを超えた演出の理論、また、その前提に位置付けられる受容者の心の動きを測定・集積・比較するためのフレームワークはこれまで用意されてこなかった。
本研究では、時系列での「心の動き」のデザインをデータサイエンスとして扱う領域インキュベーションを目的とし、その目的に向けて、【研究項目１】演出における「心の動き」デザインの基軸の同定、【研究項目２】感情曲線データの大規模収集、【研究項目３】感情曲線の共通性と相違の要因の考察に取り組む。
本年度は、【研究項目１】と【研究項目２】の予備実験を対象として研究活動を実施してきた。【研究項目１】については、演劇、音楽、舞踊など時間表現領域の専門家へのインタビューを通じて、「心の動き」デザインのための基軸であるDEEM（Directorial Elements for Emotional Movements）を策定した。【研究項目２】については、クラウドサービスの利用に適合した感情曲線データ収集のためのアプリケーションを開発し、1000人規模の感情曲線データのプロトタイプ収集を実施した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
【研究項目1】音楽や演劇などの領域で活躍する作家からの聞き取りを通じて、視聴者の「心の動き」のデザインの対象として、ジャンルを超えて重要視されている基軸を抽出し、「DEEM（Directorial Elements for Emotional Movements）」と名付けた。その一つに「緊張と弛緩」が挙げられる。認知的音楽理論として知られるGTTMのProlongational Reductionを基に、「緊張と弛緩」のデザインを記述・比較するためのフレームワークとして「EMDA（Emotion Movement Design Annotator）」を提案し、大河ドラマの劇伴音楽（オープニング）「炎立つ」を題材に、オートエスノグラフィーのアプローチで音楽経験者が初めてその楽曲を聴いた時から聴き込みを行う過程で、受容したEMDAがどのように変遷していくかのデータ化を進めた。
【研究項目2】感情曲線データ収集のためのツールとして、クラウドソーシングの利用を前提に、折れ線形式および自由曲線形式で記述・入力して収集するツールを開発した。このツールを利用した予備実験をクラウドソーシングにより実施し、不誠実なワーカーの存在を含むデータ取得に対する課題を把握し、その対処法を講じた。その後、物語系コンテンツ「ハリー・ポッターと死の秘宝」および「クリスマスキャロル」に対して計1500件の感情曲線データを取得した。
【研究項目1】、【研究項目2】の実施内容について、それぞれ国内シンポジウムと国際会議で報告した。その他に、国内研究会で３件の発表を行った。
|
| Strategy for Future Research Activity |
【研究項目1】 実施済みである。
【研究項目2, 3】「炎立つ」を対象として、500人規模の聴取者に対しての「感情曲線」「緊張-弛緩」「激しさ-穏やかさ」の時系列データを収集する。同時に、音楽経験、普段よく聞く音楽ジャンル、音楽の感受性に関する5つの指標（音楽的探求、社会的報酬、感情喚起、気分調整、感覚運動）のうち、何を重視して音楽を聴取するのかのアンケートを実施する。これらの結果に基づき、「感情曲線」のデータの変移と聴取者要因の関係性にかかる分析を実施する。関連して分析用ツールを整備する。
【研究項目4】ここ数年でLLMの整備が進み、さまざまな領域での応用可能性が検討されている。当初の計画には含まれていなかったが、新たに、LLMベースでの感情パラメータによる時系列コンテンツの生成・制御を課題とする。まず、時系列メディアに対して感情に相当する概念をバインディングするための確認作業として、初見の短編物語に対して感情曲線推定のためのプロンプトエンジニアリングに取り組む。続いて、音楽を題材に、感性パラメータによってコンテンツを生成・制御するための方式の開発に取り組む。また、形容詞（概念）パラメータによる文章生成という課題に対して、小規模データセットによるカスタマイズによって効率的に処理を実施できる GeDiモデルの編曲領域への応用についての検討を実施する。
|
