2023 Fiscal Year Research-status Report

同時多発する情報の重層的結合の場としての自動生成による映像音声創作の開発と実践

Research Project

Project/Area Number	23K00216
Research Institution	Saga University
Principal Investigator	土屋貴哉佐賀大学, 芸術地域デザイン学部, 教授 (50793866)
Project Period (FY)	2023-04-01 – 2026-03-31
Keywords	現代美術 / メディア・アート / ネット・アート / ファウンド・フッテージ / インターベンション・アート
Outline of Annual Research Achievements	本年度は、これまでの予備実験の知見を継承したWebシステムの継続開発、パラメーター実験、生成結果の視/聴覚的側面の評価、およびそれら進捗成果の公開を実施した。（１）プレイヤーの重層構造の実現と映像・音声情報へ間接的処理によるアクセス：　プレイヤーの８層構造を実現するにあたり、複数層の同時再生に不具合が発生し、新規再生命令の度に自動停止してしまう課題があったが、対象情報へのアクセスを音声情報と視覚情報に分けてアプローチすることで解決の見通しを得た。（２）一回性の視/聴覚現象の無限自動生成とパラメータ実験：　増殖・消滅・改変を繰り返すインターネット情報の流動性・不定性という特性と抽出情報の自動ランダムトリミングの組み合わせから、一回性の現象生成に一定の成果をみた。音声情報と視覚情報への分離アクセスによる方策により、融合処理における結果の複雑性にも一定の成果をみた。各層の視覚情報を個別に変形させる方法とタイミングについて実験を繰り返し、その過程で得られる多様な結果の美的側面での評価実験を継続した。この点は可能な限り多様な方策の可能性も引き続き検討する。重層融合方法はmix-blend-modeプロパティをスクリプト処理で動的に実現させる見通しを得た。これらの知見から音声の変形融合への応用、実験のパラメータの展開についても予察を得た。（３）進捗成果の公開：　研究進捗の公開発表として。多様なパラメーターによる生成実験の過程で得られた生成成果を、神奈川芸術劇場アトリウムにて半年間に渡り投影公開した（神奈川芸術劇場からの依頼）。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 本研究課題の進捗状況について以下に報告する。プレイヤーの８層構造を実現するにあたり、複数層の同時再生に不具合が発生し、新規再生命令の度に自動停止してしまう課題があったが、対象情報へのアクセスを音声情報と視覚情報に分けてアプローチすることで解決の見通しを得た。音声情報と視覚情報への分離アクセスは、融合処理における結果の複雑性にも一定の成果をみた。各層の視覚情報を個別に変形させる方法とタイミングについて実験を繰り返し、その過程で得られる多様な結果の美的側面での評価実験を継続した。この点は可能な限り多様な方策の可能性も引き続き検討する。重層融合方法はmix-blend-modeプロパティをスクリプト処理で動的に実現させる見通しを得た。これらの知見から音声の変形融合への応用、実験のパラメータの展開についても予察を得た。以上の観点と取り組み進捗現状を鑑みると、概ね順調に進展していると言える。
Strategy for Future Research Activity	各層の視覚情報を個別に変形させる方法とタイミングについての実験は次年度以降も繰り返し実施し、その過程で得られる多様な結果の美的側面での評価実験を継続する。この点は可能な限り多様な方策の可能性も引き続き検討する。生成される視/聴覚現象の文字による記録と自動音声化実験。読込データの自動処理時の各種属性値を連想配列化し、別システムとの非同期通信により、即時的なタイピング表示と読上げ処理の自動化に取り組む。