2023 Fiscal Year Annual Research Report
任意ツールでのデザイン支援のためのGANを用いたサンプル模倣フレームワーク
| Project/Area Number |
22KJ0353
|
|---|
| Allocation Type | Multi-year Fund |
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
矢倉 大夢 筑波大学, 理工情報生命学術院, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2023-03-08 – 2024-03-31
|
| Keywords | 創造性支援 / 生産性支援 / 機械学習 / ヒューマンコンピュータインタラクション |
|---|
| Outline of Annual Research Achievements |
本研究では様々な機械学習モデルを、一般のユーザがより直観的にかつ創造的に使えるようになることを目指し、新たなシステムの開発やフレームワークの提示を行ってきた。当初はGANを中心にした技術開発を元に論文発表を行っていたが、大規模生成モデル等の新たな機械学習モデルも広がりつつあることを踏まえ、そうしたモデルも含めた形でのデザイン支援研究を行った。例えば、テキストから音楽を生成できるモデルについて、初心者ユーザは音楽に関する語彙に乏しく、適切に使いこなすことが難しいという課題に対し、大規模言語モデルを組み合わせながら幅広く生成結果を探索し、新たな語彙に触れることを可能にするインタラクションシステムを開発した。また、ユーザの（物理的な）挙動についてスマートウォッチから取得できるデータと機械学習モデルを組み合わせて、ユーザの作業を支援するシステムを開発という場合に、システムにどういったインタラクションを実装すべきかのデザインを支援するフレームワークをカーネギーメロン大学の研究室と共同で開発した。これらの内容は、ISMIR 2024への採択及びProceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologiesへの採録につながった。
また、3年に渡る研究を総合する形で、得られた成果を幅広い機械学習モデルを一般のユーザが使うためのガイドラインとして整理した。ユーザのアウトプットを模倣するというアイデアを拡張しながら、その上でユーザのデザイン空間の探索をどう支援するかという点が重要だということを、過去の成果を踏まえながら主要な主張として明らかにすることができた。
|
