任意ツールでのデザイン支援のためのGANを用いたサンプル模倣フレームワーク
| Project/Area Number |
22KJ0353
|
|---|
| Project/Area Number (Other) |
21J20353 (2021-2022)
|
|---|
| Research Category |
Grant-in-Aid for JSPS Fellows
|
| Allocation Type | Multi-year Fund (2023)
Single-year Grants (2021-2022) |
|---|
| Section | 国内 |
|---|
| Review Section |
Basic Section 61020:Human interface and interaction-related
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
矢倉 大夢 筑波大学, 理工情報生命学術院, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2023-03-08 – 2024-03-31
|
| Project Status |
Completed (Fiscal Year 2023)
|
| Budget Amount *help |
¥1,300,000 (Direct Cost: ¥1,300,000)
Fiscal Year 2023: ¥400,000 (Direct Cost: ¥400,000)
Fiscal Year 2022: ¥400,000 (Direct Cost: ¥400,000)
Fiscal Year 2021: ¥500,000 (Direct Cost: ¥500,000)
|
|---|
| Keywords | 創造性支援 / 生産性支援 / 機械学習 / ヒューマンコンピュータインタラクション / 創作支援 / 深層学習 |
|---|
| Outline of Research at the Start |
Generative Adversarial Networks (GANs)に代表される深層学習モデルを、エンドユーザが自由に活かせるようなインタラクションフレームワークの提示を目指す。またこれらを通して、人間による探索や新しいものの創造に寄与する形での、深層学習モデルの応用についての方法論の議論を深めることを狙う。
|
| Outline of Annual Research Achievements |
本研究では様々な機械学習モデルを、一般のユーザがより直観的にかつ創造的に使えるようになることを目指し、新たなシステムの開発やフレームワークの提示を行ってきた。当初はGANを中心にした技術開発を元に論文発表を行っていたが、大規模生成モデル等の新たな機械学習モデルも広がりつつあることを踏まえ、そうしたモデルも含めた形でのデザイン支援研究を行った。例えば、テキストから音楽を生成できるモデルについて、初心者ユーザは音楽に関する語彙に乏しく、適切に使いこなすことが難しいという課題に対し、大規模言語モデルを組み合わせながら幅広く生成結果を探索し、新たな語彙に触れることを可能にするインタラクションシステムを開発した。また、ユーザの（物理的な）挙動についてスマートウォッチから取得できるデータと機械学習モデルを組み合わせて、ユーザの作業を支援するシステムを開発という場合に、システムにどういったインタラクションを実装すべきかのデザインを支援するフレームワークをカーネギーメロン大学の研究室と共同で開発した。これらの内容は、ISMIR 2024への採択及びProceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologiesへの採録につながった。
また、3年に渡る研究を総合する形で、得られた成果を幅広い機械学習モデルを一般のユーザが使うためのガイドラインとして整理した。ユーザのアウトプットを模倣するというアイデアを拡張しながら、その上でユーザのデザイン空間の探索をどう支援するかという点が重要だということを、過去の成果を踏まえながら主要な主張として明らかにすることができた。
|
Report
(3 results)
Research Products
(13 results)
