• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

任意ツールでのデザイン支援のためのGANを用いたサンプル模倣フレームワーク

研究課題

研究課題/領域番号 22KJ0353
補助金の研究課題番号 21J20353 (2021-2022)
研究種目

特別研究員奨励費

配分区分基金 (2023)
補助金 (2021-2022)
応募区分国内
審査区分 小区分61020:ヒューマンインタフェースおよびインタラクション関連
研究機関筑波大学

研究代表者

矢倉 大夢  筑波大学, 理工情報生命学術院, 特別研究員(DC1)

研究期間 (年度) 2023-03-08 – 2024-03-31
研究課題ステータス 完了 (2023年度)
配分額 *注記
1,300千円 (直接経費: 1,300千円)
2023年度: 400千円 (直接経費: 400千円)
2022年度: 400千円 (直接経費: 400千円)
2021年度: 500千円 (直接経費: 500千円)
キーワード創造性支援 / 生産性支援 / 機械学習 / ヒューマンコンピュータインタラクション / 創作支援 / 深層学習
研究開始時の研究の概要

Generative Adversarial Networks (GANs)に代表される深層学習モデルを、エンドユーザが自由に活かせるようなインタラクションフレームワークの提示を目指す。またこれらを通して、人間による探索や新しいものの創造に寄与する形での、深層学習モデルの応用についての方法論の議論を深めることを狙う。

研究実績の概要

本研究では様々な機械学習モデルを、一般のユーザがより直観的にかつ創造的に使えるようになることを目指し、新たなシステムの開発やフレームワークの提示を行ってきた。当初はGANを中心にした技術開発を元に論文発表を行っていたが、大規模生成モデル等の新たな機械学習モデルも広がりつつあることを踏まえ、そうしたモデルも含めた形でのデザイン支援研究を行った。例えば、テキストから音楽を生成できるモデルについて、初心者ユーザは音楽に関する語彙に乏しく、適切に使いこなすことが難しいという課題に対し、大規模言語モデルを組み合わせながら幅広く生成結果を探索し、新たな語彙に触れることを可能にするインタラクションシステムを開発した。また、ユーザの(物理的な)挙動についてスマートウォッチから取得できるデータと機械学習モデルを組み合わせて、ユーザの作業を支援するシステムを開発という場合に、システムにどういったインタラクションを実装すべきかのデザインを支援するフレームワークをカーネギーメロン大学の研究室と共同で開発した。これらの内容は、ISMIR 2024への採択及びProceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologiesへの採録につながった。
また、3年に渡る研究を総合する形で、得られた成果を幅広い機械学習モデルを一般のユーザが使うためのガイドラインとして整理した。ユーザのアウトプットを模倣するというアイデアを拡張しながら、その上でユーザのデザイン空間の探索をどう支援するかという点が重要だということを、過去の成果を踏まえながら主要な主張として明らかにすることができた。

報告書

(3件)
  • 2023 実績報告書
  • 2022 実績報告書
  • 2021 実績報告書
  • 研究成果

    (13件)

すべて 2023 2022 2021 その他

すべて 国際共同研究 (1件) 雑誌論文 (8件) (うち国際共著 4件、 査読あり 8件、 オープンアクセス 8件) 学会発表 (4件) (うち国際学会 3件、 招待講演 1件)

  • [国際共同研究] Carnegie Mellon University/Case Western Reserve University/University Hospitals of Cleveland(米国)

    • 関連する報告書
      2023 実績報告書
  • [雑誌論文] CatAlyst: Domain-Extensible Intervention for Preventing Task Procrastination Using Large Generative Models2023

    • 著者名/発表者名
      Arakawa Riku、Yakura Hiromu、Goto Masataka
    • 雑誌名

      Proceedings of the 2023 ACM CHI Conference on Human Factors in Computing Systems

      巻: 157 ページ: 1-19

    • DOI

      10.1145/3544548.3581133

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] PrISM-Tracker: A Framework for Multimodal Procedure Tracking using Wearable Sensors and State Transition Information with User-Driven Handling of Errors and Uncertainty2023

    • 著者名/発表者名
      Arakawa Riku、Yakura Hiromu、Mollyn Vimal、Nie Suzanne、Russell Emma、DeMeo Dustin P.、Reddy Haarika A.、Maytin Alexander K.、Carroll Bryan T.、Lehman Jill Fain、Goel Mayank
    • 雑誌名

      Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies

      巻: 6 号: 4 ページ: 1-27

    • DOI

      10.1145/3569504

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] IteraTTA: An Interface for Exploring Both Text Prompts and Audio Priors in Generating Music with Text-to-Audio Models2023

    • 著者名/発表者名
      Yakura Hiromu、Goto Masataka
    • 雑誌名

      Proceedings of the 24th International Society for Music Information Retrieval Conference

      巻: 14 ページ: 129-137

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] An automated system recommending background music to listen to while working2022

    • 著者名/発表者名
      Yakura Hiromu、Nakano Tomoyasu、Goto Masataka
    • 雑誌名

      User Modeling and User-Adapted Interaction

      巻: 32 号: 3 ページ: 355-388

    • DOI

      10.1007/s11257-022-09325-y

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Self-Supervised Contrastive Learning for Singing Voices2022

    • 著者名/発表者名
      Hiromu Yakura, Kento Watanabe, Masataka Goto
    • 雑誌名

      IEEE/ACM Transactions on Audio, Speech, and Language Processing

      巻: 30 ページ: 1614-1623

    • DOI

      10.1109/taslp.2022.3169627

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] VocabEncounter: NMT-powered Vocabulary Learning by Presenting Computer-Generated Usages of Foreign Words into Users’ Daily Lives2022

    • 著者名/発表者名
      Arakawa Riku、Yakura Hiromu、Kobayashi Sosuke
    • 雑誌名

      Proceedings of the 2022 ACM CHI Conference on Human Factors in Computing Systems

      巻: 6 ページ: 1-21

    • DOI

      10.1145/3491102.3501839

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] BeParrot: Efficient Interface for Transcribing Unclear Speech via Respeaking2022

    • 著者名/発表者名
      Riku Arakawa, Hiromu Yakura (equal contribution), and Masataka Goto
    • 雑誌名

      Proceedings of the 27th ACM International Conference on Intelligent User Interface

      巻: 1 ページ: 832-840

    • DOI

      10.1145/3490099.3511164

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Tool- and Domain-Agnostic Parameterization of Style Transfer Effects Leveraging Pretrained Perceptual Metrics2021

    • 著者名/発表者名
      Hiromu Yakura, Yuki Koyama, and Masataka Goto
    • 雑誌名

      Proceedings of the 30th International Joint Conference on Artificial Intelligence

      巻: 1 ページ: 1208-1216

    • DOI

      10.24963/ijcai.2021/167

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス
  • [学会発表] Failure-Resistant Intelligent Interaction for Reliable Human-AI Collaboration2023

    • 著者名/発表者名
      Yakura Hiromu
    • 学会等名
      Doctorial Consortium of the 2023 AAAI Conference on Artificial Intelligence
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] A Generative Framework for Designing Interactions to Overcome the Gaps between Humans and Imperfect AIs Instead of Improving the Accuracy of the AIs2023

    • 著者名/発表者名
      Yakura Hiromu
    • 学会等名
      Doctorial Consortium of the 2023 CHI Conference on Human Factors in Computing Systems
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] AI for human assessment: What do professional assessors need?2023

    • 著者名/発表者名
      Arakawa Riku、Yakura Hiromu
    • 学会等名
      The 2023 CHI Conference on Human Factors in Computing Systems
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] CatAlyst: Domain-Extensible Intervention for Preventing Task Procrastination Using Large Generative Models2023

    • 著者名/発表者名
      矢倉 大夢、荒川 陸、後藤 真孝
    • 学会等名
      第31回インタラクティブシステムとソフトウェアに関するワークショップ
    • 関連する報告書
      2023 実績報告書
    • 招待講演

URL: 

公開日: 2021-05-27   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi