• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

大規模マルチモーダルデータの分散表現

Research Project

Project/Area Number 18J15053
Research Category

Grant-in-Aid for JSPS Fellows

Allocation TypeSingle-year Grants
Section国内
Research Field Intelligent informatics
Research InstitutionKyoto University
Research Fellow 福井 一輝  京都大学, 情報学研究科, 特別研究員(DC2)
Project Period (FY) 2018-04-25 – 2020-03-31
Project Status Completed (Fiscal Year 2019)
Budget Amount *help
¥1,900,000 (Direct Cost: ¥1,900,000)
Fiscal Year 2019: ¥900,000 (Direct Cost: ¥900,000)
Fiscal Year 2018: ¥1,000,000 (Direct Cost: ¥1,000,000)
Keywordsマルチモーダルデータ / 表現学習 / 単語埋め込み / 加法構成性 / 自然言語処理
Outline of Annual Research Achievements

画像やテキストなどの複数種類のデータから構成されるものをマルチモーダルデータと呼ぶ.近年,自然言語処理の分野において単語や文書などを実ベクトルで表現するための表現学習の手法が活発に研究されているが,本研究ではテキストデータに加えてそれらに対応した画像など他の情報との複雑な対応関係を捉えて,マルチモーダルデータの統一的な表現を得るための手法の開発を目的とする.

本年度では,Fukui et al. 2017で提案された手法を改良することでword analogyタスクの性能とmultimodal analogyタスクの性能が両立するように改良手法の研究を行った.Fukui et al. 2017で提案された画像と単語の同時埋め込み手法において確認されていたマルチモーダルな加法構成性は,モデルを学習する際の画像-単語間の関連性の強さを決定するハイパーパラメータを調整することでword analogyタスクの性能とトレードオフになることが予備実験において確認されており,また画像と単語間の関連性を強めることで単語ベクトルとして望ましい性質(word similarityタスクの性能等)が低下することも確認されていた.本研究で提案する改良手法では,既存のモデルを少し変更することでこれら2つのタスクの性能を両立することが可能となりモデルの学習もFukui et al. 2017と同様にクロスドメインマッチング相関分析(Shimodaira 2016)を用いて同様に行うことができる.また,マルチモーダルな加法構成性を評価するためのベンチマークデータセットを作成中であり,これを用いた予備実験により単語の加法構成性とマルチモーダルな加法構成性が両立できることが確認されているため,これらの結果をまとめて論文化の準備を行っている.

Research Progress Status

令和元年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和元年度が最終年度であるため、記入しない。

Report

(2 results)
  • 2019 Annual Research Report
  • 2018 Annual Research Report

Research Products

(5 results)

All 2019 2018

All Presentation (5 results) (of which Int'l Joint Research: 2 results)

  • [Presentation] マルチスケールk-近傍法を用いた画像のタグ推定2019

    • Author(s)
      田中卓磨, 奥野彰文, 福井一輝, Kim Geewook, 下平英寿
    • Organizer
      第22回情報論的学習理論ワークショップ
    • Related Report
      2019 Annual Research Report
  • [Presentation] グラフと近傍グラフの確率的同時埋め込みによるマルチモーダルデータの可視化2019

    • Author(s)
      水谷守裕,奥野彰文,福井 一輝,Kim Geewook,金沢朋実,白石 友一,岡田眞里子,下平 英寿
    • Organizer
      第22回情報論的学習理論ワークショップ
    • Related Report
      2019 Annual Research Report
  • [Presentation] Segmentation-free compositional n-gram embedding2019

    • Author(s)
      Geewook Kim, Kazuki Fukui, Hidetoshi Shimodaira
    • Organizer
      Annual Conference of the North American Chapter of the Association for Computational Linguistics
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 単語ベクトルを用いた文書の教師なし行列表現2018

    • Author(s)
      福井一輝,下平英寿
    • Organizer
      情報論的学習理論ワークショップ
    • Related Report
      2018 Annual Research Report
  • [Presentation] Word-like character n-gram embedding2018

    • Author(s)
      Geewook Kim, Kazuki Fukui, Hidetoshi Shimodaira
    • Organizer
      Workshop on Noisy User-generated Text
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research

URL: 

Published: 2018-05-01   Modified: 2021-01-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi