• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

多ドメイン関連性データのグラフ埋め込みによる表現学習

研究課題

研究課題/領域番号 20H04148
研究種目

基盤研究(B)

配分区分補助金
応募区分一般
審査区分 小区分60030:統計科学関連
研究機関京都大学

研究代表者

下平 英寿  京都大学, 情報学研究科, 教授 (00290867)

研究期間 (年度) 2020-04-01 – 2023-03-31
研究課題ステータス 完了 (2022年度)
配分額 *注記
17,810千円 (直接経費: 13,700千円、間接経費: 4,110千円)
2022年度: 5,460千円 (直接経費: 4,200千円、間接経費: 1,260千円)
2021年度: 5,460千円 (直接経費: 4,200千円、間接経費: 1,260千円)
2020年度: 6,890千円 (直接経費: 5,300千円、間接経費: 1,590千円)
キーワード多変量解析 / 次元削減 / 分散表現 / 表現学習 / グラフ埋め込み / 自然言語処理 / ニューラルネットワーク / 加法構成性 / パターン認識
研究開始時の研究の概要

画像,タグ,文書などの多様なドメインのマルチモーダルデータから関連性を考慮してニューラルネットによって情報統合し共通空間で表現する新しい柔軟な多変量解析の方法論を提案・発展させる.画像認識や自然言語処理などの大規模データに取り組み,その経験を理論にフィードバックすることによって,次元削減したベクトルの加減算など共通空間の演算による推論の枠組みの構築を目指し,高度な思考を実現するステップとする.

研究成果の概要

関連性データの埋め込みがどのように情報を表現しているかを理解するための研究を行った.具体的には,埋め込んだベクトルの加減算によるアナロジー計算の基礎となる加法構成性や,それに関係した埋め込みの性質を調べた.通常の加法構成性ではベクトルの和によって意味が同時に成立すること(AND)を表すが,意味のどちらかが成立すること(OR)は頻度重み付き重心,意味の否定(NOT)は対象単語集合の重心に原点を取り直した上で負の方向であることを示した.また,一種の対照学習(SGNS)で得られる単語ベクトルのノルムの2乗がカルバック・ライブラー(KL)情報量で近似され「意味の強さ」を表すことを理論と実験で示した.

研究成果の学術的意義や社会的意義

本研究は,関連性データの埋め込みと表現学習に関する新たな知見を提供しました.加法構成性や埋め込みの性質に関する結果は,単語や概念をベクトルで表現する方法に関する理論的な理解を深めることに貢献しました.これにより,なぜニューラルネットが効果的に機能するのか,その原理を理解する道を開くことが期待されます.

報告書

(4件)
  • 2022 実績報告書   研究成果報告書 ( PDF )
  • 2021 実績報告書
  • 2020 実績報告書
  • 研究成果

    (17件)

すべて 2022 2021 2020

すべて 雑誌論文 (4件) (うち国際共著 1件、 査読あり 4件、 オープンアクセス 3件) 学会発表 (13件) (うち国際学会 1件)

  • [雑誌論文] Selective inference after feature selection via multiscale bootstrap2022

    • 著者名/発表者名
      Terada Yoshikazu、Shimodaira Hidetoshi
    • 雑誌名

      Annals of the Institute of Statistical Mathematics

      巻: 75 号: 1 ページ: 99-125

    • DOI

      10.1007/s10463-022-00838-2

    • 関連する報告書
      2022 実績報告書
    • 査読あり
  • [雑誌論文] A Hypergraph Approach for Estimating Growth Mechanisms of Complex Networks2022

    • 著者名/発表者名
      Inoue Masaaki、Pham Thong、Shimodaira Hidetoshi
    • 雑誌名

      IEEE Access

      巻: 10 ページ: 35012-35025

    • DOI

      10.1109/access.2022.3143612

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Non-parametric estimation of the preferential attachment function from one network snapshot2021

    • 著者名/発表者名
      Pham Thong、Sheridan Paul、Shimodaira Hidetoshi
    • 雑誌名

      Journal of Complex Networks

      巻: 9 号: 5

    • DOI

      10.1093/comnet/cnab024

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Extrapolation Towards Imaginary 0-Nearest Neighbour and Its Improved Convergence Rate2020

    • 著者名/発表者名
      Akifumi Okuno, Hidetoshi Shimodaira
    • 雑誌名

      Advances in Neural Information Processing Systems (NeurIPS 2020)

      巻: 33 ページ: 21889-21899

    • 関連する報告書
      2020 実績報告書
    • 査読あり / オープンアクセス
  • [学会発表] 単語ベクトルの長さはKL情報量で解釈可能な意味の強さを表す2022

    • 著者名/発表者名
      大山百々勢, 横井祥, 下平英寿
    • 学会等名
      第25回情報論的学習理論ワークショップ (IBIS2022)
    • 関連する報告書
      2022 実績報告書
  • [学会発表] Heterogeneous-featureを用いたマルチタスク転移学習2022

    • 著者名/発表者名
      Runsen Li, 奥野彰文, 下平英寿
    • 学会等名
      第25回情報論的学習理論ワークショップ (IBIS2022)
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 単語ベクトルの長さは意味の強さを表す2022

    • 著者名/発表者名
      大山百々勢,横井祥,下平英寿
    • 学会等名
      言語処理学会第28回年次大会(NLP2022)
    • 関連する報告書
      2021 実績報告書
  • [学会発表] Revisiting Additive Compositionality: AND, OR and NOT Operations with Word Embeddings2021

    • 著者名/発表者名
      Masahiro Naito , Sho Yokoi , Geewook Kim , Hidetoshi Shimodaira
    • 学会等名
      ACL-IJCNLP 2021 Student Research Workshop
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] マルチスケールk-近傍法における回帰関数および損失関数の検討2021

    • 著者名/発表者名
      CAO Ruixing , 田中卓磨 , 奥野彰文 , 下平英寿
    • 学会等名
      第35回人工知能学会全国大会 (JSAI2021)
    • 関連する報告書
      2021 実績報告書
  • [学会発表] マルチスケールk-近傍法による画像のExtreme Multi-Label分類2021

    • 著者名/発表者名
      田中卓磨 , 奥野彰文 , 下平英寿
    • 学会等名
      第35回人工知能学会全国大会 (JSAI2021)
    • 関連する報告書
      2021 実績報告書
  • [学会発表] マルチスケールk-近傍法における外挿モデルの検討2021

    • 著者名/発表者名
      操瑞行 , 田中卓磨 , 奥野彰文 , 下平英寿
    • 学会等名
      2021年度統計関連学会連合大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 単語埋め込みの加法構成性の精緻化と論理演算2021

    • 著者名/発表者名
      内藤雅博 , 横井祥 , 下平英寿
    • 学会等名
      2021年度統計関連学会連合大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 任意のノード特徴量による成長機構をもつハイパーグラフモデル2021

    • 著者名/発表者名
      井上雅章 , THONG Pham , 下平英寿
    • 学会等名
      2021年度統計関連学会連合大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 複雑ネットワークの成長過程を観測できない時の優先的選択関数の推定方法2021

    • 著者名/発表者名
      THONG Pham , PAUL Sheridan , 下平英寿
    • 学会等名
      2021年度統計関連学会連合大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 単語埋め込みによる論理演算2021

    • 著者名/発表者名
      内藤雅博, 横井祥, 下平英寿
    • 学会等名
      言語処理学会第27回年次大会(NLP2021)
    • 関連する報告書
      2020 実績報告書
  • [学会発表] 単語埋め込みの確率的等方化2021

    • 著者名/発表者名
      横井祥, 下平英寿
    • 学会等名
      言語処理学会第27回年次大会(NLP2021)
    • 関連する報告書
      2020 実績報告書
  • [学会発表] 仮想的なゼロ近傍への外挿とその収束レートについて2020

    • 著者名/発表者名
      奥野 彰文,下平 英寿
    • 学会等名
      2020年度統計関連学会連合
    • 関連する報告書
      2020 実績報告書

URL: 

公開日: 2020-04-28   更新日: 2024-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi