• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2020 Fiscal Year Annual Research Report

Fundamental Technologies for Information Sharing and Behavior Change Actuation in SNSs

Research Project

Project/Area Number 18H03339
Research InstitutionThe University of Tokyo

Principal Investigator

山崎 俊彦  東京大学, 大学院情報理工学系研究科, 准教授 (70376599)

Project Period (FY) 2018-04-01 – 2021-03-31
Keywordsマルチメディア / SNS / 情報発信 / 魅力工学
Outline of Annual Research Achievements

本研究の目的は、今や必要不可欠な存在となったSNSについて、誰がどんなタイミングでどのようなタグや文章と共にどんな画像・映像コンテンツを投稿すると、情報の受け取り手にどのような情動・行動をもたらしたり情報拡散・共有を引き起こしたりするのかを明らかにし、その知見を活かして狙った情動・行動・情報共有を引き起こさせることのできる技術の研究開発を行うことである。2020年度は下記の研究を行った。
刺さる画像・映像の予測:より好印象を獲得する画像・映像を予測できるモデルを構築した。1つ目は髪型の推薦モデルである。髪型のCG生成および顔転移処理技術を使って、望ましいと思われる髪型を推薦・可視化させる深層学習器を実現した。2つ目は動画バナーのClick Through Rate (CTR)予測である。データの正規化のタイミングなど学習アルゴリズムを工夫することにより、相関係数0.70という高い精度でCTRを予測することに成功した。
刺さるSNSの運用:TwitterやInstagramなどのSNSを用いて、フォロワーのフォロー動向やいいね動向からブランドや商業施設間の関係性を可視化したりある特定の穴運とのフォロワー(ファン)の指向を言語化したりすることに成功した。また、Twitterのキーワード推薦というタスクに取り組み、いいね数などをより多く獲得できると思われるキーワードの推薦を実現した。
会見等の自動評価:企業トップの所信表明や謝罪会見を対象に、発話のタイミングや内容の良し悪しの研究を会見コンサルタントとともに行った。自然言語・音響処理のマルチモーダルモデルにすることによりOK/NG/評価対象でないの3値分類を約60%の精度で達成した。
どれもユニークな試みであり、いくつかの受賞があるほか、国際会議を中心にした対外発表も順調に行った。

Research Progress Status

令和2年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和2年度が最終年度であるため、記入しない。

  • Research Products

    (18 results)

All 2021 2020

All Presentation (14 results) (of which Int'l Joint Research: 11 results,  Invited: 3 results) Patent(Industrial Property Rights) (4 results) (of which Overseas: 1 results)

  • [Presentation] Graph Structure Extraction from Floor Plan Images and Its Application to Similar Property Retrieval2021

    • Author(s)
      Mantaro Yamada, Xueting Wang, and Toshihiko Yamasaki
    • Organizer
      IEEE International Conference on Consumer Electronics
    • Int'l Joint Research
  • [Presentation] Predicting Online Video Advertising Effects with Multimodal Deep Learning2021

    • Author(s)
      Jun Ikeda, Hiroyuki Seshime, Xueting Wang, Toshihiko Yamasaki
    • Organizer
      International Conference on Pattern Recognition (ICPR)
    • Int'l Joint Research
  • [Presentation] Entity Resolution of Japanese Apartment Property Information Using Neural Networks2021

    • Author(s)
      Youiti Kado, Takashi Hirokata, Koji Matsumura, Xueting Wang, and Toshihiko Yamasaki
    • Organizer
      IEEE 4th International Conference on Multimedia Information Processing and Retrieval (MIPR)
    • Int'l Joint Research
  • [Presentation] Preference Analysis of Shopping Malls' Followers and Keyword Recommendation on Twitter2021

    • Author(s)
      Mantaro Yamada, Xueting Wang, and Toshihiko Yamasaki
    • Organizer
      IEEE 4th International Conference on Multimedia Information Processing and Retrieval (MIPR)
    • Int'l Joint Research
  • [Presentation] 映像・放送・配信に深層学習を活かす2021

    • Author(s)
      山崎俊彦
    • Organizer
      電気三学会関西支部専門講習会
    • Invited
  • [Presentation] Attention-based LSTM for Automatic Evaluation of Press Conferences2020

    • Author(s)
      Shengzhou Yi, Koshiro Mochitomi, Isao Suzuki, Xueting Wang, and Toshihiko Yamasaki
    • Organizer
      IEEE International Conference on Multimedia Information Processing and Retrieval (MIPR)
    • Int'l Joint Research
  • [Presentation] Earn More Social Attention: User Popularity Based Tag Recommendation System2020

    • Author(s)
      Xueting Wang, Yiwei Zhang, and Toshihiko Yamasaki
    • Organizer
      The Web Conference
    • Int'l Joint Research
  • [Presentation] Predicting Leg Muscle Strength and MMSE score using Motion Capture Data for Elderly People2020

    • Author(s)
      Simon Schlegl, Xueting Wang, Toshihiko Yamasaki, Mingchuan Zhou, Alois Knoll, Yoshikuni Sato, Takahiro Hiyama, Yasuko Yoshinaka and Misaka Kimura
    • Organizer
      Workshop on Integrating Sensor Fusion and Perception for Human-robot Interaction in conjunction with The 29th IEEE International Conference on Robot and Human Interactive Communication
    • Int'l Joint Research
  • [Presentation] Text-to-Clipart using AttnGAN2020

    • Author(s)
      Yusuke Kondo, Takafumi Sakura, and Toshihiko Yamasaki
    • Organizer
      2020 IEEE Sixth International Conference on Multimedia Big Data (BigMM)
    • Int'l Joint Research
  • [Presentation] Self-Play Reinforcement Learning for Fast Image Retargeting2020

    • Author(s)
      Nobukatsu Kajiura, Satoshi Kosugi, Xueting Wang, and Toshihiko Yamasaki
    • Organizer
      The 28th ACM International Conference on Multimedia (MM '20)
    • Int'l Joint Research
  • [Presentation] Recommendations for Attractive Hairstyles2020

    • Author(s)
      Yuto Nakamae, Xueting Wang, and Toshihiko Yamasaki
    • Organizer
      The 2020 Joint Workshop on Multimedia Artworks Analysis and Attractiveness Computing in Multimedia (MMArt-ACM '20)
    • Int'l Joint Research
  • [Presentation] Automatic YouTube-Thumbnail Generation and Its Evaluationm2020

    • Author(s)
      Akari Shimono, Yuki Kakui, and Toshihiko Yamasaki
    • Organizer
      The 2020 Joint Workshop on Multimedia Artworks Analysis and Attractiveness Computing in Multimedia (MMArt-ACM '20)
    • Int'l Joint Research
  • [Presentation] プレゼン・ポスターで自分の研究を「伝える」2020

    • Author(s)
      山崎俊彦
    • Organizer
      The 23rd Meeting on Image Recognition and Understanding (MIRU) 若手プログラム
    • Invited
  • [Presentation] 情報学からみた建築・都市計画の未来2020

    • Author(s)
      山崎俊彦
    • Organizer
      2020年度建築学会大会
    • Invited
  • [Patent(Industrial Property Rights)] 情報処理装置、及びその制御方法2021

    • Inventor(s)
      山崎俊彦, Yiwei Zhang , 汪雪婷
    • Industrial Property Rights Holder
      山崎俊彦, Yiwei Zhang , 汪雪婷
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      PCT/JP2021/ 6430
    • Overseas
  • [Patent(Industrial Property Rights)] 情報処理装置、情報処理方法及びプログラム2020

    • Inventor(s)
      楢原太郎, 山崎俊彦
    • Industrial Property Rights Holder
      楢原太郎, 山崎俊彦
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      特願2020-155588
  • [Patent(Industrial Property Rights)] 情報処理装置及びプログラム2020

    • Inventor(s)
      山崎俊彦, 張軼威, 汪雪テイ
    • Industrial Property Rights Holder
      山崎俊彦, 張軼威, 汪雪テイ
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      特願2020-203042
  • [Patent(Industrial Property Rights)] 情報処理装置、及びプログラム2020

    • Inventor(s)
      山崎俊彦, 張軼威
    • Industrial Property Rights Holder
      山崎俊彦, 張軼威
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      特願2021-41893

URL: 

Published: 2021-12-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi