• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2015 Fiscal Year Annual Research Report

ビッグ・マルチメディア・データ処理による個人のメディア生成行動のナビゲーション

Research Project

Project/Area Number 26700008
Research InstitutionThe University of Tokyo

Principal Investigator

山崎 俊彦  東京大学, 情報理工学(系)研究科, 准教授 (70376599)

Project Period (FY) 2014-04-01 – 2018-03-31
Keywordsマルチメディア / ユーザナビゲーション / ビッグデータ / 魅力工学
Outline of Annual Research Achievements

本研究の目的は、(1)ユーザが生成するメディアに対するユーザ自身の主観的価値の検証を行うこと、及び(2)個人のメディア生成行動をナビゲーションしより良いメディア生成を支援することである。
本年度は「(2)個人のメディア生成行動ナビゲーション」に関して、(a)行動デザイン支援、(b)素材作成支援、(c)コンテンツ作成支援、の3つの小問題に分割してそれぞれについて取り組み、下記に示すとおり当初の計画以上の素晴らしい成果を達成できた。
「(a)行動デザイン支援」は、いい素材やコンテンツを作成するための前段階として、ユーザが満足の高い体験を得ることを支援するものである。26年度は、個人の趣味嗜好と気温・天候を考慮した旅行ルート推薦、不動産検索における間取りを用いた直感的な間取り検索技術を実現した。「(b)素材作成支援」は、画像・ビデオクリップ・テキストタグなど単体の素材データについて、その生成を支援するものである。26年度は、ファッション画像解析、タグ解析によるSNS上での人気予測と人気獲得のためのタグ推薦、タグが人気度に与える影響の年代・地域差解析などを実現した。「(c)コンテンツ作成支援」は、複数の素材を組み合わせて映像やプレゼントいった高品質なコンテンツを生成することを支援するものである。26年度は、文書・音声情報に基づくプレゼンテーションの印象解析、テレビドラマの放送前視聴率推定などを実現した。
どれもユニークな試みとして多くの受賞や招待講演依頼を受けている。また、会議発表なども順調に行っている。

Current Status of Research Progress
Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

これまで、非常に多くの項目について成果が出ており、研究計画の内容から大きく拡大して様々な研究分野に展開している。そのハイライトのみをいくつか列挙する。
ソーシャルネットワークにアップロードされた画像や映像などのコンテンツの人気度を予測しさらに人気度を高めるためのタグを推薦するためのアルゴリズム群について、DF-W、FolkPopularityRankという2種類の手法を提案し、解析や推薦を行った。また、大規模データやソーシャルネットワークにコンテンツを推薦されたタグ群と共にアップロードするという実証実験によって有用性を確認した。関連して、コンテンツの人気度に影響を及ぼすタグの地域・文化の差異やユーザの挙動の時間変化を詳らかにした。提案手法を一般の人が手軽に利用できるよう、WEBアプリの構築行った。
従来の不動産検索システムはキーワードによる検索やAND/ORによる絞り込み検索であるが、この方法では各部屋の間取りや広さといった構造について検索することは難しい。そこで、不動産の間取りをグラフ構造で表現し、ユーザの入力するクエリグラフと類似度が高い物件を出力するシステムや、ユーザが提示された物件に対して「好き・嫌い」のフィードバックを繰り返すだけで好みの間取りを持つ物件を提示できるシステムを提案した。そのほか不動産情報処理を行い、家賃の決定要因解析などを行った。
プレゼンテーションの解析について、これまで行ってきたテキスト・音声解析に加えジェスチャ解析や視線追跡など新たな特徴を用いることで、より高い精度で印象予測を行える技術の研究を行った。さらに、複数の印象間の相関や、複数の特徴量を用いたときの機械学習器の出力の相関を考える新たな機械学習の手法について詳細な技術の検討と有用性の確認を行った。その他、ソフトコーディング法を用いた予測精度の改善や、リアルタイム処理に向けた検討などを行った。

Strategy for Future Research Activity

今後も様々な分野に展開を図っていく予定である。そのうち、ハイライトのみを下記に述べる。
まずは、旅行ルート推薦について、天候・気温も追加情報として考慮した推薦システムの完成を目指す。さらには、観光地・レストラン・ホテルなどの評判サイトから特徴的な評価項目を抽出し、それに対してどのような評価がなされているか要約する手法について検討する。
ソーシャル人気度の解析および人気度増強のタグ推薦についてはFolkPopularityRankアルゴリズムの完成を目指す。また、テレビドラマの視聴率予測にも応用展開できることがわかっており、様々な分野への応用を考える。
プレゼンテーションの解析について、日本語対応とリアルタイム解析の実現を目指す。また、スライドコンテンツの解析に新たにチャレンジする。複数の印象間の相関や、複数の特徴量を用いたときの機械学習器の出力の相関を考える新たな機械学習の手法について詳細な技術の検討と有用性の確認を行う。教育コンテンツやCM・テレビショッピング映像などへの応用も予定している。
不動産情報処理について、不動産物件画像の解析、IoT技術を用いた物件の価値・住みやすさの定量化などについて検討していく。

Causes of Carryover

小額が残ったため無理して使用せず、次年度持ち越しとした。

Expenditure Plan for Carryover Budget

次年度もクラウドワーカーに依頼して主観評価やデータ処理を行っていく予定であり、そのために使用する。効率的な予算執行に努める。

  • Research Products

    (43 results)

All 2016 2015 Other

All Journal Article (3 results) (of which Peer Reviewed: 3 results,  Acknowledgement Compliant: 3 results,  Open Access: 2 results) Presentation (36 results) (of which Int'l Joint Research: 12 results,  Invited: 8 results) Remarks (1 results) Patent(Industrial Property Rights) (3 results)

  • [Journal Article] 文書と音声解析に基づくプレゼンテーション動画の印象予測2016

    • Author(s)
      福島悠介, 山崎俊彦, 相澤清晴
    • Journal Title

      電子情報通信学会論文誌 D

      Volume: vol. J99-D, no. 8 Pages: 699-708

    • Peer Reviewed / Acknowledgement Compliant
  • [Journal Article] RGB-Dカメラを使用した顔モデルのリアルタイム生成・合成による顔向き補正2015

    • Author(s)
      山崎俊彦, 中村新芽, 相澤清晴
    • Journal Title

      映像情報メディア学会誌

      Volume: 69 Pages: J231-J236

    • DOI

      10.3169/itej.69.J231

    • Peer Reviewed / Open Access / Acknowledgement Compliant
  • [Journal Article] 主観評価に基づく3次元モデルの圧縮品質とプリント品質の関係性予測2015

    • Author(s)
      山崎俊彦, 中野雄介, 相澤清晴
    • Journal Title

      映像情報メディア学会誌

      Volume: 69 Pages: pp. J257-J260

    • DOI

      10.3169/itej.69.J253

    • Peer Reviewed / Open Access / Acknowledgement Compliant
  • [Presentation] マルチメディア・ビッグデータ処理による魅力解析2016

    • Author(s)
      山崎俊彦
    • Organizer
      ICJ日本画像学会
    • Place of Presentation
      東京工業大学すずかけ台キャンパス, 横浜市, 神奈川
    • Year and Date
      2016-06-08 – 2016-06-10
    • Invited
  • [Presentation] Multimodal Learning for Image Popularity Prediction on Social Media2016

    • Author(s)
      J Hu, T. Yamasaki, and K. Aizawa
    • Organizer
      ICCE-TW
    • Place of Presentation
      Nantou, Tainan
    • Year and Date
      2016-05-27 – 2016-05-29
    • Int'l Joint Research / Invited
  • [Presentation] Audience Ratings Prediction of TV Dramas Based on the Cast and Their Popularity2016

    • Author(s)
      Y. Fukushima, T. Yamasaki, and K. Aizawa
    • Organizer
      IEEE International Conference on Multimedia Big Data (BigMM)
    • Place of Presentation
      Taipei, Taiwan
    • Year and Date
      2016-04-20 – 2016-04-22
    • Int'l Joint Research
  • [Presentation] Service Annotation and Profiling by Review Analysis2016

    • Author(s)
      M. Yamamoto, T. Yamasaki, and K. Aizawa
    • Organizer
      IEEE International Conference on Multimedia Big Data (BigMM)
    • Place of Presentation
      Taipei, Taiwan
    • Year and Date
      2016-04-20 – 2016-04-22
    • Int'l Joint Research / Invited
  • [Presentation] Towards Online Impression Prediction of Oral Presentations using Soft Coding2016

    • Author(s)
      T. Yamasaki, Y. Fukushima, R. Furuta, and K. Aizawa
    • Organizer
      1st workshop on Attractiveness Computing in Multimedia (ACM) in conjunction with IEEE International Conference on Multimedia Big Data (BigMM)
    • Place of Presentation
      Taipei, Taiwan
    • Year and Date
      2016-04-20 – 2016-04-22
    • Int'l Joint Research
  • [Presentation] 高速な物体検出手法を用いた動画からの効率的な人物姿勢推定2016

    • Author(s)
      藤枝慎, 山崎俊彦, 相澤清晴
    • Organizer
      情報処理学会第78回全国大会
    • Place of Presentation
      慶応大学, 横浜, 神奈川
    • Year and Date
      2016-03-10 – 2016-03-12
  • [Presentation] 間取りや広さをクエリとする直感的な不動産検索システム2016

    • Author(s)
      大原康平, 山崎俊彦, 相澤清晴
    • Organizer
      情報処理学会第78回全国大会
    • Place of Presentation
      慶応大学, 横浜, 神奈川
    • Year and Date
      2016-03-10 – 2016-03-12
  • [Presentation] Bag of Words とskip-gram 併用によるレビュー・店舗間類似度評価とそれに基づく店舗推薦2016

    • Author(s)
      山本真史, 山崎俊彦, 相澤清晴
    • Organizer
      情報処理学会第78回全国大会
    • Place of Presentation
      慶応大学, 横浜, 神奈川
    • Year and Date
      2016-03-10 – 2016-03-12
  • [Presentation] ビッグ・マルチメディア・データ処理による「魅力」解析2016

    • Author(s)
      山崎俊彦
    • Organizer
      電子情報通信学会, 信学技報,マルチメディア情報ハイディング・エンリッチメント研究会 (EMM)
    • Place of Presentation
      屋久島環境文化村センター, 熊毛郡屋久島町, 鹿児島
    • Year and Date
      2016-03-02 – 2016-03-03
    • Invited
  • [Presentation] スタイル記述子によるファッションコーディネートの感性評価2016

    • Author(s)
      王若聞, 崔セミ, 山崎俊彦, 相澤清晴
    • Organizer
      電子情報通信学会, 信学技報, 画像工学研究会
    • Place of Presentation
      北海道大学, 札幌市, 北海道
    • Year and Date
      2016-02-22 – 2016-02-23
  • [Presentation] 高階MRFによるクラス間の共起情報を用いたマルチラベル分類の精度改善2016

    • Author(s)
      古田諒佑, 福島悠介, 山崎俊彦, 相澤清晴
    • Organizer
      電子情報通信学会, 信学技報, 画像工学研究会
    • Place of Presentation
      北海道大学, 札幌市, 北海道
    • Year and Date
      2016-02-22 – 2016-02-23
  • [Presentation] 時間連続性を考慮した動画からの人物姿勢推定2015

    • Author(s)
      藤枝慎, 山崎俊彦, 相澤清晴
    • Organizer
      映像情報メディア学会冬期大会
    • Place of Presentation
      早稲田大学, 新宿区, 東京
    • Year and Date
      2015-12-15 – 2015-12-16
  • [Presentation] レビュー・レビュー間類似度とレビュー・店舗特徴語間類似度に基づく店舗推薦2015

    • Author(s)
      山本真史, 山崎俊彦, 相澤清晴
    • Organizer
      映像情報メディア学会冬期大会
    • Place of Presentation
      早稲田大学, 新宿区, 東京
    • Year and Date
      2015-12-15 – 2015-12-16
  • [Presentation] 番組情報と出演者の話題性を考慮したテレビドラマの視聴率予測2015

    • Author(s)
      福島悠介, 山崎俊彦, 相澤清晴
    • Organizer
      映像情報メディア学会冬期大会
    • Place of Presentation
      早稲田大学, 新宿区, 東京
    • Year and Date
      2015-12-15 – 2015-12-16
  • [Presentation] Real-time face model reconstruction and synthesis using an RGB-D camera and its subjective evaluation2015

    • Author(s)
      T. Yamasaki, I. Nakamura, and K. Aizawa
    • Organizer
      IEEE International Symposium on Multimedia (ISM)
    • Place of Presentation
      Miami, Florida
    • Year and Date
      2015-12-14 – 2015-12-16
    • Int'l Joint Research
  • [Presentation] Personal rating prediction for on-line video lectures using gaze information2015

    • Author(s)
      ]L. Sun, T. Yamasaki, and K Aizawa
    • Organizer
      International Conference on Information, Communications and Signal Processing (ICICS)
    • Place of Presentation
      Singapore, Singapore
    • Year and Date
      2015-12-02 – 2015-12-04
    • Int'l Joint Research / Invited
  • [Presentation] Prediction of User Ratings of Oral Presentations using Label Relations2015

    • Author(s)
      T. Yamasaki, Y. Fukushima, R. Furuta, L. Sun, K. Aizawa, and D. Bollegala
    • Organizer
      ACMMM Workshop on Affect and Sentiment in Multimedia (ACMMM ASM)
    • Place of Presentation
      Brisbane, Australia
    • Year and Date
      2015-11-30 – 2015-11-30
    • Int'l Joint Research
  • [Presentation] An Interactive System based on Yes-No Questions for Affective Image Retrieval2015

    • Author(s)
      S. Choi, T. Yamasaki, and K. Aizawa
    • Organizer
      ACMMM Workshop on Affect and Sentiment in Multimedia (ACMMM ASM)
    • Place of Presentation
      Brisbane, Australia
    • Year and Date
      2015-11-30 – 2015-11-30
    • Int'l Joint Research
  • [Presentation] 文書・音声特徴によるリアルタイム・プレゼンテーション解析にむけた検討2015

    • Author(s)
      山崎俊彦, 古田諒佑, 福島悠介, 相澤清晴
    • Organizer
      映像メディア処理シンポジウム (IMPS 2015)
    • Place of Presentation
      ラフォーレ修善寺, 伊豆市、静岡
    • Year and Date
      2015-11-18 – 2015-11-20
  • [Presentation] 高階エネルギーのMRF最適化によるラベル共起を考慮したマルチラベル分類2015

    • Author(s)
      古田諒佑, 福島悠介, 山崎俊彦, 相澤清晴
    • Organizer
      映像メディア処理シンポジウム (IMPS 2015)
    • Place of Presentation
      ラフォーレ修善寺, 伊豆市、静岡
    • Year and Date
      2015-11-18 – 2015-11-20
  • [Presentation] 局所パッチの特徴記述によるファションスタイル分類2015

    • Author(s)
      王若聞,山崎俊彦,相澤清晴
    • Organizer
      映像メディア処理シンポジウム (IMPS 2015)
    • Place of Presentation
      ラフォーレ修善寺, 伊豆市、静岡
    • Year and Date
      2015-11-18 – 2015-11-20
  • [Presentation] The Power of Tags: Predicting the Popularity of Your Content in Social Media in Geo-Spatial and Temporal Context2015

    • Author(s)
      T. Yamasaki, J. Hu, K. Aizawa, and T. Mei
    • Organizer
      Proc. Pacific-Rim Conference on Multimedia (PCM)
    • Place of Presentation
      Gwangju, Korea
    • Year and Date
      2015-09-16 – 2015-09-19
    • Int'l Joint Research / Invited
  • [Presentation] MRF-Based Multi-Label Classification using Label Relations2015

    • Author(s)
      Ryosuke Furuta, Yusuke Fukushima, Toshihiko Yamasaki, Kiyoharu Aizawa
    • Organizer
      情報処理学会・第198回コンピュータビジョンとイメージメディア研究発表会(CVIM)
    • Place of Presentation
      愛媛大学, 松山市, 愛媛
    • Year and Date
      2015-09-14 – 2015-09-15
  • [Presentation] 大規模メタデータ処理に基づく気温・天気を考慮した旅行ルート推薦2015

    • Author(s)
      小澤真里奈, 山崎俊彦, 相澤清晴
    • Organizer
      映像情報メディア学会年次大会
    • Place of Presentation
      東京理科大学葛飾キャンパス, 葛飾区, 東京
    • Year and Date
      2015-08-26 – 2015-08-28
  • [Presentation] 質問応答による感性画像検索おけるユーザ行動分析2015

    • Author(s)
      崔セミ, 山崎俊彦, 相澤清晴
    • Organizer
      映像情報メディア学会年次大会
    • Place of Presentation
      東京理科大学葛飾キャンパス, 葛飾区, 東京
    • Year and Date
      2015-08-26 – 2015-08-28
  • [Presentation] Prediction of subjective impression labels of TED talks based on viewers' gaze information2015

    • Author(s)
      L. Sun, T. Yamasaki, and K. Aizawa
    • Organizer
      映像情報メディア学会年次大会
    • Place of Presentation
      東京理科大学葛飾キャンパス, 葛飾区, 東京
    • Year and Date
      2015-08-26 – 2015-08-28
  • [Presentation] Fashion style evaluation model considering partial color and texture feature2015

    • Author(s)
      R. Wang, T. Yamasaki, and K. Aizawa
    • Organizer
      映像情報メディア学会年次大会
    • Place of Presentation
      東京理科大学葛飾キャンパス, 葛飾区, 東京
    • Year and Date
      2015-08-26 – 2015-08-28
  • [Presentation] A Prediction Model on 3D Model Compression and Its Printed Quality Based on Subjective Study2015

    • Author(s)
      T. Yamasaki, Y. Nakano, and K. Aizawa
    • Organizer
      SIGGRAPH
    • Place of Presentation
      Los Angles, the United States
    • Year and Date
      2015-08-09 – 2015-08-13
    • Int'l Joint Research
  • [Presentation] ソフトクラスタリングを用いたプレゼンテーションの印象推定精度の改善2015

    • Author(s)
      福島 悠介, 山崎 俊彦, 相澤 清晴
    • Organizer
      The 18th Meeting on Image Recognition and Understanding (MIRU)
    • Place of Presentation
      阪急エクスポパーク, 吹田市, Osaka
    • Year and Date
      2015-07-27 – 2015-07-30
  • [Presentation] How Popular Will Your Uploaded Image Be: Social Popularity Estimation in Image Sharing Services Using Text Tags Only2015

    • Author(s)
      J. Hu, T. Yamasaki, K. Aizawa
    • Organizer
      The 18th Meeting on Image Recognition and Understanding (MIRU)
    • Place of Presentation
      阪急エクスポパーク, 吹田市, Osaka
    • Year and Date
      2015-07-27 – 2015-07-30
  • [Presentation] 質問自動生成による感性画像検索システム2015

    • Author(s)
      崔 セミ, 山崎 俊彦, 相澤 清晴
    • Organizer
      The 18th Meeting on Image Recognition and Understanding (MIRU)
    • Place of Presentation
      阪急エクスポパーク, 吹田市, Osaka
    • Year and Date
      2015-07-27 – 2015-07-30
  • [Presentation] 3次元モデルの圧縮品質とプリントされたモデルに対する主観品質の関係性評価 -二種類の3次元プリンタによるケーススタディ-2015

    • Author(s)
      山崎俊彦, 中野雄介, 相澤清晴
    • Organizer
      3次元画像コンファレンス
    • Place of Presentation
      海洋研究開発機構横浜研究所三好記念講堂, 横浜, 神奈川
    • Year and Date
      2015-07-09 – 2015-07-10
  • [Presentation] YES-NO質問に基づいた画像の感性的な検索2015

    • Author(s)
      崔セミ, 山崎俊彦, 相澤清晴
    • Organizer
      電子情報通信学会マルチメディア・仮想環境基礎研究会 (MVE)
    • Place of Presentation
      東大・山上会館, 文京区, 東京
    • Year and Date
      2015-07-05 – 2015-07-06
  • [Presentation] Spatial and Temporal Analysis of Influential Tags on Social-Popularity in Image Sharing Services2015

    • Author(s)
      Jiani Hu, Toshihiko Yamasaki, Kiyoharu Aizawa, and Tao Mei
    • Organizer
      電子情報通信学会マルチメディア・仮想環境基礎研究会 (MVE)
    • Place of Presentation
      東大・山上会館, 文京区, 東京
    • Year and Date
      2015-07-05 – 2015-07-06
  • [Presentation] Future Design and User Navigation Using Big Multimedia Data2015

    • Author(s)
      T. Yamasaki
    • Organizer
      The 1st International Conference on Advanced Imaging (ICAI)
    • Place of Presentation
      一橋記念講堂,千代田区、東京
    • Year and Date
      2015-06-17 – 2015-06-19
    • Int'l Joint Research / Invited
  • [Presentation] Revealing Relationships between Folksonomy and Social Popularity Score in Image/Video Sharing Services2015

    • Author(s)
      T. Yamasaki, S. Sano, and T. Mei
    • Organizer
      IEEE International Conference on Consumer Electronics-Taiwan (ICCE-TW)
    • Place of Presentation
      Taipei, Taiwan
    • Year and Date
      2015-06-06 – 2015-06-08
    • Int'l Joint Research / Invited
  • [Remarks]

    • URL

      https://www.hal.t.u-tokyo.ac.jp/~yamasaki/project/index-e.html

  • [Patent(Industrial Property Rights)] 情報処理装置及び情報処理方法2016

    • Inventor(s)
      山崎俊彦, 大原康平
    • Industrial Property Rights Holder
      山崎俊彦, 大原康平
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      未定
    • Filing Date
      2016-02-03
  • [Patent(Industrial Property Rights)] 評価値演算装置、及びプログラム2015

    • Inventor(s)
      山崎俊彦,佐野峻平
    • Industrial Property Rights Holder
      山崎俊彦,佐野峻平
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      2015-079427
    • Filing Date
      2015-04-08
  • [Patent(Industrial Property Rights)] 3次元データ処理装置、3次元データ処理方法2015

    • Inventor(s)
      椿郁子, 山崎俊彦
    • Industrial Property Rights Holder
      椿郁子, 山崎俊彦
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      2015-22155
    • Filing Date
      2015-11-11

URL: 

Published: 2017-01-06  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi