• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2015 年度 実績報告書

ビッグ・マルチメディア・データ処理による個人のメディア生成行動のナビゲーション

研究課題

研究課題/領域番号 26700008
研究機関東京大学

研究代表者

山崎 俊彦  東京大学, 情報理工学(系)研究科, 准教授 (70376599)

研究期間 (年度) 2014-04-01 – 2018-03-31
キーワードマルチメディア / ユーザナビゲーション / ビッグデータ / 魅力工学
研究実績の概要

本研究の目的は、(1)ユーザが生成するメディアに対するユーザ自身の主観的価値の検証を行うこと、及び(2)個人のメディア生成行動をナビゲーションしより良いメディア生成を支援することである。
本年度は「(2)個人のメディア生成行動ナビゲーション」に関して、(a)行動デザイン支援、(b)素材作成支援、(c)コンテンツ作成支援、の3つの小問題に分割してそれぞれについて取り組み、下記に示すとおり当初の計画以上の素晴らしい成果を達成できた。
「(a)行動デザイン支援」は、いい素材やコンテンツを作成するための前段階として、ユーザが満足の高い体験を得ることを支援するものである。26年度は、個人の趣味嗜好と気温・天候を考慮した旅行ルート推薦、不動産検索における間取りを用いた直感的な間取り検索技術を実現した。「(b)素材作成支援」は、画像・ビデオクリップ・テキストタグなど単体の素材データについて、その生成を支援するものである。26年度は、ファッション画像解析、タグ解析によるSNS上での人気予測と人気獲得のためのタグ推薦、タグが人気度に与える影響の年代・地域差解析などを実現した。「(c)コンテンツ作成支援」は、複数の素材を組み合わせて映像やプレゼントいった高品質なコンテンツを生成することを支援するものである。26年度は、文書・音声情報に基づくプレゼンテーションの印象解析、テレビドラマの放送前視聴率推定などを実現した。
どれもユニークな試みとして多くの受賞や招待講演依頼を受けている。また、会議発表なども順調に行っている。

現在までの達成度 (区分)
現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

これまで、非常に多くの項目について成果が出ており、研究計画の内容から大きく拡大して様々な研究分野に展開している。そのハイライトのみをいくつか列挙する。
ソーシャルネットワークにアップロードされた画像や映像などのコンテンツの人気度を予測しさらに人気度を高めるためのタグを推薦するためのアルゴリズム群について、DF-W、FolkPopularityRankという2種類の手法を提案し、解析や推薦を行った。また、大規模データやソーシャルネットワークにコンテンツを推薦されたタグ群と共にアップロードするという実証実験によって有用性を確認した。関連して、コンテンツの人気度に影響を及ぼすタグの地域・文化の差異やユーザの挙動の時間変化を詳らかにした。提案手法を一般の人が手軽に利用できるよう、WEBアプリの構築行った。
従来の不動産検索システムはキーワードによる検索やAND/ORによる絞り込み検索であるが、この方法では各部屋の間取りや広さといった構造について検索することは難しい。そこで、不動産の間取りをグラフ構造で表現し、ユーザの入力するクエリグラフと類似度が高い物件を出力するシステムや、ユーザが提示された物件に対して「好き・嫌い」のフィードバックを繰り返すだけで好みの間取りを持つ物件を提示できるシステムを提案した。そのほか不動産情報処理を行い、家賃の決定要因解析などを行った。
プレゼンテーションの解析について、これまで行ってきたテキスト・音声解析に加えジェスチャ解析や視線追跡など新たな特徴を用いることで、より高い精度で印象予測を行える技術の研究を行った。さらに、複数の印象間の相関や、複数の特徴量を用いたときの機械学習器の出力の相関を考える新たな機械学習の手法について詳細な技術の検討と有用性の確認を行った。その他、ソフトコーディング法を用いた予測精度の改善や、リアルタイム処理に向けた検討などを行った。

今後の研究の推進方策

今後も様々な分野に展開を図っていく予定である。そのうち、ハイライトのみを下記に述べる。
まずは、旅行ルート推薦について、天候・気温も追加情報として考慮した推薦システムの完成を目指す。さらには、観光地・レストラン・ホテルなどの評判サイトから特徴的な評価項目を抽出し、それに対してどのような評価がなされているか要約する手法について検討する。
ソーシャル人気度の解析および人気度増強のタグ推薦についてはFolkPopularityRankアルゴリズムの完成を目指す。また、テレビドラマの視聴率予測にも応用展開できることがわかっており、様々な分野への応用を考える。
プレゼンテーションの解析について、日本語対応とリアルタイム解析の実現を目指す。また、スライドコンテンツの解析に新たにチャレンジする。複数の印象間の相関や、複数の特徴量を用いたときの機械学習器の出力の相関を考える新たな機械学習の手法について詳細な技術の検討と有用性の確認を行う。教育コンテンツやCM・テレビショッピング映像などへの応用も予定している。
不動産情報処理について、不動産物件画像の解析、IoT技術を用いた物件の価値・住みやすさの定量化などについて検討していく。

次年度使用額が生じた理由

小額が残ったため無理して使用せず、次年度持ち越しとした。

次年度使用額の使用計画

次年度もクラウドワーカーに依頼して主観評価やデータ処理を行っていく予定であり、そのために使用する。効率的な予算執行に努める。

  • 研究成果

    (43件)

すべて 2016 2015 その他

すべて 雑誌論文 (3件) (うち査読あり 3件、 謝辞記載あり 3件、 オープンアクセス 2件) 学会発表 (36件) (うち国際学会 12件、 招待講演 8件) 備考 (1件) 産業財産権 (3件)

  • [雑誌論文] 文書と音声解析に基づくプレゼンテーション動画の印象予測2016

    • 著者名/発表者名
      福島悠介, 山崎俊彦, 相澤清晴
    • 雑誌名

      電子情報通信学会論文誌 D

      巻: vol. J99-D, no. 8 ページ: 699-708

    • 査読あり / 謝辞記載あり
  • [雑誌論文] RGB-Dカメラを使用した顔モデルのリアルタイム生成・合成による顔向き補正2015

    • 著者名/発表者名
      山崎俊彦, 中村新芽, 相澤清晴
    • 雑誌名

      映像情報メディア学会誌

      巻: 69 ページ: J231-J236

    • DOI

      10.3169/itej.69.J231

    • 査読あり / オープンアクセス / 謝辞記載あり
  • [雑誌論文] 主観評価に基づく3次元モデルの圧縮品質とプリント品質の関係性予測2015

    • 著者名/発表者名
      山崎俊彦, 中野雄介, 相澤清晴
    • 雑誌名

      映像情報メディア学会誌

      巻: 69 ページ: pp. J257-J260

    • DOI

      10.3169/itej.69.J253

    • 査読あり / オープンアクセス / 謝辞記載あり
  • [学会発表] マルチメディア・ビッグデータ処理による魅力解析2016

    • 著者名/発表者名
      山崎俊彦
    • 学会等名
      ICJ日本画像学会
    • 発表場所
      東京工業大学すずかけ台キャンパス, 横浜市, 神奈川
    • 年月日
      2016-06-08 – 2016-06-10
    • 招待講演
  • [学会発表] Multimodal Learning for Image Popularity Prediction on Social Media2016

    • 著者名/発表者名
      J Hu, T. Yamasaki, and K. Aizawa
    • 学会等名
      ICCE-TW
    • 発表場所
      Nantou, Tainan
    • 年月日
      2016-05-27 – 2016-05-29
    • 国際学会 / 招待講演
  • [学会発表] Audience Ratings Prediction of TV Dramas Based on the Cast and Their Popularity2016

    • 著者名/発表者名
      Y. Fukushima, T. Yamasaki, and K. Aizawa
    • 学会等名
      IEEE International Conference on Multimedia Big Data (BigMM)
    • 発表場所
      Taipei, Taiwan
    • 年月日
      2016-04-20 – 2016-04-22
    • 国際学会
  • [学会発表] Service Annotation and Profiling by Review Analysis2016

    • 著者名/発表者名
      M. Yamamoto, T. Yamasaki, and K. Aizawa
    • 学会等名
      IEEE International Conference on Multimedia Big Data (BigMM)
    • 発表場所
      Taipei, Taiwan
    • 年月日
      2016-04-20 – 2016-04-22
    • 国際学会 / 招待講演
  • [学会発表] Towards Online Impression Prediction of Oral Presentations using Soft Coding2016

    • 著者名/発表者名
      T. Yamasaki, Y. Fukushima, R. Furuta, and K. Aizawa
    • 学会等名
      1st workshop on Attractiveness Computing in Multimedia (ACM) in conjunction with IEEE International Conference on Multimedia Big Data (BigMM)
    • 発表場所
      Taipei, Taiwan
    • 年月日
      2016-04-20 – 2016-04-22
    • 国際学会
  • [学会発表] 高速な物体検出手法を用いた動画からの効率的な人物姿勢推定2016

    • 著者名/発表者名
      藤枝慎, 山崎俊彦, 相澤清晴
    • 学会等名
      情報処理学会第78回全国大会
    • 発表場所
      慶応大学, 横浜, 神奈川
    • 年月日
      2016-03-10 – 2016-03-12
  • [学会発表] 間取りや広さをクエリとする直感的な不動産検索システム2016

    • 著者名/発表者名
      大原康平, 山崎俊彦, 相澤清晴
    • 学会等名
      情報処理学会第78回全国大会
    • 発表場所
      慶応大学, 横浜, 神奈川
    • 年月日
      2016-03-10 – 2016-03-12
  • [学会発表] Bag of Words とskip-gram 併用によるレビュー・店舗間類似度評価とそれに基づく店舗推薦2016

    • 著者名/発表者名
      山本真史, 山崎俊彦, 相澤清晴
    • 学会等名
      情報処理学会第78回全国大会
    • 発表場所
      慶応大学, 横浜, 神奈川
    • 年月日
      2016-03-10 – 2016-03-12
  • [学会発表] ビッグ・マルチメディア・データ処理による「魅力」解析2016

    • 著者名/発表者名
      山崎俊彦
    • 学会等名
      電子情報通信学会, 信学技報,マルチメディア情報ハイディング・エンリッチメント研究会 (EMM)
    • 発表場所
      屋久島環境文化村センター, 熊毛郡屋久島町, 鹿児島
    • 年月日
      2016-03-02 – 2016-03-03
    • 招待講演
  • [学会発表] スタイル記述子によるファッションコーディネートの感性評価2016

    • 著者名/発表者名
      王若聞, 崔セミ, 山崎俊彦, 相澤清晴
    • 学会等名
      電子情報通信学会, 信学技報, 画像工学研究会
    • 発表場所
      北海道大学, 札幌市, 北海道
    • 年月日
      2016-02-22 – 2016-02-23
  • [学会発表] 高階MRFによるクラス間の共起情報を用いたマルチラベル分類の精度改善2016

    • 著者名/発表者名
      古田諒佑, 福島悠介, 山崎俊彦, 相澤清晴
    • 学会等名
      電子情報通信学会, 信学技報, 画像工学研究会
    • 発表場所
      北海道大学, 札幌市, 北海道
    • 年月日
      2016-02-22 – 2016-02-23
  • [学会発表] 時間連続性を考慮した動画からの人物姿勢推定2015

    • 著者名/発表者名
      藤枝慎, 山崎俊彦, 相澤清晴
    • 学会等名
      映像情報メディア学会冬期大会
    • 発表場所
      早稲田大学, 新宿区, 東京
    • 年月日
      2015-12-15 – 2015-12-16
  • [学会発表] レビュー・レビュー間類似度とレビュー・店舗特徴語間類似度に基づく店舗推薦2015

    • 著者名/発表者名
      山本真史, 山崎俊彦, 相澤清晴
    • 学会等名
      映像情報メディア学会冬期大会
    • 発表場所
      早稲田大学, 新宿区, 東京
    • 年月日
      2015-12-15 – 2015-12-16
  • [学会発表] 番組情報と出演者の話題性を考慮したテレビドラマの視聴率予測2015

    • 著者名/発表者名
      福島悠介, 山崎俊彦, 相澤清晴
    • 学会等名
      映像情報メディア学会冬期大会
    • 発表場所
      早稲田大学, 新宿区, 東京
    • 年月日
      2015-12-15 – 2015-12-16
  • [学会発表] Real-time face model reconstruction and synthesis using an RGB-D camera and its subjective evaluation2015

    • 著者名/発表者名
      T. Yamasaki, I. Nakamura, and K. Aizawa
    • 学会等名
      IEEE International Symposium on Multimedia (ISM)
    • 発表場所
      Miami, Florida
    • 年月日
      2015-12-14 – 2015-12-16
    • 国際学会
  • [学会発表] Personal rating prediction for on-line video lectures using gaze information2015

    • 著者名/発表者名
      ]L. Sun, T. Yamasaki, and K Aizawa
    • 学会等名
      International Conference on Information, Communications and Signal Processing (ICICS)
    • 発表場所
      Singapore, Singapore
    • 年月日
      2015-12-02 – 2015-12-04
    • 国際学会 / 招待講演
  • [学会発表] Prediction of User Ratings of Oral Presentations using Label Relations2015

    • 著者名/発表者名
      T. Yamasaki, Y. Fukushima, R. Furuta, L. Sun, K. Aizawa, and D. Bollegala
    • 学会等名
      ACMMM Workshop on Affect and Sentiment in Multimedia (ACMMM ASM)
    • 発表場所
      Brisbane, Australia
    • 年月日
      2015-11-30 – 2015-11-30
    • 国際学会
  • [学会発表] An Interactive System based on Yes-No Questions for Affective Image Retrieval2015

    • 著者名/発表者名
      S. Choi, T. Yamasaki, and K. Aizawa
    • 学会等名
      ACMMM Workshop on Affect and Sentiment in Multimedia (ACMMM ASM)
    • 発表場所
      Brisbane, Australia
    • 年月日
      2015-11-30 – 2015-11-30
    • 国際学会
  • [学会発表] 文書・音声特徴によるリアルタイム・プレゼンテーション解析にむけた検討2015

    • 著者名/発表者名
      山崎俊彦, 古田諒佑, 福島悠介, 相澤清晴
    • 学会等名
      映像メディア処理シンポジウム (IMPS 2015)
    • 発表場所
      ラフォーレ修善寺, 伊豆市、静岡
    • 年月日
      2015-11-18 – 2015-11-20
  • [学会発表] 高階エネルギーのMRF最適化によるラベル共起を考慮したマルチラベル分類2015

    • 著者名/発表者名
      古田諒佑, 福島悠介, 山崎俊彦, 相澤清晴
    • 学会等名
      映像メディア処理シンポジウム (IMPS 2015)
    • 発表場所
      ラフォーレ修善寺, 伊豆市、静岡
    • 年月日
      2015-11-18 – 2015-11-20
  • [学会発表] 局所パッチの特徴記述によるファションスタイル分類2015

    • 著者名/発表者名
      王若聞,山崎俊彦,相澤清晴
    • 学会等名
      映像メディア処理シンポジウム (IMPS 2015)
    • 発表場所
      ラフォーレ修善寺, 伊豆市、静岡
    • 年月日
      2015-11-18 – 2015-11-20
  • [学会発表] The Power of Tags: Predicting the Popularity of Your Content in Social Media in Geo-Spatial and Temporal Context2015

    • 著者名/発表者名
      T. Yamasaki, J. Hu, K. Aizawa, and T. Mei
    • 学会等名
      Proc. Pacific-Rim Conference on Multimedia (PCM)
    • 発表場所
      Gwangju, Korea
    • 年月日
      2015-09-16 – 2015-09-19
    • 国際学会 / 招待講演
  • [学会発表] MRF-Based Multi-Label Classification using Label Relations2015

    • 著者名/発表者名
      Ryosuke Furuta, Yusuke Fukushima, Toshihiko Yamasaki, Kiyoharu Aizawa
    • 学会等名
      情報処理学会・第198回コンピュータビジョンとイメージメディア研究発表会(CVIM)
    • 発表場所
      愛媛大学, 松山市, 愛媛
    • 年月日
      2015-09-14 – 2015-09-15
  • [学会発表] 大規模メタデータ処理に基づく気温・天気を考慮した旅行ルート推薦2015

    • 著者名/発表者名
      小澤真里奈, 山崎俊彦, 相澤清晴
    • 学会等名
      映像情報メディア学会年次大会
    • 発表場所
      東京理科大学葛飾キャンパス, 葛飾区, 東京
    • 年月日
      2015-08-26 – 2015-08-28
  • [学会発表] 質問応答による感性画像検索おけるユーザ行動分析2015

    • 著者名/発表者名
      崔セミ, 山崎俊彦, 相澤清晴
    • 学会等名
      映像情報メディア学会年次大会
    • 発表場所
      東京理科大学葛飾キャンパス, 葛飾区, 東京
    • 年月日
      2015-08-26 – 2015-08-28
  • [学会発表] Prediction of subjective impression labels of TED talks based on viewers' gaze information2015

    • 著者名/発表者名
      L. Sun, T. Yamasaki, and K. Aizawa
    • 学会等名
      映像情報メディア学会年次大会
    • 発表場所
      東京理科大学葛飾キャンパス, 葛飾区, 東京
    • 年月日
      2015-08-26 – 2015-08-28
  • [学会発表] Fashion style evaluation model considering partial color and texture feature2015

    • 著者名/発表者名
      R. Wang, T. Yamasaki, and K. Aizawa
    • 学会等名
      映像情報メディア学会年次大会
    • 発表場所
      東京理科大学葛飾キャンパス, 葛飾区, 東京
    • 年月日
      2015-08-26 – 2015-08-28
  • [学会発表] A Prediction Model on 3D Model Compression and Its Printed Quality Based on Subjective Study2015

    • 著者名/発表者名
      T. Yamasaki, Y. Nakano, and K. Aizawa
    • 学会等名
      SIGGRAPH
    • 発表場所
      Los Angles, the United States
    • 年月日
      2015-08-09 – 2015-08-13
    • 国際学会
  • [学会発表] ソフトクラスタリングを用いたプレゼンテーションの印象推定精度の改善2015

    • 著者名/発表者名
      福島 悠介, 山崎 俊彦, 相澤 清晴
    • 学会等名
      The 18th Meeting on Image Recognition and Understanding (MIRU)
    • 発表場所
      阪急エクスポパーク, 吹田市, Osaka
    • 年月日
      2015-07-27 – 2015-07-30
  • [学会発表] How Popular Will Your Uploaded Image Be: Social Popularity Estimation in Image Sharing Services Using Text Tags Only2015

    • 著者名/発表者名
      J. Hu, T. Yamasaki, K. Aizawa
    • 学会等名
      The 18th Meeting on Image Recognition and Understanding (MIRU)
    • 発表場所
      阪急エクスポパーク, 吹田市, Osaka
    • 年月日
      2015-07-27 – 2015-07-30
  • [学会発表] 質問自動生成による感性画像検索システム2015

    • 著者名/発表者名
      崔 セミ, 山崎 俊彦, 相澤 清晴
    • 学会等名
      The 18th Meeting on Image Recognition and Understanding (MIRU)
    • 発表場所
      阪急エクスポパーク, 吹田市, Osaka
    • 年月日
      2015-07-27 – 2015-07-30
  • [学会発表] 3次元モデルの圧縮品質とプリントされたモデルに対する主観品質の関係性評価 -二種類の3次元プリンタによるケーススタディ-2015

    • 著者名/発表者名
      山崎俊彦, 中野雄介, 相澤清晴
    • 学会等名
      3次元画像コンファレンス
    • 発表場所
      海洋研究開発機構横浜研究所三好記念講堂, 横浜, 神奈川
    • 年月日
      2015-07-09 – 2015-07-10
  • [学会発表] YES-NO質問に基づいた画像の感性的な検索2015

    • 著者名/発表者名
      崔セミ, 山崎俊彦, 相澤清晴
    • 学会等名
      電子情報通信学会マルチメディア・仮想環境基礎研究会 (MVE)
    • 発表場所
      東大・山上会館, 文京区, 東京
    • 年月日
      2015-07-05 – 2015-07-06
  • [学会発表] Spatial and Temporal Analysis of Influential Tags on Social-Popularity in Image Sharing Services2015

    • 著者名/発表者名
      Jiani Hu, Toshihiko Yamasaki, Kiyoharu Aizawa, and Tao Mei
    • 学会等名
      電子情報通信学会マルチメディア・仮想環境基礎研究会 (MVE)
    • 発表場所
      東大・山上会館, 文京区, 東京
    • 年月日
      2015-07-05 – 2015-07-06
  • [学会発表] Future Design and User Navigation Using Big Multimedia Data2015

    • 著者名/発表者名
      T. Yamasaki
    • 学会等名
      The 1st International Conference on Advanced Imaging (ICAI)
    • 発表場所
      一橋記念講堂,千代田区、東京
    • 年月日
      2015-06-17 – 2015-06-19
    • 国際学会 / 招待講演
  • [学会発表] Revealing Relationships between Folksonomy and Social Popularity Score in Image/Video Sharing Services2015

    • 著者名/発表者名
      T. Yamasaki, S. Sano, and T. Mei
    • 学会等名
      IEEE International Conference on Consumer Electronics-Taiwan (ICCE-TW)
    • 発表場所
      Taipei, Taiwan
    • 年月日
      2015-06-06 – 2015-06-08
    • 国際学会 / 招待講演
  • [備考]

    • URL

      https://www.hal.t.u-tokyo.ac.jp/~yamasaki/project/index-e.html

  • [産業財産権] 情報処理装置及び情報処理方法2016

    • 発明者名
      山崎俊彦, 大原康平
    • 権利者名
      山崎俊彦, 大原康平
    • 産業財産権種類
      特許
    • 産業財産権番号
      未定
    • 出願年月日
      2016-02-03
  • [産業財産権] 評価値演算装置、及びプログラム2015

    • 発明者名
      山崎俊彦,佐野峻平
    • 権利者名
      山崎俊彦,佐野峻平
    • 産業財産権種類
      特許
    • 産業財産権番号
      2015-079427
    • 出願年月日
      2015-04-08
  • [産業財産権] 3次元データ処理装置、3次元データ処理方法2015

    • 発明者名
      椿郁子, 山崎俊彦
    • 権利者名
      椿郁子, 山崎俊彦
    • 産業財産権種類
      特許
    • 産業財産権番号
      2015-22155
    • 出願年月日
      2015-11-11

URL: 

公開日: 2017-01-06  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi