• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Bi-directional retrieval of speech and image by indexing both speech and image data.

Research Project

Project/Area Number 24500124
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Research Field Media informatics/Database
Research InstitutionIwate Prefectural University

Principal Investigator

YOSHIAKI Ito  岩手県立大学, ソフトウェア情報学部, 教授 (90325928)

Co-Investigator(Kenkyū-buntansha) OOKAWA Shigeki  千葉工業大学, 工学部, 教授 (40306395)
TANAKA Kazuyo  筑波大学, 図書館情報メディア研究科, 教授 (70344207)
Project Period (FY) 2012-04-01 – 2015-03-31
Project Status Completed (Fiscal Year 2014)
Budget Amount *help
¥5,070,000 (Direct Cost: ¥3,900,000、Indirect Cost: ¥1,170,000)
Fiscal Year 2014: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Fiscal Year 2013: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2012: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Keywords画像、文章、音声等認識 / 音声 / 映像 / インデックス / 検索 / 高速 / 高精度 / 音声ドキュメント処理 / 音響情報 / 映像情報
Outline of Final Research Achievements

Subword recognition is performed for speech data streams, and we developed the new method to construct an index of syllable bigrams. When a user input query keywords, the method first selects a limited number of utterances including bigrams in query keywords, and enables to quickly identify the sections where query keywords are spoken in spoken documents
We also developed the method to search similar images quickly for a large amount of images and video data using Particle Swarm Optimization (PSO), and demonstrated the possibility of both directional search by the prototype system, "Searching/detecting an object using a speech"

Report

(4 results)
  • 2014 Annual Research Report   Final Research Report ( PDF )
  • 2013 Research-status Report
  • 2012 Research-status Report
  • Research Products

    (41 results)

All 2015 2014 2013 2012

All Journal Article (2 results) (of which Peer Reviewed: 2 results) Presentation (39 results) (of which Invited: 5 results)

  • [Journal Article] 音節N-gramの事前検索結果を利用した音声中の検索語検出の高速化方式2014

    • Author(s)
      伊藤慶明,斉藤裕之,田中和世,李時旭
    • Journal Title

      情報処理学会論文誌

      Volume: 50-2 Pages: 524-533

    • NAID

      110009646894

    • Related Report
      2013 Research-status Report
    • Peer Reviewed
  • [Journal Article] 音声中の検索語検出のためのテストコレクションの構築と分析2013

    • Author(s)
      伊藤慶明, 西崎博光, 中川聖一,秋葉友良, 河原達也, 胡新輝,南條浩輝,松井知子, 山下洋一, 相川清明
    • Journal Title

      情報処理学会論文誌

      Volume: Vol.54 No.2

    • NAID

      110009537042

    • Related Report
      2012 Research-status Report
    • Peer Reviewed
  • [Presentation] DNN の出力確率から構築したサブワード間音響距離の STD への適用2015

    • Author(s)
      紺野良太,李時旭,田中和世,小嶋和徳,石亀昌明,伊藤慶明
    • Organizer
      日本音響学会春季研究発表会
    • Place of Presentation
      中央大学,東京
    • Year and Date
      2015-03-16 – 2015-03-18
    • Related Report
      2014 Annual Research Report
  • [Presentation] DNN の出力確率を用いたリスコアリングの他システムの STD 結果への適用2015

    • Author(s)
      紺野良太,李時旭,田中和世,小嶋和徳,石亀昌明,伊藤慶明
    • Organizer
      日本音響学会春季研究発表会
    • Place of Presentation
      中央大学,東京
    • Year and Date
      2015-03-16 – 2015-03-18
    • Related Report
      2014 Annual Research Report
  • [Presentation] 音声クエリの複数区間の認識結果に基づくクエリ音素系列の選択2015

    • Author(s)
      高橋 仁基,李時旭,田中和世,小嶋和徳,石亀昌明,伊藤慶明
    • Organizer
      日本音響学会春季研究発表会
    • Place of Presentation
      中央大学,東京
    • Year and Date
      2015-03-16 – 2015-03-18
    • Related Report
      2014 Annual Research Report
  • [Presentation] 未知語の音声クエリに対する複数検索結果を用いた音声中の検索語検出2015

    • Author(s)
      大島聡史,小嶋和徳,石亀昌明,伊藤慶明
    • Organizer
      日本音響学会春季研究発表会
    • Place of Presentation
      中央大学,東京
    • Year and Date
      2015-03-16 – 2015-03-18
    • Related Report
      2014 Annual Research Report
  • [Presentation] 高精度・高速・低容量の音声中の検索語検出法の検討 ーサブワードN-gramの転置インデックスの利用ー2015

    • Author(s)
      菅原翔太,李時旭,小嶋和徳,伊藤慶明
    • Organizer
      音声研究会,電子情報通信学会技術研究報告
    • Place of Presentation
      石垣島,沖縄
    • Year and Date
      2015-03-02 – 2015-03-03
    • Related Report
      2014 Annual Research Report
  • [Presentation] DNNの出力確率から構築したサブワード間及び状態間音響距離によるSTDの精度向上2015

    • Author(s)
      紺野良太,李時旭,小嶋和徳,伊藤慶明
    • Organizer
      音声研究会,電子情報通信学会技術研究報告
    • Place of Presentation
      石垣島,沖縄
    • Year and Date
      2015-03-02
    • Related Report
      2014 Annual Research Report
  • [Presentation] カテゴリの特性情報を用いたセマンティックセグメンテーション法の検討 ~ 物体検出・認識情報、および前景・背景情報を用いて ~2015

    • Author(s)
      照井翔太,小嶋和徳,伊藤慶明,石亀昌明
    • Organizer
      PRMU,電子情報通信学会技術研究報告
    • Place of Presentation
      東北大学,宮城
    • Year and Date
      2015-02-19 – 2015-02-20
    • Related Report
      2014 Annual Research Report
  • [Presentation] An IWAPU STD System for OOV Query Terms and Spoken Queries2014

    • Author(s)
      Jinki Takahashi, Takumi Hashimoto, Ryota Kon'no, Shota Sugawara, Kazuki Ouchi, Satoshi Oshima, Takahiro Akyu and Yoshiaki Itoh
    • Organizer
      NTCIR-11
    • Place of Presentation
      NII, Tokyo, Japan
    • Year and Date
      2014-12-09 – 2014-12-12
    • Related Report
      2014 Annual Research Report
  • [Presentation] Effective Combination of Heterogeneous Subword-based Spoken Term Detection Systems2014

    • Author(s)
      Shi-wook Lee, Kazuyo Tanaka, Yoshiaki Itoh
    • Organizer
      IEEE Spoken Language Technology Workshop
    • Place of Presentation
      Lake Tahoe, America
    • Year and Date
      2014-12-08 – 2014-12-10
    • Related Report
      2014 Annual Research Report
  • [Presentation] 類似音節バイグラムリストを用いたSTD 事前検索方式のインデックス削減2014

    • Author(s)
      大内 一揮,鳴海 司郎,菅原 翔太,李 時旭,田中 和世,伊藤 慶明
    • Organizer
      日本音響学会秋季研究発表会
    • Place of Presentation
      北海学園大学,北海道
    • Year and Date
      2014-09-03 – 2014-09-05
    • Related Report
      2014 Annual Research Report
  • [Presentation] STD におけるDNN の出力確率を用いたリスコアリング2014

    • Author(s)
      紺野良太,李時旭,田中和世,小嶋和徳,石亀昌明,伊藤慶明
    • Organizer
      日本音響学会秋季研究発表会
    • Place of Presentation
      北海学園大学,北海道
    • Year and Date
      2014-09-03 – 2014-09-05
    • Related Report
      2014 Annual Research Report
  • [Presentation] 音声検索語検出における異種的結果の分析統合2014

    • Author(s)
      李時旭,田中和世,伊藤慶明
    • Organizer
      日本音響学会秋季研究発表会
    • Place of Presentation
      北海学園大学,北海道
    • Year and Date
      2014-09-03 – 2014-09-05
    • Related Report
      2014 Annual Research Report
  • [Presentation] DNNの出力確率を用いたSTDのリスコアリング方式2014

    • Author(s)
      紺野良太,李時旭,田中和世,小嶋和徳,石亀昌明,伊藤慶明
    • Organizer
      音声言語情報処理研究会,情報処理学会研究報告
    • Place of Presentation
      盛岡,岩手
    • Year and Date
      2014-07-24 – 2014-07-26
    • Related Report
      2014 Annual Research Report
  • [Presentation] 音声中の検索語検出における評価指標の考察2014

    • Author(s)
      大島 聡史,伊藤慶明
    • Organizer
      音声研究会,電子情報通信学会技術研究報告
    • Place of Presentation
      日本大学,東京
    • Year and Date
      2014-05-24 – 2014-05-25
    • Related Report
      2014 Annual Research Report
  • [Presentation] 類似音節バイグラムリストを用いた音声中の検出語検出2014

    • Author(s)
      大内一揮,鳴海司郎,李時旭,田中和世,伊藤慶明
    • Organizer
      音声言語情報処理研究会,情報処理学会研究報告
    • Place of Presentation
      東京工業大学,東京
    • Year and Date
      2014-05-22 – 2014-05-23
    • Related Report
      2014 Annual Research Report
  • [Presentation] 音声中の語彙外検索語の検出における高順位候補を利用したリランキング方式の評価2014

    • Author(s)
      紺野和磨,小嶋和徳,石亀昌明,田中和世,李時旭,伊藤慶明
    • Organizer
      日本音響学会春季研究発表会
    • Place of Presentation
      日本大学
    • Related Report
      2013 Research-status Report
  • [Presentation] 音声中の辞書外検索語の検出における音素 N グラムによる事前検索方式2014

    • Author(s)
      熊谷真純,小嶋和徳,石亀昌明,田中和世,李時旭,伊藤慶明
    • Organizer
      日本音響学会春季研究発表会
    • Place of Presentation
      日本大学
    • Related Report
      2013 Research-status Report
  • [Presentation] An STD system for OOV query terms integrating multiple STD results of various subword units2013

    • Author(s)
      Kazuma Konno, Hiroyuki Saito, Shirou Narumi, Kenta Sugawara, Kesuke Kamata, Manabu Kon’no, Jinki Takahashi, and Yoshiaki Itoh
    • Organizer
      NTCIR-10
    • Place of Presentation
      国立情報学研究所
    • Related Report
      2013 Research-status Report
    • Invited
  • [Presentation] Overview of the NTCIR-10 SpokenDoc-2 Task2013

    • Author(s)
      Tomoyosi Akiba, Hiromitsu Nishizaki, Kiyoaki Aikawa, Xinhui Hu, Yoshiaki Itoh, Tatsuya Kawahara, Seiichi Nakagawa, Hiroaki Nanjo and Yoichi Yamashita
    • Organizer
      NTCIR-10
    • Place of Presentation
      国立情報学研究所
    • Related Report
      2013 Research-status Report
    • Invited
  • [Presentation] Intensive Acoustic Models Constructed by Integrating Low-Occurrence Models for Spoken Term Detection2013

    • Author(s)
      Shirou Narumi, Kazuma Konno, Takuya Nakano, Yoshiaki Itoh, Kazunori Kojima, Masaaki Ishigame, Kazuyo Tanaka, and Shi-wook Lee
    • Organizer
      INTERSPEECH
    • Place of Presentation
      Lyon, France
    • Related Report
      2013 Research-status Report
    • Invited
  • [Presentation] Pseudo Real-Time Spoken Term Detection Using Pre-Retrieval Results2013

    • Author(s)
      Yoshiaki Itoh, Hiroyuki Saito, Kazuyo Tanaka, Shi-wook Lee
    • Organizer
      SPECOM
    • Place of Presentation
      Plzen in Czech
    • Related Report
      2013 Research-status Report
    • Invited
  • [Presentation] High Priority in Highly Ranked Documents in Spoken Term Detection2013

    • Author(s)
      Konno Kazuma, Itoh Yoshiaki, Kazunori Kojima, Ishigame Masaaki, Tanaka Kazuyo, Shi-Wook Lee
    • Organizer
      Asia-Pacific Signal and Information Processing Association APSIPA
    • Place of Presentation
      高雄
    • Related Report
      2013 Research-status Report
    • Invited
  • [Presentation] 音声中の検索語検出における事前検索・HMM状態系列照合・リランキングの適用2013

    • Author(s)
      高橋仁基,伊藤慶明,李時旭,田中和世,小嶋和徳,石亀昌明
    • Organizer
      音声言語処理シンポジウム,電子情報通信学会技術研究報告113 号,366(SP2013 82-95
    • Place of Presentation
      筑波大学
    • Related Report
      2013 Research-status Report
  • [Presentation] 音声中の検索語検出における高順位ドキュメント優先方式の提案2013

    • Author(s)
      紺野 和磨,伊藤 慶明,小嶋 和徳,石亀 昌明,田中 和世,李 時旭
    • Organizer
      日本音響学会秋季研究発表会
    • Place of Presentation
      信州大学
    • Related Report
      2013 Research-status Report
  • [Presentation] 音節バイグラム事前検索方式におけるインデックス容量削減2013

    • Author(s)
      鳴海 司郎,伊藤 慶明,田中 和世,李 時旭
    • Organizer
      日本音響学会秋季研究発表会
    • Place of Presentation
      信州大学
    • Related Report
      2013 Research-status Report
  • [Presentation] 音声検索語検出における認識誤りと性能評価の実験的考察2013

    • Author(s)
      李 時旭,児島 宏明,田中 和世,伊藤 慶明
    • Organizer
      日本音響学会秋季研究発表会
    • Place of Presentation
      信州大学
    • Related Report
      2013 Research-status Report
  • [Presentation] NTCIR-10 SpokenDoc-2 Spoken Term Detection タスクの結果と知見2013

    • Author(s)
      西崎 博光(山梨大),秋葉 友良(豊橋技科大),相川 清明(東京工科大),胡 新輝(NICT),伊藤 慶明(岩手県立大),河原 達也(京大),中川 聖一(豊橋技科大),南條 浩輝(龍谷大),山下 洋一(立命館大)
    • Organizer
      日本音響学会秋季研究発表会
    • Place of Presentation
      信州大学
    • Related Report
      2013 Research-status Report
  • [Presentation] NTCIR-10 SpokenDoc-2 Spoken Content Retrieval タスクの結果と知見2013

    • Author(s)
      秋葉 友良(豊橋技科大),西崎 博光(山梨大),相川 清明(東京工科大),胡 新輝(NICT),伊藤 慶明(岩手県立大),河原 達也(京大),中川 聖一(豊橋技科大),南條 浩輝(龍谷大),山下 洋一(立命館大)
    • Organizer
      日本音響学会秋季研究発表会
    • Place of Presentation
      信州大学
    • Related Report
      2013 Research-status Report
  • [Presentation] Experimental Evaluation of Probabilistic Similarity for Spoken Term Detection2013

    • Author(s)
      Shi-wook Lee, Hiroaki Kojima, Kazuyo Tanaka and Yoshiaki Itoh
    • Organizer
      International Conference on Pattern Recognition Applications and Methods
    • Place of Presentation
      Barcelona, Spain
    • Related Report
      2012 Research-status Report
  • [Presentation] 音声中の検索語検出におけるサブワードN-gram を用いた高速化2013

    • Author(s)
      鎌田 圭祐,斉藤 裕之,伊藤 慶明,小嶋 和徳,石亀 昌明,田中 和世,李 時旭
    • Organizer
      日本音響学会春季季研究発表会
    • Place of Presentation
      東京工科大学
    • Related Report
      2012 Research-status Report
  • [Presentation] N-音節事前検索方式における転置インデックス化の検討2013

    • Author(s)
      斉藤 裕之,伊藤 慶明,小嶋 和徳,石亀 昌明,田中 和世,李 時旭
    • Organizer
      日本音響学会春季季研究発表会
    • Place of Presentation
      東京工科大学
    • Related Report
      2012 Research-status Report
  • [Presentation] 音声検索語検出における識別的スコアリングに関する実験的考察2013

    • Author(s)
      李 時旭,児島 宏明,田中 和世,伊藤 慶明
    • Organizer
      日本音響学会春季季研究発表会
    • Place of Presentation
      東京工科大学
    • Related Report
      2012 Research-status Report
  • [Presentation] 震災時におけるツイッターのトレンドワードと拡散情報を利用したデマ推定の一考察2013

    • Author(s)
      須田剛裕,小嶋和徳,伊藤慶明,石亀昌明
    • Organizer
      情報処理学会第75回全国大会
    • Place of Presentation
      東北大学
    • Related Report
      2012 Research-status Report
  • [Presentation] アクティブ探索とPSO を組み合わせたテンプレートマッチング2013

    • Author(s)
      澤村 誠,小嶋和徳,伊藤慶明,石亀昌明
    • Organizer
      情報処理学会第75回全国大会
    • Place of Presentation
      東北大学
    • Related Report
      2012 Research-status Report
  • [Presentation] 情景画像中の文字抽出における色分解画像の複合による候補画像生成と特徴量補強に関する研究2013

    • Author(s)
      大原宏太,小嶋和徳,伊藤慶明,石亀昌明
    • Organizer
      情報処理学会第75回全国大会
    • Place of Presentation
      東北大学
    • Related Report
      2012 Research-status Report
  • [Presentation] Fast Spoken Term Detection Using Pre-retrieval Results of Syllable Bigrams2012

    • Author(s)
      Hiroyuki Saito, Yoshiaki Itoh, Kazunori Kojima, Masaaki Ishigame, Kazuyo Tanaka, Shi-wook Lee
    • Organizer
      Asia-Pacific Signal and Information Processing Association
    • Place of Presentation
      Hollywood, U.S.A.
    • Related Report
      2012 Research-status Report
  • [Presentation] 音声中の検索語検出における音素トライグラム照合による高速抽出法2012

    • Author(s)
      鎌田 圭祐 , 斉藤 裕之 , 伊藤 慶明 , 小嶋 和徳 , 石亀 昌明 , 田中 和世 , 李 時旭
    • Organizer
      音声言語処理シンポジウム、研究報告音声言語情報処理(SLP),2012-SLP-94(24),
    • Place of Presentation
      東京工業大学 大岡山キャンパス
    • Related Report
      2012 Research-status Report
  • [Presentation] N-音節事前検索結果を用いた音声中の検索語検出における上位候補の高速検索2012

    • Author(s)
      斉藤 裕之,伊藤 慶明,小嶋 和徳,石亀 昌明,田中 和世,李 時旭
    • Organizer
      日本音響学会秋季研究発表会
    • Place of Presentation
      信州大学
    • Related Report
      2012 Research-status Report
  • [Presentation] 音声中の検索語検出における候補順位に基づく候補区間のリランキング2012

    • Author(s)
      紺野 和磨,伊藤 慶明,小嶋 和徳,石亀 昌明,田中 和世,李 時旭
    • Organizer
      日本音響学会秋季研究発表会
    • Place of Presentation
      信州大学
    • Related Report
      2012 Research-status Report

URL: 

Published: 2013-05-31   Modified: 2019-07-29  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi