Development of special information retrieving system based on the collaboration of visual and acoustical information using frequency domain binaural model

• Project/Area Number: 18500135
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Single-year Grants
• Section: 一般
• Research Field: Perception information processing/Intelligent robotics
• Research Institution: Kumamoto University
• Principal Investigator: USAGAWA Tsuyoshi Kumamoto University, 大学院・自然科学研究科, 教授 (30160229)
• Co-Investigator(Kenkyū-buntansha): CHISAKI Yoshifumi 熊本大学, 大学院・自然科学研究科, 助教 (50284740)
• Project Period (FY): 2006 – 2008
• Project Status: Completed (Fiscal Year 2008)
• Budget Amount: ¥4,170,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥570,000); Fiscal Year 2008: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000); Fiscal Year 2007: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000); Fiscal Year 2006: ¥1,700,000 (Direct Cost: ¥1,700,000)
• Keywords: 情報センシング / 両耳聴モデル / 空間情報抽出 / 視聴覚連携 / 周波数領域両耳聴モデル / 空間情報抽出モデル / 視聴覚情報連携 / FDBM / 実時間システム / 音源方向推定 / 顔画像抽出 / カメラ制御 / 音源分離

Research Abstract

これまで開発した周波数領域両耳聴モデルを発展させ, 聴覚的空間情報の抽出機能を向上するとともに, 視覚的空間情報と連携さることで, 両空間情報を補完的に統合することによりこれまでにない高精度な空間情報の抽出とそれに基づく高品質な情報抽出機能を実現することを目的として研究した。その結果、両耳聴モデルにより抽出した音響情報に基づく音源の方向情報と画像でのターゲット方向との連携が可能であることを示し、セキュリティカメラへの応用の可能性についてもその動作特性を含め明らかにした。

Research Products

• [Journal Article] Azimuthal and elevation localization of two sound sources using interaural phase and level differences (2008)
  • Author(s): Yoshifumi Chisaki, Sho Kwano, Kyoko Nagata, Kotaro Matsuo, Hidetoshi Nakashima, Tsuyoshi Usagawa
  • Journal Title: Acoustical Science & Technology 29(2) Pages: 139-148
  • NAID: 110006623431
  • Peer Reviewed
• [Journal Article] On bit rate reduction of Inter-Channel Communication for a Binaural Hearing Assistance System (2008)
  • Author(s): Yoshifumi Chisaki, Ryoji Kawano, Tsuyoshi Usagawa
  • Journal Title: IEICE Trans. Fundamentals E91-A(8) Pages: 2041-2044
  • NAID: 10026850753
  • Peer Reviewed
• [Journal Article] Azimuthal and elevation localization using inter-channel phase and level differences for a hemispheric object (2008)
  • Author(s): Yoshifumi Chisaki, Masahiro Naganishi, Tsuyoshi Usagawa
  • Journal Title: IEICE Trans. Fundamentals E91-A(10) Pages: 3059-3062
  • NAID: 10026852945
  • Peer Reviewed
• [Journal Article] On bit rate reduction of Inter-Channel Communication for a Binaural Hearing Assistance System (2008)
  • Author(s): Y. Chisaki
  • Journal Title: IEICE Trans. Fundamentals E91-A Pages: 2041-2044
  • NAID: 10026850753
  • Peer Reviewed
• [Journal Article] Azimuthal and elevation localizationusing inter-channel phase and level differences for a hemispheric object (2008)
  • Author(s): Y. Chisaki
  • Journal Title: IEICE Trans. Fundamentals E91-A Pages: 3059-3062
  • Peer Reviewed
• [Journal Article] Azimuthal and elevation localization of two sound sources using interaural phase and level differences (2008)
  • Author(s): Yoshifumi Chisaki
  • Journal Title: Acoustical Science & Technology 29(2) Pages: 139-148
  • NAID: 110006623431
  • Peer Reviewed
• [Journal Article] Real-time processing using the frequency domain binaural model (2007)
  • Author(s): Yoshifumi Chisaki, Tsuyoshi Usagawa
  • Journal Title: Applied Acoustics 68(8) Pages: 923-938
  • Peer Reviewed
• [Journal Article] Real-time processing using the frequency domain binaural model (2007)
  • Author(s): Yoshifumi Chisaki
  • Journal Title: Applied Acoustics 68(8) Pages: 923-938
  • Peer Reviewed
• [Journal Article] Two dimensional estimation of multiple sound source directions using interaural phase and level differences (2007)
  • Author(s): Kyoko Nagata, Sho Kawano, Hidetoshi Nakashima, Yoshifumi Chisaki, Tsuyoshi Usagawa
  • Journal Title: Proc. Kyusyu-Youngnam Joint Conference on Acoustics 2007 Pages: 83-86
• [Journal Article] 3 素子アレイを用いた音源方向推定機能を有するカメラシステム (2007)
  • Author(s): 長西 将弘, 高田 俊亨, 苣木 禎史, 宇佐川 毅
  • Journal Title: 熊本県産学官技術交流会論文集 Pages: 166-167
• [Journal Article] 回折を用いた音源方向推定機能を有するカメラシステムにおける反射音の影響に関する検討 (2007)
  • Author(s): 長西 将弘, 高田 俊亨, 苣木 禎史, 宇佐川 毅
  • Journal Title: 日本音響学会2007年春季研究発表会講演論文集 Pages: 599-600
• [Journal Article] 周波数領域両耳聴モデルを用いた反射音の存在する環境下での音源方向推定 (2007)
  • Author(s): 永田 京子, 河野 翔, 中島 栄俊, 苣木 禎史, 宇佐川 毅
  • Journal Title: 日本音響学会2007年春季研究発表会講演論文集 Pages: 601-602
• [Journal Article] Sound source tracking for security camera based on object related transfer function (2006)
  • Author(s): Toshimichi Takada, Sho Kawano, Yoshifumi Chisaki, Tsuyoshi Usagawa
  • Journal Title: Proc. The 9th Western Pacific Acoustics Conference No.657(CDROM) Pages: 1-7
• [Journal Article] 両耳間位相差およびレベル差を用いた複数音源の方位角・仰角推定手法の検討 -音源方向の2次元推定による周波数領域両耳聴モデルの拡張- (2006)
  • Author(s): 河野 翔, 中島 栄俊, 苣木 禎史, 宇佐川 毅
  • Journal Title: 電子情報通信学会技術研究報告 Vol.106, No.205 Pages: 25-30
• [Journal Article] 周波数領域両耳聴モデルによる音源の方位角および仰角の同時推定に関する検討 (2006)
  • Author(s): 河野 翔, 中島 栄俊, 苣木 禎史, 宇佐川 毅
  • Journal Title: 日本音響学会2006年秋季研究発表会講演論文集 Pages: 479-480
• [Journal Article] 物体の回折を用いた3素子アレイによる音源到来方向推定 (2006)
  • Author(s): 高田 俊亨, 苣木 禎史, 宇佐川 毅
  • Journal Title: 日本音響学会2006年秋季研究発表会講演論文集 Pages: 533-534
• [Journal Article] 物体の回折現象を用いた音源到来方向推定のための基礎的検討 -3素子アレイを用いた特定方位角における仰角推定- (2006)
  • Author(s): 長西 将弘, 高田 俊亨, 苣木 禎史, 宇佐川 毅
  • Journal Title: 電気関係学会九州支部連合大会 Pages: 50-50
  • NAID: 130004608829
• [Journal Article] 周波数領域両耳聴モデルを用いた音源の方位角・仰角推定の精度に関する検討 (2006)
  • Author(s): 永田 京子, 河野 翔, 中島 栄俊, 苣木 禎史, 宇佐川 毅
  • Journal Title: 電気関係学会九州支部連合大会 Pages: 51-51
  • NAID: 130004608840
• [Journal Article] 3 素子アレイを用いた音源方向推定手法の実用化に関する検討 -測定系及び周囲雑音による推定性能への影響- (2006)
  • Author(s): 高田 俊亨, 長西 将弘, 苣木 禎史, 宇佐川 毅
  • Journal Title: 電子情報通信学会技術研究報告 Vol.106, No.372 Pages: 7-11
  • NAID: 110005718001
• [Journal Article] Sound source tracking for security camera using sensor array utilizing object-related transfer function (2006)
  • Author(s): Tsuyoshi Usagawa, Toshimichi Takada, Yoshifumi Chisaki
  • Journal Title: Proc. 4th Joint Meeting of the Acoustical Society of America and the Acoustical Society of Japan Vol.120, No.5-2 Pages: 3178-3178
• [Presentation] 周波数領域両耳聴モデルによる音源分離性能における定量評価-音源方向への依存性についての検討- (2009)
  • Author(s): 冨田 美奈
  • Organizer: 電子情報通信学会技術研究報告
  • Place of Presentation: 大分市
  • Year and Date: 2009-11-21
• [Presentation] An Objective Evaluation of Segregated Speech Signal By Means of Frequency Domain Binaural Model (2008)
  • Author(s): Tsuyoshi Usagawa
  • Organizer: 日本音響学会聴覚研究会資料
  • Place of Presentation: 唐津市
  • Year and Date: 2008-12-13
• [Presentation] An Objective Evaluation of Segregated Speech Signal By Means of Frequency Domain Binaural Model (2008)
  • Author(s): Tsuyoshi Usagawa, Minako Tomita, Sharifah Binti Saon, Yoshifumi Chisaki
  • Organizer: 日本音響学会聴覚研究会資料
  • Place of Presentation: 唐津
  • Year and Date: 2008-12-06
• [Presentation] 両耳補聴システムのための周波数領域両耳聴モデルを用いた音源分離-時間-周波数フィルタリングによるミュージカルノイズの低減- (2008)
  • Author(s): 河野亮詞, 苣木禎史, 宇佐川毅
  • Organizer: 電子情報通信学会技術研究報告
  • Place of Presentation: 大分
  • Year and Date: 2008-11-21
• [Presentation] 周波数領域両耳聴モデルによる音源分離性能における定量評価-音源方向への依存性についての検討- (2008)
  • Author(s): 冨田美奈子, シャリファサウン, 苣木禎史, 宇佐川毅
  • Organizer: 電子情報通信学会技術研究報告
  • Place of Presentation: 大分
  • Year and Date: 2008-11-21
• [Presentation] 両耳補聴システムのための周波数領域両耳聴モデルを用いた音源分離-時間-周波数フィルタリングによるミュージカルノイズの低減- (2008)
  • Author(s): 河野亮詞
  • Organizer: 電子情報通信学会技術研究報告
  • Place of Presentation: 大分市
  • Year and Date: 2008-11-21
• [Presentation] 音響情報により捕捉した画角外音源の追跡機能を備えた監視カメラシステムの構築に関する検討 (2008)
  • Author(s): 宇佐川 毅
  • Organizer: 電子情報通信学会応用音響研究会
  • Place of Presentation: 熊本
  • Year and Date: 2008-11-15
• [Presentation] Utterance Training System for Japanese Language -Experimental Results at ITS- (2008)
  • Author(s): Tomohisa Mashima, Takeshi Yosemoto, Kousuke Matsuo, Anik Amalia, Yoshifumi Chisaki, Tsuyoshi Usagawa
  • Organizer: The 6th Kumamoto University Forum
  • Place of Presentation: スラバヤ市インドネシア
  • Year and Date: 2008-11-05
• [Presentation] Microphone array system equipped on a security camera -Detection of sound event- (2008)
  • Author(s): Taisuke Katayama, Masahiro Naganishi, Yoshifumi Chisaki, Tsuyoshi Usagawa
  • Organizer: The 6th Kumamoto University Forum
  • Place of Presentation: スラバヤ市インドネシア
  • Year and Date: 2008-11-05
• [Presentation] Microphone array system equipped on a security camera-Detection of sound event-r (2008)
  • Author(s): Taisuke Katayama
  • Organizer: The 6th Kumamoto University Forum
  • Place of Presentation: インドネシア共和国スラバヤ市
  • Year and Date: 2008-11-04
• [Presentation] Quantitative evaluation of sound source segregation performance by means of the frequency domain binaural model (2008)
  • Author(s): Minako Tomita, Yoshifumi Chisaki, Tsuyoshi Usagawa
  • Organizer: InterNoise 2008
  • Place of Presentation: 上海
  • Year and Date: 2008-10-28
• [Presentation] Estimation of sound source direction using a direct sound component extracted from three microphones mounted on a security camera cover (2008)
  • Author(s): Masahiro Naganishi, Taisuke Katayama, Yoshifumi Chisaki, Tsuyoshi Usagawa
  • Organizer: InterNoise 2008
  • Place of Presentation: 上海
  • Year and Date: 2008-10-27
• [Presentation] Estimation of sound source direction using a direct sound component extracted from three microphones mounted on a security camera cover (2008)
  • Author(s): M. Nagashini
  • Organizer: Proceeding of InterNoise 2008
  • Place of Presentation: 中華人民共和国上海市
  • Year and Date: 2008-10-26
• [Presentation] Quantitative evaluation of sound source segregation performance by means of the frequency domain binaural mode (2008)
  • Author(s): Minako Tomita
  • Organizer: Proceeding of InterNoise 2008
  • Place of Presentation: 中華人民共和国上海市
  • Year and Date: 2008-10-26
• [Presentation] 音源の方向推定機能を有する監視カメラシステムの構築に関する検討-残響場での観測信号の立ち上がり検出- (2008)
  • Author(s): 片山泰輔, 長西将弘, 苣木禎史, 宇佐川毅
  • Organizer: 電気関係学会九州支部連合大会講演論文集
  • Place of Presentation: 大分
  • Year and Date: 2008-09-24
• [Presentation] 音源の方向推定機能を有する監視カメラシステムの構築に関する検討-設置環境での反射音による方向推定性能への影響- (2008)
  • Author(s): 長西将弘, 片山泰輔, 苣木禎史, 宇佐川毅
  • Organizer: 日本音響学会2008年秋季研究発表会講演論文集
  • Place of Presentation: 福岡
  • Year and Date: 2008-09-11
• [Presentation] 両耳補聴システムにおける音声コーデツクを用いた両耳間通信の検討 (2008)
  • Author(s): 河野亮詞
  • Organizer: 電子情報通信学会技術研究報
  • Place of Presentation: 本庄市
  • Year and Date: 2008-06-27
• [Presentation] 両耳補聴システムにおける音声コーデックを用いた両耳間通信の検討 (2008)
  • Author(s): 河野亮詞, 苣木禎史, 宇佐川毅
  • Organizer: 電子情報通信学会技術研究報告
  • Place of Presentation: 本庄
  • Year and Date: 2008-06-20
• [Presentation] 頭部回転制御によるFDBMのデータベース更新に関する検討 (2008)
  • Author(s): 中島栄俊, 脇坂龍, 加茂田, 浩史, 苣木禎史, 宇佐川毅
  • Organizer: 日本音響学会2008年春季研究発表会
  • Place of Presentation: 千葉
  • Year and Date: 2008-03-17
• [Presentation] 周波数領域両耳聴モデルを用いた音源方向推定の精度に関する検討- 正面ならびに側方における精度推定 (2007)
  • Author(s): 永田京子, 今村浩二郎, 中島栄俊, 苣木禎史, 宇佐川毅
  • Organizer: 電子情報通信学会応用音響研究会
  • Place of Presentation: 熊本
  • Year and Date: 2007-11-15
• [Presentation] 音響情報により捕捉した画角外音源の追跡機能を備えた監視カメラシステムの構築に関する検討 (2007)
  • Author(s): 長西将弘, 荒木潤一, 苣木禎史, 宇佐川毅
  • Organizer: 電子情報通信学会応用音響研究会
  • Place of Presentation: 熊本
  • Year and Date: 2007-11-15
• [Presentation] 周波数領域両耳聴モデルを用いた音源方向推定の精度に関する検討-正面ならびに側方における精度推定 (2007)
  • Author(s): 宇佐川 毅
  • Organizer: 電子情報通信学会応用音響研究会
  • Place of Presentation: 熊本
  • Year and Date: 2007-11-15
• [Presentation] (2007)
  • Author(s): 4.PMLボディー等の核内構造の形成機構の解析
  • Organizer: 第22回信号処理シンポジウム 電子情報通信学会
  • Place of Presentation: 仙台
  • Year and Date: 2007-11-07
• [Presentation] 視聴覚情報を用いた画角外音源に対応可能なカメラシステム (2007)
  • Author(s): 宇佐川 毅
  • Organizer: 音響学会九州支部学生のための研究発表会 日本音響学会九州支部
  • Place of Presentation: 福岡
  • Year and Date: 2007-10-27
• [Presentation] 視聴覚情報を用いた画角外音源に対応可能なカメラシステム (2007)
  • Author(s): 荒木潤一, 長西将弘, 苣木禎史, 宇佐川毅
  • Organizer: 日本音響学会九州支部学生のための研究発表会
  • Place of Presentation: 福岡
  • Year and Date: 2007-10-25
• [Presentation] 周波数領域両耳聴モデルを利用した視聴覚連携による空間情報抽出システム (2007)
  • Author(s): 苣木禎史, 長西将弘, 宇佐川毅
  • Organizer: 第22回信号処理シンポジウム電子情報通信学会
  • Place of Presentation: 仙台
  • Year and Date: 2007-10-12
• [Presentation] 小型物体のためのobjectrelated transfer function 自動測定 (2007)
  • Author(s): 苣木禎史, 長西将弘, 高田俊亨, 神澤龍市, 宇佐川毅
  • Organizer: 電子情報通信学会応用音響研究会
  • Place of Presentation: 札幌
  • Year and Date: 2007-06-29
• [Presentation] 小型物体のための object related transfer function 自動測定 (2007)
  • Author(s): 宇佐川 毅
  • Organizer: 電子情報通信学会応用音響研究会
  • Place of Presentation: 北海道
  • Year and Date: 2007-06-29
• [Presentation] Development of an Automatic Measurement System of Object Related Transfer Function for Small Object (2007)
  • Author(s): Masahiro Naganishi, Toshimichi Takada, Yoshifumi Chisaki, Tsuyoshi Usagawa
  • Organizer: Japan-China Joint Conference on Acoustics 2007
  • Place of Presentation: 仙台
  • Year and Date: 2007-06-04
• [Presentation] Sound source tracking for security camera using sensor array utilizing object-related transfer function(Vol.120, No.5-2) (2006)
  • Author(s): Tsuyoshi Usagawa, Toshimichi Takada and Yoshifumi Chisaki
  • Organizer: Proc. 4th Joint Meeting of the Acoustical Society of America and the Acoustical Society of Japan
  • Place of Presentation: Honolulu
  • Year and Date: 2006-11-28
• [Presentation] Azimuth and elevation estimation for mutiple sound sources using two-dimensional frequency domain binaural model(Vol.120, No.5-2) (2006)
  • Author(s): Yoshifumi Chisaki, Sho Kawano and Tsuyoshi Usagawa
  • Organizer: Proc. 4th Joint Meeting of the Acoustical Society of America and the Acoustical Society of Japan
  • Place of Presentation: Honolulu
  • Year and Date: 2006-11-28
• [Presentation] 物体の回折現象を用いた音源到来方向推定のための基礎的検討-3 素子アレイを用いた特定方位角における仰角推定- (2006)
  • Author(s): 長西将弘, 高田俊亨, 苣木禎史, 宇佐川毅
  • Organizer: 電気関係学会九州支部連合大会
  • Place of Presentation: 宮崎
  • Year and Date: 2006-09-29
• [Presentation] 周波数領域両耳聴モデルを用いた音源の方位角・仰角推定の精度に関する検討 (2006)
  • Author(s): 永田京子, 河野翔, 中島栄俊, 苣木禎史, 宇佐川毅
  • Organizer: 電気関係学会九州支部連合大会
  • Place of Presentation: 宮崎
  • Year and Date: 2006-09-29
• [Presentation] 周波数領域両耳聴モデルによる音源の方位角および仰角の同時推定に関する検討 (2006)
  • Author(s): 河野翔, 中島栄俊, 苣木禎史, 宇佐川毅
  • Organizer: 日本音響学会2006年秋季研究発表会講演論文集
  • Place of Presentation: 金沢
  • Year and Date: 2006-09-15
• [Presentation] 物体の回折を用いた3素子アレイによる音源到来方向推定 (2006)
  • Author(s): 高田俊亨, 苣木禎史, 宇佐川毅
  • Organizer: 日本音響学会2006年秋季研究発表会講演論文集
  • Place of Presentation: 金沢
  • Year and Date: 2006-09-15
• [Presentation] 両耳間位相差およびレベル差を用いた複数音源の方位角・仰角推定手法の検討-音源方向の2次元推定による周波数領域両耳聴モデルの拡張-(Vol.106, No.205, EA2006-46) (2006)
  • Author(s): 河野翔, 中島栄俊, 苣木禎史, 宇佐川毅
  • Organizer: 電子情報通信学会技術研究報告
  • Place of Presentation: 仙台
  • Year and Date: 2006-08-10
• [Presentation] Sound source tracking for security camera based on object related transfer function(No.657(CDROM)) (2006)
  • Author(s): Toshimichi Takada, Sho Kawano, Yoshifumi Chisaki, Tsuyoshi Usagawa
  • Organizer: Proc. The 9th Western Pacific Acoustics Conference
  • Place of Presentation: Seoul
  • Year and Date: 2006-06-26