音響信号記号変換に基づいたセマンティックインタラクション
Publicly Offered Research
| Project Area | Cyber Infrastructure for the Information-explosion Era |
|---|
| Project/Area Number |
21013030
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research on Priority Areas
|
| Allocation Type | Single-year Grants |
|---|
| Review Section |
Science and Engineering
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
奥乃 博 京都大学, 情報学研究科, 教授 (60318201)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
高橋 徹 京都大学, 情報学研究科, GCOE助教 (30419494)
|
|---|
| Project Period (FY) |
2009 – 2010
|
| Project Status |
Completed (Fiscal Year 2010)
|
| Budget Amount *help |
¥11,900,000 (Direct Cost: ¥11,900,000)
Fiscal Year 2010: ¥6,000,000 (Direct Cost: ¥6,000,000)
Fiscal Year 2009: ¥5,900,000 (Direct Cost: ¥5,900,000)
|
|---|
| Keywords | ロボット聴覚 / 音響信号記号変換 / セミブラインド音源分離 / 発達論的コミュニケーション / ミッシングフィーチャ理論 / 自己生成音抑制 / 音楽ロボット / HARK |
|---|
| Research Abstract |
音情報の量的爆発を促進するために【音を聞き分ける技術】に,また,音情報提示での複雑化を軽減するために【音を見せる技術】に,それぞれ取り組んだ.具体的な成果は以下の通りである
(1)「音を聞き分ける」:分離音認識・自己生成音抑制・ソフトウエアの公開
・ロボット聴覚ソフトウエアHARKの音源定位・音源分離の大改良を行い,音声認識性能とロバスト性が向上.また,マニュアル群も整備
・自己生成音抑制機能と残響抑制を組み込んだセミブラインドICAの実時間処理を達成
(2)「音を見せる」:人とのインタラクションへの応用
・自己生成音抑制機能を応用し,自分自身の音には無反応の「ペッコぱ」を開発し,インタラクションの質的向上の可能性を実証(渡辺班と共同研究).
・システム発話を抑制し,任意の時点でユーザが行う発話に対して,その発語行為と発話内容から列挙型対話でのユーザ意図を理解する機能を実現し,音声対話システムのタスク成功率を向上(駒谷班との共同研究)
(3)「音を記号表現として見せる」:分離音に対する音源同定
混合音から分離した突発音を含む環境音に対して,MP(Matching Pursuit)とHMMとを組み合わせることにより,環境音に対する音源同定性能を向上.
(4)「音の記号表現に意味を与える」:高度インタラクションへの展開
・人間のフルート演奏者のリードをジェスチャ認識で同期をとることにより,音楽ロボットが人のリードに合わせてテルミンを演奏し,歌うアンサンブル演奏を実現.IROS-2010 NTF賞受賞
・音響信号を光に変換する「カエルホタル」を開発し,フィールドでのカエルの合唱の観察に応用し,2つのグループが交互に鳴き合う現象の観測に世界で初めて成功.
|
Report
(2 results)
Research Products
(98 results)
