言語理解と行動制御

• Project/Area Number: 13NP0301
• Research Category: Grant-in-Aid for Creative Scientific Research
• Allocation Type: Single-year Grants
• Research Institution: Tokyo Institute of Technology
• Principal Investigator: 田中 穂積 東京工業大学, 名誉教授 (80163567)
• Co-Investigator(Kenkyū-buntansha): 広瀬 啓吉 東京大学, 大学院新領域創成科学研究科, 教授 (50111472) ; 古井 貞熙 (古井 貞煕) 東京工業大学, 大学院情報理工学研究科, 教授 (90293076) ; 白井 良明 立命館大学, 情報理工学部, 教授 (50206273) ; 中嶋 正之 東京工業大学, 大学院情報理工学研究科, 教授 (60092566) ; 土屋 俊 千葉大学, 文学部, 教授 (50155404) ; 辻井 潤一 東京大学, 大学院・情報理工学研究科, 教授 (20026313)
• Project Period (FY): 2001 – 2005
• Project Status: Completed (Fiscal Year 2005)
• Budget Amount: ¥455,000,000 (Direct Cost: ¥377,000,000、Indirect Cost: ¥78,000,000); Fiscal Year 2005: ¥104,000,000 (Direct Cost: ¥80,000,000、Indirect Cost: ¥24,000,000); Fiscal Year 2004: ¥117,000,000 (Direct Cost: ¥90,000,000、Indirect Cost: ¥27,000,000); Fiscal Year 2003: ¥117,000,000 (Direct Cost: ¥90,000,000、Indirect Cost: ¥27,000,000); Fiscal Year 2002: ¥117,000,000 (Direct Cost: ¥117,000,000)
• Keywords: 言語理解 / 音声理解 / ソフトウェアロボット / 対話 / 言語行為 / 言語処理 / 音声認識 / コンピュータグラフィクス / ソフトウエアロボット

Research Abstract

最終年度にあたる本年度は、まとめの研究を行った。特に、これまでの研究成果を統合し、その有効性を評価するため、音声認識モジュール、音声言語理解モジュール、コンピュータグラフィクス・モジュール、タスクプラニング・モジュールを統合化し、仮想空間上で動作するソフトウェアロボットのプロトタイプシステム(K4)を作成した。このソフトウェアロボットは、音声で与えたコマンドに含まれる省略語の補強、指示語の指す具体的なものの同定、「あのー、えーと」などの冗長語(フィラー)の除去、繰り返しや修復表現の理解と、コマンドの意図した行動を行うことができる。ロボットの行動を仮想空間上の動作として可視化するために、コマンドに含まれる不明確性(Vagueness)の問題を解決しなければならない。「右に進め」というコマンドに含まれる「右に」とは、どの程度右なのか、無限にある右の位置の可能性の中から一つ選んで決める必要がある。同様なことが「コップを掴む」という動作を可視化する場合にも生じる。以上がVaguenessの問題の例である。また「右」とは話者から見た右かロボットから見た右では位置が異なる。ロボットが相対的な位置を誤解した場合には、それを検出し動作をやり直す必要がある。いずれも動作の可視化にともなって生じる新しい問題であるが、これまでの音声言語理解の研究では見逃されてきた重要な問題である。以上に対する具体的な解決方法を提案し、研究成果をシステムへ組み込んでいる。上記いずれの研究成果もハードウェアのロボットにも直接適用可能である。「うなずき」など非言語的なコミュニケーションとともに今後さらに研究すべき研究課題として言語理解とロボットの行動を結ぶための辞書構築、言語行為論と発話意図の研究など引き続き研究する必要がある。話し言葉についての言語学的な研究も緒についた段階にある。本研究グループが創始した第2回の国際ワークショップ(Second International Workshop on Language Understanding and Agents for Real World Interaction LUAR 2005)をシンガポールで主催した。

Research Products

• [Journal Article] Verification of speech recognition results incorporating in-domain confidence and discourse coherence measures (2006)
  • Author(s): 河原 達也
  • Journal Title: IEICE Trans. Vol.E89-D No.3
• [Journal Article] Strategic uses of figurative language and language bihavior (2006)
  • Author(s): 辻 幸雄
  • Journal Title: Kyoyo- Ronso 125 Pages: 21-40
• [Journal Article] 音声対話理解技術とソフトウエアロボットの行動(招待講演) (2005)
  • Author(s): 田中 穂積
  • Journal Title: 日本音響学会講演論文集 Mar. Pages: 645-648
• [Journal Article] 動的言語観-二十世紀言語哲学の一復帰と新展開 (2005)
  • Author(s): 山田 友幸
  • Journal Title: 哲学(日本哲学会編) 第56号 Pages: 98-112
• [Journal Article] 話言葉の助詞 (2005)
  • Author(s): 丸山 直子
  • Journal Title: 第49回計量国語学会大会 Pages: 8-8
• [Journal Article] 決定木に基づく対話行為のタグ付け支援 (2005)
  • Author(s): 白井 清昭
  • Journal Title: 情報処理学会自然言語処理研究会 Vol.2005, No.50 Pages: 119-124
• [Journal Article] Cropus-Based Analaysis of Japanese Relative Clause Constructions (2005)
  • Author(s): 奥村 学
  • Journal Title: Proceedings of IJCNLP 2005 Pages: 46-57
• [Journal Article] 単語レベルと文字レベルの情報を用いた中国語・日本語単語分割 (2005)
  • Author(s): 松本 裕治
  • Journal Title: 情報処理学会論文誌 Vol.46, No11 Pages: 2714-2727
• [Journal Article] Meaning of Japanese spatial nouns (2005)
  • Author(s): 徳永 健伸
  • Journal Title: Proc. the Second ACL-SIGSEM Workshop on The Linguistic Dimensions of Prepositions and their Use in Computational Linguistics Formalisms and Applications April Pages: 93-100
• [Journal Article] 決定木による「怒り」識別のための音響的特徴の検討と評価 (2005)
  • Author(s): 飯田 仁
  • Journal Title: 日本音響学会2005年秋季研究発表会講演論文集 1-6-2 Pages: 225-226
• [Journal Article] Discourse Annotation of Schemes for Japanese Task-Oriented Dialoques (2005)
  • Author(s): 石崎 雅人
  • Journal Title: Spoken Language Systems 10S Press Pages: 316-326
• [Journal Article] Construction Method of Acoustic Models Dealing with Various Background Noises Based on Combination of HMMs (2005)
  • Author(s): 牧野 正三
  • Journal Title: Proc. INTERSPEECH 2005 Pages: 973-976
• [Journal Article] Recent progress in corpus-based spontaneous sppech recognition (2005)
  • Author(s): 古井 貞輿
  • Journal Title: IEICE Transactions on Information and Systems E88-D, No.3 Pages: 366-375
• [Journal Article] 音声認識の新たな展開を模索して (2005)
  • Author(s): 鹿野 清宏
  • Journal Title: 電子情報通信学会論文誌 SP2005-27 Pages: 1-6
• [Journal Article] Virtual Change of lllumination Color n Image Based Rendering (2005)
  • Author(s): 北橋 忠宏
  • Journal Title: Proc. 9^t^h International Conference on Information Visualisation Pages: 987-991
• [Journal Article] 対話を用いた物体認識のための候補選択戦略 (2005)
  • Author(s): 白井 良明
  • Journal Title: 画像の認識・理解シンポジウム論文集 兵庫, 7月 Pages: 1050-1058
  • NAID: 110003275723
• [Journal Article] HMM素片選択を用いた話者変換方式の検討 (2005)
  • Author(s): 小林 哲則
  • Journal Title: 電子情報通信学会技術報告 SP2004-139 Pages: 13-18
• [Journal Article] Immersive Multi-Projector Display on Hybrid Screens with Human-Scale Haptic Interface (2005)
  • Author(s): 佐藤 誠
  • Journal Title: IEICE TRANSACTIONS on Information and System Vol.E88-D No.5 Pages: 888-893
• [Journal Article] A Study on Interpreting Spatial Constraints for Autonomous Agents (2005)
  • Author(s): 中嶋 正之
  • Journal Title: International Workshop on Advanced Image Technology 2005 Pages: 301-304
  • NAID: 110003205386
• [Journal Article] Analysis of Facial Expression Responses based on Face Image Synthesis and Analysis in Real-time (2005)
  • Author(s): 原島 博
  • Journal Title: Proc. Enactive2005, Paper no.27 Genoa (CD-ROM)
• [Journal Article] 多様な話者性および発話スタイル・感情表現による音声合成 (2005)
  • Author(s): 小林 隆夫
  • Journal Title: 日本音響学会2005年秋期研究発表会講演論文集 2-6-12 Pages: 283-286
• [Journal Article] 認知心理学から見た比喩 (2005)
  • Author(s): 楠見 孝
  • Journal Title: 日本語学 24、5月号 Pages: 26-36
• [Journal Article] 話しことばにおける漢語 (2005)
  • Author(s): 丸山 直子
  • Journal Title: 比較文化研究所紀要(東京女子大学) 66
• [Journal Article] 言語理解と行動制御-音声認識・言語理解・コンピュータグラフィックス技術の統合 (2004)
  • Author(s): 田中 穂積
  • Journal Title: 情報処理学会自然言語処理研究会 NL-164 Pages: 95-100
• [Journal Article] (2004)
  • Author(s): 山田 友幸
  • Journal Title: 哲学を使いこなす(東洋大学哲学科編)(知泉書館) 東洋大学哲学講座第2巻 Pages: 71-105
• [Journal Article] アニメーションのための料理動作辞書の構築 (2004)
  • Author(s): 白井 清昭
  • Journal Title: 情報処理学会自然言語処理研究会 Vol.2004,No.108 Pages: 123-128
• [Journal Article] 事象の認識による発話生成に向けて (2004)
  • Author(s): 奥村 学
  • Journal Title: 情報処理学会自然言語処理研究会報告 164-22
• [Journal Article] 日本語固有表現抽出におけるわかち書き問題の解決 (2004)
  • Author(s): 松本 裕治
  • Journal Title: 情報処理学会論文誌 Vol.45,No.5 Pages: 1442-1450
• [Journal Article] 日本語空間名詞の分類 (2004)
  • Author(s): 徳永 健伸
  • Journal Title: 情報処理学会自然言語処理研究会 NL-164 Pages: 135-140
• [Journal Article] 言語のダイナミックスの理解 (2004)
  • Author(s): Iida Hitoshi
  • Journal Title: 言語処理学会第10回年次大会発表論文集 Pages: 8-9
• [Journal Article] コミュニケーションの科学へ向けて (2004)
  • Author(s): 石崎 雅人
  • Journal Title: 人口知能学会 Vol.19,No.4 Pages: 468-474
• [Journal Article] Language Modeling using Stochastic Switching N-gram (2004)
  • Author(s): Shozo Makino
  • Journal Title: Proc.18^<th> Int.Congress on Acoustics Vol.V Pages: 3697-3700
• [Journal Article] 音声対話システムにおける適応的な応答生成を行うためのユーザモデル (2004)
  • Author(s): 河原 達也
  • Journal Title: 電子情報通信学会論文誌 J87-DII, No.10 Pages: 1921-1928
• [Journal Article] Speech summarization : an approach through word extraction and a method for evaluation (2004)
  • Author(s): Sadaoki Furui
  • Journal Title: IEICE Transactions on Information and Systems E87-D, No.1 Pages: 15-25
  • NAID: 120006581720
• [Journal Article] 実環境における頑健な音声認識のための音韻モデルの教師なし話者適応 (2004)
  • Author(s): 鹿野 清宏
  • Journal Title: 電子情報通信学会論文誌 J87-DII, No.4 Pages: 933-941
• [Journal Article] 動作と物体の統合的認識とそのモデル化 (2004)
  • Author(s): 北橋 忠宏
  • Journal Title: 情報処理学会 CVIM研究会資料 Mar.
• [Journal Article] Online Learning of Color Transformation for Interactive Object Recognition under Various Lighting Conditions (2004)
  • Author(s): Yosiaki Shirai
  • Journal Title: Proc.of the 17^<th> Int.Conf.on Pattern Recognition 3 Pages: 161-164
• [Journal Article] 心的態度表現における韻律的/分節的特徴の影響 (2004)
  • Author(s): 小林 哲則
  • Journal Title: 日本音響学会2004年春季研究発表会講演論文集 March Pages: 375-376
• [Journal Article] A Development and Evaluation of Reactive Motion Capture System with Haptic Feedback (2004)
  • Author(s): Makoto Sato
  • Journal Title: In Proceedings of the 6^<th> IEEE International Conference on Automatic Face and Gesture Recognition Pages: 851-856
• [Journal Article] 自然言語で指示を受ける自律的エージェントの歩行動作経路の生成 (2004)
  • Author(s): 中嶋 正之
  • Journal Title: 映像情報メディア学会技術報告2004IST2004-39 28No.32 Pages: 17-20
  • NAID: 10013434467
• [Journal Article] 対話型GAを用いた似顔絵作成におけるユーザ意思反映の検討〜顔部品選択・位置形状調節機能の導入〜 (2004)
  • Author(s): 原島 博
  • Journal Title: 第9回日本顔学会大会 0-5-1 Pages: 194-194
• [Journal Article] "On the Prosodic features for emotional speech" From Traditional Phonology to Modern Speech Processing (2004)
  • Author(s): Keikichi Hirose
  • Journal Title: Foreign Language Teaching and Research Press Beijing Pages: 159-176
• [Journal Article] Robust F0 estimation of speech signal using harmonicity measure based on instantaneous frequency (2004)
  • Author(s): Takao Kobayashi
  • Journal Title: IEICE Trans.Information and Systems E87-D, No.12 Pages: 2812-2820
• [Book] 朝倉書店 (2005)
  • Author(s): 山梨 正明
  • Publisher: 「言語と認知」『言語の事典』(中島平三編)
• [Book] Ohm-sha (2005)
  • Author(s): 広瀬 啓吉
  • Publisher: "Modeling and generation of prosodic features" Spoken Language Systems
• [Book] ことばの認知空間 (2004)
  • Author(s): 山梨 正明
  • Publisher: 開拓社
• [Patent(Industrial Property Rights)] 発話区間検出装置、そのためのコンピュータプログラム及び記録媒体
  • Inventor(s): 河原達也
  • Industrial Property Rights Holder: 京都大学
  • Industrial Property Number: 2005-197804
• [Publications] Hozumi Tanaka: "Animated Agents Capable of Understanding Natural Language and Performing Actions"Life-Like Characters. 429-443 (2004)
• [Publications] 奥村 学: "日本語連体修飾節と被修飾名詞間の関係の解析"情報処理学会自然言語処理研究会. 160-162 (2003)
• [Publications] Yamanashi Masa-aki: "Anaphora and Reherence-Point Ability"Empirical and Theoretical Investigations into Language. 537-548 (2003)
• [Publications] Kusumi T.: "A Long Interval affects the Mere Exposure Effect for the Prototypes"Paper Presented at Annual Meeting of Conference on Cognitive Science. (2003)
• [Publications] Junichi Tsujii: "A Robust Retrieval Engine for Proximal and Structural Search"In Proc.HLT-NAACL 2003 Short papers. 58-60 (2003)
• [Publications] 白井清昭: "辞書定義文を用いた低頻度語のための語義曖昧性解消モデルの学習"情報処理学会自然言語処理研究会研究報告. 127-132 (2003)
• [Publications] 黒橋 禎夫: "迂言表現と重複表現の認識と言い換え"自然言語処理. 11,No.1. (2004)
• [Publications] Yuji Matsumoto: "Filler and disfluency identification based on morphological analysis and chunking"In Proc.ISCA & IEEE Workshop on Spontaneous Speech Processing and Recognition. (2003)
• [Publications] Tokunaga Takenobu: "Bridging the gap between language and action"Intelligent Virtual Agent-4^<th> International Workshop IVA. 2792.LNAI. 127-135 (2003)
• [Publications] Iida H.: "Feature Parameters of Speech to Recognize "Unger"Expressive Utterances"In Proc.of 40^<th> Meeting of Special Interesting group Spoken Language Understanding. (2004)
• [Publications] 石崎 雅人: "タグ付きコーパスの共有化"日本語学. 22. 124-131 (2003)
• [Publications] Kentaro Inui: "Dialogue management for language-based information seeking"First International Workshop on Language Understanding and Agents for Real World Interaction. 32-38 (2003)
• [Publications] S.Makino: "A potable spoken dialog system for autonomous robots"In Proc.Language understanding and agents for real word interaction. 79-94 (2003)
• [Publications] T.Kawahara: "Automatic indexing of key sentences for lecture archives"In Proc.IEEE Workshop on Automatic Speech Recognition and Understanding. (2003)
• [Publications] Sadaoki Furui: "Robust Methods in Automatic Speech Recognition and Understanding"In Proc.EUROSPEECH2003. 1993-1998 (2003)
• [Publications] K.Shikano: "Blind source separation of acoustic signals based on multistage ICA combining frequency-domain ICA and time-domain ICA"IEICE Trans.Fundamentals. E86A, No.4. 846-858 (2003)
• [Publications] 北橋 忠弘: "人間の動作に基づく物体の認識"情報処理学会、全国大会. (2004)
• [Publications] 白井 良明: "対話を用いた物体認識のための照明変化への適応"電子情報通信学会論文誌. J87-D-II, No.2. (2004)
• [Publications] 辻 幸夫: "認知言語学への招待"大修館書店. (2003)
• [Publications] 田中 穂積: "コンピュータが拓く新しい言語世界"月刊言語. 31-3. 16-22 (2002)
• [Publications] Syun Tutiya: "Referring in a language that lacks articles"Spontaneous Speech Workshop. (2002)
• [Publications] Tomoyuki Yamada: "Some Channel Theoretic Considerations on Situations and Information"Sapporo Workshop on Language, Action, and Cognition. (2003)
• [Publications] 辻 幸夫: "格と認識の基盤"言語. 31-4. 36-37 (2002)
• [Publications] 山梨 正明: "認知言語学からみた21世紀の言語研究"英文学研究. 78-2. 243-244 (2002)
• [Publications] 楠見 孝: "メタファとデジャビュ"月刊言語. 7. 32-37 (2002)
• [Publications] 丸山 直子: "話しことばの助詞-「って」を中心に-"東京女子大学日本文学. 98. (2002)
• [Publications] Kiyoaki Shirai: "Japanese Word Sense Disambiguation"Second China-Japan Natural Language Processing Joint Research Promotion Conference. 183-188 (2002)
• [Publications] 松本 裕治: "自然言語処理におけるシステム混合法の利用"電子情報通信学会論文誌. J85-D-II,5. 709-716 (2002)
• [Publications] 徳永 健伸: "アニメーション生成のためのレキシコンの構築"情報処理学会自然言語処理研究会. 2002-NL-149. 95-100 (2002)
• [Publications] 乾 健太郎: "言語表現を言い換える技術"言語処理学会第8回年次大会チュートリアル. (2002)
• [Publications] T.Kawahara: "Automatic indexing of lecture speech by extraction topic-independent discourse markers"In Proc.IEEE-ICASSP. 1-4 (2002)
• [Publications] 古井 貞煕: "話し言葉の音声認識・理解を目指して"電子情報通信学会信学技報. SP2002-47. 31-36 (2002)
• [Publications] 鹿野 清宏: "HMM十分統計量に基づく環境・話者適応及びハンズフリー音声認識"日本音響学会講演論文集. 1-4-12. 23-26 (2003)
• [Publications] Tadahiro KITAHASHI: "Illumination-free IBR"4th World Automation Congress. (2002)
• [Publications] 小林 哲則: "音声対話研究の現状と動向"人工知能学会誌. 17-3. 266-270 (2002)
• [Publications] 広瀬 啓吉: "音声合成研究への招待-自由な合成の実現に向けて-"情報処理. 43-3. 321-324 (2002)
• [Publications] 田中 穂積: "電子協・機械翻訳・自然言語処理"ITインダストリーレポート. 35-37 (2001)
• [Publications] 土屋 俊: "こころの科学と哲学"日本学際会議予稿集. (2002)
• [Publications] Tomoyuki Yamada: "An Ascription-Based Theory of Illocutionary Acts"Essays in Speech Act Theory. 77. 151-174 (2002)
• [Publications] 山梨 正明: "ことばの科学の認知言語学的シナリオ"認知言語学論考. 1. 1-28 (2002)
• [Publications] 楠見 孝: "類似性と近接性:人間の認知の特徴について"人工知能学会誌. 17-1. 2-7 (2001)
• [Publications] 丸山 直子: "副助詞「くらい」「だけ」「ばかり」「まで」の、いわゆる<程度用法>と<とりたて用法>"東京女子大学日本文学. 95. (2001)
• [Publications] 黒橋 禎夫: "大規模テキスト知識ベースに基づく自動質問応答"第3回音声言語シンポジウム. (2001)
• [Publications] 松本 裕治: "話し言葉の形態素解析"情報処理学会研究報告. NL-143. 49-54 (2001)
• [Publications] Tokunaga Takenobu: "Integration of heterogeneous language resources"Proceedings of the Sixth Natural Language Processing Pacific Rim Syposium. 135-142 (2001)
• [Publications] 河原 達也: "話し言葉音声認識のための言語モデルとデューダの改善"情報処理学会研究報告. SLP-36-3. (2001)
• [Publications] Sadaoki Furui: "From read speech recognition to spontaneous speech understanding"Proc.Workshop on Speech Recognition at Pattern Classification. 55-60 (2001)
• [Publications] Shirai, Y: "Human Friendly Vision Systems"Proc.5th Franco-Japan Congress & 3rd Europeau-Asian Congress of Mechatronics. 11-16 (2001)
• [Publications] 中嶋 正之: "CGの最新動向〜SIGGRAPH2001を中心として〜"映像情報メディア学会技術報告. 25-64. 71-78
• [Publications] Keikichi Hirose: "Temporal rate change of dialogue speech in prosodic unite as compared to read speach"Speech Communication. 36. 97-111 (2002)
• [Publications] 八木 豊: "決定リストにおける規則の適用順序に関する考察"情報処理学会自然言語処理研究会. 2001-112. 21-26 (2001)
• [Publications] Taiichi Hashimoto: "Decision Lists for Determining Adjective Dependency in Japanese"Machine Translation Summit VIII. (2001)
• [Publications] Matsuda, K.: "Scene typicality influences the mere exposure effect in affective jndgement"the 42nd Annual Meeting of the Psychonomic Society. (2001)
• [Publications] 藤澤 瑞樹: "複数の動作を伴うアニメ-ラッドエージェントの自然言語による制御"電子情報通信学会思考と言語研究会報告書. 101-243. 31-38 (2001)
• [Publications] Eiji Aramaki: "Finding Translation Correspondences from Parallel Parsed corpus for Example-based Translation"In Proceedings of MT Summit VIII. (2001)
• [Publications] 工藤 拓: "Cascaded Chunk Parserにおける部分解析情報の利用"情報処理学会第63回全国大会発表論文集. (2001)
• [Publications] 船越 孝太郎: "音声対話システムにおける不適格性の処理"情報処理学会自然言語処理研究会. 2002-4. 55-62 (2002)
• [Publications] 小梨 貴史: "介護ロボットのための音声対話システムの検討"2001年秋季音響学会講演論文集. 2-1-6. 59-60 (2001)
• [Publications] Chiori Hori: "Advances in automatic speech summarization"Proc EUROSPEECH2001. 3. 1771-1774 (2001)
• [Publications] 松坂 要佐: "グループ会話に参加する対話ロボットの構築"電子情報通信学会論文誌DII. J84-D-II. 898-908 (2001)
• [Publications] 井上 晴雅: "2次計画法を用いたワイヤ駆動型力覚ディスプレイのための張力計算アルゴリズム"日本バーチャルリアリティ学会 第6回大会論文集. 91-94 (2001)
• [Publications] 八嶋 栄美子: "仮想空間における位置関係の表現"情報処理学会研究報告. 2001-89. 9-12 (2001)