| Project Area | Studies on intelligent systems for dialogue toward the human-machine symbiotic society |
|---|
| Project/Area Number |
19H05692
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
|
| Allocation Type | Single-year Grants |
|---|
| Review Section |
Complex systems
|
|---|
| Research Institution | Nagoya University |
|---|
Principal Investigator |
東中 竜一郎 名古屋大学, 情報学研究科, 教授 (90396151)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
駒谷 和範 大阪大学, 産業科学研究所, 教授 (40362579)
宮尾 祐介 東京大学, 大学院情報理工学系研究科, 教授 (00343096)
稲葉 通将 電気通信大学, 人工知能先端研究センター, 准教授 (10636202)
港 隆史 株式会社国際電気通信基礎技術研究所, 石黒浩特別研究所, 客員研究員 (50359858)
槇原 靖 大阪大学, 産業科学研究所, 教授 (90403005)
|
|---|
| Project Period (FY) |
2019-06-28 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥160,160,000 (Direct Cost: ¥123,200,000、Indirect Cost: ¥36,960,000)
Fiscal Year 2023: ¥28,080,000 (Direct Cost: ¥21,600,000、Indirect Cost: ¥6,480,000)
Fiscal Year 2022: ¥28,080,000 (Direct Cost: ¥21,600,000、Indirect Cost: ¥6,480,000)
Fiscal Year 2021: ¥37,440,000 (Direct Cost: ¥28,800,000、Indirect Cost: ¥8,640,000)
Fiscal Year 2020: ¥28,080,000 (Direct Cost: ¥21,600,000、Indirect Cost: ¥6,480,000)
Fiscal Year 2019: ¥38,480,000 (Direct Cost: ¥29,600,000、Indirect Cost: ¥8,880,000)
|
|---|
| Keywords | 対話システム / モジュール連動 / 全体最適化 |
|---|
| Outline of Research at the Start |
現在の対話システムの主な構成論は，複数のモジュールを疎結合させ，各モジュールを学習データにより改善するというものである．しかし，このような構成論で構築されたシステムは，疎結合であるがゆえに，全体最適化が困難である．また，可塑性に乏しく，一度学習されたモュールを動的に変更することは難しい．その結果，ユーザや状況に応じた対話ができず，人間がシステムを熟知しなくては対話が成立しない．本研究では，現在の対話システムの基本構成を見直し，ユーザや状況に応じてシステム全体の効用を最大化できるように複数のモジュールが連動することで理解・生成を行う対話システム基盤の構築を目指す．
|
| Outline of Annual Research Achievements |
本研究課題は，現状の対話システムの基本構成を見直し，複数のモジュールが連動することでユーザや状況に応じてシステム全体の効用を最大化することを目的とする．具体的には，「課題A. 他モジュールと連動した音声処理・マルチモーダル処理技術の確立」，「課題B. 他モジュールと連動した言語理解・言語生成技術の確立」，「課題C. 対話の効用に基づく複数モジュールのパラメタ最適化技術」，「課題D. 複数モジュール間での連動プロトコルの設計およびシステム構築とその実証」の4つの課題に取り組む．
課題Aについては，遠方から対話ロボットに近づいてくる話者の性別と年齢を，その歩き姿からリアルタイムに推定する技術を開発した．また，システムがマルチモーダル情報から言外の意図や態度，感情を読み取れるようにするためのデータセットとして，Hazumiを構築し，公開した．
課題Bについては，セマンティックパージングを対話システムに応用するためのデータセットの構築を進めた．自然言語の特性にフォーカスし，対話的図形編集，および，コード生成を対象とした課題設計とデータ構築に着手した．
課題Cについては，パラメタ最適化技術を推進するための対話データ収集を行った．旅行代理店課題を対象とし，ユーザや対話状況に適応的に振舞う対話システムの実現のため，子ども，若年層，高齢者を含む多様な話者のデータを大規模に収集した．加えて，モジュール連動に基づく対話システムの実現手法として，システムの内部パラメタをタスク達成率が最大になるように強化学習を行う手法を提案した．
課題Dについては，モジュール連動プラットフォームに基づく対話システムの実装を進めたほか，コンペティション形式での実証実験を進めた．体験者，開発者，ロボットの3拠点を接続して対話実験を可能とするリモートシステムを開発し，コロナ禍にあっても，予備予選会を滞りなく実施した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
課題Aについては，音声処理・マルチモーダル処理技術に関する基礎検討を行った．さまざまなユーザに適応するための性別識別・年齢推定技術，ユーザの心象理解のためのデータセットの構築を着実に進めることができた．
課題Bについては，言語理解・言語生成技術に関する基礎検討を行った．対話システムにおけるセマンティックパージング技術を進展させるため，対話的図形編集とコード生成に関する課題設計を行い，データセットの構築に着手することができた．
課題Cについては，コロナ禍の中，リモート環境における対話データ収集手法が確立でき，子ども，若年層，高齢者を含む，多様な話者を含む大規模なマルチモーダル対話データセットを構築することができた．また，モジュール連動に基づく対話システムの実現手法として，強化学習を用いた手法を提案し，ユーザシミュレーションにより，一定の有効性を示すことができた．
課題Dについては，リモートでロボット対話システムの開発を可能とするシステムの構築に成功し，コロナ禍においても，コンペティション形式による実証実験を行う仕組みを整えることができた．また，本システムを用い，対話ロボットコンペティションの予備予選会を滞りなく実施することができた．予備予選会において，参加者は多様な手法を用いてシステム開発を行っており，モジュール連動に基づく対話システムの研究を，コミュニティ全体で問題意識を共有しながら，効率的に進める枠組みを整えることができた．
|
| Strategy for Future Research Activity |
来年度は，本計画研究の各研究課題を進める上で根幹を成す要素技術の研究をさらに進める．
課題Aについては，音声処理・マルチモーダル処理を他モジュールと連動させるために，収集した対話データの分析やそのデータを用いた個人属性の抽出に取り組む．話者属性の推定については，不確かさを含めて推定するための視覚情報処理機能を実装する．これらを通じて，モジュール間の連動に有効なパラメタを引き続き探索し，その結果に基づいてモジュール性能の向上に向けた手法の検討を続ける．
課題Bについては，対話的図形編集課題，および，コード生成課題について大規模な対話データを収集し，セマンティックパージング手法を適用して問題点等の分析を行う．また，音声対話における構文・意味解析技術や，対話中の発話から感情認識を行う手法などについても検討を行い，他モジュールと連動するための対話理解・言語生成モジュールの研究開発を進める．
課題Cについては，各モジュールのパラメタの一部を最適化するため，これまでに本課題で収集してきた旅行代理店課題の対話データ，および，雑談に基づく観光地推薦課題の対話データを対象とし，対話からユーザ特性に関する情報を抽出するための技術開発を行う．さらに，抽出した情報をもとに，対話の目的関数に従ってパラメタを最適化する手法の高度化に取り組む．
課題Dについては，モジュール連動プラットフォームに基づく対話システムの実装をさらに推進するほか，対話ロボットコンペティションの枠組みを活用し，予選・本選の実施を通して，モジュール連動に基づく対話システムの方法論の確立を目指す．対話システムと対話ロボットを接続するミドルウェアの開発を進め，また，CGエージェントとも透過的に接続できるシステムへ拡張し，様々な状況下で評価実験ができる環境を構築する．
|
