| Project Area | Studies on intelligent systems for dialogue toward the human-machine symbiotic society |
|---|
| Project/Area Number |
19H05692
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
|
| Allocation Type | Single-year Grants |
|---|
| Review Section |
Complex systems
|
|---|
| Research Institution | Nagoya University |
|---|
Principal Investigator |
東中 竜一郎 名古屋大学, 情報学研究科, 教授 (90396151)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
駒谷 和範 大阪大学, 産業科学研究所, 教授 (40362579)
宮尾 祐介 東京大学, 大学院情報理工学系研究科, 教授 (00343096)
稲葉 通将 電気通信大学, 人工知能先端研究センター, 准教授 (10636202)
港 隆史 株式会社国際電気通信基礎技術研究所, 石黒浩特別研究所, 客員研究員 (50359858)
槇原 靖 大阪大学, 産業科学研究所, 教授 (90403005)
|
|---|
| Project Period (FY) |
2019-06-28 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥160,160,000 (Direct Cost: ¥123,200,000、Indirect Cost: ¥36,960,000)
Fiscal Year 2023: ¥28,080,000 (Direct Cost: ¥21,600,000、Indirect Cost: ¥6,480,000)
Fiscal Year 2022: ¥28,080,000 (Direct Cost: ¥21,600,000、Indirect Cost: ¥6,480,000)
Fiscal Year 2021: ¥37,440,000 (Direct Cost: ¥28,800,000、Indirect Cost: ¥8,640,000)
Fiscal Year 2020: ¥28,080,000 (Direct Cost: ¥21,600,000、Indirect Cost: ¥6,480,000)
Fiscal Year 2019: ¥38,480,000 (Direct Cost: ¥29,600,000、Indirect Cost: ¥8,880,000)
|
|---|
| Keywords | 対話システム / モジュール連動 / 全体最適化 |
|---|
| Outline of Research at the Start |
現在の対話システムの主な構成論は，複数のモジュールを疎結合させ，各モジュールを学習データにより改善するというものである．しかし，このような構成論で構築されたシステムは，疎結合であるがゆえに，全体最適化が困難である．また，可塑性に乏しく，一度学習されたモュールを動的に変更することは難しい．その結果，ユーザや状況に応じた対話ができず，人間がシステムを熟知しなくては対話が成立しない．本研究では，現在の対話システムの基本構成を見直し，ユーザや状況に応じてシステム全体の効用を最大化できるように複数のモジュールが連動することで理解・生成を行う対話システム基盤の構築を目指す．
|
| Outline of Annual Research Achievements |
本研究課題は，現状の対話システムの基本構成を見直し，複数のモジュールが連動することでユーザや状況に応じてシステム全体の効用を最大化することを目的とする．具体的には，「課題A. 他モジュールと連動した音声処理・マルチモーダル処理技術の確立」，「課題B. 他モジュールと連動した言語理解・言語生成技術の確立」，「課題C. 対話の効用に基づく複数モジュールのパラメタ最適化技術」，「課題D. 複数モジュール間での連動プロトコルの設計およびシステム構築とその実証」の 4つの課題に取り組む．
課題A については，話者の歩行映像に基づく年齢・性別のオンライン推定技術について，性別・年代別依存の人体モデルを用いることで，年齢・性別推定精度の向上を確認した．また，マルチモーダル対話コーパス Hazumi を用い心象推定精度の傾向を明らかにした．
課題B については文脈依存かつマルチモーダルなセマンティックパージング手法の研究を進め，多様なセマンティックパージングタスクを横断的に利用可能にするために機械可読表現の統一的なフォーマットを提案し，まったく異なるデータ間で転移学習が可能であることを示した．
課題C については，後処理ネットワークの評価検証を行い，複数タスクでの有効性，および，人間による評価による有効性を確認した．また，強化学習によってユーザや状況に合わせた発話生成手法を提案した．「旅行代理店タスク対話コーパス」にアノテーションを追加し，店員役の対話戦略が客役の属性によって大きく異なることを明らかにした．
課題D については，複数のモジュールが連動するためのプロトコル設計，モジュール連動プラットフォームの実装，および，システム構築を，ロボットコンペティション（対話ロボットコンペティションおよび対話システムライブコンペティション）の開催を通して行い，有効なモジュール連動の手法について示唆を得ることができた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
課題A については，音声処理・マルチモーダル処理技術に関する基礎検討を着実に進め，マルチモーダル情報を用いた年齢・性別推定精度の向上を確認した．マルチモーダル情報から得られる心象推定結果に基づいて挙動を変化させるシステムを実現することができた．
課題B については，言語理解・言語生成技術に関する基礎検討を進め，文脈依存かつマルチモーダルなセマンティックパージング手法のためのデータセットを構築するともに，多様なセマンティックパージングタスクを横断的に利用可能にするために機械可読表現の統一的なフォーマットを提案しその有効性を示すことができた．
課題C については，各モジュールのパラメタの一部を最適化するための方法の検証を進め，複数タスクでの有効性，および，人間の評価による有効性を確認することができた．また，強化学習によってユーザや状況に合わせた発話生成を行う手法を実現した．加えて，タスク指向型対話データからのユーザの性格特性の推定手法を実現することができた．
課題D については，複数のモジュールが連動するためのプロトコル設計，モジュール連動プラットフォームの実装，および，システム構築を，対話ロボットコンペティションおよび対話システムライブコンペティションを通して行うことができた．大規模言語モデルを用いたタスク対話システムの構築方法やモジュール連動手法など，様々な観点から対話をロバストに進めるための示唆を得ることができた．
|
| Strategy for Future Research Activity |
来年度は，本計画研究の各課題で進めてきた要素技術の統合を進め，実証実験を通して，モジュール連動に基づく対話システムの効果を検証する．
課題Aについては，これまでに収集したマルチモーダル対話データを用いて学習したモデルを用いた心象推定器をモジュール化し，対話システムにおける他のモジュールとの統合を図る．また，収集したデータの分析を通じて明らかになった，正解の曖昧性問題に対する解決策を見出す．
課題Bについては，これまでに開発した対話的図形編集データセットを用いてマルチモーダル対話におけるセマンティックパージング技術の研究を進める．また，統一表現形式を用いたセマンティックパージングのソフトウェアをモジュールとして整備し，多様なセマンティックパージングタスクに適用可能とする．
課題Cについては，これまでに収集した旅行代理店タスク対話コーパスを活用し，対話行為推定モジュールなど各種モジュールの開発を行う．また，複数のモジュールを統合し，強化学習により連動させることで，全体最適化を行う手法の確立を目指す．
課題Dについては，これまでに開発してきた歩行映像解析による人物属性推定機能をモジュール化して，効果を検証する．また，本研究計画において開発した複数のモジュールを統合した対話ロボットシステムを構築し，対話ロボットコンペティションなどの実証実験を通して，各モジュールやモジュール連動に基づく対話システムの効果を検証する．
|
