2021 Fiscal Year Annual Research Report
| Project Area | Studies on intelligent systems for dialogue toward the human-machine symbiotic society |
|---|
| Project/Area Number |
19H05692
|
|---|
| Research Institution | Nagoya University |
|---|
Principal Investigator |
東中 竜一郎 名古屋大学, 情報学研究科, 教授 (90396151)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
駒谷 和範 大阪大学, 産業科学研究所, 教授 (40362579)
宮尾 祐介 東京大学, 大学院情報理工学系研究科, 教授 (00343096)
稲葉 通将 電気通信大学, 人工知能先端研究センター, 准教授 (10636202)
港 隆史 株式会社国際電気通信基礎技術研究所, 石黒浩特別研究所, 客員研究員 (50359858)
槇原 靖 大阪大学, 産業科学研究所, 教授 (90403005)
|
|---|
| Project Period (FY) |
2019-06-28 – 2024-03-31
|
| Keywords | 対話システム / モジュール連動 / 全体最適化 |
|---|
| Outline of Annual Research Achievements |
本研究課題は，現状の対話システムの基本構成を見直し，複数のモジュールが連動することでユーザや状況に応じてシステム全体の効用を最大化することを目的とする．具体的には，「課題 A. 他モジュールと連動した音声処理・マルチモーダル処理技術の確立」，「課題 B. 他モジュールと連動した言語理解・言語生成技術の確立」，「課題 C. 対話の効用に基づく複数モジュールのパラメタ最適化技術」，「課題 D. 複数モジュール間での連動プロトコルの設計およびシステム構築とその実証」の 4つの課題に取り組む．
課題 A については，話者の歩行映像に基づく年齢・性別のオンライン推定技術について，人体モデルに基づく手法を開発し，精度と安定性を向上させた．また，マルチモーダル情報を活用し，対話状況に合わせて応答や行動，機能を最適化させるための包括的な対話状況推定手法を実現した．
課題 B については，対話的図形編集とコード生成タスクを題材として，対話システムのためのセマンティックパージング技術を推進した．
課題 C については，あらゆるモジュールを連動させるための手法として，後処理ネットワークを提案し，その有効性を検証した．加えて，話者に合わせて対話の効用を最適化するため，話者の個性・対話行動とタスク達成の関係も明らかにした．
課題 D については，複数のモジュールが連動するためのプロトコル設計，モジュール連動プラットフォームの実装，および，システム構築を，対話ロボットコンペティションの開催を通して行った．本コンペティションは，アンドロイドを用いたコンペティションとしては世界初である．本コンペティションを通して，現時点での有効なモジュール連動の手法やシステム構築方法を明らかにすることができた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
課題A については，音声処理・マルチモーダル処理技術に関する基礎検討を進め，マルチモーダル情報を用いた，年齢・性別の推定技術の改善や，対話状況推定技術を実現することができた．
課題Bについては，言語理解・言語生成技術に関する基礎検討を進め，対話的図形編集とコード生成タスクを題材とした，対話システムのためのセマンティックパージング技術の開発を着実に進めることができた．
課題C については，各モジュールのパラメタの一部を最適化するための方法を提案し，その有効性を確認できた．また，モジュール連動の際に考慮すべき，話者の個性・対話行動を特定することができた．
課題D については，複数モジュール間での連動プロトコルの設計およびシステム構築とその実証として，対話ロボットコンペティションを実施し，予選・本選を滞りなく完了することができた．これにより，現時点での有効なモジュール連動の手法やシステム構築方法を明らかにすることができた．
|
| Strategy for Future Research Activity |
来年度は，本計画研究の各研究課題を進める上で根幹を成す要素技術およびそれらの連動手法について研究を進める．
課題Aについては，収集した対話データの分析を通じて，マルチモーダル情報を用いた認識性能と個人属性との関係性を明らかにする．特に，認識性能の低下が予想される状況や条件を調査し，モジュール間連動の手がかりとなるパラメタを見出す．これらの結果に基づいてモジュール性能の向上に向けた手法の検討を続ける．また，マルチモーダル情報を用いた話者属性推定のために，属性依存の人体モデルを用いた人物映像解析技術の開発に取り組む．
課題Bについては，対話的図形編集対話データを利用して，マルチモーダル情報を含むセマンティックパージングについて研究を進める．また，対話を含む広範なセマンティックパージングタスクに適用可能な解析技術，発話に暗黙的に含まれる感情認識を行う手法についても検討を行い，他モジュールと連動するための対話理解・言語生成モジュールの研究開発を進める.
課題Cについては，旅行代理店タスク対話データに対する新たなアノテーションを実施するとともに，これまでに収集したデータを用い，各モジュールのパラメタの一部を最適化するための方法のさらなる検討を進める．
課題Dについては，後処理ネットワークをあらゆるモジュールに適用できるように高度化するとともに，ユーザや対話状況から，ユーザ適応するアルゴリズムの検討を進める．また，対話ロボットコンペティションの営みを通して，モジュール連動システムの性能を対話ロボットの上で評価する．
|
