| Project Area | Studies on intelligent systems for dialogue toward the human-machine symbiotic society |
|---|
| Project/Area Number |
19H05692
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
|
| Allocation Type | Single-year Grants |
|---|
| Review Section |
Complex systems
|
|---|
| Research Institution | Nagoya University |
|---|
Principal Investigator |
東中 竜一郎 名古屋大学, 情報学研究科, 教授 (90396151)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
駒谷 和範 大阪大学, 産業科学研究所, 教授 (40362579)
宮尾 祐介 東京大学, 大学院情報理工学系研究科, 教授 (00343096)
稲葉 通将 電気通信大学, 人工知能先端研究センター, 准教授 (10636202)
港 隆史 株式会社国際電気通信基礎技術研究所, 石黒浩特別研究所, 客員研究員 (50359858)
槇原 靖 大阪大学, 産業科学研究所, 教授 (90403005)
|
|---|
| Project Period (FY) |
2019-06-28 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥160,160,000 (Direct Cost: ¥123,200,000、Indirect Cost: ¥36,960,000)
Fiscal Year 2022: ¥28,080,000 (Direct Cost: ¥21,600,000、Indirect Cost: ¥6,480,000)
Fiscal Year 2021: ¥37,440,000 (Direct Cost: ¥28,800,000、Indirect Cost: ¥8,640,000)
Fiscal Year 2020: ¥28,080,000 (Direct Cost: ¥21,600,000、Indirect Cost: ¥6,480,000)
Fiscal Year 2019: ¥38,480,000 (Direct Cost: ¥29,600,000、Indirect Cost: ¥8,880,000)
|
|---|
| Keywords | 対話システム / モジュール連動 / 全体最適化 |
|---|
| Outline of Research at the Start |
現在の対話システムの主な構成論は，複数のモジュールを疎結合させ，各モジュールを学習データにより改善するというものである．しかし，このような構成論で構築されたシステムは，疎結合であるがゆえに，全体最適化が困難である．また，可塑性に乏しく，一度学習されたモュールを動的に変更することは難しい．その結果，ユーザや状況に応じた対話ができず，人間がシステムを熟知しなくては対話が成立しない．本研究では，現在の対話システムの基本構成を見直し，ユーザや状況に応じてシステム全体の効用を最大化できるように複数のモジュールが連動することで理解・生成を行う対話システム基盤の構築を目指す．
|
| Outline of Annual Research Achievements |
本研究課題は，現状の対話システムの基本構成を見直し，複数のモジュールが連動することでユーザや状況に応じてシステム全体の効用を最大化することを目的とする．具体的には，「課題A. 他モジュールと連動した音声処理・マルチモーダル処理技術の確立」，「課題B. 他モジュールと連動した言語理解・言語生成技術の確立」，「課題C. 対話の効用に基づく複数モジュールのパラメタ最適化技術」，「課題D. 複数モジュール間での連動プロトコルの設計およびシステム構築とその実証」の4つの課題に取り組む．
課題Aおよび課題Bについては，話者の歩行映像に基づく年齢・性別のオンライン推定技術の研究を進めた．また，文脈依存のセマンティックパージング技術を推進するためのデータ設計を行った．
課題Cについては，パラメタ最適化技術の基礎検討を行うための対話データ収集に着手した．具体的には，観光目的地を決定する旅行代理店課題を設定し，データ収集計画を立案した．そして，旅行代理店オペレータのヒアリングに基づき，観光情報検索インタフェースを作成した上で，旅行代理店オペレータとユーザとの対話収集を開始した．本データは，人間のオペレータと年齢・性別の異なる多様な話者による対話を含み，ユーザや状況に応じてシステムがどのように振舞うべきかについての知見を与える有用なデータとなる．
課題Dについては，複数のモジュールが連動するためのプロトコル設計，モジュール連動プラットフォームの実装，および，プロトタイプシステムの動作検証を行った．また，コンペティション形式での実証実験計画を立てた．ロボットによる対話の標準課題を設定し，参加者が開発した対話ロボットの性能を競うことで，実社会における対話ロボットの問題を発見し，どのようなモジュール連動が有効かを探索できる．実証実験は商業施設で行い，実際のユーザにより評価してもらう設計とした．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
課題Aおよび課題Bについては，音声処理・マルチモーダル処理技術および言語理解・言語生成技術に関する基礎検討を行った．どのような情報があれば他のモジュールに有用かを検討し，年齢・性別推定技術やセマンティックパージング技術を着実に進展させることができた．
課題Cについては，パラメタ最適化技術の基礎検討を行うための対話データ収集に着手したが，新型コロナウイルスの影響により遅れが生じた．具体的には，対面で行う予定であった対話データ収集を，遠隔会議システムを用いた実施に切り替えたが，その際，実験計画を再設計したり被験者を再募集したりする必要が生じた．データ収集実験の実施にあたっても，実験者・被験者ともに，遠隔会議システムを用いたデータ収集のノウハウの蓄積が乏しく，実施に通常以上の時間を要した．現在は試行錯誤を経て，滞りなくデータ収集実験が実施できる状況となっている．
課題Dについては，複数のモジュールが連動するためのプロトコル設計，モジュール連動プラットフォームの実装，および，プロトタイプシステムの動作検証を行った．また，実証実験の場としての，コンペティション形式での実証実験計画を立て，参加者に提供予定である実証実験用対話ロボットシステムの構築にも着手できた．このことから，着実に進展していると言える．
|
| Strategy for Future Research Activity |
課題Aについては，収集された対話データ等に基づき，音声やマルチモーダル処理と，後段の言語処理モジュール等の連動に必要なパラメタを明らかにし，それぞれのモジュールの性能を向上させる手法の提案に取り組む．
課題Bについては，収集された対話データ等に基づき，自然言語処理研究におけるセマンティックパージング技術や文章生成技術を音声対話システムに利用するための基盤技術の研究開発を行う．具体的には，音声認識モジュールや対話制御モジュールにおける対話行為認識や文脈・状況理解に基づき，セマンティックパージング・文章生成の精度を向上させる手法を提案する．
課題Cについては，基礎データとしての旅行代理店課題の対話データ収集を継続する．また，書き起こしやラベル付けを行うことで，これらのデータの整備を行う．加えて，各モジュールのパラメタの一部を最適化する手法の検討を行い，対話の効用が明確なタスク指向型対話システムにおいてその有効性を検証する．
課題Dについては，他の課題と連動し，モジュール連動プラットフォームに基づく対話システムの実装を進めるほか，コンペティション形式での実証実験を進める．実証実験用対話ロボットシステムを構築し，ロボット制御について詳しくない参加者であっても，対話ロボットを用いた実証実験に参加できるようにする．また，商業施設における実験を実施する．
|
