| Project/Area Number |
22H00536
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (A)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Review Section |
Medium-sized Section 61:Human informatics and related fields
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
駒谷 和範 大阪大学, 産業科学研究所, 教授 (40362579)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
岡田 将吾 北陸先端科学技術大学院大学, 先端科学技術研究科, 准教授 (00512261)
武田 龍 大阪大学, 産業科学研究所, 准教授 (20749527)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥42,250,000 (Direct Cost: ¥32,500,000、Indirect Cost: ¥9,750,000)
Fiscal Year 2024: ¥10,530,000 (Direct Cost: ¥8,100,000、Indirect Cost: ¥2,430,000)
Fiscal Year 2023: ¥9,880,000 (Direct Cost: ¥7,600,000、Indirect Cost: ¥2,280,000)
Fiscal Year 2022: ¥11,310,000 (Direct Cost: ¥8,700,000、Indirect Cost: ¥2,610,000)
|
|---|
| Keywords | 対話システム / ドメイン知識獲得 / 能動学習 / ユーザ適応 / ユーザ心象 / 未知語 / 知識グラフ補完 |
|---|
| Outline of Research at the Start |
本研究では，音声対話システムが対話を通じて自律的に学習データをオンラインで取得し，機械学習モデルを更新することで，「話すうちに賢くなる」システムの実現を目指す．まずシステムからの質問により，システム性能の向上に繋がる情報を得ることを効用として定式化する．同時に，システムの単調な質問はユーザの対話意欲を削ぐため，質問によるユーザ心象もモデル化する．この効用とユーザ心象の両方を，報酬や観測に組み込んで定式化し，最適な質問を選択しながら対話するシステムを実現する．これにより相手に応じて自律進化できる音声対話システムの基盤技術を確立する．
|
| Outline of Annual Research Achievements |
音声対話システムが対話を通じて自律的に学習データを取得する機能の実現を目指している．具体的は，音声対話システム内の音声認識，マルチモーダル心象推定，対話に用いる知識などの各モジュールを高精度化する．対話を通じてこれらに繋がる教師ラベルを選択的に取得するために，まず各モジュールの精度を向上させる方法や得られる効用について研究開発を進めている．
本年度はまず音声認識の自律進化に向け，未知語の音声認識問題に着手した．近年進展が著しいend-to-end音声認識器による音節列を得て，ユーザ発話中の未知語を切り出す手法を開発した．ここでユーザの発話パターンを利用し，既知語彙は辞書中のエントリとして認識し，未知語の部分は音節列として同定する．
次にシステムの持つ知識グラフを増強するために，他の知識源から得た情報を，現有の知識グラフに拡充する問題に取り組んだ．この際に，同一エンティティを指す表記を統合した方が，エンティティあたりの関係の数が増え，知識グラフ補完性能が向上することを見出した．これはエンティティ追加の効用設計に繋がる知見である．一方，大規模言語モデルGPT-2を用いた知識グラフの増強については，国際会議での採択には至らなかった．引き続き成果発表を試みる．
ユーザ心象を精緻に推定するために，言語情報・生体信号を自己注意機構モデルにおいて統合する方法を提案・評価した．各交換中に発話された単語列を，皮膚電位の高低により重みづけした上で自己注意機構を訓練することで，言語特徴のみを用いた場合よりも，本人心象ラベルの推定性能を向上させた．この手法は，対話を通じたユーザ本人の心象に関する知識の獲得に寄与する．また，交換単位の心象変化を考慮して，対話全体に対する事後アンケート結果をより高精度に推定する手法も開発した．上記2つの成果は関連分野の国際会議に採択され，成果発表に至った．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
新規に立ち上げたテーマについて成果が形になり始めている．この一部として，情報処理学会全国大会で学生奨励賞を複数受賞した．
|
| Strategy for Future Research Activity |
音声認識，マルチモーダル認識，知識獲得の各モジュールにおいて，得られた知見の一般化や効用設計へと発展させる．また得られた成果について国際会議への投稿および成果発表を行う．
|
