研究課題
特別研究員奨励費
本研究は，人間が日常生活において営んでいる高度な対話を機械に実現させることを最終的なゴールに据え，教育機関でのグループディスカッションなど特定のテーマを取り扱って議論を行う対話を「テーマ型対話」と称し，このテーマ型対話において，各参加者の発話の頻度や量を考慮して円滑な議論を進めるための司会進行をする賢い対話システムの作成を試みる．実質的な取り組みとしては，認知症予防を目的とした高齢者同士のグループ対話において司会を行うロボットの対話システム部分の設計を行い，実際の現場における実証実験を通して，よりグループ対話の質を向上させるための方法論を検討する．
R4年度では、これまでの業績と残された研究期間を考慮し、「機械翻訳の実応用利用」を主軸に研究を進めることとした。具体的には、昨年度から始めた、2文間の意味的類似度を予測するSemantic Textual Similarity（STS）ベンチマークタスクのデータセットによる評価分析を進めた。我々はSTSでの評価とその応用タスク（”機械翻訳”評価タスク等）での評価結果間の相違を示し、STS上の評価でモデルの性能を競い合っている現状に対し警鐘を鳴らした。この評価の相違を引き起こす要因を検証し、データドメイン（新聞記事・質問応答文等）の違い・タスク設計（与えられる2文間の類似度の前提）の違い・タスクにおける類似度定義（時制・固有名詞など何の違いを重要視するか）の違いが評価の相違を引き起こすことを突き止めた。本研究の結果は、自然言語処理における評価に着目したワークショップEval4NLPに採択された。また、昨年同様、機械翻訳の実応用時の課題の一つである、与えられた用語リストに従って翻訳する制約付き翻訳シェアードタスクの運営を務めた。前年度に人手で構築した日英データに加え、本年度ではデータセット構築の効率化を目指し、既存の用語抽出ツールを用いて日中データを半自動で作成した。また、シェアードタスクにおいて提出されたシステム出力に対する自動・人手評価結果の分析を行い、①本年度で提出された学習データの工夫と自動後編集手法を組み合わせた手法が、用語を強制出力させる代わり処理速度が遅い既存の最高性能手法に対し処理速度を改善しつつ匹敵する性能を持つこと、および②正誤判定が難しい専門用語の影響により、タスクの評価における判断が妥当でない例が含まれており、より頑健な評価を追求する必要があることを突き止めた。本研究の結果は、アジア圏機械翻訳ワークショップWATおよび博士論文に記載されている。
令和4年度が最終年度であるため、記入しない。
すべて 2022 2021 2020 その他
すべて 雑誌論文 (2件) (うち査読あり 2件、 オープンアクセス 2件) 学会発表 (13件) (うち国際学会 6件、 招待講演 1件) 備考 (1件)
自然言語処理
巻: 28 号: 2 ページ: 450-478
10.5715/jnlp.28.450
130008052586
巻: 27 号: 4 ページ: 781-800
10.5715/jnlp.27.781
130007998363
https://sites.google.com/view/restricted-translation-task/
