• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

テーマ型対話における対話マネジメントの方法論解明およびマネジメントシステムの構築

Research Project

Project/Area Number 20J21694
Research Category

Grant-in-Aid for JSPS Fellows

Allocation TypeSingle-year Grants
Section国内
Review Section Basic Section 61030:Intelligent informatics-related
Research InstitutionTohoku University

Principal Investigator

阿部 香央莉  東北大学, 情報科学研究科, 特別研究員(DC1)

Project Period (FY) 2020-04-24 – 2023-03-31
Project Status Completed (Fiscal Year 2022)
Budget Amount *help
¥2,500,000 (Direct Cost: ¥2,500,000)
Fiscal Year 2022: ¥800,000 (Direct Cost: ¥800,000)
Fiscal Year 2021: ¥800,000 (Direct Cost: ¥800,000)
Fiscal Year 2020: ¥900,000 (Direct Cost: ¥900,000)
Keywords機械翻訳 / 実応用 / 評価指標 / ベンチマーク / 文表現 / ベンチマークデータセット / 意味表現獲得
Outline of Research at the Start

本研究は,人間が日常生活において営んでいる高度な対話を機械に実現させることを最終的なゴールに据え,教育機関でのグループディスカッションなど特定のテーマを取り扱って議論を行う対話を「テーマ型対話」と称し,このテーマ型対話において,各参加者の発話の頻度や量を考慮して円滑な議論を進めるための司会進行をする賢い対話システムの作成を試みる.実質的な取り組みとしては,認知症予防を目的とした高齢者同士のグループ対話において司会を行うロボットの対話システム部分の設計を行い,実際の現場における実証実験を通して,よりグループ対話の質を向上させるための方法論を検討する.

Outline of Annual Research Achievements

R4年度では、これまでの業績と残された研究期間を考慮し、「機械翻訳の実応用利用」を主軸に研究を進めることとした。具体的には、昨年度から始めた、2文間の意味的類似度を予測するSemantic Textual Similarity(STS)ベンチマークタスクのデータセットによる評価分析を進めた。我々はSTSでの評価とその応用タスク(”機械翻訳”評価タスク等)での評価結果間の相違を示し、STS上の評価でモデルの性能を競い合っている現状に対し警鐘を鳴らした。この評価の相違を引き起こす要因を検証し、データドメイン(新聞記事・質問応答文等)の違い・タスク設計(与えられる2文間の類似度の前提)の違い・タスクにおける類似度定義(時制・固有名詞など何の違いを重要視するか)の違いが評価の相違を引き起こすことを突き止めた。本研究の結果は、自然言語処理における評価に着目したワークショップEval4NLPに採択された。
また、昨年同様、機械翻訳の実応用時の課題の一つである、与えられた用語リストに従って翻訳する制約付き翻訳シェアードタスクの運営を務めた。前年度に人手で構築した日英データに加え、本年度ではデータセット構築の効率化を目指し、既存の用語抽出ツールを用いて日中データを半自動で作成した。また、シェアードタスクにおいて提出されたシステム出力に対する自動・人手評価結果の分析を行い、①本年度で提出された学習データの工夫と自動後編集手法を組み合わせた手法が、用語を強制出力させる代わり処理速度が遅い既存の最高性能手法に対し処理速度を改善しつつ匹敵する性能を持つこと、および②正誤判定が難しい専門用語の影響により、タスクの評価における判断が妥当でない例が含まれており、より頑健な評価を追求する必要があることを突き止めた。本研究の結果は、アジア圏機械翻訳ワークショップWATおよび博士論文に記載されている。

Research Progress Status

令和4年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和4年度が最終年度であるため、記入しない。

Report

(3 results)
  • 2022 Annual Research Report
  • 2021 Annual Research Report
  • 2020 Annual Research Report
  • Research Products

    (16 results)

All 2022 2021 2020 Other

All Journal Article (2 results) (of which Peer Reviewed: 2 results,  Open Access: 2 results) Presentation (13 results) (of which Int'l Joint Research: 6 results,  Invited: 1 results) Remarks (1 results)

  • [Journal Article] Phenomenon-wise Evaluation Dataset Towards Analyzing Robustness of Machine Translation Models2021

    • Author(s)
      Fujii Ryo、Mita Masato、Abe Kaori、Hanawa Kazuaki、Morishita Makoto、Suzuki Jun、Inui Kentaro
    • Journal Title

      Journal of Natural Language Processing

      Volume: 28 Issue: 2 Pages: 450-478

    • DOI

      10.5715/jnlp.28.450

    • NAID

      130008052586

    • ISSN
      1340-7619, 2185-8314
    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Multi-dialect Neural Machine Translation for 48 Low-resource Japanese Dialects2020

    • Author(s)
      Abe Kaori、Matsubayashi Yuichiroh、Okazaki Naoaki、Inui Kentaro
    • Journal Title

      Journal of Natural Language Processing

      Volume: 27 Issue: 4 Pages: 781-800

    • DOI

      10.5715/jnlp.27.781

    • NAID

      130007998363

    • ISSN
      1340-7619, 2185-8314
    • Year and Date
      2020-12-15
    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Open Access
  • [Presentation] 文間意味的類似度のベンチマークタスクと実応用タスクの乖離2022

    • Author(s)
      阿部香央莉、横井祥、梶原智之、乾健太郎
    • Organizer
      2022年度人工知能学会全国大会 (JSAI2022)
    • Related Report
      2022 Annual Research Report
  • [Presentation] Why is sentence similarity benchmark not predictive of application-oriented task performance?2022

    • Author(s)
      Kaori Abe, Sho Yokoi, Tomoyuki Kajiwara, Kentaro Inui
    • Organizer
      The 3rd Workshop on Evaluation & Comparison of NLP Systems (Eval4NLP2022)
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Chat Translation Error Detection for Assisting Cross-lingual Communications2022

    • Author(s)
      Yunmeng Li, Jun Suzuki, Makoto Morishita, Kaori Abe, Ryoko Tokuhisa, Ana Brassard, Kentaro Inui
    • Organizer
      The 3rd Workshop on Evaluation & Comparison of NLP Systems (Eval4NLP2022)
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Topicalization in Language Models A Case Study on Japanese2022

    • Author(s)
      Riki Fujihara, Tatsuki Kuribayashi, Kaori Abe and Kentaro Inui
    • Organizer
      The 29th International Conference on Computational Linguistics (COLING2022)
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 日本語を含む言語対における制約付き翻訳タスクの近況2022

    • Author(s)
      阿部香央莉
    • Organizer
      AAMT 2022, Tokyo ~機械翻訳最前線~
    • Related Report
      2022 Annual Research Report
    • Invited
  • [Presentation] Overview of the 9th Workshop on Asian Translation2022

    • Author(s)
      Toshiaki Nakazawa, Hideya Mino, Isao Goto, Raj Dabre, Shohei Higashiyama, Shantipriya Parida, Anoop Kunchukuttan, Makoto Morishita, Ondrej Bojar, Chenhui Chu, Akiko Eriguchi, Kaori Abe, Yusuke Oda, and Sadao Kurohashi
    • Organizer
      The 9th Workshop on Asian Translation (WAT2022)
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 文間意味的類似度のベンチマークタスクと実応用タスクの乖離2022

    • Author(s)
      阿部香央莉、横井祥、梶原智之、乾健太郎
    • Organizer
      2022年度人工知能学会全国大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 大規模言語モデルの語彙的関係知識推定における日英間の比較調査2021

    • Author(s)
      阿部香央莉、北山晃太郎、松田耕史、吉川将司、乾健太郎
    • Organizer
      情報処理学会 第249回自然言語処理研究会
    • Related Report
      2021 Annual Research Report
  • [Presentation] オンラインコミュニティにおける単語頻度の通時的変化を利用した新語リストの獲得2021

    • Author(s)
      阿部香央莉, 松田耕史, 吉川将司, 乾健太郎
    • Organizer
      言語処理学会 第27回年次大会
    • Related Report
      2020 Annual Research Report
  • [Presentation] 漢字の意味構造を考慮した複数のニューラル漢字創作システムの比較検討2020

    • Author(s)
      松本悠太, 藤井諒, 阿部香央莉, 舟山弘晃, 三田雅人
    • Organizer
      第15回NLP若手の会 シンポジウム
    • Related Report
      2020 Annual Research Report
  • [Presentation] ユーザ生成コンテンツの高品質な自動翻訳に向けた言語現象の体系的分析2020

    • Author(s)
      藤井諒, 三田雅人, 阿部香央莉, 塙一晃, 森下睦, 鈴木潤, 乾健太郎
    • Organizer
      2020年度人工知能学会全国大会
    • Related Report
      2020 Annual Research Report
  • [Presentation] PheMT: A Phenomenon-wise Dataset for Machine Translation Robustness on User-Generated Contents2020

    • Author(s)
      Ryo Fujii, Masato Mita, Kaori Abe, Kazuaki Hanawa, Makoto Morishita, Jun Suzuki and Kentaro Inui
    • Organizer
      28th International Conference on Computational Linguistics
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Embeddings of Label Components for Sequence Labeling: A Case Study of Fine-grained Named Entity Recognition2020

    • Author(s)
      Takuma Kato, Kaori Abe, Hiroki Ouchi, Shumpei Miyawaki, Jun Suzuki and Kentaro Inui
    • Organizer
      2020 ACL Student Research Workshop
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Remarks] Restricted Translation Task

    • URL

      https://sites.google.com/view/restricted-translation-task/

    • Related Report
      2022 Annual Research Report

URL: 

Published: 2020-07-07   Modified: 2024-03-26  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi