ビッグデータ解析に基づく意思決定のための解釈支援基盤システムに関する研究

• Project/Area Number: 21H03445
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Basic Section 60080:Database-related
• Research Institution: The University of Tokyo
• Principal Investigator: 豊田 正史 東京大学, 生産技術研究所, 教授 (60447349)
• Project Period (FY): 2021-04-01 – 2024-03-31
• Project Status: Granted (Fiscal Year 2023)
• Budget Amount: ¥17,290,000 (Direct Cost: ¥13,300,000、Indirect Cost: ¥3,990,000); Fiscal Year 2023: ¥5,850,000 (Direct Cost: ¥4,500,000、Indirect Cost: ¥1,350,000); Fiscal Year 2022: ¥5,460,000 (Direct Cost: ¥4,200,000、Indirect Cost: ¥1,260,000); Fiscal Year 2021: ¥5,980,000 (Direct Cost: ¥4,600,000、Indirect Cost: ¥1,380,000)
• Keywords: ビジュアル解析 / 解析結果の解釈

Outline of Research at the Start

ビッグデータ解析に基づくサービスにおいて全自動化が可能な応用は限られており、解析結果の解釈および意思決定はいまだ人間に任されているものが多い。解析に用いられるモデルは複雑化の一途をたどっており、結果が出力された理由を直接人間が理解することはほぼ不可能となっている。本研究では、ビッグデータソリューションの開発者に対して、解析モデルの改善、およびデータのクリーニング等に資するような情報を与えることを目的として、機械学習モデルの説明手法、および情報可視化手法を統合した基盤技術を創出し、ウェブ、ソーシャルメディア、交通データなどの大規模データを用いた実証実験を実施する。

Outline of Annual Research Achievements

本年度は、機械学習の説明手法によって出力された大量の説明をインタラクティブに可視化する技術の設計を行った。昨年度までに基礎的な検討を行った、複数の機械学習モデルの説明手法を用いるインタラクティブな説明可視化手法について、ウェブ広告関連企業と協力して広告作成に実際に用いられている機械学習モデルを用いた小規模なユーザスタディを行った。当該企業ではウェブ広告のデザイナー支援するツールとして、作成したバナー広告の効果を予測する機械学習モデルが用いられており、このモデルが出力するスコアに加えて、複数の説明手法の結果を提示することでどの部分を編集すれば効果の向上が見込めるか検討可能とするものである。本ユーザスタディでは、代表的な説明手法であるLIME（画像のレイヤ、公告文中の単語を提示）、Grad-CAM（画像中の部分を提示）など複数の種類の説明手法を、複数の入力データに適用して生成された説明群を表示するものであり、入力データに依る説明の差異や、説明手法による説明の差異をユーザが比較検討することを可能としている。本手法を用いたプロトタイプシステムを構築し、小規模なバナー広告データに適用した結果、デザイナーからのシステムに対する評価は高く、作業の効率化についても有望な結果が得られた。
並行して、複数のタスクの検討を継続して行った。具体的には、Twitter上において大規模な議論分析を実施するための基盤データセット構築、イデオロギー変容の分析、新型コロナウイルスワクチンの接種に対するスタンスや接種継続に関する分析、ファクトチェックに値するツイートの抽出について検討を実施した。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

機械学習の説明手法によって出力された大量の説明をインタラクティブに可視化する技術に関する設計については順調に進んでおり、プロトタイプシステムの実装と小規模なデータセットを用いたケーススタディについても実際のウェブ広告企業のデータおよびユーザを用いた実験を実施できた。
本プロトタイプシステムの有用性を評価するためのタスク検討についても、主にソーシャルメディア分析の分野において複数のタスクについて検討を実施できている。

Strategy for Future Research Activity

機械学習の説明手法によって出力された大量の説明をインタラクティブに可視化する技術に関しては、本年度に実施した設計及びプロトタイプシステムのケーススタディの結果を受けて、システムの実装を行う。
本プロトタイプシステムの有用性を評価するためのタスク検討についても、さらに検討を進めソーシャルメディアを用いた社会分析を主軸に、商用のウェブ広告の分野などについても連携企業と連携してさらに検討を進めていく予定である。

Research Products

• [Journal Article] Early Detection of Fact Check-worthy Tweets by Using User Reactions (2023)
  • Author(s): Yimou Liao, Masashi Toyoda, Naoki Yoshinaga
  • Journal Title: DBSJ Journal Volume: 21
  • Peer Reviewed / Open Access
• [Journal Article] 議論分析のための大規模ツイートデータセットの構築 (2022)
  • Author(s): 張翔, 豊田正史, 吉永直樹
  • Journal Title: 日本データベース学会和文論文誌 Volume: 20-J Pages: 7-7
  • Peer Reviewed / Open Access
• [Presentation] Diachronic Analysis of Users' Stances on COVID-19 Vaccination in Japan using Twitter (2022)
  • Author(s): Shohei Hisamitsu, Sho Cho, Hongshan Jin, Masashi Toyoda, Naoki Yoshinaga
  • Organizer: The 2022 IEEE/ACM International Conference on Advances in Social Networks Analysis and Mining (ASONAM 2022)
  • Int'l Joint Research
• [Presentation] Effective Dialogue-Context Retriever for Long-Term Open-Domain Conversation (2022)
  • Author(s): Meguru Takasaki, Naoki Yoshinaga and Masashi Toyoda
  • Organizer: The 13th International Workshop on Spoken Dialogue Systems Technology
  • Int'l Joint Research
• [Presentation] ニュース記事へ言及するTwitter投稿の主観性と情報継承性に基づく分類 (2022)
  • Author(s): 遠田哲史, 吉永直樹, 豊田正史
  • Organizer: 第15回データ工学と情報マネジメントに関するフォーラム (DEIM 2023)
• [Presentation] Twitterを用いたCOVID-19ワクチン接種行動に関する分析 (2022)
  • Author(s): 北林遼大, 張翔, 豊田正史, 吉永直樹
  • Organizer: 第15回データ工学と情報マネジメントに関するフォーラム (DEIM 2023)
• [Presentation] 情報検索に基づく応答復元とのマルチタスク学習に基づく長期間対話のための応答生成 (2022)
  • Author(s): 髙﨑環, 吉永直樹, 豊田正史
  • Organizer: 人工知能学会 言語・音声理解と対話処理研究会（SLUD）第97回研究会
• [Presentation] Expanding Perspective with Big Data Analysis for Better Societal Behaviors (2021)
  • Author(s): Masashi Toyoda
  • Organizer: Korea-Japan (Japan-Korea) Database Workshop 2021 (KJDB2021)
  • Int'l Joint Research / Invited
• [Presentation] Twitter ユーザの COVID-19 ワクチン接種に対するスタンスおよびその分極化の推移に関する分析 (2021)
  • Author(s): 久光祥平,豊田正史,吉永直樹,張翔
  • Organizer: 第14回データ工学と情報マネジメントに関するフォーラム(DEIM2022)
• [Presentation] Early Detection of Fact Check-worthy Tweets by Using User Reactions (2021)
  • Author(s): Yimou Liao, Masashi Toyoda, Naoki Yoshinaga
  • Organizer: 第14回データ工学と情報マネジメントに関するフォーラム (DEIM2022)
• [Presentation] マイクロブログユーザのイデオロギー変容の検知とその要因の分析 (2021)
  • Author(s): 張翔,豊田正史,吉永直樹
  • Organizer: 第14回データ工学と情報マネジメントに関するフォーラム(DEIM2022)