An Inference System for Occurrence of Difficulty in Character Identification on Browsing Websites by Reinforcement Learning

2021 Fiscal Year Research-status Report

• Project/Area Number: 21K12096
• Research Institution: Kanazawa Institute of Technology
• Principal Investigator: 松下 裕 金沢工業大学, 情報フロンティア学部, 教授 (60393568)
• Project Period (FY): 2021-04-01 – 2024-03-31
• Keywords: 強化学習 / 眼球運動 / Webサイト / 文字識別 / 予測 / 情報検索

Outline of Annual Research Achievements

本研究の目的は，Webサイト閲覧時の視線データから，ユーザの文字識別困難の発生を強化学習に基づいて予測することである．まず，簡易なWebサイト刺激（識別困難な文字を含むスクロール不要の刺激）を被験者に閲覧させ，視線データを収集するとともに500ms以上の視線停留が生じた場合にその原因となる事象（文字識別困難，文章理解困難，その他）をヒアリングによって確かめた．次にSARSA法のアルゴリズムに工夫を加えることにより文字識別困難の予測アルゴリズムを構築し予測精度を検証した．
視線データより，平均的には文字識別困難時の視線停留時間は他の事象のときより長くなるが，個々の停留時間では他の事象のときが文字識別困難時より長くなることもあった．従って，通常のSARSA法のアルゴリズムでは，視線停留時間のみで文字識別困難の発生を完全に予測することは不可能である．本研究では文字識別困難を予測するための視線停留時間の基準を与えるために「キャンセル料」の概念をSARSA法に導入した．すなわち，SARSA法では文字識別困難の予測を的中させて報酬を与えた後に（それより停留時間が長い）他の事象が発生した場合，罰則を与えることになるが，報酬を与えた停留時間より長い停留時間で罰則を与えるのでは整合的な基準とは言えない．そこで，報酬を与えた文字識別困難発生の時点（停留状態）まで戻って，報酬を帳消しにするキャンセル料を与えることにした．キャンセル料を報酬以上の大きさに設定すれば，この停留状態で文字拡大（文字識別困難時の行動）を実行しない方が最終の期待報酬は大きくなり，短い視線停留時間では文字識別困難と予測しないように学習する．このアルゴリズムを実験結果に適用した結果，報酬，罰則，キャンセル料の大きさを工夫することにより，各被験者で，適切なエラー率の下に，文字識別困難の発生を予測できる視線停留時間が求められた．

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

令和3年度は，Web閲覧時の視線データから文字識別困難時のユーザの眼球運動特性を抽出するとともに，文字識別困難事象の発生を一定程度の精度で予測できる強化学習のアルゴリズムを開発したので，当初の研究目標を達成できたと考えている．しかし，本研究では，最終的には（視線データを収集しながら逐次的に学習する）オンライン学習での予測を実現することを目標としているが，今年度は（全てのデータを収集してから学習する）バッチ学習での予測のみを行った．今後，オンライン学習を実現するためには，大規模データを高速で精度良く解析する必要があり，アルゴリズムの改善が必要になる．

Strategy for Future Research Activity

令和3年度はSARSA法にキャンセル料を導入したが，この方法では一般的な強化学習アルゴリズムの前提であるマルコフ決定過程から逸脱する．従って，最終的な期待報酬の収束が保証されず，得られた予測結果の信頼性が損なわれる．マルコフ決定過程に基づくアルゴリズムの開発を行う必要がある．このために500ms以上の視線停留時間を長さによって複数の停留状態に分類する（令和3年度は500ms以上の視線停留時間をまとめて一つの停留状態とした）．停留状態は短い方から長い方に段階的に進むものとして，各段階で文字拡大の実施の有無（方策）を判定させ，方策が適切であれば報酬を，不適切であれば罰則を与える．このとき，文字識別困難以外の視線停留で文字拡大を実施した場合には大きな罰則を与え，文字識別困難による停留において文字拡大の実施が遅れても（迅速な場合と同等の）報酬を与えることにすれば，エージェントは慎重に文字拡大実施の学習を行うと考えられる．これにより，キャンセル料を付加しなくても（従って，視線停留の時点を逆行しなくても）文字識別困難の予測を行えるようになり，マルコフ決定過程の前提を逸脱しないアルゴリズムが構築できると考えられる．
さらに，オンライン学習に対応するために，高速で精度の良い予測アルゴリズムを構築する．このために，関数近似に基づいたDeep Q-Networkを適用する予定でいる．なぜなら，関数近似に基づく予測は状態数の増加や連続的な状態空間に対して有効だからである．ここで，視線停留の原因が文字識別困難か否かの判定に対して視線停留時間に視線移動距離や視線移動速度を組み合わせると識別精度が向上することを考慮に入れれば，状態数は増加することになるが停留状態をこれらの眼球運動量のベクトルで表現することが予測精度を向上させるために適切であると考えられる．

Causes of Carryover

今年度は，簡易的なWebサイト刺激（スクロール不要の刺激）で閲覧実験を実施したため，既に所有している古いタイプ（低い周波数）のアイトラッカーでも視線計測を実行できた．しかし，今後の研究では，スクロールを必要とする長いページのWebサイト刺激の閲覧やタッチパネル型ディスプレイでの閲覧に対して視線計測が必要になり，ユーザの顔や体が動くことに対処しなければならない．このためには，ウェアラブル形式のアイトラッカーの使用が望ましく，次年度使用額をこの装置の購入に充てたい所存でいる．