2016 Fiscal Year Research-status Report
パソコン要約筆記文の作成支援システムの開発と聴覚障害者支援に関する研究
| Project/Area Number |
16K01574
|
|---|
| Research Institution | Daido University |
|---|
Principal Investigator |
竹内 義則 大同大学, 情報学部, 准教授 (60324464)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | 情報保障 / 聴覚障害 / パソコン要約筆記 / 音声認識 |
|---|
| Outline of Annual Research Achievements |
聴覚障害者が出席する講義や講演における情報保障の1つとして，パソコン要約筆記がある．本研究では，要約筆記者にとって聞き取りづらかったり，入力に手間がかかったりする語を「難入力語」と定義し，音声認識により難入力語を自動で検出し，要約筆記者に提示するシステムを提案する．システムでは，事前に講義に用いるプレゼンテーションスライドが得られることを仮定し，まずスライドから難入力語を自動抽出する．その後，音声認識による難入力語の検出性能を向上させるために，難入力語をクエリとして用いてWeb検索を行い，音声認識の言語モデルの適応を行う．音声認識によって検出された難入力語は，要約筆記用エディタ上に提示される．提示されている難入力語は，対応する各キーを押す操作により，入力中の文章に挿入することができる．
提案システムを用いた要約筆記実験を行った．講義スライドから自動で難入力語の抽出を行い，200語の難入力語を抽出した．実験の被験者は名古屋大学の障害学生支援室に所属するサポーター4名であり，全員がプレゼンテーション形式の講演での要約筆記の経験がある．2人一組での連係入力を行った．実験の結果，提案システムによる難入力語の検出・挿入機能を用いた場合の方が，高い割合で難入力語が入力されており，字幕が講義内容を正しく伝えているという結果となった．その要因として，正確に聞き取ることができなかった語が視覚的に確認できたことや，難入力語を聞き逃してしまった場合や入力中に忘れてしまった場合に，提示されていた難入力語を見ることで把握することができたことなどがあげられる．また，提案システムを用いない場合では，アルファベットを含む語（例えば，「ICカード」や「RC4」）の入力に時間がかかっていたのに対し，提案システムを用いた場合では対応するファンクションキーを押すだけで入力することができ，入力時間が削減できていた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
連携入力によって要約筆記文中に難入力語を挿入するシステムの開発は，2年目以降を計画していた．しかし，要約筆記者の要望が大きかったことと，連携研究者の協力により，今年度に実施した．連携入力では，実際の要約筆記でよく用いられているIPtalkというソフトウェアと通信し，難入力語をファンクションキーによって挿入する機能を実現した，さらに，被験者数は少ないものの，構築したシステムの評価も実施した．当初の計画では，難入力語として数式を扱っていた．しかし，音声認識のみでも言語モデル適応によって，9割程度の再現率が達成できたため，数式に限らず，専門用語・固有名詞や数字・アルファベットを含む語などを難入力語として抽出した．研究の順序は変化しているものの，おおむね順調に進展していると判断する．
|
| Strategy for Future Research Activity |
当初計画の連携入力によって要約筆記文中に難入力語を挿入するシステムの開発は，すでに行われているため，今後は，その評価と改良を行う．これまでの評価実験では，被験者数が4名と少ないため，多くの実験を行う必要がある．スライドを使用する模擬講義を被験者に見せ，要約筆記を行う評価実験を行う．難入力語挿入機能の有無や画像の提示方法，入力方法を変更して，要約筆記のしやすさを評価する．アンケートによる主観評価だけではなく，要約筆記文に現れた項目の数などの客観評価の尺度によってシステムの評価を行う．要約筆記者は，講義の内容が理解でき，高速に文字をキーボードで入力できればよい．情報系の大学生であれば被験者として採用可能であり，研究代表者が情報学部に所属していることから，その採用は容易である．また，連携研究者と協力し，普段から要約筆記による支援を行っている人々にも，システムの評価を依頼する．
|
| Causes of Carryover |
主に旅費が計画よりも若干下回った．打ち合わせの回数を削減できたことによる．
|
| Expenditure Plan for Carryover Budget |
研究を迅速に推進するためには，最新の研究成果を収集することが不可欠であり，研究会等の参加旅費として使用する計画である．
|
