2017 Fiscal Year Research-status Report
パソコン要約筆記文の作成支援システムの開発と聴覚障害者支援に関する研究
| Project/Area Number |
16K01574
|
|---|
| Research Institution | Daido University |
|---|
Principal Investigator |
竹内 義則 大同大学, 情報学部, 教授 (60324464)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | 情報保障 / 聴覚障害 / パソコン要約筆記 / 音声認識 |
|---|
| Outline of Annual Research Achievements |
近年，聴覚に障害のある学生が大学などの高等教育機関に通い講義を受ける機会が増えてきている．しかし健聴者と同様に講義を受けるためには情報保障が重要になる．聴覚障がい学生に対する情報保障にはいくつかあり，その一つとして支援者が講師の発話内容をキーボードで入力してテキスト化するパソコン要約筆記がある．しかしパソコン要約筆記は大学などの専門性の高い場面において，その分野の専門でない支援者が専門用語などの普段聞きなれない言葉を正確に聞き取ることが困難であるという問題がある．そこで本研究は，音声認識を用いて，専門用語など聞き取り入力することが困難な語（以下，難入力語）を検出し，文字通訳者に提示して支援を行うシステムを提案する．
まず，あらかじめ入手した講義資料から難入力語を検出する．検出した難入力語をクエリとしてWeb検索を行い，Web言語モデルを構築する．日本語話し言葉コーパス(CSJ)から得られた言語モデルと構築したWeb言語モデルを線形補完することによって適応言語モデルを構築する．
大学で実際に行われている講義を合計18撮影した．撮影した講義の音声を用いて，音声認識による難入力語抽出実験を行った．音声認識の言語モデルを適応させる際の補間重みの値を変化したときの難入力語の検出率を評価した．この研究成果を福祉情報工学の分野で著名な国際会議である16th International Conference on Computers Helping People with Special Needsへ投稿し，採択が決定した．
また，要約筆記文を聴覚障害者へ提示する方法として，スマートグラスへ表示する方法を検討した．
今後は，講義映像の撮影を継続して実施する．その映像を用いて線形補間の補間重みを決定し，リアルタイムで難入力語を提示するシステムを実装する．システムを使用して評価していく．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
実際の講義映像を18講義撮影して保存している．このうちの4講義について分析を行い，難入力語を再現率87.8%，適合率90.1%で講師の発話音声から抽出できることを確認している．これまでの研究成果を国際会議に投稿し，採択されている．実際の要約筆記でよく用いられているIPtalkというソフトウェアと通信し，難入力語をファンクションキーによって挿入する機能を備えたパソコン要約筆記システムを開発している．このシステムは，講義資料から難入力語を自動的に抽出し，抽出した難入力語を検索ワードとしてウェブ検索を行うことで関連テキストを収集し，収集された関連テキストから言語モデルを構築し，音声認識の言語モデルを適応する機能を備えている．当初の研究の計画であった数式に限らず，専門用語・固有名詞や数字・アルファベットを含む語などを難入力語として抽出している違いはあるが，全体としておおむね順調に進展していると判断する．
|
| Strategy for Future Research Activity |
これまでに実際の大学の講義を18講義撮影している．今後も講義の撮影を継続して実施する．現在までに4講義の分析を行い，難入力語を検出することを確認している．これまでに撮影した講義映像とこれから撮影する講義映像について，さらに分析を進める．とくに，音声認識の言語モデルを適応させる際の補間重みの値について慎重に検討を進める．難入力語を検出し，要約筆記に提示し，ファンクションキーによって難入力語を要約筆記文中に入力することができるパソコン要約筆記システムを開発している．このシステムを評価するために被験者によるパソコン要約筆記実験を実施する．被験者は，情報系の学部の大学生に依頼する計画である．難入力語挿入機能の有無や画像の提示方法，入力方法を変更して，要約筆記のしやすさを評価する．アンケートによる主観評価だけではなく，要約筆記文に現れた項目の数などの客観評価の尺度によってシステムの評価を行う．
|
| Causes of Carryover |
国際会議の登録費が次年度になったため．
国際会議の登録費に使用する．
|
Research Products
(3 results)
